เหตุใด Google จึงหยุดจัดทำดัชนีหน้าเว็บจาก sitemap.xml ของเรา

เราเห็นบางหน้าเว็บที่มีอยู่ในของเราsitemap.xmlแต่หายไปอย่างลึกลับจากดัชนีการค้นหาสาธารณะของ Google

คุณไม่สามารถดาวน์โหลด/superuser//sitemap.xml - เราป้องกันไฟล์นี้เนื่องจากมีปัญหาในอดีต - แต่ googlebot สามารถ เราได้ตรวจสอบผ่าน Google Webmaster Tools ว่าsitemap.xmlไฟล์ถูกดึงลงมาวันนี้และได้คะแนน OK โดยไม่มีข้อผิดพลาด (เครื่องหมายถูกสีเขียว)

sitemap.xmlมีรายชื่อของสุดท้าย 50,000 คำถามบนเว็บไซต์ของเราที่ถูกถาม ตัวอย่างเช่นคำถามนี้ ...

/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links

... มีอยู่ในsitemap.xml...

<url>
<loc>/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links</loc>
<lastmod>2010-10-20</lastmod>
<changefreq>daily</changefreq>
<priority>0.2</priority>
</url>

การค้นหา"วิธีดูจุดสิ้นสุดของลิงก์สัญลักษณ์แบบยาว"ให้ผลลัพธ์เดียวกับ questionhub.com ซึ่งเป็นการคัดลอกข้อมูลของเรา (ปัญหาที่แตกต่างกันทั้งหมด)

คุณสามารถเพิ่มจำนวนการนับคำถามและทำการค้นหาที่แน่นอนสำหรับชื่อคำถามและคุณจะเห็นรูปแบบนี้ยังคงมีอยู่

URL เหล่านี้อยู่ใน sitemap.xml แต่ไม่ปรากฏในดัชนีของ Google - แต่ยังปรากฏในไซต์ที่ขูดข้อมูลครีเอทีฟคอมมอนส์ของเราด้วย ทำไมถึงเป็นเช่นนั้น?

ดูเหมือนว่า Google จะมีปัญหาในการรวบรวมข้อมูลทางเทคนิคบางสัปดาห์นี้เสียงที่น่าทึ่งเหมือนสิ่งที่เรากำลังประสบอยู่:

http://searchengineland.com/is-google-broken-sites-big-small-seeing-indexing-problems-53701

ดูเหมือนว่าจะไม่มีใครรอดพ้นจากปัญหาการจัดทำดัชนีของ Google ที่มีเจ้าของเว็บไซต์จำนวนมากสับสน บล็อกและเว็บไซต์ทั้งเล็กและใหญ่ไม่ได้รับการจัดทำดัชนีอย่างรวดเร็วตามปกติ - หากมีการจัดทำดัชนีเลย

...

John จาก Google ตอบกระทู้ในฟอรัม Webmaster ว่า:

เพียงเพื่อให้ชัดเจนประเด็นจากหัวข้อนี้ซึ่งฉันได้ตรวจสอบในรายละเอียดไม่ได้เกิดจากการเปลี่ยนแปลงในนโยบายของเราหรือการเปลี่ยนแปลงในอัลกอริทึมของเรา; ปัญหาเหล่านี้เกิดจากปัญหาทางเทคนิคทางด้านของเราซึ่งจะได้รับการแก้ไขอย่างชัดเจนโดยเร็วที่สุด (อาจใช้เวลาสองสามวันก่อนที่เว็บไซต์ทั้งหมดจะปรากฏ)

Google ไม่ได้เสนอหรือรับประกันว่าหน้าเว็บในแผนผังไซต์จะได้รับการจัดทำดัชนี

ประสบการณ์ของฉันคือการที่หน้าจะต้องมีการเชื่อมโยงไปยัง (จากหน้าของผู้มีอำนาจบางอย่าง) เพื่อแสดง หน้า / คำถามนั้นเชื่อมโยงโดยตรง / โดยอ้อมจากหน้าเว็บที่มีสิทธิ์บางอย่างหรือไม่?

ตัวอย่างเช่นหากหน้าแรกของ superuser.com (ซึ่งมีลิงค์ในตัวมากมาย) เชื่อมโยงโดยตรงกับคำถามนี้หรือเชื่อมโยงไปยังทางอ้อมผ่านทางหน้าอื่น ๆ จำนวนหนึ่งคุณอาจคาดหวังว่าจะได้รับการจัดทำดัชนี

จาก google:

Google ไม่รับประกันว่าเราจะรวบรวมข้อมูลหรือจัดทำดัชนี URL ทั้งหมดของคุณ อย่างไรก็ตามเราใช้ข้อมูลใน Sitemap ของคุณเพื่อเรียนรู้เกี่ยวกับโครงสร้างเว็บไซต์ของคุณซึ่งจะช่วยให้เราสามารถปรับปรุงตารางโปรแกรมรวบรวมข้อมูลของเราและทำการรวบรวมข้อมูลเว็บไซต์ของคุณได้ดีขึ้นในอนาคต ในกรณีส่วนใหญ่เว็บมาสเตอร์จะได้รับประโยชน์จากการส่ง Sitemap และคุณจะไม่ถูกลงโทษ

http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156184

ฉันคิดว่า google อาจจะมีช่วงเวลาที่ยากลำบากในการทำดัชนีหน้าเว็บของคุณ 50.000 เป็นจำนวนมาก ดังนั้นข้อเสนอแนะของฉันจะทำให้แผนผังไซต์ของคุณแตกเป็นชิ้น ๆ

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
      <lastmod>2004-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
      <lastmod>2005-01-01</lastmod>
   </sitemap>
</sitemapindex>

หากคุณพังคุณจะมีโชคที่ดีกว่าในการจัดทำดัชนี URL 50,000 รายการ

Sitemaps.org คำอธิบายของปัญหา

คุณสามารถให้ไฟล์ Sitemap ได้หลายไฟล์ แต่ไฟล์ Sitemap แต่ละไฟล์ที่คุณระบุจะต้องมี URL ไม่เกิน 50,000 รายการและต้องไม่ใหญ่กว่า 10MB (10,485,760 ไบต์) หากคุณต้องการคุณสามารถบีบอัดไฟล์ Sitemap โดยใช้ gzip เพื่อลดความต้องการแบนด์วิดท์ของคุณ อย่างไรก็ตามไฟล์ sitemap ที่ไม่มีการบีบอัดจะต้องมีขนาดไม่เกิน 10MB หากคุณต้องการแสดง URL มากกว่า 50,000 รายการคุณต้องสร้างไฟล์ Sitemap หลายไฟล์

หากคุณมี Sitemap หลายรายการคุณควรแสดงรายการไฟล์ Sitemap แต่ละไฟล์ในไฟล์ดัชนี Sitemap ไฟล์ดัชนีแผนผังไซต์ไม่สามารถแสดงรายการ Sitemap ได้มากกว่า 50,000 รายการและต้องมีขนาดไม่เกิน 10MB (10,485,760 ไบต์) และสามารถบีบอัดได้ คุณสามารถมีไฟล์ดัชนี Sitemap มากกว่าหนึ่งไฟล์ รูปแบบ XML ของไฟล์ดัชนี Sitemap นั้นคล้ายคลึงกับรูปแบบ XML ของไฟล์ Sitemap มาก

http://sitemaps.org/protocol.php

ดูเหมือนว่า Google จะระบุว่ามีการเชื่อมโยงส่ง 46,514 อยู่ในดัชนี มันอาจเป็นปัญหากับ (ฉันเกลียดที่จะพูด) แต่การจัดอันดับหน้า? ไซต์ที่ขูดอาจทำให้การเชื่อมโยงข้ามงาน ฯลฯ ดีขึ้นและอยู่ในอันดับที่สูงขึ้น แค่ความคิด

ไซต์การค้นหานี้: superuser.com วิธีดูจุดสิ้นสุดของลิงก์สัญลักษณ์ยาว ๆดูเหมือนจะดึงข้อมูล sitemap.xml ของคุณอย่างถูกต้องแม้ว่าจะไม่ได้ผลลัพธ์ที่คาดหวัง

ด้วยสิ่งประเภทนี้มีคำตอบมากมายที่อาจเกิดขึ้น

ฉันจะเริ่มต้นด้วยการถามจำนวนหน้าจริง ๆ ของคุณ (คุณส่ง 50,000 URL ไปยังเว็บไซต์ด่วน: superuser.com แสดง 125,000 ที่มีการจัดทำดัชนีคุณคิดว่าคุณมี URL 50K เท่านั้นและกำลังส่ง URL เหล่านั้นทั้งหมด แต่ Google กำลังค้นหาสำเนา 2-3 หน้าในแต่ละหน้าหรือคุณอาจมี 1Mil URL และ 12.5 เท่านั้น % กำลังได้รับการจัดทำดัชนี) การได้รับภาพรวมช่วยในการกำหนดตำแหน่งที่จะค้นหาปัญหา

หากไม่มีอะไรผิดปกติกับขั้นตอนที่หนึ่งฉันจะย้ายไปที่เนื้อหาดูเหมือนว่า QH มีเนื้อหาจำนวนมากบนหน้าของพวกเขาและเชื่อมโยง "แหล่งข้อมูล" อื่น ๆ อีกมากมายแม้ว่าข้อเท็จจริงที่ว่าเนื้อหาทั้งหมดของพวกเขาจะถูกคัดลอกเป็นไปได้ก็ตาม หน้ามีประโยชน์มากขึ้นเนื่องจากพวกเขาให้ทรัพยากร / ข้อมูลเพิ่มเติมแก่ผู้ใช้ หากพวกเขาได้รับการพิจารณาว่าเป็นผู้มีอำนาจและเนื้อหาทั้งหมดของคุณจะเหมือนกับของพวกเขาเป็นไปได้ว่า Google จะไม่สร้างดัชนีของคุณแม้ว่าคุณจะเป็นคนดั้งเดิม

หากคุณมั่นใจว่าไม่ใช่ปัญหาที่สร้างลิงก์คุณภาพสูงให้บล็อกคำถามนี้ในบล็อกของพนักงานที่เป็นที่นิยมหรือขอให้เพื่อนบล็อกเกี่ยวกับเรื่องนี้บางทีถ้าคุณมีเพื่อน SEO ที่ใช้บล็อกยอดนิยมที่พวกเขาต้องการเขียน กรณีศึกษาเกี่ยวกับมันเป็นต้น

หากคุณได้รับลิงก์จำนวนมากและยังไม่ได้รับการจัดทำดัชนีหาสาเหตุอาจถูกลงโทษ (ในกรณีส่วนใหญ่ปัญหานี้จะไม่เกิดขึ้น แต่ไม่เคยเจ็บปวดที่จะตรวจสอบ)

หากไม่มีการทำงานใด ๆ เลย 9 เท่าจากทั้งหมด 10 ครั้งเป็นปัญหาทางเทคนิคที่ไม่อาจมองข้ามได้ (การยกเว้นหุ่นยนต์หรือสิ่งที่คล้ายกัน)

หากคุณยังไม่มีคำตอบหลังจากดำเนินการตามนี้โปรดถาม Google และหวังว่าพวกเขาจะได้รับคำตอบจากคุณ

คำถามเพิ่งถูกถามเมื่อวานนี้ - ให้โอกาสแก่ Googlebot คุณไม่ใช่ไซต์เดียวบนอินเทอร์เน็ตที่เขาต้องคลานรู้ :)

หากมีการจัดทำดัชนีคำถามตามปกติภายในหนึ่งวันและอีกหนึ่งสัปดาห์ที่ผ่านไปและคำถามนั้นยังไม่ได้รับการจัดทำดัชนีฉันอาจกังวล แต่ไม่แน่นอนหลังจาก 1 วัน