Sitemap Paradox

เราใช้Sitemapใน Stack Overflow แต่ฉันมีความรู้สึกผสมกัน

โปรแกรมรวบรวมข้อมูลเว็บมักจะค้นหาหน้าเว็บจากลิงก์ภายในเว็บไซต์และจากเว็บไซต์อื่น ๆ Sitemaps จะเสริมข้อมูลนี้เพื่อให้โปรแกรมรวบรวมข้อมูลที่สนับสนุน Sitemap สามารถรับ URL ทั้งหมดใน Sitemap และเรียนรู้เกี่ยวกับ URL เหล่านั้นโดยใช้ข้อมูลเมตาที่เชื่อมโยง การใช้โปรโตคอล Sitemap ไม่ได้รับประกันว่าหน้าเว็บจะรวมอยู่ในเครื่องมือค้นหา แต่มีคำแนะนำสำหรับโปรแกรมรวบรวมข้อมูลเว็บเพื่อให้ทำงานได้ดีขึ้นในการรวบรวมข้อมูลเว็บไซต์ของคุณ

จากประสบการณ์สองปีของเรากับแผนผังไซต์มีบางสิ่งที่ขัดแย้งกันโดยพื้นฐานเกี่ยวกับแผนผังไซต์ :

1. แผนผังไซต์มีไว้สำหรับเว็บไซต์ที่ยากต่อการรวบรวมข้อมูลอย่างเหมาะสม
2. หาก Google ไม่สามารถรวบรวมข้อมูลเว็บไซต์ของคุณเพื่อค้นหาลิงก์ได้สำเร็จ แต่สามารถค้นหาได้ในแผนผังไซต์มันจะให้ลิงก์แผนผังไซต์ไม่มีน้ำหนักและจะไม่สร้างดัชนี!

นั่นคือแผนผังไซต์ที่ขัดกัน - หากไซต์ของคุณไม่ได้รับการรวบรวมข้อมูลอย่างถูกต้อง (ไม่ว่าด้วยเหตุผลใดก็ตาม) การใช้แผนผังไซต์จะไม่ช่วยคุณ!

Google ออกนอกเส้นทางเพื่อไม่รับประกันแผนผังไซต์ :

"เราไม่สามารถทำให้การคาดการณ์หรือรับประกันเกี่ยวกับเมื่อหรือถ้า URL ของคุณจะได้รับการรวบรวมข้อมูลหรือเพิ่มดัชนีของเรา" การอ้างอิง

"เราไม่รับประกันว่าเราจะรวบรวมข้อมูลหรือจัดทำดัชนี URL ทั้งหมดของคุณตัวอย่างเช่นเราจะไม่รวบรวมข้อมูลหรือจัดทำดัชนี URL ภาพที่มีอยู่ใน Sitemap ของคุณ" การอ้างอิง

"การส่งแผนผังไซต์ไม่ได้รับประกันว่าทุกหน้าของเว็บไซต์ของคุณจะได้รับการรวบรวมข้อมูลหรือรวมอยู่ในผลการค้นหาของเรา" การอ้างอิง

เนื่องจากลิงก์ที่พบในแผนผังไซต์นั้นเป็นเพียงแค่คำแนะนำในขณะที่ลิงก์ที่พบในเว็บไซต์ของคุณเองนั้นถือว่าเป็นมาตรฐาน แต่ดูเหมือนว่าสิ่งเดียวที่ควรทำคือหลีกเลี่ยงแผนผังไซต์และทำให้แน่ใจว่า Google และเครื่องมือค้นหาอื่น ๆ ขับเคลื่อนไซต์ของคุณโดยใช้หน้าเว็บมาตรฐานแบบเก่าที่ทุกคนเห็น

ตามเวลาที่คุณได้ทำที่และจะได้รับการ spidered ดีและทั่วถึงเพื่อให้ Google จะเห็นว่าคุณเว็บไซต์ของตัวเองการเชื่อมโยงไปยังหน้าเว็บเหล่านี้และจะยินดีที่จะรวบรวมข้อมูลการเชื่อมโยง - เอ่อทำไมเราต้องแผนผังไซต์อีกครั้งหรือไม่ แผนผังไซต์อาจเป็นอันตรายได้เนื่องจากมันทำให้คุณเสียสมาธิจากการตรวจสอบว่าสไปเดอร์ของเครื่องมือค้นหาสามารถรวบรวมข้อมูลไซต์ทั้งหมดของคุณได้สำเร็จ "โอ้ไม่สำคัญหรอกว่าโปรแกรมรวบรวมข้อมูลสามารถดูได้หรือไม่เราจะตบลิงก์เหล่านั้นในแผนผังไซต์!" ความเป็นจริงค่อนข้างตรงกันข้ามกับประสบการณ์ของเรา

ที่ดูเหมือนว่าจะมากกว่าเล็กน้อยแผนผังพิจารณาแดกดันถูกตั้งใจสำหรับเว็บไซต์ที่มีคอลเลกชันลึกมากของการเชื่อมโยงหรือ UI ที่ซับซ้อนที่อาจจะยากที่จะแมงมุม จากประสบการณ์ของเรา sitemap ไม่ได้ช่วยเพราะถ้า Google ไม่สามารถหาลิงค์ในเว็บไซต์ของคุณที่เหมาะสมมันจะไม่สร้างดัชนีจาก sitemap เราได้เห็นเวลาและเวลาที่พิสูจน์แล้วนี้อีกครั้งด้วยคำถาม Stack Overflow

ฉันผิดหรือเปล่า? แผนผังไซต์มีเหตุผลหรือไม่และเราแค่ใช้มันอย่างไม่ถูกต้อง

ข้อจำกัดความรับผิดชอบ: ฉันทำงานร่วมกับทีม Sitemaps ที่ Google ดังนั้นฉันจึงค่อนข้างลำเอียง :-)

นอกเหนือจากการใช้ Sitemap อย่างกว้างขวางสำหรับเนื้อหา "ที่ไม่ใช่เว็บดัชนี" (รูปภาพวิดีโอข่าว ฯลฯ ) เราใช้ข้อมูลจาก URL ที่รวมอยู่ในไฟล์ Sitemaps เพื่อวัตถุประสงค์หลักเหล่านี้:

• การค้นพบเนื้อหาใหม่และที่อัปเดต (ฉันเดาว่านี่เป็นสิ่งที่ชัดเจนและใช่เรารับและจัดทำดัชนี URL ที่ไม่ได้ลิงก์จากที่นั่นเช่นกัน)
• ตระหนักถึง URL ที่แนะนำสำหรับรูปแบบบัญญัติ (มีวิธีการอื่น ๆ ในการจัดการรูปแบบบัญญัติเกินไป)
• การให้นับ URL ที่มีประโยชน์ที่มีดัชนีใน Google Webmaster Tools (การประมาณจากไซต์: - แบบสอบถามไม่สามารถใช้เป็นเมตริกได้)
• ให้พื้นฐานสำหรับข้อผิดพลาดในการรวบรวมข้อมูลที่เป็นประโยชน์ (หาก URL ที่รวมอยู่ในไฟล์ Sitemap มีข้อผิดพลาดในการรวบรวมข้อมูลซึ่งมักเป็นปัญหาที่ใหญ่กว่า & แสดงแยกต่างหากในเครื่องมือของผู้ดูแลเว็บ)

ที่ด้านผู้ดูแลเว็บฉันพบไฟล์ Sitemap ที่มีประโยชน์อย่างยิ่ง:

• หากคุณใช้ซอฟต์แวร์รวบรวมข้อมูลเพื่อสร้างไฟล์ Sitemaps คุณสามารถตรวจสอบได้อย่างง่ายดายว่าเว็บไซต์ของคุณสามารถรวบรวมข้อมูลได้และดูโดยตรงว่ามี URL ประเภทใด โปรแกรมรวบรวมข้อมูลค้นหา URL ที่คุณต้องการหรือมีการกำหนดค่าบางอย่างไม่ถูกต้องหรือไม่ ซอฟต์แวร์รวบรวมข้อมูลติดอยู่ในพื้นที่ที่ไม่มีที่สิ้นสุด (เช่นสคริปต์ปฏิทินที่ไม่มีที่สิ้นสุด) ที่อื่นหรือไม่ เซิร์ฟเวอร์ของคุณสามารถรับภาระได้หรือไม่?
• ไซต์ของคุณมีกี่หน้า หากไฟล์ Sitemap ของคุณ "สะอาด" (ไม่มีไฟล์ซ้ำซ้อน) แสดงว่าเป็นเรื่องง่ายที่จะตรวจสอบ
• ไซต์ของคุณสามารถรวบรวมข้อมูลได้อย่างสมบูรณ์โดยไม่ต้องใช้เนื้อหาที่ซ้ำกันหรือไม่ เปรียบเทียบบันทึกเซิร์ฟเวอร์ที่เหลือโดย Googlebot กับไฟล์ Sitemaps ของคุณ - หาก Googlebot กำลังรวบรวมข้อมูล URL ที่ไม่ได้อยู่ในไฟล์ Sitemap ของคุณคุณอาจต้องการตรวจสอบการเชื่อมโยงภายในของคุณอีกครั้ง
• เซิร์ฟเวอร์ของคุณมีปัญหากับ URL ที่คุณต้องการหรือไม่ การตรวจสอบบันทึกข้อผิดพลาดเซิร์ฟเวอร์ของคุณด้วย URL Sitemaps อาจมีประโยชน์มาก
• มีการจัดทำดัชนีหน้าเว็บของคุณกี่หน้า ดังที่ได้กล่าวไปแล้วการนับนี้จะปรากฏในเครื่องมือของผู้ดูแลเว็บ

ได้รับจริงสำหรับไซต์ที่เล็กและคงที่และรวบรวมข้อมูลได้ง่ายการใช้ Sitemaps อาจไม่จำเป็นจากมุมมองของ Google เมื่อไซต์ได้รับการรวบรวมข้อมูลและจัดทำดัชนีแล้ว สำหรับสิ่งอื่นฉันขอแนะนำให้ใช้พวกเขา

FWIW มีความเข้าใจผิดบางประการที่ฉันต้องการครอบคลุมเช่นกัน:

• ไฟล์ Sitemap ไม่ได้หมายถึงการ "แก้ไข" ปัญหาการรวบรวมข้อมูล หากเว็บไซต์ของคุณไม่สามารถรวบรวมข้อมูลแก้ไขปัญหาที่แรก
• เราไม่ใช้ไฟล์ Sitemap สำหรับการจัดอันดับ
• การใช้ไฟล์ Sitemap จะไม่ลดการรวบรวมข้อมูลเว็บไซต์ปกติของเรา มันเป็นข้อมูลเพิ่มเติมไม่ใช่การแทนที่สำหรับการรวบรวมข้อมูล ในทำนองเดียวกันการไม่มี URL ในไฟล์ Sitemap ไม่ได้หมายความว่าจะไม่มีการจัดทำดัชนี
• อย่าไปสนใจ meta-data หากคุณไม่สามารถให้คุณค่าที่มีประโยชน์ (เช่นสำหรับลำดับความสำคัญ) ปล่อยให้พวกเขาออกและไม่ต้องกังวลเกี่ยวกับเรื่องนั้น

หากคุณรู้ว่าคุณมีสถาปัตยกรรมของเว็บไซต์ที่ดีและ Google จะค้นหาหน้าเว็บของคุณได้รับประโยชน์อย่างเดียวที่ฉันรู้คือการจัดทำดัชนีได้เร็วขึ้นหากเว็บไซต์ของคุณได้รับการจัดทำดัชนีอย่างรวดเร็วเพียงพอสำหรับคุณ

นี่คือบทความจากปี 2009 ที่สุภาพบุรุษทำการทดสอบความเร็วของ Google ในการรวบรวมข้อมูลไซต์ของเขาด้วยแผนผังไซต์และไม่มี http://www.seomoz.org/blog/do-sitemaps-effect-crawlers

กฎง่ายๆของฉันคือถ้าคุณเปิดตัวสิ่งใหม่และยังไม่ทดลองคุณต้องการดูว่า Google รวบรวมข้อมูลเว็บไซต์ของคุณอย่างไรเพื่อให้แน่ใจว่าไม่มีสิ่งใดที่ต้องแก้ไขดังนั้นอย่าส่งอย่างไรก็ตามถ้าคุณกำลังเปลี่ยนแปลงและต้องการ Google จะเห็นพวกเขาเร็วขึ้นจากนั้นให้ส่งหรือถ้าคุณมีข้อมูลที่ละเอียดอ่อนเวลาอื่นเช่นข่าวด่วนให้ส่งเพราะคุณต้องการทำทุกอย่างเท่าที่ทำได้เพื่อให้แน่ใจว่าคุณเป็นคนแรกที่ Google เห็นไม่เช่นนั้น

ฉันสงสัยว่า: สำหรับ Google Sitemap จำเป็นต้องติดตามการอัปเดตอย่างเร็วที่สุดเท่าที่จะเป็นไปได้ ตัวอย่างเช่นสมมติว่าคุณได้เพิ่มเนื้อหาใหม่ลงในบางตำแหน่งของเว็บไซต์ของคุณซึ่งใช้เวลามากกว่า 10-20 คลิกในการเข้าถึงจากหน้าแรกของคุณ เพื่อให้ Google สามารถเข้าถึงหน้าใหม่นี้จะมีโอกาสน้อยลงในระยะเวลาอันสั้นดังนั้นแทนที่จะกำหนดเส้นทางไปยังหน้านี้อย่างเต็มที่จนกระทั่งมีการประกาศว่ามีอยู่จริง ท้ายที่สุดแล้ว PageRank จะไม่ถูกคำนวณทันทีมันต้องใช้เวลาในการประเมินพฤติกรรมของผู้ใช้และเช่นนั้นดังนั้นทำไมจึงไม่รวบรวมข้อมูลเครื่องยนต์และจัดทำดัชนีหน้าเว็บที่มีเนื้อหาสด

Sitemap นั้นมีค่าอย่างเหลือเชื่อถ้าคุณใช้อย่างถูกต้อง

ก่อนอื่นความจริงที่ว่า Google บอกว่าพวกเขาเป็นเพียงการแนะนำ) ให้แน่ใจว่าผู้ดูแลเว็บไม่ได้อยู่ภายใต้การแสดงผลที่ผิดที่ sitemap = indexation และ b) ให้ Google สามารถเพิกเฉยแผนผังไซต์บางรายการหากพวกเขาเห็นว่าไม่น่าเชื่อถือ aka lastmod คือวันที่ปัจจุบันของ URL ทั้งหมดในแต่ละวันที่พวกเขาเข้าถึง)

อย่างไรก็ตามโดยทั่วไปแล้ว Google จะชอบและใช้แผนผังไซต์ (ที่จริงแล้วในบางครั้งพวกเขาจะพบเว็บไซต์ของตนเองและเพิ่มลงใน Google Webmaster Tools) ทำไม? มันเพิ่มประสิทธิภาพในการรวบรวมข้อมูล

แทนที่จะเริ่มต้นที่ไซต์เมล็ดและรวบรวมข้อมูลเว็บพวกเขาสามารถจัดสรรงบประมาณการรวบรวมข้อมูลในปริมาณที่เหมาะสมให้กับไซต์ตามแผนผังไซต์ที่ส่งมา พวกเขายังสามารถสร้างประวัติเว็บไซต์ของคุณด้วยข้อมูลข้อผิดพลาดที่เกี่ยวข้อง (500, 404 เป็นต้น)

จาก Google:

"Googlebot รวบรวมข้อมูลเว็บโดยทำตามลิงก์จากหน้าหนึ่งไปอีกหน้าหนึ่งดังนั้นหากเว็บไซต์ของคุณไม่ได้เชื่อมโยงกันอาจเป็นเรื่องยากที่เราจะค้นพบ"

สิ่งที่พวกเขาไม่ได้กล่าวคือการรวบรวมข้อมูลบนเว็บนั้นใช้เวลานานและพวกเขาต้องการที่จะมีแผ่นงานโกง (หรือแผนผังไซต์)

แน่นอนว่าไซต์ของคุณอาจไม่ได้อยู่ในมุมมองการรวบรวมข้อมูล แต่ถ้าคุณต้องการแนะนำเนื้อหาใหม่การวางเนื้อหานั้นลงในแผนผังไซต์ที่มีลำดับความสำคัญสูงเป็นวิธีที่รวดเร็วกว่าในการรวบรวมข้อมูลและจัดทำดัชนี

และมันก็ใช้ได้กับ Google ด้วยเช่นกันเนื่องจากพวกเขาต้องการค้นหารวบรวมข้อมูลและจัดทำดัชนีเนื้อหาใหม่ - รวดเร็ว ตอนนี้แม้ว่าคุณจะไม่คิดว่า Google ชอบเส้นทางที่ถูกตีมากกว่าการมีดแมเชเทอร์ในแนวทางป่า แต่ก็มีอีกเหตุผลหนึ่งที่ทำให้แผนผังไซต์มีค่า - การติดตาม

โดยเฉพาะอย่างยิ่งการใช้ดัชนีแผนผังไซต์ (http://sitemaps.org/protocol.php#index) คุณสามารถแบ่งไซต์ของคุณออกเป็นส่วน ๆ - แผนผังไซต์โดย sitemap โดยการทำเช่นนั้นคุณสามารถดูอัตราการจัดทำดัชนีของส่วนไซต์ของคุณตามส่วน

ส่วนหนึ่งหรือประเภทเนื้อหาอาจมีอัตราการจัดทำดัชนี 87% ในขณะที่อีกประเภทหนึ่งอาจมีอัตราการจัดทำดัชนี 46% เป็นหน้าที่ของคุณที่จะหาสาเหตุว่าทำไม

หากต้องการใช้แผนผังไซต์ให้เต็มคุณจะต้องติดตาม Googlebot (และ Bingbot) การรวบรวมข้อมูลในเว็บไซต์ของคุณ (ผ่านเว็บบล็อก) ให้จับคู่กับแผนผังไซต์ของคุณจากนั้นติดตามทุกอย่างเพื่อรับส่งข้อมูล

อย่าไปนอนบนแผนผังไซต์ - ลงทุนกับมัน

ในคำพูดของ Google: "ในกรณีส่วนใหญ่ผู้ดูแลเว็บจะได้รับประโยชน์จากการส่งแผนผังไซต์และคุณจะไม่ถูกลงโทษ"

แต่ฉันยอมรับว่าสิ่งที่ดีที่สุดที่คุณสามารถทำได้หากคุณต้องการให้หน้าเว็บไซต์ของคุณปรากฏในเครื่องมือค้นหาคือตรวจสอบให้แน่ใจว่าพวกเขาสามารถรวบรวมข้อมูลได้จากเว็บไซต์ที่เหมาะสม

ฉันเชื่อว่าเครื่องมือค้นหาใช้แผนผังไซต์ไม่มากนักเพื่อค้นหาหน้าเว็บ แต่เพื่อเพิ่มประสิทธิภาพความถี่ในการตรวจสอบอัปเดต พวกเขามองและ<changefreq> <lastmod>Google อาจไปเดอร์ทั้งเว็บไซต์บ่อยมาก (ตรวจสอบบันทึกของคุณ!) แต่ไม่ใช่ทุกเครื่องมือค้นหาที่มีทรัพยากรในการทำเช่นนั้น (มีใครเคยลองใช้Blekkoหรือไม่) ไม่ว่าในกรณีใดเนื่องจากไม่มีบทลงโทษสำหรับการใช้งานและพวกเขาสามารถสร้างขึ้นโดยอัตโนมัติและง่ายดายฉันจะทำต่อไป

หากคุณสนใจเกี่ยวกับหัวข้อนี้โปรดอ่านกระดาษ google ที่ยอดเยี่ยมนี้http://googlewebmastercentral.blogspot.com/2009/04/research-study-of-sitemaps.html (เมษายน 2552) - อ่านบทความฉบับสมบูรณ์ไม่ใช่เฉพาะบล็อกโพสต์ .

จากกระดาษ

• ตกลงโดยทั่วไปแล้ว Google จะดิ้นรนกับคำถามเดียวกัน
• พวกเขาไม่เปิดเผยวิธีกำหนดค่าภายในแผนผังไซต์ แต่จะกล่าวถึงแนวคิดของลิงก์เสมือนจากหน้าเริ่มต้นไปยังแผนผังไซต์
• สิ่งที่น่าสนใจอื่น ๆ อีกมากมาย

แต่ใช่ sitemap ส่วนใหญ่จะใช้สำหรับการค้นพบ (กระบวนการของ google ค้นพบสิ่งของของคุณ) ไม่ใช่สำหรับการกำหนดค่า หากคุณต่อสู้กับการค้นพบให้ใช้แผนผังไซต์ การค้นพบเป็นเงื่อนไขเบื้องต้นในการรวบรวมข้อมูล แต่ไม่ได้มีการกำหนดมูลค่า

จากประสบการณ์ของฉัน

• มีไซต์จำนวนมากที่เพิ่งใช้ HTML และ XML แผนผังเว็บไซต์เพื่อเชื่อมโยงหน้าเว็บของตน
• และสิ่งเหล่านี้ XML Sitemap นั้นถูกรวบรวมข้อมูลได้ดีกว่า HTML sitemap (ฉันดูดีจริงๆในบางอันที่ใหญ่มาก ๆ )
• มีเว็บไซต์ที่ประสบความสำเร็จมากที่เพิ่งใช้ XML sitemap

เมื่อฉันใช้กลยุทธ์ SEO สำหรับเว็บไซต์ที่มีมากกว่าครึ่งล้านหน้าฉันไป

• landingpages
• sitemap.xml
• หน้าแรก

ทุกสิ่งทุกอย่างเป็นเพียง "balast" - ใช่สิ่งอื่น ๆ อาจมีค่า SEO เป็นบวก แต่มีค่าลบแน่นอน: ทำให้ไซต์จัดการได้ยากขึ้น (ps: สำหรับการกำหนดค่าฉันเชื่อมโยงไปถึงหน้า Landing Page ในแบบที่น่าประทับใจ (ส่งผลกระทบใหญ่) แต่นั่นเป็นขั้นตอนที่สองอยู่แล้ว

เกี่ยวกับคำถามของคุณ: โปรดอย่าสับสนการค้นพบการรวบรวมข้อมูลการจัดทำดัชนีและการจัดอันดับ คุณสามารถติดตามทั้งหมดแยกต่างหากและคุณสามารถปรับทั้งหมดแยกต่างหาก และคุณสามารถปรับปรุงการค้นพบและการรวบรวมข้อมูลในวิธีการสำคัญ ๆ ด้วยแผนผังไซต์ที่ดี (เช่น: เรียลไทม์)

แผนผังไซต์สามารถช่วยคุณได้

ในเว็บไซต์ของฉันฉันมีลิงค์จำนวนมากที่ป้องกันไม่ให้เสิร์ชเอ็นจิ้นหยุดยั้ง เรื่องสั้นสั้น Google ได้ตีความ JS ผิด ๆ ในฟอรัมของฉันและเรียกรหัสการตอบสนอง 500 และ 403 ซึ่งฉันเชื่อว่าส่งผลต่อตำแหน่งของไซต์ ฉันได้แก้ไขสิ่งนี้โดยไม่รวม URL ที่มีปัญหาผ่าน robots.txt

วันหนึ่งฉันทำผิดพลาดและทำสิ่งที่ป้องกันไม่ให้ Google รวบรวมข้อมูลบางหน้าในเว็บไซต์ที่ฉันต้องการจัดทำดัชนีจริงๆ เนื่องจากการยกเว้นฟอรัมส่วนข้อผิดพลาดของเครื่องมือของผู้ดูแลเว็บสำหรับ "ถูก จำกัด โดย robots.txt" มีมากกว่า 4,000 หน้าดังนั้นฉันจะไม่เลือกข้อผิดพลาดนี้จนกว่าจะสายเกินไป

โชคดีเนื่องจากหน้า "สำคัญ" ทั้งหมดในเว็บไซต์ของฉันอยู่ในแผนผังไซต์ฉันสามารถตรวจพบปัญหานี้อย่างรวดเร็วในหมวดหมู่ข้อผิดพลาดพิเศษที่ Webmaster Tools มีปัญหากับหน้าเว็บในแผนผังไซต์

นอกจากนี้ฉันยังได้รับประโยชน์มากมายจากการใช้ดัชนี Sitemap เพื่อกำหนดคุณภาพการจัดทำดัชนีในส่วนต่างๆของเว็บไซต์ของฉันตามที่ @AJ Kohn พูดถึง

ฉันไม่ได้ทำงานด้วยตัวเอง แต่โครงการส่วนใหญ่ของฉันคือแอปพลิเคชันหรือเว็บไซต์ที่ต้องมีบัญชีผู้ใช้ดังนั้นการจัดทำดัชนีโดยเครื่องมือค้นหาไม่ได้มุ่งเน้น

ที่กล่าวว่าฉันเคยได้ยินมาก่อนว่า SEO ได้กลายเป็นแผนผังไซต์ที่ไร้ประโยชน์ หากคุณดูโปรโตคอลมันเป็น "ระบบการให้เกียรติ" เพื่อบอกว่าหน้าเปลี่ยนแปลงบ่อยแค่ไหนและลำดับความสำคัญที่สัมพันธ์กันของแต่ละหน้าคืออะไร เหตุผลก็คือ บริษัท SEO จำนวนเล็กน้อยในหลาย ๆ แห่งใช้ผิดประเภท - ทุกหน้ามีความสำคัญสูงสุด! ทุกหน้ามีการเปลี่ยนแปลงทุกชั่วโมง! - และแผนผังเว็บไซต์ที่แสดงผลไร้ประโยชน์อย่างมีประสิทธิภาพ

บทความนี้จากปี 2008บอกว่าโดยทั่วไปแล้วและดูเหมือนว่าจะได้ข้อสรุปเดียวกับที่คุณทำ: แผนผังไซต์นั้นไร้ประโยชน์และคุณควรปรับปรุงเนื้อหาเพื่อจัดทำดัชนีและแผนผังไซต์

ปล่อยให้มันคลาน

ฉันทำต่อไปนี้:

1. ทำให้ไซต์สามารถรวบรวมข้อมูลได้แบบเก่า
2. ตรวจสอบให้แน่ใจว่าฉันมี robots.txt พร้อมแผนผังไซต์
3. ทำแผนผังเว็บไซต์ XML แต่ไม่ต้องส่ง ให้โปรแกรมสืบค้นค้นพบและใช้งานได้ตามต้องการโดยเป็นส่วนหนึ่งของกระบวนการค้นหาและจัดทำดัชนี

ฉันสร้างไฟล์ XML แบบขยายซึ่งทำหน้าที่เป็นฐานสำหรับหลายสิ่ง:

• สร้างแผนผังเว็บไซต์ HTML
• ช่วยหน้า 404 (ไม่พบ)
• ช่วยงานเล็ก ๆ อื่น ๆ เช่นทำ breadcrumbs หรือรับ metadata บางอย่างในรูปแบบ Facade ของฉันสำหรับหน้า

ดังนั้นฉันมีทั้งหมดนี้ทำไมไม่ให้บริการแผนผังเว็บไซต์ xml และให้โปรแกรมรวบรวมข้อมูลทำสิ่งที่มันอยากจะทำถ้ามันอยากจะทำมันได้หรือไม่

Jeff ฉันไม่มีความคิดเกี่ยวกับ Stackoverflow เนื่องจากฉันไม่เคยมีโอกาสในชีวิตของฉันในการเป็นผู้ดูแลเว็บของเว็บไซต์ที่ใหญ่และทันสมัยมาก

สำหรับเว็บไซต์ขนาดเล็กที่ไม่ได้เปลี่ยนบ่อยฉันคิดว่า sitemap นั้นค่อนข้างมีประโยชน์ (ไม่ได้บอกว่า sitemap นั้นเป็นสิ่งที่สำคัญที่สุด แต่ค่อนข้างมีประโยชน์ใช่) ด้วยเหตุผลสองประการ:

1. ไซต์ถูกตระเวนอย่างรวดเร็ว (ด้วยเหตุผลเดียวกับที่โจชัคตอบไว้ข้างต้น ) และจากประสบการณ์เล็ก ๆ ของฉันฉันสังเกตเห็นหลายครั้งด้วยไซต์เล็ก ๆ (สูงสุด 30/50 หน้า)

2. หลังจากนั้นไม่กี่สัปดาห์ที่ผ่านมาฉันส่งแผนผังผมมองใน "Google Webmaster Tools - แผนผังเว็บไซต์" และฉันสามารถดูจำนวน URL ที่ส่งในแผนผังไซต์ VS จำนวนของ URL ในดัชนีเว็บ หากฉันเห็นว่าพวกเขาเหมือนกันก็ดี มิฉะนั้นฉันสามารถตรวจสอบได้ทันทีในเว็บไซต์ของฉันหน้าใดไม่ได้รับการจัดทำดัชนีและทำไม

นี่เป็นครั้งแรกที่เขียนโดยRandfish ที่ SEOmozเมื่อปีที่แล้วในปี 2550 ครั้งแรกที่เขาได้ข้อสรุปประเภทเดียวกัน แต่เมื่อเวลาผ่านไปมันก็ผ่านไป ...

เขาได้ตั้งแต่ (ม.ค. 2009) เพิ่มบทความลงในบทความที่ระบุว่าข้อเสียใด ๆ ที่เป็นไปได้จะมีค่าเกินโดยผลบวกโดยรวมของการสร้างตรวจสอบและส่งแผนผังเว็บไซต์

อัปเดต 5 มกราคม 2009 - ฉันเปลี่ยนใจจริง ๆ กับคำแนะนำนี้ ใช่แผนผังไซต์ยังสามารถทำให้เข้าใจปัญหาทางสถาปัตยกรรมได้ แต่ด้วยประสบการณ์ที่ฉันมีในช่วง 1.5 ปีที่ผ่านมาตอนนี้ฉันแนะนำให้ลูกค้าของเราทุกคน (และเกือบทุกคนที่ถาม) ว่าจะส่งแผนผังไซต์ ผลบวกในแง่ของการรวบรวมข้อมูลการจัดทำดัชนีและการรับส่งข้อมูลนั้นมีค่ามากกว่าข้อเสีย

ฉันเชื่อว่า SiteMaps ให้บริการสองวัตถุประสงค์เท่านั้นในวันนี้:

• ช่วยให้คุณลดความถี่ของการ spidering เพื่อบรรเทาภาระของเซิร์ฟเวอร์ นี่ไม่ควรเป็นปัญหาสำหรับเว็บไซต์ส่วนใหญ่
• พวกเขาสามารถช่วยบังคับใช้สิ่งที่เครื่องมือค้นหารู้จักคุณอยู่แล้ว การแสดงชื่อหน้าและการเพิ่มน้ำหนักที่เหมาะสมให้กับแต่ละหน้าช่วยให้เครื่องมือค้นหาตรวจสอบความถูกต้องของเมตริกเพื่อจัดอันดับสถาปัตยกรรมเว็บไซต์ของคุณ

ห้ามใช้ SITEMAPS

Sitemaps ส่วนใหญ่จะใช้สำหรับเว็บไซต์ที่ไม่มีการประทับเวลาดัชนีและโหนด .... SE ทำทั้งสองอย่างเพื่อเนื้อหาหลักดังนั้นการมีแผนผังไซต์จะทำให้โปรแกรมรวบรวมข้อมูลช้าลง ... ใช่แล้วใช่แล้วมันจะช้าลงเพราะ sitemap ขาดข้อมูลเมตาที่ดัชนีหลักมี บน flipside ฉันไม่รู้เลยว่า google สร้างมันเป็นบอทแค่ไหนถ้ารู้ว่าฉันจะไปบอท SE ฉันจะไม่ใช้แผนผังไซต์ นอกจากนี้เว็บไซต์บางแห่งไม่สังเกตเห็นว่าแผนผังไซต์ของพวกเขานั้นมีทั้งหมด%! @ $ - และหากคุณสร้างโปรไฟล์บนแผนผังเว็บไซต์นั่นเป็นสิ่งที่เกิดขึ้นทันทีทันใดและคุณต้องสร้างโปรไฟล์ใหม่จาก เว็บไซต์จริง

ดังนั้นคุณพูดถูก - อย่าใช้ SITEMAPS!

เคล็ดลับ:สิ่งหนึ่งที่คุณควรทำคือรักษาซีแมนทิกส์ของแท็กให้เหมือนเดิมตลอดเวลาให้มากที่สุดซึ่งหมายความว่า "ถามเมื่อหนึ่งชั่วโมงก่อน" มีการฝังข้อมูลเมตาไว้เช่น:

title="2010-11-02 00:07:15Z" class="relativetime"

ไม่เคยเปลี่ยนชื่อสตริงrelativetimeเว้นแต่ความหมายของข้อมูลที่titleมีการเปลี่ยนแปลง ไม่เคย ... :-)

ฉันเพิ่งปรับโครงสร้างเว็บไซต์ที่ฉันยังทำงานอยู่ เนื่องจากไม่มีวิธีที่ดีที่ฉันจะเห็นลิงก์ 500,000 หน้าเพื่อช่วยผู้ใช้ฉันจึงตัดสินใจใช้แผนผังไซต์ XML และส่งให้ Google และใช้การค้นหาไซต์แทน Google ไม่มีปัญหาในการทำดัชนีเว็บไซต์ของฉันก่อนหน้านี้อย่างไรก็ตามตั้งแต่เพิ่ม sitemap, Google มีความก้าวร้าวมากในการ spidering เว็บไซต์ของฉันและจัดทำดัชนีหน้าเว็บที่รวดเร็วมาก Google ใช้แผนผังไซต์เพื่อค้นหาหน้าใหม่ (ประมาณ 3300 ต่อสัปดาห์) และกลับมายังหน้าเว็บที่อัปเดตใหม่ มันเป็นชัยชนะที่แท้จริงในหนังสือของฉัน ฉันยังคงต้องการหาวิธีใหม่ในการเชื่อมโยงหน้าเว็บของฉันและใช้ AJAX เพื่อค้นหา แต่นั่นเป็นโครงการสำหรับอีกวัน จนถึงตอนนี้ดีมาก! มันเป็นทางออกที่ดีสำหรับฉัน ทั้งหมดและทั้งหมดฉันได้รับและไม่สูญหาย ซึ่งน่าสนใจเนื่องจากฉันรู้สึกเสมอว่าแผนผังไซต์อาจมีประโยชน์มากกว่า แต่ถูก จำกัด ด้วยการออกแบบ

ฉันได้ยินมาว่าแผนที่ไซต์ทำให้หน้าเว็บของคุณเป็นดัชนีเสริมเร็วขึ้น แต่ฉันไม่เคยได้ยินแม้แต่ดัชนีเสริมที่กล่าวถึงมานานดังนั้นพวกเขาอาจไม่ได้ใช้อีกต่อไป

ป.ล. ในกรณีที่คำสั่งของฉันไม่ชัดเจนเพียงพออยู่ในดัชนีเสริมคือ (หรือเป็น) สิ่งที่ไม่ดี ... ดังนั้นแผนผังเว็บไซต์เป็น (หรือเป็น) BAD

เราใช้แผนผัง (ไม่ได้ส่งไปยังเครื่องมือค้นหา แต่เชื่อมโยงในrobots.txt) <priority>เป็นหลักสำหรับการทำให้แน่ใจว่าหน้าแรกมีสูงที่สุด ฉันไม่แน่ใจว่าพวกเขามีประโยชน์อื่น ๆ อีกมากมายหรือไม่

ฉันไม่เห็นด้วยว่า Google จะไม่จัดทำดัชนีลิงก์สำหรับไซต์ที่เชื่อมโยงเท่านั้น ฉันมีเว็บไซต์จำนวนมากที่มีหน้าเว็บที่เข้าถึงได้ผ่าน Sitemap เท่านั้นและ Google จะจัดทำดัชนีโดยไม่มีปัญหา ฉันสามารถให้ตัวอย่างมากมายของสิ่งนี้

ไซต์ที่สร้างมาอย่างดีไม่จำเป็นต้องมีแผนผังเว็บไซต์แม้ว่ามันจะสามารถช่วยในการครอบคลุมและการจัดอันดับของเราและเพิ่มมูลค่าพิเศษเล็กน้อยเช่นลำดับความสำคัญความถี่ในการอัปเดต ฯลฯ คุณสามารถบอกเครื่องมือค้นหาเฮ้ ... ฉันอัปเดตหน้านี้แล้ว อยู่ตรงกลางของเว็บไซต์ของฉันโดยไม่ต้องรวบรวมข้อมูลเต็ม ฉันไม่เคยดูรูปแบบการรวบรวมข้อมูล แต่หวังว่ามันจะช่วยได้

ต้องบอกว่าข้อดีที่แท้จริงสำหรับฉันคือเครื่องมือของผู้ดูแลเว็บและข้อมูลเชิงลึกที่ช่วยให้คุณมองเห็นเว็บไซต์และผู้ใช้ของคุณ