สามารถใช้แผนผังไซต์แบบสัมพันธ์ใน robots.txt ได้หรือไม่


191

ใน robots.txt ฉันสามารถเขียน URL สัมพัทธ์ต่อไปนี้สำหรับไฟล์ sitemap ได้หรือไม่

sitemap: /sitemap.ashx

หรือฉันจะต้องใช้ URL ที่สมบูรณ์ (แน่นอน) สำหรับไฟล์ sitemap เช่น:

sitemap: http://subdomain.domain.com/sitemap.ashx

ทำไมฉันสงสัย:

  • ฉันเป็นเจ้าของบล็อกบริการใหม่ www.domain.com ซึ่งอนุญาตให้ผู้ใช้บล็อกบน accountname.domain.com
  • ฉันใช้ไวด์การ์ดดังนั้นโดเมนย่อย (บัญชี) ทั้งหมดชี้ไปที่: "blog.domain.com"

ใน blog.domain.com ฉันวาง robots.txt เพื่อให้เครื่องมือค้นหาค้นหาแผนผังไซต์ แต่เนื่องจาก wildcard บัญชีผู้ใช้ทั้งหมดแชร์ไฟล์ robots.txt เดียวกันด้วยเหตุนี้ฉันจึงไม่สามารถใช้ทางเลือกที่สองได้ และตอนนี้ฉันไม่สามารถใช้ url rewrite สำหรับไฟล์ txt ได้ (ฉันเดาว่า IIS รุ่นใหม่กว่าสามารถจัดการกับสิ่งนี้ได้)

คำตอบ:


318

ตามเอกสารอย่างเป็นทางการของsitemaps.orgจะต้องมี URL แบบเต็ม:

คุณสามารถระบุตำแหน่งของ Sitemap ได้โดยใช้ไฟล์ robots.txt ในการทำเช่นนี้เพียงเพิ่มบรรทัดต่อไปนี้ซึ่งรวมถึงURL แบบเต็มลงในแผนผังไซต์:

Sitemap: http://www.example.com/sitemap.xml

31
โปรดทราบว่าตัวอย่างของ @ unor มี: แผนผังไซต์ที่มีตัวพิมพ์ใหญ่ S สิ่งสำคัญคือ Robots.txt ต้องตรงตามตัวพิมพ์ใหญ่ - เล็ก
BodgeIT

19
และในหัวข้อกรณีrobotstxt.orgระบุไฟล์ที่จะตั้งชื่อrobots.txtโดยไม่มีตัวอักษรตัวใหญ่อาร์
khargoosh

หากไซต์กำลังโหลด https, Sitemap URL ที่กล่าวถึงด้วย http สบายดีไหม หรือเราต้องวาง URL แผนผังเว็บไซต์ตามโปรโตคอลหรือไม่
Shams

4
@Shams: URL ที่แสดงใน sitemap ของคุณต้องใช้โปรโตคอลเดียวกันและโฮสต์เดียวกันกับไฟล์ sitemap หากเว็บไซต์ของคุณอยู่ภายใต้การใช้ได้http และ httpsคุณควรให้หนึ่งแผนผังไซต์ (กับตัวแปรที่ยอมรับ)
2560

2

โปรแกรมรวบรวมข้อมูลของ Google ไม่ฉลาดพอที่จะไม่สามารถรวบรวมข้อมูล URL ที่สัมพันธ์กันได้จึงเป็นเหตุผลที่แนะนำให้ใช้ URL แบบสัมบูรณ์เพื่อความสามารถในการรวบรวมข้อมูลและการจัดทำดัชนีที่ดีกว่า

ดังนั้นคุณไม่สามารถใช้รูปแบบนี้

> sitemap: /sitemap.xml

ไวยากรณ์ที่แนะนำคือ

Sitemap: https://www.yourdomain.com/sitemap.xml

บันทึก:

  • อย่าลืมพิมพ์อักษรตัวแรกใน "sitemap"
  • อย่าลืมใส่ช่องว่างหลัง "Sitemap:"

-2

คำถามทางเทคนิคและตรรกะที่ดีเพื่อนรักของฉัน ไม่อยู่ในไฟล์ robots.txt คุณไม่สามารถไปกับ URL สัมพัทธ์ของแผนผังไซต์ได้ คุณต้องไปกับ URL ที่สมบูรณ์ของแผนผังเว็บไซต์

จะดีกว่าไปกับ "sitemap: https://www.example.com/sitemap_index.xml "

ใน URL ด้านบนหลังจากเครื่องหมายจุดคู่ให้พื้นที่ ฉันยังต้องการสนับสนุน Deepak

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.