เราสามารถใช้ regex ในไฟล์ robots.txt เพื่อบล็อก URL ได้หรือไม่?

ฉันมี URL ที่สร้างขึ้นแบบไดนามิกบางส่วน

ฉันสามารถใช้ regex เพื่อบล็อก URL เหล่านี้ในไฟล์ robots.txt ได้หรือไม่

นิพจน์ทั่วไปไม่ถูกต้องใน robots.txt แต่ Google, Bing และบอตอื่น ๆ จะรู้จักการจับคู่รูปแบบบางอย่าง

พูดว่าถ้าคุณต้องการปิดกั้น URL ทั้งหมดที่มีexampleที่ไหนใน URL คุณสามารถใช้รายการบัตรเสริม *

User-agent: *
Disallow: /*example

นอกจากนี้คุณยังสามารถใช้เครื่องหมายดอลลาร์เพื่อระบุว่า URL จะต้องจบด้วยวิธีนั้น ดังนั้นหากคุณต้องการปิดกั้น URL ทั้งหมดที่ลงท้ายด้วยexampleแต่ไม่ใช่ URL ที่มีที่exampleอื่นใน URL คุณสามารถใช้:

User-agent: *
Disallow: /*example$

ดูข้อมูลเชิงลึกเพิ่มเติมเกี่ยวกับ Google ได้ที่นี่: ข้อมูลจำเพาะของ Robots.txt , Bing ที่นี่: วิธีสร้างไฟล์ Robots.txtและมีคำแนะนำแบบโต้ตอบบน Moz ที่นี่