1 เราสามารถใช้ regex ในไฟล์ robots.txt เพื่อบล็อก URL ได้หรือไม่? ฉันมี URL ที่สร้างขึ้นแบบไดนามิกบางส่วน ฉันสามารถใช้ regex เพื่อบล็อก URL เหล่านี้ในไฟล์ robots.txt ได้หรือไม่ 23 robots.txt regular-expression