6
เครื่องมือที่ดีในการรวบรวมข้อมูลเว็บไซต์ของฉันและช่วยฉันหาลิงค์ที่ตายแล้วและไฟล์ที่ไม่ได้เชื่อมโยง [ปิด]
ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้เป็นไปตามหัวข้อสำหรับ Webmasters Stack Exchange ปิดให้บริการใน6 ปีที่ผ่านมา ฉันมีเว็บไซต์มรดกที่ยิ่งใหญ่ที่มี PDF จำนวนหลายพันตัวซึ่งบางครั้งก็เป็นบัญชีในฐานข้อมูล แต่มักจะเป็นเพียงลิงก์ในหน้าและจะถูกเก็บไว้ในไดเรกทอรีส่วนใหญ่ทุกไซต์ ฉันได้เขียน php crawler เพื่อติดตามลิงก์ทั้งหมดบนเว็บไซต์ของฉันแล้วฉันเปรียบเทียบมันกับการดัมพ์ของโครงสร้างไดเรกทอรี แต่มีอะไรที่ง่ายกว่านี้ไหม