เครื่องมือที่ดีในการรวบรวมข้อมูลเว็บไซต์ของฉันและช่วยฉันหาลิงค์ที่ตายแล้วและไฟล์ที่ไม่ได้เชื่อมโยง [ปิด]

ฉันมีเว็บไซต์มรดกที่ยิ่งใหญ่ที่มี PDF จำนวนหลายพันตัวซึ่งบางครั้งก็เป็นบัญชีในฐานข้อมูล แต่มักจะเป็นเพียงลิงก์ในหน้าและจะถูกเก็บไว้ในไดเรกทอรีส่วนใหญ่ทุกไซต์

ฉันได้เขียน php crawler เพื่อติดตามลิงก์ทั้งหมดบนเว็บไซต์ของฉันแล้วฉันเปรียบเทียบมันกับการดัมพ์ของโครงสร้างไดเรกทอรี แต่มีอะไรที่ง่ายกว่านี้ไหม

ฉันใช้นักสืบลิงก์ของ Xenuแล้ว มันใช้งานได้ค่อนข้างดีอย่าลืมดอสด้วยตัวเอง!

หากคุณใช้ windows 7 เครื่องมือที่ดีที่สุดคือ Toolkit SEO ของ IIS7 มันฟรีและคุณสามารถดาวน์โหลดได้ฟรี

เครื่องมือนี้จะสแกนไซต์ใด ๆ และบอกคุณว่าลิงก์ที่ไม่ทำงานทั้งหมดอยู่ที่ใดหน้าใดที่ใช้เวลาโหลดนานหน้าใดที่มีชื่อหายไปชื่อซ้ำกันคำหลักและคำอธิบายที่เหมือนกันและหน้าใดมี HTML ที่แตก

ลองเครื่องมือมาของ W3C เปิด Link Checker คุณสามารถใช้ออนไลน์หรือติดตั้งในเครื่อง

ฉันเป็นแฟนตัวยงของlinklintสำหรับการตรวจสอบเว็บไซต์แบบคงที่ขนาดใหญ่ถ้าคุณมีบรรทัดคำสั่ง unix (ฉันเคยใช้กับ linux, MacOS และ FreeBSD) ดูเว็บไซต์ของพวกเขาสำหรับคำแนะนำในการติดตั้ง เมื่อติดตั้งแล้วฉันจะสร้างไฟล์ชื่อcheck.llและทำ:

linklint @check.ll

นี่คือลักษณะของไฟล์ check.ll ของฉัน

# linklint
-doc .
-delay 0
-http
-htmlonly
-limit 4000
-net
-host www.example.com
-timeout 10

นั่นเป็นการรวบรวมข้อมูลwww.example.comและสร้างไฟล์ HTML ที่มีรายงานอ้างอิงข้ามสำหรับสิ่งที่เสียหายขาดหายไป ฯลฯ

มีผลิตภัณฑ์มากมายจากMicrosysโดยเฉพาะเครื่องสร้าง Sitemap A1และเครื่องมือวิเคราะห์เว็บไซต์ A1ที่จะรวบรวมข้อมูลเว็บไซต์ของคุณและรายงานทุกสิ่งที่คุณสามารถจินตนาการได้

ซึ่งรวมถึงลิงก์ที่ใช้งานไม่ได้ แต่ยังดูตารางของหน้าทั้งหมดของคุณเพื่อให้คุณสามารถเปรียบเทียบสิ่งต่างๆเช่นแท็ก <title> และ meta description ที่เหมือนกันลิงค์ nofollow, meta noindex บนหน้าเว็บและโรคจำนวนมากที่ต้องใช้สายตาที่คมชัดและ มือที่รวดเร็วในการแก้ไข

Link Examinerเป็นฟรีแวร์ที่ดีมากสำหรับความต้องการของคุณ