ฉันต้องการดาวน์โหลดทั้งเว็บไซต์โดยใช้ wget แต่ฉันไม่ต้องการให้ดาวน์โหลดรูปภาพวิดีโอ ฯลฯ
ฉันเหนื่อย
wget -bqre robots=off -A.html example.com –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6″
แต่เมื่อฉันทำเช่นนั้นมันจะไม่ดาวน์โหลดไฟล์. php เพียงแค่ดาวน์โหลดไฟล์. html แบบคงที่
มีวิธีแก้ปัญหานี้ด้วย wget หรือไม่?
คำตอบ:
คุณบอกอย่างชัดเจนว่าคุณยอมรับเฉพาะไฟล์ที่มี.htmlคำต่อท้าย
สมมติว่าหน้า php มี.phpคุณสามารถทำได้:
wget -bqre robots=off -A.html,.php example.com –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6″
โปรดทราบว่าสิ่งนี้จะดาวน์โหลด html ที่แสดงผลไม่ใช่ที่มาของ php หากหน้านั้นเป็นแบบไดนามิกอย่างเพียงพอคุณอาจไม่ได้รับผลลัพธ์ที่แสดงผลตามที่คุณคาดหวัง
อย่างไรก็ตามฉันขอแนะนำว่าเครื่องมืออื่นเช่นhttrackอาจทำงานได้ดีขึ้น - ขึ้นอยู่กับสิ่งที่คุณต้องทำ
- ใช้รายการดังนั้น -A.html, .php ควรพอดีกับใบเรียกเก็บเงิน คุณควรมองไปที่ -R (นอกจากนี้ยังใช้รายการปฏิเสธ)
ใช่มีและมันค่อนข้างง่าย ลองดูคำตอบ SO นี้: /superuser/709702/how-to-crawl-using-wget-to-download-only-html-files-ignore-images-css-js
TL / DR; ใช้--follow-tags=aซึ่งจะเป็นไปตามaแท็กเท่านั้น