การดาวน์โหลดแบบเรียกซ้ำ (`wget -r`) เทียบเท่ากับ Firefox?


14

ฉันมีเว็บไซต์และต้องการดาวน์โหลดทุกหน้า / ลิงค์ภายในเว็บไซต์นั้น ฉันต้องการจะทำ wget -r บน URL นี้ ไม่มีลิงก์ใดที่ "อยู่ด้านนอก" ของไดเรกทอรีเฉพาะนี้ดังนั้นฉันจึงไม่กังวลเกี่ยวกับการดาวน์โหลดอินเทอร์เน็ตทั้งหมด

ตามที่ปรากฎหน้าเว็บที่ฉันต้องการอยู่หลังส่วนที่มีการป้องกันด้วยรหัสผ่านของเว็บไซต์ ในขณะที่ฉันสามารถใช้ wget ทำการเจรจาคุกกี้ด้วยตนเองมันจะง่ายขึ้นมากสำหรับฉันที่จะเพียงแค่ "เข้าสู่ระบบ" จากเบราว์เซอร์และใช้ปลั๊กอิน Firefox เพื่อดาวน์โหลดทุกอย่างซ้ำ ๆ

มีส่วนขยายหรือบางอย่างที่จะให้ฉันทำสิ่งนี้หรือไม่? ส่วนขยายจำนวนมากเน้นที่การรับสื่อ / รูปภาพจากหน้า (heh. heh.) แต่ฉันสนใจเนื้อหาทั้งหมด - HTML และทุกอย่าง

ข้อเสนอแนะ?

ขอบคุณ!

แก้ไข

DownThemAll ดูเหมือนคำแนะนำที่ยอดเยี่ยม มันสามารถทำ recursive ดาวน์โหลด? เช่นเดียวกับในการดาวน์โหลดลิงค์ทั้งหมดในหน้าแล้วดาวน์โหลดลิงค์ทั้งหมดที่มีอยู่ในแต่ละหน้า ฯลฯ ดังนั้นโดยทั่วไปฉันสะท้อนแผนผังไดเรกทอรีทั้งหมดโดยการติดตามลิงก์? ค่อนข้างชอบ -r ตัวเลือกของ wget?

คำตอบ:


7

DownThemAll ไม่ทำการดาวน์โหลดซ้ำ มันคว้าลิงค์จากหน้าปัจจุบัน มีการดาวน์โหลดเฉพาะหน้า HTML ของ URL ที่เชื่อมโยง รูปภาพและสื่อของหน้าที่เชื่อมโยงจะไม่ถูกดาวน์โหลด


6

SpiderZilla หมายถึงการทำเช่นนั้น - แต่มันเก่าไปหน่อย (2549)
มันขึ้นอยู่กับ เครื่องถ่ายเอกสารเว็บไซต์ HTTrack .
ซึ่งมี รุ่นที่อัพเดท สำหรับทุกแพลตฟอร์ม

นอกจากนี้ยังมี addon รุ่นเก่าอีกอัน ที่สามารถให้คุณปลั๊กอิน ' wget 'ตัวเอง (เหนือสิ่งอื่นใด)

อย่างไรก็ตามฉันก็รู้สึกว่า DownThemAll อาจเป็นตัวเลือกที่ดี
หากคุณรู้ว่าสิ่งที่คุณต้องการสะท้อนการเลือกลิงค์ที่ถูกต้องไม่ควรเป็นปัญหา
และคุณสามารถทำเครื่องหมายที่ช่อง 'ทั้งหมด'

ดังนั้น +1 สำหรับ DownThemAll ถ้าคุณต้องการติดกับเบราว์เซอร์
และใช้ HTTrack หากคุณต้องการเครื่องมือแบบสแตนด์อโลน (และ wget ไม่มีประโยชน์)

อัปเดต: คุณอาจต้องการที่จะดูคะแนนโหวตของ HTTrack ที่คำถามโปรดปรานนี้
ฉันจะดาวน์โหลดเว็บไซต์ทั้งหมดได้อย่างไร .


DTA ไม่รองรับการเรียกซ้ำ
Hayden Thring

3

คุณสามารถใช้ได้ wget -r กับคุกกี้จากเบราว์เซอร์แยกหลังจากได้รับอนุญาต

Firefox มีตัวเลือก "คัดลอกเป็น cURL" ในเมนูบริบทของคำขอหน้าในแท็บเครือข่ายของเครื่องมือสำหรับนักพัฒนาเว็บฮอตคีย์ Ctrl + Shift + Q (คุณอาจต้องโหลดหน้าใหม่หลังจากเปิดเครื่องมือ) screenshot

แทนที่ธงส่วนหัวของขด -H ด้วยของ wget --headerและคุณมีส่วนหัวที่จำเป็นรวมถึงคุกกี้เพื่อดำเนินการต่อเซสชันเบราว์เซอร์ด้วย wget

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.