การเขียนโปรแกรม wget

3

ฉันจะร้องขอไฟล์ แต่ไม่บันทึกด้วย Wget ได้อย่างไร [ปิด]

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้เป็นไปตามหัวข้อสำหรับ Stack Overflow ปิดให้บริการใน7 ปีที่ผ่านมา ปรับปรุงคำถามนี้ ฉันใช้ Wget เพื่อส่งคำขอ HTTP ไปยังเว็บเซิร์ฟเวอร์ใหม่ ฉันทำเช่นนี้เพื่ออุ่นแคช MySQL ฉันไม่ต้องการบันทึกไฟล์หลังจากให้บริการ wget -nv -do-not-save-file $url ฉันจะทำอะไรที่เหมือนกับ-do-not-save-filewget ได้ไหม?

140 linux caching wget

7

ฉันจะใช้ Wget เพื่อดาวน์โหลดภาพทั้งหมดลงในโฟลเดอร์เดียวจาก URL ได้อย่างไร

ฉันใช้ wget เพื่อดาวน์โหลดรูปภาพทั้งหมดจากเว็บไซต์และใช้งานได้ดี แต่เก็บลำดับชั้นดั้งเดิมของไซต์พร้อมโฟลเดอร์ย่อยทั้งหมดดังนั้นภาพจึงถูกจุดรอบ ๆ มีวิธีที่จะดาวน์โหลดภาพทั้งหมดลงในโฟลเดอร์เดียวหรือไม่? ไวยากรณ์ที่ฉันใช้ในขณะนี้คือ: wget -r -A jpeg,jpg,bmp,gif,png http://www.somedomain.com

137 wget

4

อะไรคือสิ่งที่ดีกว่า curl หรือ wget? [ปิด]

ปิด . คำถามนี้เป็นคำถามความคิดเห็นตาม ขณะนี้ยังไม่ยอมรับคำตอบ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้สามารถตอบพร้อมข้อเท็จจริงและการอ้างอิงได้โดยแก้ไขโพสต์นี้ ปิดให้บริการใน5 ปีที่ผ่านมา ปรับปรุงคำถามนี้ พวกเดียวกันหรือไม่? บางสิ่งสามารถทำได้กับสิ่งหนึ่ง แต่ทำไม่ได้? นู้นคืออะไร? หรือในตอนท้ายของวันเป็นเรื่องของความคุ้นเคย?

132 linux curl wget

4

จะใช้คำขอ Python เพื่อปลอมการเยี่ยมชมเบราว์เซอร์ได้อย่างไร

ฉันต้องการรับเนื้อหาจากเว็บไซต์ด้านล่าง หากฉันใช้เบราว์เซอร์เช่น Firefox หรือ Chrome ฉันจะได้รับหน้าเว็บไซต์จริงที่ฉันต้องการ แต่ถ้าฉันใช้แพคเกจคำขอ Python (หรือwgetคำสั่ง) เพื่อรับมันจะส่งคืนหน้า HTML ที่แตกต่างกันโดยสิ้นเชิง ฉันคิดว่าผู้พัฒนาเว็บไซต์ได้ทำการบล็อกบางส่วนสำหรับสิ่งนี้ดังนั้นคำถามคือ: ฉันจะปลอมการเยี่ยมชมเบราว์เซอร์โดยใช้คำขอ python หรือคำสั่ง wget ได้อย่างไร http://www.ichangtou.com/#company:data_000008.html

129 python html web-scraping python-requests wget

10

รับ URL สุดท้ายหลังจากเปลี่ยนเส้นทาง curl

ฉันต้องการรับ URL สุดท้ายหลังจากการเปลี่ยนเส้นทางหน้าควรใช้ curl หรือ wget ยกตัวอย่างเช่นhttp://google.comอาจเปลี่ยนเส้นทางไปยังhttp://www.google.com เนื้อหานั้นง่ายต่อการรับ (เช่นcurl --max-redirs 10 http://google.com -L) แต่ฉันสนใจเฉพาะ url สุดท้าย (ในกรณีเดิมคือhttp://www.google.com ) มีวิธีใดบ้างในการทำเช่นนี้โดยใช้เครื่องมือในตัวของ Linux เท่านั้น? (บรรทัดคำสั่งเท่านั้น)

118 linux redirect curl wget

5

Wget เอกสารเอาต์พุตและส่วนหัวไปยัง STDOUT

ฉันกำลังพยายามส่งออกเนื้อหาของเอกสารและส่วนหัวเป็น stdout ด้วย wget by wget -S -O - http://google.com แต่จะแสดงเฉพาะเอกสาร html ขอบคุณ UPD: ทำงานนี้ wget --save-headers --output-document - http://google.com wget --version แสดง GNU Wget 1.11.4 Red Hat ที่แก้ไข

116 linux http wget

6

จะรับเนื้อหาของเว็บเพจในตัวแปรเชลล์ได้อย่างไร

ใน Linux ฉันจะดึง URL และรับเนื้อหาในตัวแปรในเชลล์สคริปต์ได้อย่างไร

115 linux bash shell wget

5

ฉันจะดาวน์โหลด tarball จาก GitHub โดยใช้ cURL ได้อย่างไร

ฉันพยายามดาวน์โหลด tarball จาก GitHub โดยใช้cURLแต่ดูเหมือนจะไม่เปลี่ยนเส้นทาง: $ curl --insecure https://github.com/pinard/Pymacs/tarball/v0.24-beta2 <html><body>You are being <a href="https://nodeload.github.com/pinard/Pymacs/tarball/v0.24-beta2">redirected</a>.</body></html> หมายเหตุ: wget ใช้ได้กับฉัน: $ wget --no-check-certificate https://github.com/pinard/Pymacs/tarball/v0.24-beta2 อย่างไรก็ตามฉันต้องการใช้ cURL เพราะท้ายที่สุดฉันต้องการที่จะแก้ปัญหาในบรรทัดด้วยสิ่งที่ชอบ $ curl --insecure https://github.com/pinard/Pymacs/tarball/v0.24-beta2 | tar zx ฉันพบว่า URL หลังจากเปลี่ยนเส้นทางกลายเป็นhttps://download.github.com/pinard-Pymacs-v0.24-beta1-0-gcebc80b.tar.gzแต่ฉันต้องการให้ cURL ฉลาดพอที่จะคิดได้ นี้ออก

93 linux curl github wget

2

จะส่งคำขอ HTTP OPTIONS จากบรรทัดคำสั่งได้อย่างไร

ฉันพยายามใช้ cURL แต่ดูเหมือนว่าโดยค่าเริ่มต้น (Debian) จะไม่ได้คอมไพล์ด้วยการรองรับ HTTPS และฉันไม่ต้องการสร้างมันด้วยตัวเอง wget ดูเหมือนว่าจะรองรับ SSL แต่ฉันไม่พบข้อมูลเกี่ยวกับวิธีสร้างคำขอ OPTIONS HTTP ด้วย wget

93 curl wget

คำถามติดแท็ก wget