คำถามติดแท็ก wget

ฉันเห็นว่า wget มี--post-fileตัวเลือก แต่ manpage พูด Wget ไม่สนับสนุนการ multipart / form-data สำหรับการส่งข้อมูล POST; แอปพลิเคชันเท่านั้น / x-www-form-urlencoded เพียงคนเดียว--post-dataและ--post-fileควรมีการระบุ มีวิธีที่คล้ายกันในการอัปโหลดไฟล์ในหลายส่วน / แบบฟอร์มข้อมูลหรือไม่?

25 http  wget  upload 

ฉันลองคำสั่งต่อไปนี้: $ wget -q --tries=10 --timeout=20 --spider http://google.com (จากโพสต์ดังนั้นฉันต้องการตรวจสอบการเชื่อมต่ออินเทอร์เน็ตของฉันในทุบตี) ฉันได้รับผลลัพธ์ต่อไปนี้: Spider mode enabled. Check if remote file exists. --2015-09-28 09:55:50-- http://google.com/ Connecting to 127.0.0.1:3128... connected. Proxy request sent, awaiting response... 302 Found Location: http://www.google.de/?gfe_rd=cr&ei=k_IIVreaN-yH8Qfe1Yu4CA [following] Spider mode enabled. Check if remote file exists. --2015-09-28 09:55:50-- http://www.google.de/?gfe_rd=cr&ei=k_IIVreaN-yH8Qfe1Yu4CA Connecting to 127.0.0.1:3128... connected. …

21 bash  sudo  wget 

ฉันใช้ Wget อยู่และฉันเจอปัญหาแล้ว ฉันมีไซต์ที่มีหลายโฟลเดอร์และโฟลเดอร์ย่อยภายในไซต์ ฉันต้องดาวน์โหลดเนื้อหาทั้งหมดในแต่ละโฟลเดอร์และโฟลเดอร์ย่อย ฉันลองใช้หลายวิธีโดยใช้ Wget และเมื่อฉันตรวจสอบความสมบูรณ์ทั้งหมดที่ฉันเห็นในโฟลเดอร์คือไฟล์ "ดัชนี" ฉันสามารถคลิกที่ไฟล์ดัชนีและมันจะพาฉันไปยังไฟล์ต่าง ๆ แต่ฉันต้องการไฟล์จริง ไม่มีใครมีคำสั่งสำหรับ Wget ที่ฉันมองข้ามหรือมีโปรแกรมอื่นที่ฉันสามารถใช้เพื่อรับข้อมูลทั้งหมดนี้ได้หรือไม่ ตัวอย่างไซต์: www.mysite.com/Pictures/ ภายใน Pictures DIr มีหลายโฟลเดอร์ ..... www.mysite.com/Pictures/Accounting/ www.mysite.com/Pictures/Managers/North America / California / JoeUser.jpg ฉันต้องการไฟล์โฟลเดอร์ ฯลฯ ทั้งหมด

21 wget 

ฉันดาวน์โหลด Wget จากที่นี่และมีไฟล์ชื่อwget-latest.tar.gzลงวันที่ 22 ก.ย. 2552 ฉันบันทึกลงในโฟลเดอร์ใดโฟลเดอร์หนึ่งในD:ไดรฟ์และคลายซิป ฉันอ่านREAD MEไฟล์ แต่ไม่พบข้อมูลใด ๆ เกี่ยวกับวิธีการติดตั้ง เนื่องจากไม่มีInstallไฟล์ฉันจึงสันนิษฐานว่าการขยายไฟล์wget.zipไปยังโฟลเดอร์ที่สร้างไว้ก่อนหน้านี้ได้ติดตั้งแล้ว อย่างไรก็ตามเมื่อฉันเปิดบรรทัดคำสั่งและพิมพ์: wget -r -A ".jpg,.gif,.png" http://mywebsite ฉันได้รับข้อความแสดงข้อผิดพลาดเท่านั้น เนื่องจากฉันใช้ XP เวอร์ชั่นภาษาจีนในขณะนี้และฉันไม่ได้อ่านภาษาจีนฉันไม่เข้าใจว่าข้อความนี้พูดอะไร แต่ฉันคิดว่านั่นหมายความว่า Wget ไม่ได้ติดตั้งอย่างถูกต้อง ดังนั้นฉันจะติดตั้ง Wget บน Windows XP ได้อย่างไร

18 windows-xp  installation  wget 

ฉันใช้ mac และมีรายการไฟล์ที่ฉันต้องการดาวน์โหลดจากเซิร์ฟเวอร์ ftp การเชื่อมต่อเป็นบิตรถดังนั้นฉันต้องการให้ลองใหม่และดำเนินการต่อหากการเชื่อมต่อหลุด ฉันรู้ว่าฉันสามารถทำได้ด้วย wget แต่น่าเสียดายที่ Mac OS X ไม่ได้มาพร้อมกับ wget ฉันสามารถติดตั้งได้ แต่ต้องทำอย่างนั้น (เว้นแต่ฉันจะพลาดอะไรบางอย่าง) ฉันต้องติดตั้ง XCode และ MacPort ก่อนซึ่งฉันต้องการหลีกเลี่ยง Curl สามารถใช้งานได้แม้ว่าจะดูเหมือน แต่ฉันไม่ทราบวิธีการทำงานหรือวิธีการใช้งานจริง หากฉันมีรายการไฟล์ในไฟล์ข้อความ (หนึ่งพา ธ เต็มต่อบรรทัดเช่นftp: // user: pass @ server / dir / file1 ) ฉันจะใช้ curl เพื่อดาวน์โหลดไฟล์ทั้งหมดได้อย่างไร? และฉันจะขดไม่ยอมแพ้ได้หรือไม่? กดไลค์อีกครั้งและลองดาวน์โหลดต่อจากที่ค้างไว้หรือไม่

17 mac  unix  download  wget  curl 

ฉันใช้wget --mirror --html-extension --convert-linksเพื่อสะท้อนเว็บไซต์ post.php?id=#.htmlแต่ผมจบลงด้วยจำนวนมากชื่อไฟล์ในรูปแบบ เมื่อฉันพยายามดูสิ่งเหล่านี้ในเบราว์เซอร์มันล้มเหลวเพราะเบราว์เซอร์จะไม่สนใจสตริงข้อความค้นหาเมื่อโหลดไฟล์ มีวิธีใดที่จะแทนที่?ตัวละครในชื่อไฟล์ด้วยอย่างอื่นได้บ้าง? คำตอบของการ--restrict-file-names=windowsทำงานอย่างถูกต้อง ใช้ร่วมกับแฟล็ก--convert-linksและ--adjust-extension/ -E(ชื่อเดิม--html-extensionซึ่งยังใช้งานได้ แต่ถูกคัดค้าน) จะสร้างมิเรอร์ที่ทำงานตามที่คาดไว้ wget --mirror --adjust-extension --convert-links --restrict-file-names=windows http://www.example

15 linux  wget  mirroring 

wget --load-cookiesจะโหลดคุกกี้เป็น "ไฟล์ต้นฉบับเดิมในรูปแบบที่ใช้โดยไฟล์ cookies.txt ของ Netscape" อย่างไรก็ตาม Firefox เก็บคุกกี้ไว้ในฐานข้อมูลSQLite มีวิธีการแยก "ไฟล์ cookies.txt ของ Netscape" จากcookies.sqliteไฟล์Firefox หรือไม่

15 firefox  wget  cookies 

ฉันพยายามรับไฟล์บางไฟล์จากเซิร์ฟเวอร์ ftp ของฉันจากบรรทัดคำสั่ง ฉันใช้ wget เพื่อดาวน์โหลดโฟลเดอร์ทั้งหมดในครั้งเดียว คำสั่งคือ: wget -m ftp://username:password@ftp.hostname.com:/path/to/folder แต่ปัญหาคือรหัสผ่านของฉันมีสัญลักษณ์ '@' ดังนั้นคำสั่งจะกลายเป็น wget -m ftp://username:foo@bar@ftp.hostname.com:/.. เนื่องจากการที่ wget พยายาม resove bar@ftp.hostname.com เป็นโฮสต์ซึ่งไม่สามารถทำได้ กรุณาช่วย!

15 ftp  wget 

ฉันต้องการดึง tarball ของไลบรารีไพ ธ อนนี้จากเทอร์มินัล https://github.com/simplegeo/python-oauth2/downloads อย่างไรก็ตามฉันไม่สามารถโทรหา wget https://github.com/simplegeo/python-oauth2/tarball/master เพราะทำเพื่อดึงหน้าเว็บ ฉันจะดึงทรัพยากรนี้จากเทอร์มินัลได้อย่างไร

15 linux  terminal  download  wget  curl 

ฉันมีเว็บไซต์และต้องการดาวน์โหลดทุกหน้า / ลิงค์ภายในเว็บไซต์นั้น ฉันต้องการจะทำ wget -r บน URL นี้ ไม่มีลิงก์ใดที่ "อยู่ด้านนอก" ของไดเรกทอรีเฉพาะนี้ดังนั้นฉันจึงไม่กังวลเกี่ยวกับการดาวน์โหลดอินเทอร์เน็ตทั้งหมด ตามที่ปรากฎหน้าเว็บที่ฉันต้องการอยู่หลังส่วนที่มีการป้องกันด้วยรหัสผ่านของเว็บไซต์ ในขณะที่ฉันสามารถใช้ wget ทำการเจรจาคุกกี้ด้วยตนเองมันจะง่ายขึ้นมากสำหรับฉันที่จะเพียงแค่ "เข้าสู่ระบบ" จากเบราว์เซอร์และใช้ปลั๊กอิน Firefox เพื่อดาวน์โหลดทุกอย่างซ้ำ ๆ มีส่วนขยายหรือบางอย่างที่จะให้ฉันทำสิ่งนี้หรือไม่? ส่วนขยายจำนวนมากเน้นที่การรับสื่อ / รูปภาพจากหน้า (heh. heh.) แต่ฉันสนใจเนื้อหาทั้งหมด - HTML และทุกอย่าง ข้อเสนอแนะ? ขอบคุณ! แก้ไข DownThemAll ดูเหมือนคำแนะนำที่ยอดเยี่ยม มันสามารถทำ recursive ดาวน์โหลด? เช่นเดียวกับในการดาวน์โหลดลิงค์ทั้งหมดในหน้าแล้วดาวน์โหลดลิงค์ทั้งหมดที่มีอยู่ในแต่ละหน้า ฯลฯ ดังนั้นโดยทั่วไปฉันสะท้อนแผนผังไดเรกทอรีทั้งหมดโดยการติดตามลิงก์? ค่อนข้างชอบ -r ตัวเลือกของ wget?

14 firefox  browser-addons  download  wget 

คุณใช้ wget เพื่อดาวน์โหลดทั้งเว็บไซต์ (โดเมน A) เมื่อทรัพยากรอยู่ในโดเมนอื่น (โดเมน B) ได้อย่างไร ฉันได้ลองแล้ว: wget -r --level=inf -p -k -E --domains=domainA,domainB http://www.domainA

14 linux  download  wget  fetch 

ฉันใช้ Linux Mint 15 Cinnamon ที่รันจาก pendrive 8GB ฉันต้องการได้รับ ISO สำหรับ 'Linux Mint 14“ Nadia” KDE' ฉันพยายามใช้wgetในสถานี นี่คือสิ่งที่ฉันพิมพ์: wget http://mirror.ufs.ac.za/linuxmint/stable/14/linuxmint-14-kde-dvd-64bit.iso หลังจากดาวน์โหลดจนถึง 30% (หลังจากนั้น 2 ชั่วโมง) ฉันรู้สึกผิดหวังที่เห็นว่าหยุดดาวน์โหลด ฉันใช้wgetเพราะฉันไม่ต้องการเปิดโครเมียมเบราว์เซอร์ โปรดช่วยฉันด้วยเพื่อฉันจะสามารถดาวน์โหลดได้ ขอบคุณล่วงหน้า.

14 linux  linux-mint  wget 

โดยพื้นฐานแล้วฉันต้องการรวบรวมข้อมูลทั้งไซต์ด้วย Wget แต่ฉันไม่ต้องการดาวน์โหลดเนื้อหาอื่น ๆ (เช่นภาพ, CSS, JS และอื่น ๆ ) ฉันต้องการไฟล์ HTML เท่านั้น การค้นหาของ Googleนั้นไร้ประโยชน์อย่างสมบูรณ์ นี่คือคำสั่งที่ฉันได้ลอง: wget --limit-rate=200k --no-clobber --convert-links --random-wait -r -E -e robots=off -U "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.102 Safari/537.36" -A html --domain=www.example.com http://www.example.com เว็บไซต์ของเราคือไฮบริดแบน PHP และ CMS ดังนั้น HTML "ไฟล์" อาจจะ/path/to/page, /path/to/page/, หรือ/path/to/page.php/path/to/page.html …

14 wget  web-crawler 

ถ้าฉันเขียน wget "ไม่มีที่อยู่ดังกล่าว" -o "test.html" ก่อนอื่นจะสร้าง test.html และในกรณีที่ล้มเหลวให้ปล่อยว่างไว้ อย่างไรก็ตามเมื่อไม่ได้ใช้ -o มันจะรอดูว่าการดาวน์โหลดสำเร็จหรือไม่หลังจากนั้นไฟล์ดังกล่าวจะเขียนไฟล์ ฉันต้องการให้มีการนำพฤติกรรมหลังไปใช้กับ -o ด้วยเช่นกันหรือไม่

14 wget 

คุณจะแนะนำให้คุณทำการตระเวนเว็บไซต์ซ้ำ ๆ และดาวน์โหลดเฉพาะภาพบางประเภทได้อย่างไร ฉันพยายามใช้สิ่งนี้เพื่อตระเวนเว็บไซต์และดาวน์โหลดเฉพาะภาพ Jpeg: wget --no-parent --wait=10 --limit-rate=100K --recursive --accept=jpg,jpeg --no-directories http://somedomain/images/page1.html อย่างไรก็ตามถึงแม้ว่า page1.html จะมีลิงค์ไปยังหน้าย่อยหลายร้อยหน้าซึ่งตัวมันเองมีลิงค์โดยตรงไปยังรูปภาพ แต่ wget รายงานสิ่งต่าง ๆ เช่น "การลบ subpage13.html เนื่องจากมันควรถูกปฏิเสธ" และไม่ดาวน์โหลดภาพใด ๆ เนื่องจากไม่มีการเชื่อมโยงโดยตรงกับ จากหน้าเริ่มต้น ฉันสมมติว่านี่เป็นเพราะ - ยอมรับฉันกำลังใช้ทั้งโดยตรงในการรวบรวมข้อมูลและกรองเนื้อหาที่จะดาวน์โหลดในขณะที่ฉันต้องการให้มันใช้เพื่อควบคุมการดาวน์โหลดเนื้อหาเท่านั้น ฉันจะรวบรวมข้อมูลลิงก์ทั้งหมดได้อย่างไร แต่ดาวน์โหลดเฉพาะไฟล์ที่มีนามสกุลเช่น * .jpeg เท่านั้น แก้ไข: นอกจากนี้บางหน้าเป็นแบบไดนามิกและสร้างขึ้นผ่านสคริปต์ CGI (เช่น img.cgi? fo9s0f989wefw90e) แม้ว่าฉันจะเพิ่ม cgi ลงในรายการที่ฉันยอมรับ (เช่น --accept = jpg, jpeg, …

13 linux  bash  script  web-crawler  wget