คำถามติดแท็ก wget

ฉันพยายามที่จะทำการร้องขอ curl ไปยังหนึ่งในเซิร์ฟเวอร์การพัฒนาท้องถิ่นของเราที่ใช้งานเว็บไซต์ dev ที่มีใบรับรอง SSL ที่ลงชื่อด้วยตนเอง ฉันใช้ curl จากบรรทัดคำสั่ง ผมเห็นบางบล็อกโพสต์การกล่าวขวัญว่าคุณสามารถเพิ่มในรายการของใบรับรองหรือระบุเฉพาะเจาะจง (ตัวเองลงนาม) ใบรับรองที่ถูกต้อง แต่มีการจับทุกวิธีที่บอก "ไม่ยืนยัน" ใบรับรอง SSL - เหมือน--no-check-certificateว่า มีอะไรเหรอ?

446 wget  curl 

ผมกระตือรือร้นที่จะทราบความแตกต่างระหว่างและcurl wgetทั้งสองใช้เพื่อรับไฟล์และเอกสาร แต่สิ่งที่สำคัญแตกต่างกัน เหตุใดจึงมีสองโปรแกรมที่แตกต่างกัน

258 utilities  wget  curl  download 

เป็นไปได้ไหมที่จะ จำกัด ความเร็วในการดาวน์โหลดของwgetหรือcurl? เป็นไปได้หรือไม่ที่จะเปลี่ยนค่าเค้นในขณะที่กำลังดาวน์โหลด?

97 networking  wget  curl  download 

ฉันต้องใช้wgetเพื่อดาวน์โหลดไฟล์ไปยังไดเรกทอรี/var/cache/foobar/(เช่นถ้าฉันดาวน์โหลดstackexchange-site-list.txtมันจะถูกดาวน์โหลดไปที่/var/cache/foobar/stackexchange-site-list.txt) เป็นไปได้ไหม curlจะเป็นตัวเลือกด้วย แต่ฉันไม่ต้องการใช้curlเนื่องจากไม่ได้ติดตั้งตามค่าเริ่มต้น

91 wget 

ฉันต้องการดาวน์โหลดและแยกไฟล์เก็บถาวรภายใต้ไดเรกทอรีที่กำหนด นี่คือวิธีที่ฉันทำไปแล้ว: wget http://downloads.mysql.com/source/dbt2-0.37.50.3.tar.gz tar zxf dbt2-0.37.50.3.tar.gz mv dbt2-0.37.50.3 dbt2 ฉันต้องการดาวน์โหลดและแตกไฟล์เก็บถาวรทันทีโดยไม่ต้องtar.gzเขียนลงดิสก์ ฉันคิดว่าสิ่งนี้เป็นไปได้โดยการส่งออกwgetไปยังtarและให้tarเป้าหมาย แต่ในทางปฏิบัติฉันไม่ทราบวิธีการรวมชิ้นส่วนเข้าด้วยกัน

62 shell  pipe  tar  wget 

ฉันต้องการดาวน์โหลดโฟลเดอร์จากไดรฟ์ google โดยใช้เทอร์มินัลหรือไม่ มีวิธีใดที่จะทำเช่นนั้น? ฉันลองสิ่งนี้: $ wget "https://drive.google.com/folderview?id=0B-Zc9K0k9q-WWUlqMXAyTG40MjA&usp=sharing" แต่มันกำลังดาวน์โหลดไฟล์ข้อความนี้: folderview?id=0B-Zc9K0k9q-WdEY5a1BCUDBaejQ&usp=sharing. มีวิธีการดาวน์โหลดโฟลเดอร์ google ไดรฟ์จากสถานีหรือไม่

59 wget  download 

ฉันพยายามที่จะดาวน์โหลดไฟล์ที่มีwgetและcurlและมันจะถูกปฏิเสธด้วยข้อผิดพลาด 403 (ต้องห้าม) ฉันสามารถดูไฟล์โดยใช้เว็บเบราว์เซอร์ในเครื่องเดียวกัน ผมลองอีกครั้งกับตัวแทนของผู้ใช้เบราว์เซอร์ของฉันได้โดยhttp://www.whatsmyuseragent.com ฉันทำนี่: wget -U 'Mozilla/5.0 (X11; Linux x86_64; rv:30.0) Gecko/20100101 Firefox/30.0' http://... และ curl -A 'Mozilla/5.0 (X11; Linux x86_64; rv:30.0) Gecko/20100101 Firefox/30.0' http://... แต่มันก็ยังเป็นสิ่งต้องห้าม มีเหตุผลอื่นอีกอีกบ้างสำหรับ 403 และฉันจะแก้ไขwgetและcurlคำสั่งต่าง ๆ เพื่อเอาชนะพวกเขาได้อย่างไร (นี่ไม่เกี่ยวกับความสามารถในการรับไฟล์ - ฉันรู้ว่าฉันสามารถบันทึกได้จากเบราว์เซอร์ของฉัน แต่มันเกี่ยวกับการทำความเข้าใจว่าทำไมเครื่องมือบรรทัดคำสั่งทำงานแตกต่างกัน) ปรับปรุง ขอบคุณทุกคำตอบที่ยอดเยี่ยมสำหรับคำถามนี้ ปัญหาเฉพาะที่ฉันพบคือเซิร์ฟเวอร์กำลังตรวจสอบผู้อ้างอิง โดยการเพิ่มนี้ไปยังบรรทัดคำสั่งฉันจะได้รับไฟล์โดยใช้และcurlwget เซิร์ฟเวอร์ที่ตรวจสอบผู้อ้างอิงได้เด้งผ่าน 302 ไปยังอีกที่หนึ่งซึ่งไม่ได้ทำการตรวจสอบเลยดังนั้นเว็บไซต์หนึ่งแห่งcurlหรือwgetไซต์ดังกล่าวทำงานได้อย่างสมบูรณ์ หากใครสนใจเรื่องนี้เกิดขึ้นเพราะฉันอ่านหน้านี้เพื่อเรียนรู้เกี่ยวกับ CSS ที่ฝังตัวและพยายามดูตัวอย่างของเว็บไซต์ URL จริงที่ฉันได้รับปัญหาคือสิ่งนี้และcurlฉันก็จบลงด้วยคือ curl …

57 wget  curl 

โปรดทราบว่าผมไม่ได้ถามว่า ผมรู้อยู่แล้วว่าตัวเลือกเช่นและpvrsync -P ฉันต้องการถามว่าทำไมไม่cpใช้แถบความคืบหน้าอย่างน้อยก็เป็นธง

55 wget  cp  architecture 

ฉันต้องดาวน์โหลดไฟล์โดยใช้ wget แต่ฉันไม่รู้ว่าชื่อไฟล์จะเป็นอะไร https://foo/bar.1234.tar.gz ตามหน้า man , wget ช่วยให้คุณสามารถปิดและ globbing เมื่อจัดการกับเว็บไซต์ ftp แต่ฉันมี URL http ฉันจะใช้ไวด์การ์ดในขณะที่ใช้ wget ได้อย่างไร ฉันใช้ gnu wget สิ่งที่ฉันได้ลอง /usr/local/bin/wget -r "https://foo/bar.*.tar.gz" -P /tmp ปรับปรุง การใช้ -A จะทำให้ไฟล์ทั้งหมดลงท้ายด้วย. tar.gz บนเซิร์ฟเวอร์เพื่อทำการดาวน์โหลด /usr/local/bin/wget -r "https://foo/" -P /tmp -A "bar.*.tar.gz" ปรับปรุง จากคำตอบนี่คือไวยากรณ์ที่ใช้งานได้ในที่สุด /usr/local/bin/wget -r -l1 -np "https://foo" -P /tmp -A …

53 wget 

ฉันอยู่ในเครือข่ายที่ใช้พรอกซี ฉันมีเครื่องที่ใช้สคริปต์จำนวนมากที่นี่และเข้าถึงกันผ่านทาง HTTP เครือข่ายคือ 10.0.0.0/8 พร็อกซีของฉันคือ 10.1.1.1:81 ดังนั้นฉันจึงตั้งค่าตามความเหมาะสม: export http_proxy=http://10.1.1.1:81/ ฉันต้องการยกเว้นช่วงของตัวเองเพื่อเข้าถึงด้วยพร็อกซี ฉันลองชุดค่าผสมที่มีอยู่ export no_proxy='10.*' export no_proxy='10.*.*.*' export no_proxy='10.0.0.0/8' ไม่มีการทำงานข้างต้น! ฉันกำลังทดสอบอยู่wgetและพยายามค้นหาพร็อกซีเสมอไม่ว่าจะใช้ที่อยู่ IP ใดก็ตามที่ฉันต้องการเชื่อมต่อ เนื่องจากสคริปต์จำนวนมากอยู่ทุกที่ในทุกระบบ--no-proxyตัวเลือกจึงไม่ใช่ตัวเลือก ฉันต้องการตั้งค่าระบบให้กว้าง

52 bash  wget  curl  http-proxy 

นี้คำถามที่curlอธิบายถึงวิธีการทำมันด้วย คำตอบที่ยอมรับยังชี้ให้เห็นว่า ถ้า wget พร้อมใช้งานนั่นจะง่ายกว่ามาก ฉันมองผ่านman wgetแต่สิ่งที่หลงทางอยู่ในนั้นและไม่พบตัวเลือกในการติดตามการเปลี่ยนเส้นทาง

48 wget 

ฉันจะเรียกคืนไฟล์ที่ดาวน์โหลดบางส่วนโดยใช้เครื่องมือ commandline Linux ได้อย่างไร ฉันดาวน์โหลดไฟล์ขนาดใหญ่บางส่วนเช่น 400 MB จาก 900 MB เนื่องจากการขัดจังหวะการใช้พลังงาน แต่เมื่อฉันเริ่มดาวน์โหลดอีกครั้งจะกลับมาเริ่มต้นใหม่ ฉันจะเริ่มจาก 400 MB ได้อย่างไร

37 wget  curl  download 

สมมติว่าlist_of_urlsมีลักษณะเช่นนี้: http://www.url1.com/some.txt http://www.url2.com/video.mp4 ฉันรู้วิธีใช้สิ่งนั้นด้วย: wget -i list_of_urls แต่ถ้าฉันlist_of_urlsมีสิ่งนี้และพวกเขาทั้งหมดกลับไฟล์ที่เหมาะสมเช่น PDF หรือวิดีโอ: http://www.url1.com/app?q=123&gibb=erish&gar=ble http://www.url2.com/app?q=111&wha=tcha&mac=allit สำหรับไฟล์เดียวฉันสามารถทำได้: wget -O some.txt "http://www.url1.com/app?q=123&gibb=erish&gar=ble" ฉันจะใช้wgetเพื่อดาวน์โหลดรายการ URL นั้นและบันทึกข้อมูลที่ส่งคืนไปยังไฟล์ในเครื่องที่เหมาะสมได้อย่างไร

35 files  wget  download  links 

ฉันมีปัญหากับคำสั่ง wget ต่อไปนี้: wget -nd -r -l 10 http://web.archive.org/web/20110726051510/http://feedparser.org/docs/ ควรดาวน์โหลดเอกสารที่เชื่อมโยงซ้ำทั้งหมดบนเว็บดั้งเดิม แต่ดาวน์โหลดได้เพียงสองไฟล์ ( index.htmlและrobots.txt) ฉันจะดาวน์โหลดแบบเรียกซ้ำของเว็บนี้ได้อย่างไร

32 wget 

ฉันพยายามดาวน์โหลดไฟล์จาก sourceforge โดยใช้ wget แต่อย่างที่เราทุกคนรู้ดีว่าเราต้องคลิกที่ปุ่มดาวน์โหลดแล้วรอให้มันดาวน์โหลดอัตโนมัติ คุณจะดาวน์โหลดไฟล์ประเภทนี้โดยใช้ wget ได้อย่างไร? ฉันพยายามดาวน์โหลดสิ่งนี้: http://sourceforge.net/projects/bitcoin/files/Bitcoin/bitcoin-0.8.1/bitcoin-0.8.1-linux.tar.gz/download แต่การทำ wget บนลิงค์ url นั้นจะไม่ทำให้ฉันได้รับไฟล์เนื่องจากไฟล์นั้นโหลดโดยอัตโนมัติผ่านเบราว์เซอร์

32 wget