คำถามติดแท็ก wget

หากฉันมีรายการ URL คั่นด้วย\nมีตัวเลือกใดบ้างที่ฉันสามารถส่งไปwgetเพื่อดาวน์โหลด URL ทั้งหมดและบันทึกลงในไดเรกทอรีปัจจุบัน แต่เฉพาะในกรณีที่ไฟล์ยังไม่มีอยู่หรือไม่

11 wget  download  options 

wgetมีตัวเลือก-npที่ปิดใช้งานการรับไฟล์จากไดเรกทอรีหลัก ฉันต้องการบางสิ่งที่คล้ายกัน แต่ยืดหยุ่นกว่าเล็กน้อย พิจารณา: www.foo.com/bar1/bar2/bar3/index.html ฉันต้องการรับทุกสิ่ง แต่ไม่ใช่ "สูงกว่า" (ในลำดับชั้นต้นไม้) กว่าbar2(!) ดังนั้นbar2ก็ควรจะลึกซึ้ง bar1แต่ไม่ มีวิธีที่จะทำให้เลือกมากขึ้นหรือไม่ พื้นหลัง: ฉันพยายามทำมิเรอร์เว็บไซต์ด้วยโครงสร้างเชิงตรรกะที่คล้ายกัน - จุดเริ่มต้นจากนั้นขึ้นและลง หากมีเครื่องมืออื่นที่wgetเหมาะสมกว่าสำหรับเค้าโครงดังกล่าวโปรดแจ้งให้เราทราบด้วย ปรับปรุง หรือแทนที่จะระบุความลึกที่เป็นไปได้บางทีอาจเป็น "ไม่มีผู้ปกครองยกเว้นว่าตรงกับ URL นี้หรือ" อัปเดต 2 มีโครงสร้างบางอย่างบนเซิร์ฟเวอร์ใช่ไหม คุณสามารถมองเห็นมันเป็นต้นไม้ ดังนั้นโดยปกติด้วย "- ไม่มีแม่" คุณเริ่มจากจุด A และลงเท่านั้น ความปรารถนาของฉันคือความสามารถในการขึ้น - แสดงโดยบอกว่ามันได้รับอนุญาตให้ขึ้นไปยังโหนด X หรือ (ซึ่งเทียบเท่า 100%) ที่ได้รับอนุญาตให้ขึ้นไปยังโหนด B (โดยที่ระยะทาง BA = X) ในทุกกรณีกฎสำหรับการหยุดทำงานยังคงอยู่ตามที่ผู้ใช้กำหนด (ตัวอย่างเช่น - ลดระดับโดย …

11 wget  mirror  tree 

เรามีสคริปต์ที่ดาวน์โหลด mod ความปลอดภัยจาก github ที่เพิ่งเริ่มล้มเหลว เซิร์ฟเวอร์เรียกใช้ CentOS 6 แต่ RHEL 6 อาจมีปัญหาเดียวกัน ผลลัพธ์คือ: # wget https://github.com/downloads/SpiderLabs/ModSecurity/modsecurity-apache_2.7.1.tar.gz --2014-07-22 18:49:46-- https://github.com/downloads/SpiderLabs/ModSecurity/modsecurity-apache_2.7.1.tar.gz Resolving github.com... 192.30.252.129 Connecting to github.com|192.30.252.129|:443... connected. HTTP request sent, awaiting response... 302 Found Location: https://cloud.github.com/downloads/SpiderLabs/ModSecurity/modsecurity-apache_2.7.1.tar.gz [following] --2014-07-22 18:49:47-- https://cloud.github.com/downloads/SpiderLabs/ModSecurity/modsecurity-apache_2.7.1.tar.gz Resolving cloud.github.com... 54.230.99.219, 205.251.219.190, 54.230.97.212, ... Connecting to cloud.github.com|54.230.99.219|:443... connected. OpenSSL: …

10 centos  wget  github 

ฉันต้องการใช้ชุดข้อมูลแก้ไขนี้ดังนั้นฉันจึงคัดลอกรหัสเริ่มต้นที่ "ดัชนี: src / options.h" และลงท้ายด้วย "+ @ รายการ" และใส่ลงในไฟล์ใหม่ที่สร้างในwgetโฟลเดอร์ซอร์สโค้ดของ จากนั้นฉันก็: $ patch -p0 < name_of_patch (Patch is indented 1 space.) patching file src/options.h patch: **** malformed patch at line 6: char **excludes; /* List of excluded FTP directories. */ ฉันควรจะใช้สิ่งนี้อย่างไร นี่คือเนื้อหาของไฟล์ที่ฉันสร้าง: Index: src/options.h =================================================================== --- src/options.h (revision 2276) +++ …

10 wget  patch 

ฉันกำลังใช้wgetไฟล์ขนาดใหญ่ (มากกว่า 100GB) แล้วเปรียบเทียบ md5sum ของฉันกับผลรวมที่โพสต์ในที่เก็บ เชื่อหรือไม่md5sumใช้เวลาเล็กน้อยในการรันไฟล์ขนาดนี้ดังนั้นฉันต้องการได้รับผลรวมควบคู่กับการดาวน์โหลด วิธีที่ดีที่สุดในการทำเช่นนี้คืออะไร? ฉันไม่เห็นwgetตัวเลือกในการคำนวณ MD5 ระหว่างการดาวน์โหลด (อย่างน่าประหลาดใจ) ดังนั้นฉันเดาว่าการใช้งานteeจะเป็นวิธีที่จะไปใช่ไหม!

10 wget  checksum 

wgetฉันใหม่สวย ฉันแค่ต้องรู้ว่าฉันสามารถตั้งค่าโฟลเดอร์ปลายทางที่บันทึกการดาวน์โหลดได้อย่างไร --directory-prefixผมเชื่อว่าเป็น ขอบคุณ,

10 wget 

ฉันกำลังเขียนสคริปต์ทุบตีที่ใช้ wget อย่างกว้างขวาง เพื่อกำหนดพารามิเตอร์ทั่วไปทั้งหมดในที่เดียวฉันเก็บไว้ในตัวแปร นี่คือรหัสชิ้นหนึ่ง: useragent='--user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0"' cookies_file="/tmp/wget-cookies.txt" save_cookies_cmd="--save-cookies $cookies_file --keep-session-cookies" load_cookies_cmd="--load-cookies $cookies_file --keep-session-cookies" function mywget { log "#!!!!!!!!!# WGET #!!!!!!!!!# wget $quiet $useragent $load_cookies_cmd $@" wget $useragent $load_cookies_cmd "$@" } Saddly ไม่ทำงาน ยังไงก็เถอะฉันขาดวิธีที่ถูกต้องในการจัดเก็บพารามิเตอร์กับตัวแปร $ useragent, $ save_cookies_cmd, $ load_cookies_cmd และ caling wget ผ่าน …

10 bash  wget  variable-substitution 

ฉันพยายามที่จะดาวน์โหลดไฟล์ผ่าน HTTP wgetจากเว็บไซต์โดยใช้ เมื่อฉันใช้: wget http://abc/geo/download/?acc=GSE48191&format=file index.html?acc=GSE48191ฉันจะได้รับเฉพาะไฟล์ที่เรียกว่า เมื่อฉันใช้: wget http://abc/geo/download/?acc=GSE48191&format=file -o asd.rpm ฉันได้รับasd.rpmแต่ฉันต้องการดาวน์โหลดด้วยชื่อจริงและไม่ต้องการเปลี่ยนชื่อของไฟล์ที่ดาวน์โหลดด้วยตนเอง

9 filenames  wget 

ฉันกำลังดาวน์โหลดหน้า HTML ต้นฉบับของเว็บไซต์โดยใช้cURLคำสั่ง ปัญหาคือฉันไม่ต้องการเนื้อหาส่วนใหญ่ในหน้า ฉันต้องการ 100 บรรทัดแรกของหน้าแหล่งที่มา มีวิธีหยุดการดาวน์โหลดของหน้าหลังจากสองสามบรรทัดแรกหรือไม่ ขณะนี้ฉันมีคำสั่งด้านล่างใช้งานได้ แต่ดูเหมือนว่าจะไม่มีประสิทธิภาพ curl -r[0-1] "http://www.freebase.com/m/045c7b" > foo.txt ฉันพยายามเปลี่ยนค่าจาก1ไป.5และ.05และยังคงหน้าเว็บทั้งหมดจะได้รับการดาวน์โหลด ฉันกำลังดูเวลาน้อยกว่าหนึ่งวินาทีเพื่อรันคำสั่งข้างต้น แก้ไข จากหน้า man ของcURLฉันเห็นว่า " คุณควรทราบว่าเซิร์ฟเวอร์ HTTP / 1.1 จำนวนมากไม่ได้เปิดใช้งานฟีเจอร์นี้ดังนั้นเมื่อคุณพยายามรับช่วงคุณจะได้รับเอกสารทั้งหมดแทน " ดังนั้นหาก เซิร์ฟเวอร์ไม่รองรับการสอบถามช่วงมีคำสั่งอื่นในnixสภาพแวดล้อมที่จะช่วยให้ฉันบรรลุสิ่งที่ฉันพยายามทำ

9 wget  curl 

ลองนึกภาพบางสิ่งเช่นนี้: $ curlsh http://www.example.org > GET /foo/bar/bam ...output here... > POST /thing/pool ... ... result here.... มีเครื่องมือที่ให้ฉันทำอย่างนั้นหรือไม่?

9 wget  curl