คำถามติดแท็ก wget

ฉันต้องการตรวจสอบดัชนีของเว็บไซต์เป็นระยะบนเครือข่ายท้องถิ่นของเราจากเบราว์เซอร์ ฉันพยายามดาวน์โหลดโดยwgetในWindows10 : > wget --no-check-certificate --no-hsts --content-on-error --ignore-length --unlink --server-response --show-progress --verbose https://172.*.*.*:*/app แต่ไม่สามารถดึงหน้าได้ นี่คือผลลัพธ์: --2019-02-02 16:56:01-- https://172.*.*.*:*/app Connecting to 172.*.*.*:*... connected. OpenSSL: error:2406F079:random number generator:RAND_load_file:Cannot open file Unable to establish SSL connection. ฉันลองด้วยเครื่องมืออื่น ๆ เช่นurlwatchและ curl ไม่มีใครสามารถเข้าถึงหน้านั้นได้! มีความคิดอะไรบ้าง? นี่คือข้อผิดพลาดที่กำหนดโดย urlwatch: HTTPSConnectionPool(host='172.*.*.*', port=*): Max retries exceeded with url: /app …

3 wget  openssl  monitoring 

ฉันใช้ Wget ใน Windows 7 ฉันเชื่อว่านี่จะ จำกัด ฉันเป็น Wget 1.11.4 สำหรับผู้ที่สนใจรายละเอียดฉันได้โพส ไฟล์ wgetrc ตัวอย่าง . ตัวอย่างนี้เป็นตัวอย่างที่ฉันใช้อยู่ คำสั่ง Wget ของฉันเป็นดังนี้: wget 2> "I:\Current\Wget\wgeterr.log" ฉันมีปัญหากับตัวเลือกต่าง ๆ ที่ควร จำกัด สิ่งที่ถูกดาวน์โหลด ตามรายละเอียดในตอนท้ายของ wgetrc (ด้านบน) ข้อ จำกัด บางรูปแบบดูเหมือนจะไม่ทำงาน โดยเฉพาะอย่างยิ่งฉันคิดว่าฉันกำลังระบุอย่างถูกต้องด้วย excluse_domains ว่าฉันไม่ต้องการรวม twitter.com ในการดาวน์โหลดเป็นโฟลเดอร์ในระดับเดียวกับเว็บไซต์ที่ฉันกำลังดาวน์โหลด (เช่น raywoodcockbio.wordpress.com) . ยังฉันได้รับ twitter.com กระนั้น คำถามคือฉันจะป้องกัน twitter.com (รวมถึง facebook และโฟลเดอร์ไซต์โซเชียลมีเดียอื่น ๆ …

2 wget  facebook  twitter 

ฉันกำลังพยายามเขียนสคริปต์เพื่อตั้งค่างาน cron เพื่อดาวน์โหลดไฟล์โดยอัตโนมัติโดยใช้ wget. นี่คือส่วนสำคัญ: $ wget -N --passive-ftp -P /home/myuser ftp://ftp.example.com/path/to/file.xml --2015-10-09 09:55:03-- ftp://ftp.example.com/path/to/file.xml => “/home/myuser/file.xml” Resolving ftp.example.com... 123.123.123.123 Connecting to ftp.example.com|123.123.123.123|:21... connected. Logging in as anonymous ... Logged in! ==> SYST ... done. ==> PWD ... done. ==> TYPE I ... done. ==> CWD (1) /path/to ... done. …

2 linux  ftp  wget 

ฉันพยายามเรียกใช้สคริปต์ทุบตีระยะไกลที่โฮสต์บน Github: wget -O - https://raw.githubusercontent.com/xxxxx/script.sh ทุกอย่างใช้งานได้ดีไม่มีปัญหา แต่เมื่อฉันอัปเดตสคริปต์ด้านบนและฉันเรียกใช้คำสั่งเดียวกันมันจะประมวลผลสคริปต์เก่า ฉันลองด้วย --no-cache, --delete-after, ปราศจากความสำเร็จ ทำอย่างไรจึงจะได้สำเนาสดใหม่ทุกครั้ง?

2 linux  bash  shell-script  wget 

ดังนั้นฉันพยายามดาวน์โหลดทั้งโดเมนของหน้า wiki ส่วนตัว ฉันได้บันทึกคุกกี้ไว้ในไฟล์ cookies.txt และใช้งานกับ wget เพื่อการรับรองความถูกต้องดังนี้: wget --load-cookies=cookies.txt --recursive --no-parent --convert-links --backup-converted --adjust-extension --limit-rate=500k https://wiki-to-download มันดำเนินการเพื่อดาวน์โหลดโดเมน wiki ทั้งหมด ได้อย่างรวดเร็วก่อนดูเหมือนว่าจะได้ทำงาน ฉันเปิดไฟล์หน้า HTML หลักในเครื่องของฉันในเบราว์เซอร์ แต่ลิงก์เกือบทั้งหมดที่อยู่นอกเหนือจากหน้าแรกเหมือนกัน: หน้าเข้าสู่ระบบ ... ฉันเดาว่ามันรับรองความถูกต้องเมื่อฉันอนุญาตให้ดาวน์โหลดโฮมเพจ แต่จากนั้นจะไม่บันทึกข้อมูลประจำตัวของฉันไว้เนื่องจากจะเรียกค้นหน้าอื่น ๆ ที่เหลือบังคับให้ดาวน์โหลดหน้าเว็บที่ต้องมีการเข้าสู่ระบบ ฉันจะหลีกเลี่ยงสิ่งนี้ได้อย่างไร กล่าวอีกนัยหนึ่งฉันจะแน่ใจได้อย่างไรว่าไฟล์ทุกไฟล์ได้รับการดาวน์โหลดอย่างถูกต้องราวกับว่าฉันได้เข้าสู่ระบบตลอดเวลา?

2 download  wget  authentication  cookies  wiki 

ฉันมีสคริปต์ทุบตีที่วนรอบคำสั่ง wget แต่ฉันไม่รู้ว่าทำไมฉันถึงมี% 0D ในตอนท้ายของชื่อไฟล์ทั้งหมดยกเว้นตอนแรก for var in "${array[@]}" do wget -P output_folder "${var}" done ทำไมฉันมีสิ่งนี้ วิธีแก้ปัญหานี้

2 linux  bash  script  wget 

URL ของฟอรัมที่ฉันพยายามเข้าถึงอยู่ในฟอร์ม http://domain.com/showthread.php?threadid=3333333&userid=0&perpage=40&pagenumber=1 ฉันได้ลองแล้ว wget --user-agent = Mozilla / 5.0 -k -m -E -p -np -R http: //domain/showthread.php? noseen = 0 & threadid = 3333333 & pagenumber = 1 และฉันก็ไม่มีโชค

2 wget  forum 

ฉันต้องการดาวน์โหลดไฟล์โดยปกติฉันจะใช้ wget สำหรับการกระทำดังกล่าว แต่มันทำให้ฉันมีข้อผิดพลาด TLS root@darren-hp:/var/www/html/adminer# wget "https://raw.githubusercontent.com/vrana/adminer/master/designs/price/adminer.css" --2017-09-17 18:28:35-- https://raw.githubusercontent.com/vrana/adminer/master/designs/price/adminer.css Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 62.252.172.241 Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|62.252.172.241|:443... connected. GnuTLS: A TLS fatal alert has been received. GnuTLS: received alert [0]: Close notify Unable to establish SSL connection. root@darren-hp:/var/www/html/adminer# ฉันลองด้วย curl และรับไฟล์โดยไม่มีปัญหา root@darren-hp:/var/www/html/adminer# curl "https://raw.githubusercontent.com/vrana/adminer/master/designs/price/adminer.css" > adminer.css % Total …

2 wget  tls  gnutls 

ฉันมี wget คำสั่ง: wget -r --no-parent -nH -nd -q --show-progress --progress=bar:force ftp://ftp.ncdc.noaa.gov/pub/data/swdi/database-csv/v2/ แต่ใช้งานได้ในเวอร์ชันที่ใหม่กว่าเท่านั้น wget. น่าเสียดายที่ฉันมีรุ่นเก่ากว่า wget (GNU Wget 1.15 สร้างขึ้นใน darwin14.3.0) และไม่สามารถอัปเกรด โดยเฉพาะมันคือ wget --show-progress ตัวเลือกที่ไม่เป็นที่รู้จัก ฉันสงสัยว่ามีคำสั่งที่เทียบเท่าหรือไม่ curl? รุ่นของ curl ในระบบของฉันคือ 7.37.1 (x86_64-apple-darwin14.0)

1 wget  curl 

ฉันมีสคริปต์ต่อไปนี้: for i in {1..16}; do $wget http://url/$i.jpg -O C:/Users/User/Desktop/Test/ done บันทึกไฟล์เป็น test.sh และเรียกใช้ภายใน Git บน windows ไฟล์ต่าง ๆ อยู่บนเซิร์ฟเวอร์ แต่เมื่อฉันเรียกใช้สคริปต์ฉันได้รับ "ไม่มีไฟล์หรือไดเรกทอรีดังกล่าว" ... คิด?

1 bash  git  wget 

ฉันต้องขด / wget หน้าและตรวจสอบให้แน่ใจว่ามันคืนค่าเฉพาะ (อื่นกลับ 1) บางสิ่งเช่นนี้: curl http://example.com/something/run | grep -e '^success!$' || return 1 ฉันควรใช้ค่าสถานะใดใน curl หรือ wget มันไม่ทำงาน

1 linux  wget  curl 

ดังนั้นฉันเห็นว่าเราสามารถใช้ช่วง -r ในขด มีวิธีใดที่แทนที่จะดาวน์โหลดรูปภาพที่สมบูรณ์จาก URL (ของคนอื่น) ฉันสามารถใช้แบนด์วิดท์ที่ต่ำกว่าและรับภาพความละเอียดที่ต่ำกว่าโดยสร้างชิ้นส่วนที่ดาวน์โหลดโดยขดใหม่

1 wget  curl 

ฉันกำลังพยายามทำเว็บไซต์ มันเป็นไปตามรูปแบบที่เรียบง่ายของไฟล์. htm แต่มีสิ่งหนึ่งที่จับได้ แต่ละไฟล์มีบรรทัดต่อไปนี้: <img width="100%" src="http://DOMAIN.org/CREATE_IMAGE.php"> ฉันต้องดาวน์โหลดภาพนี้ แต่ httrack และ wget ทั้งคู่ไม่สนใจเอาต์พุตสคริปต์เมื่อทำการดาวน์โหลดไฟล์ สคริปต์ php ไม่ใช้พารามิเตอร์ใด ๆ มันเป็นตัวกำหนดภาพที่จะส่งออกภายใน ไฟล์. htm แต่ละไฟล์จะได้รับเอาต์พุตที่แตกต่างกัน ดังนั้นฉันไม่สามารถเรียกไฟล์ php ได้ จำเป็นต้องดาวน์โหลดเป็นไฟล์ประเภท. htm ที่เกี่ยวข้อง ฉันจะกำหนดค่า wget หรือ httrack หรือเครื่องมืออื่น ๆ เพื่อให้ได้สิ่งที่ฉันต้องการได้อย่างไร

1 wget  mirroring  httrack 

ฉันใช้wget1.12 (เป็น msys หากสร้างความแตกต่าง) และพยายามทำเว็บไซต์ด้วย-ndตัวเลือกเนื่องจากชื่อไฟล์และโฟลเดอร์ในเว็บไซต์นี้มีความยาวมาก เอกสารระบุว่า ‘-nd’ ‘--no-directories’ Do not create a hierarchy of directories when retrieving recursively. With this option turned on, all files will get saved to the current directory, without clobbering (if a name shows up more than once, the filenames will get extensions ‘.n’). อย่างไรก็ตามนี่ไม่ใช่กรณี ไฟล์ที่มีชื่อเหมือนกันจะถูกเขียนทับ …

1 wget 

ฉันกำลังพยายามจัดเก็บคุกกี้ (ซึ่งจะช่วยฉันรับรองความถูกต้องตัวเองที่อื่น ๆ ) ที่ได้รับจากเว็บไซต์หลังจากการรับรองความถูกต้อง กรณีดังต่อไปนี้: ไปที่หน้า HTTPS รับการเปลี่ยนเส้นทางโดย httpd ไปยังหน้าการรับรองความถูกต้องNTLM ตรวจสอบตัวเอง รับการเปลี่ยนเส้นทางไปยังหน้าแรกที่ถามด้วยคุกกี้การตรวจสอบสิทธิ์ กระบวนการทำงานบน Mozilla แต่ฉันต้องทำสคริปต์ทดสอบของมัน ฉันใช้WgetหรือcURL ฉันมีคำสั่งดังต่อไปนี้: wget --cookies="on" --keep-session-cookies --save-cookies="cookies.txt" --load-cookies="cookies.txt" --no-check-certificate --user="user" --password="password" https://example.con/ แต่มันไม่ทำงาน คุกกี้ไม่ได้รับข้อมูลรับรองการตรวจสอบสิทธิ์ดังนั้นการเปลี่ยนเส้นทางครั้งล่าสุดทำให้ฉันมีคำตอบที่ไม่ได้รับอนุญาต 401 รายการ ฉันจะแก้ไขปัญหานี้ได้อย่างไร

1 http  wget  ntlm