ทำไมฉันถึงต้องใช้ Wget แทนเบราว์เซอร์ [ปิด]

ฉันควรใช้Wgetแทนเบราว์เซอร์ในกรณีใด

ฉันได้ยินมาว่าRichard Stallmanใช้แทนเบราว์เซอร์ด้วยเหตุผลปกปิดตัวตน และเซิร์ฟเวอร์จะเห็นอะไรเมื่อคุณได้รับไฟล์โดยใช้ Wget?

โดยทั่วไปแล้วคุณจะไม่ใช้ "แทนเบราว์เซอร์" เบราว์เซอร์แสดง HTML สร้างลิงก์ที่คลิกได้ (เมื่อเทียบกับการคัดลอก URL ไปยังคำสั่ง wget อื่นด้วยตนเอง) ฯลฯ ไม่มีความจริงที่จะใช้ wget ในฐานะมนุษย์ หากคุณกังวลเกี่ยวกับความเป็นส่วนตัวมีวิธีทำความสะอาดเบราว์เซอร์ได้หลายล้านวิธี (หรือคุณอาจใช้เบราว์เซอร์ที่มีฟีเจอร์น้อยเช่น Lynx หากคุณต้องการรับแบร์โบนโดยไม่ทำลายส่วนติดต่อผู้ใช้ของมนุษย์)

Wget นั้นถูกใช้เป็นหลักเมื่อคุณต้องการวิธีการดาวน์โหลดไฟล์ที่รวดเร็วราคาถูกสคริปต์ / คำสั่ง ตัวอย่างเช่นคุณสามารถใส่ wget ในสคริปต์เพื่อดาวน์โหลดเว็บเพจที่ได้รับการอัพเดตด้วยข้อมูลใหม่บ่อยครั้งซึ่งเป็นสิ่งที่เบราว์เซอร์ไม่สามารถใช้งานได้จริง คุณสามารถใช้ตัวเลือกต่าง ๆ ของ wget เพื่อรวบรวมข้อมูลและบันทึกเว็บไซต์โดยอัตโนมัติซึ่งเบราว์เซอร์ส่วนใหญ่ไม่สามารถทำได้อย่างน้อยก็ไม่มีส่วนขยาย

ในระยะสั้นเบราว์เซอร์เป็นแอปพลิเคชั่นสำหรับคนที่กำลังดูอินเทอร์เน็ต wget เป็นเครื่องมือสำหรับเครื่องจักรและผู้ใช้ที่มีอำนาจในการย้ายข้อมูลผ่าน HTTP คล้ายกันมากกับสิ่งที่พวกเขาทำ (ดึงไฟล์จากเว็บไซต์) แต่ต่างกันโดยสิ้นเชิงในการใช้งาน

เกี่ยวกับสิ่งที่เซิร์ฟเวอร์ "เห็น" เมื่อคุณได้รับสิ่งที่มี wget: ไคลเอนต์ HTTP ทั้งหมด (เบราว์เซอร์, wget, curl, แอปพลิเคชันอื่นที่คล้ายคลึงกัน) ส่งสิ่งที่เรียกว่า "ตัวแทนผู้ใช้" ซึ่งเป็นเพียงสตริงที่อธิบายเบราว์เซอร์ อธิบายคุณลักษณะของเบราว์เซอร์ที่มี) สามารถใช้เพื่อแสดงเนื้อหาที่แตกต่างกันขึ้นอยู่กับเบราว์เซอร์ของผู้ใช้ (เช่น Google พยายามไม่โฆษณา Chrome ให้กับผู้ที่ใช้ Chrome อยู่แล้ว) คนโง่บางคนพยายามบล็อก shenanigans ผู้ใช้ขั้นสูงโดยบล็อกสตริงตัวแทนผู้ใช้ของ wget แต่คุณสามารถปลอมสตริงตัวแทนผู้ใช้ Chrome เพื่อหลีกเลี่ยงปัญหานั้นได้ บ่อยครั้งที่มีการใช้สถิติเพื่อให้คุณทราบว่าเบราว์เซอร์ยอดนิยมแตกต่างกันอย่างไรเพื่อให้คุณทราบว่าควรทดสอบเบราว์เซอร์ใดที่ละเอียดที่สุด

หากคุณใช้ฟังก์ชั่นการรวบรวมข้อมูลของ wget เซิร์ฟเวอร์จะเห็นคำขอด่วนจำนวนมากตามลำดับตัวอักษรส่วนใหญ่ มันเป็นของกำนัลที่ตายแล้วซึ่งคุณกำลังขูดเว็บไซต์ของพวกเขา ดูเหมือนแตกต่างอย่างสิ้นเชิงจากการค้นหาของผู้ใช้ ด้วยผู้ใช้ที่เป็นมนุษย์ในการร้องขอในเบราว์เซอร์ทุกหน้าตามด้วยรูปภาพทั้งหมดในหน้านั้นแล้วก็มีความล่าช้าและจากนั้นก็มีการร้องขอสำหรับหน้าสุ่มอื่น (หรืออาจเป็นหน้าเว็บที่มีวัตถุประสงค์ชัดเจน) .

ดังที่คนอื่น ๆ กล่าวถึงwgetมีประโยชน์ที่จะไม่รวมอยู่กับแอดออนคุกกี้และแคชซึ่งทำให้มีความเสถียรและปลอดภัยมากขึ้น แต่เบราว์เซอร์และwgetมีการใช้งานปกติแตกต่างกันมาก

wgetเป็นยูทิลิตีบรรทัดคำสั่งหมายถึงการดึงเนื้อหาไม่ให้แสดง มันสามารถใช้ในการดึงและดาวน์โหลดอะไรก็ได้ผ่านทาง FTP, HTTP และ HTTPS รวมถึงไฟล์ประเภทใด ๆ (HTML, ภาพ, ไบนารี, ฯลฯ )

สำหรับเซิร์ฟเวอร์ความแตกต่างเพียงอย่างเดียวที่จะเห็นคือแตกต่างกันuser agentเว้นแต่คุณจะใช้--user-agentอาร์กิวเมนต์เพื่อระบุเบราว์เซอร์ หากคุณทำเช่นนั้นเซิร์ฟเวอร์จะไม่เห็นความแตกต่าง

1) การดาวน์โหลดที่เริ่มต้นโดยสคริปต์แทนที่จะเป็นมนุษย์

2) การดาวน์โหลดทั้งไซต์ (หรือส่วนของไซต์) แทนที่จะแยกหน้า (Wget สามารถติดตามลิงค์ได้โดยอัตโนมัติ)

Wget มีตัวเลือกบรรทัดคำสั่งเพื่อควบคุมสิ่งที่เซิร์ฟเวอร์มองเห็นและสามารถคิดรวมถึงความล่าช้าโดยพลการระหว่างการร้องขอไปยังหน้าดาวน์โหลด แต่ถ้าเซิร์ฟเวอร์ไซต์มีนโยบายต่อต้านการต่อต้านบอทคุณมักเสียเวลาและการรับส่งข้อมูลจำนวนมากก่อนที่คุณจะได้รับผลลัพธ์ที่ยอมรับได้

เมื่อใช้เบราว์เซอร์สิ่งใดก็ตามที่อยู่ภายในจะทำงานอยู่รวมถึงแอดออนที่ไม่พึงประสงค์และแม้แต่มัลแวร์ในขณะที่ wget เป็นคำสั่งง่ายๆที่ดาวน์โหลดข้อมูลและไม่ทำอะไรเลย

เบราว์เซอร์ไม่จำเป็นต้องมีความปลอดภัยน้อยกว่า แต่อาจเป็นเช่นนั้น

เซิร์ฟเวอร์ "เห็น" คำขอดาวน์โหลดตามปกติ

เบราว์เซอร์สามารถบันทึกกิจกรรมของคุณในประวัติและไฟล์แคช

wget ไม่มีหน่วยความจำ

เบราว์เซอร์สะดวกกว่าและฉันไม่สนใจว่า NSA จะหาข้อมูลที่ฉันดาวน์โหลด4.7.2-040702-genericเมื่อสัปดาห์ที่แล้วหรือไม่ ฉันใช้เบราว์เซอร์ของฉันสำหรับธนาคารออนไลน์และเพย์พาลซึ่งมีความสำคัญมากกว่าไฟล์ส่วนใหญ่ที่ฉันสามารถดาวน์โหลดด้วย wget

ในฐานะนักพัฒนาที่ใช้การติดตั้ง Ubuntu ระยะไกลมักจะมีจุดเล็ก ๆ น้อย ๆ ในการติดตั้ง OS GUI ในสภาพแวดล้อมนี้ 'บรรทัดคำสั่ง' wget เป็นเครื่องมือที่จำเป็นสำหรับการดาวน์โหลดไฟล์จากเว็บ

ฉันไม่แน่ใจด้วยซ้ำว่าเบราว์เซอร์ใดที่สามารถเรียกใช้จากเทอร์มินัล