ฉันต้องการเขียนโค้ดเพื่อให้ชื่อตัวละครในละครโทรทัศน์หรือภาพยนตร์โดยใช้เชลล์สคริปต์ ... ฉันวางแผนที่จะทำอย่างนั้นโดย extarcting แหล่งที่มาของหน้าผลการค้นหาของ google ที่ฉันต้องการหน้านี้ แหล่งที่มาของลิงก์ ... สำหรับเช่นนี้ ลิงค์ ฉันลองใช้ wget โดยตรง แต่ให้รหัสข้อผิดพลาด 8 และยังงอ -L ฟีดแหล่งที่มาของหน้า "ผิด"
คำตอบ:
หากคุณดูข้อความบันทึกของ wget คุณจะเห็นว่าในที่สุดคุณจะได้รับ "403 ต้องห้าม" จาก Google
ดังนั้นรู้สึกเชิญให้ดู คำตอบ Stackoverflow นี้ . Google ไม่ต้องการให้หน้าผลการค้นหาใช้วิธีอัตโนมัติและฉันคิดว่าพวกเขามีเหตุผลที่ดี
หากคุณต้องการทำเช่นนี้คุณสามารถตั้งค่าสตริงตัวแทนผู้ใช้อื่นด้วย wget --user-agent=Chrome -O results.html 'https://www.google.com/search?hl=en&q=iron%20man%20character%20names'
อย่างไรก็ตามคำตอบที่คุณได้รับจาก Google นั้นไม่ใช่เรื่องง่ายที่จะแยกวิเคราะห์ - บางทีคุณสามารถใช้ฐานข้อมูลภาพยนตร์สำหรับงานนี้ได้?
wgetและcurlห้ามทำการประมวลผลใด ๆ