จะใช้คำขอ Python เพื่อปลอมการเยี่ยมชมเบราว์เซอร์ได้อย่างไร

ฉันต้องการรับเนื้อหาจากเว็บไซต์ด้านล่าง หากฉันใช้เบราว์เซอร์เช่น Firefox หรือ Chrome ฉันจะได้รับหน้าเว็บไซต์จริงที่ฉันต้องการ แต่ถ้าฉันใช้แพคเกจคำขอ Python (หรือwgetคำสั่ง) เพื่อรับมันจะส่งคืนหน้า HTML ที่แตกต่างกันโดยสิ้นเชิง ฉันคิดว่าผู้พัฒนาเว็บไซต์ได้ทำการบล็อกบางส่วนสำหรับสิ่งนี้ดังนั้นคำถามคือ:

ฉันจะปลอมการเยี่ยมชมเบราว์เซอร์โดยใช้คำขอ python หรือคำสั่ง wget ได้อย่างไร

http://www.ichangtou.com/#company:data_000008.html

ระบุUser-Agentส่วนหัว :

import requests

url = 'http://www.ichangtou.com/#company:data_000008.html'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}

response = requests.get(url, headers=headers)
print(response.content)

FYI นี่คือรายการสตริง User-Agent สำหรับเบราว์เซอร์ต่างๆ:

• รายชื่อเบราว์เซอร์ทั้งหมด

ตามหมายเหตุด้านข้างมีแพ็คเกจของบุคคลที่สามที่มีประโยชน์ซึ่งเรียกว่าfake-useragentซึ่งให้เลเยอร์นามธรรมที่ดีเหนือตัวแทนผู้ใช้:

ปลอม UserAgent

อัปเดตล่าสุด useragent faker พร้อมฐานข้อมูลจริง

การสาธิต:

>>> from fake_useragent import UserAgent
>>> ua = UserAgent()
>>> ua.chrome
u'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36'
>>> ua.random
u'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36'

หากคำถามนี้ยังใช้ได้

ฉันใช้UserAgent ปลอม

วิธีใช้:

from fake_useragent import UserAgent
import requests


ua = UserAgent()
print(ua.chrome)
header = {'User-Agent':str(ua.chrome)}
print(header)
url = "https://www.hybrid-analysis.com/recent-submissions?filter=file&sort=^timestamp"
htmlContent = requests.get(url, headers=header)
print(htmlContent)

เอาท์พุท:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1309.0 Safari/537.17
{'User-Agent': 'Mozilla/5.0 (X11; OpenBSD i386) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36'}
<Response [200]>

ลองทำสิ่งนี้โดยใช้ firefox เป็นตัวแทนผู้ใช้ปลอม(นอกจากนี้ยังเป็นสคริปต์เริ่มต้นที่ดีสำหรับการขูดเว็บด้วยการใช้คุกกี้):

#!/usr/bin/env python2
# -*- coding: utf8 -*-
# vim:ts=4:sw=4


import cookielib, urllib2, sys

def doIt(uri):
    cj = cookielib.CookieJar()
    opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
    page = opener.open(uri)
    page.addheaders = [('User-agent', 'Mozilla/5.0')]
    print page.read()

for i in sys.argv[1:]:
    doIt(i)

การใช้:

python script.py "http://www.ichangtou.com/#company:data_000008.html"

รากของคำตอบคือผู้ที่ถามคำถามจำเป็นต้องมีล่าม JavaScript เพื่อให้ได้สิ่งที่พวกเขาต้องการ สิ่งที่ฉันพบคือฉันสามารถรับข้อมูลทั้งหมดที่ฉันต้องการบนเว็บไซต์ใน json ก่อนที่ JavaScript จะถูกตีความ สิ่งนี้ช่วยให้ฉันประหยัดเวลาได้มากในการแยกวิเคราะห์ html โดยหวังว่าแต่ละหน้าเว็บจะอยู่ในรูปแบบเดียวกัน

ดังนั้นเมื่อคุณได้รับคำตอบจากเว็บไซต์โดยใช้คำขอให้ดูที่ html / text เพราะคุณอาจพบ javascripts JSON ในส่วนท้ายพร้อมที่จะแยกวิเคราะห์