HTTP GET วิธีที่เร็วที่สุดใน Python คืออะไร?

เป็นวิธีที่เร็วที่สุดใน HTTP GET ใน Python ถ้าฉันรู้ว่าเนื้อหาจะเป็นสตริง? ฉันกำลังค้นหาเอกสารสำหรับหนึ่งซับด่วนอย่างรวดเร็วเช่น:

contents = url.get("http://example.com/foo/bar")

แต่ทั้งหมดที่ฉันสามารถค้นหาโดยใช้ Google มีhttplibและurllib- และผมไม่สามารถที่จะหาทางลัดในห้องสมุดเหล่านั้น

Python 2.5 มาตรฐานมีทางลัดในบางรูปแบบข้างต้นหรือฉันควรจะเขียนฟังก์ชั่นurl_getหรือไม่?

1. ฉันไม่ต้องการที่จะจับการส่งออกของปลอกกระสุนออกไปหรือwgetcurl

Python 3:

import urllib.request
contents = urllib.request.urlopen("http://example.com/foo/bar").read()

Python 2:

import urllib2
contents = urllib2.urlopen("http://example.com/foo/bar").read()

เอกสารและurllib.requestread

คุณสามารถใช้ห้องสมุดเรียกร้องขอ

import requests
r = requests.get("http://example.com/foo/bar")

มันค่อนข้างง่าย จากนั้นคุณสามารถทำสิ่งนี้:

>>> print(r.status_code)
>>> print(r.headers)
>>> print(r.content)

หากคุณต้องการโซลูชันที่มี httplib2 เป็น oneliner ให้พิจารณาการสร้างวัตถุ Http แบบไม่ระบุชื่อในทันที

import httplib2
resp, content = httplib2.Http().request("http://example.com/foo/bar")

ดูที่httplib2ซึ่ง - ถัดจากคุณสมบัติที่มีประโยชน์มากมาย - ให้สิ่งที่คุณต้องการ

import httplib2

resp, content = httplib2.Http().request("http://example.com/foo/bar")

โดยที่เนื้อหาจะเป็นเนื้อหาการตอบสนอง (เป็นสตริง) และ resp จะมีสถานะและส่วนหัวการตอบกลับ

มันไม่ได้มาพร้อมกับการติดตั้งหลามแบบมาตรฐาน (แต่มันต้องใช้งูหลามมาตรฐานเท่านั้น) แต่มันคุ้มค่าที่จะเช็คเอาท์

มันง่ายพอกับurllib3ห้องสมุดที่ทรงพลัง

นำเข้าแบบนี้:

import urllib3

http = urllib3.PoolManager()

และทำการร้องขอเช่นนี้:

response = http.request('GET', 'https://example.com')

print(response.data) # Raw data.
print(response.data.decode('utf-8')) # Text.
print(response.status) # Status code.
print(response.headers['Content-Type']) # Content type.

คุณสามารถเพิ่มส่วนหัวได้เช่นกัน:

response = http.request('GET', 'https://example.com', headers={
    'key1': 'value1',
    'key2': 'value2'
})

ข้อมูลเพิ่มเติมสามารถพบได้บนเอกสาร urllib3

urllib3ปลอดภัยกว่าและง่ายกว่าการใช้งานมากกว่า builtin urllib.requestหรือhttpโมดูลและมีความเสถียร

วิธีแก้ปัญหาสำหรับ wget นั้นมีประโยชน์จริง ๆ แต่ฉันพบว่ามันไม่ได้พิมพ์ความคืบหน้าตลอดกระบวนการดาวน์โหลด มันสมบูรณ์แบบถ้าคุณเพิ่มหนึ่งบรรทัดหลังคำสั่งพิมพ์ใน reporthook

import sys, urllib

def reporthook(a, b, c):
    print "% 3.1f%% of %d bytes\r" % (min(100, float(a * b) / c * 100), c),
    sys.stdout.flush()
for url in sys.argv[1:]:
    i = url.rfind("/")
    file = url[i+1:]
    print url, "->", file
    urllib.urlretrieve(url, file, reporthook)
print

นี่คือสคริปต์ wget ใน Python:

# From python cookbook, 2nd edition, page 487
import sys, urllib

def reporthook(a, b, c):
    print "% 3.1f%% of %d bytes\r" % (min(100, float(a * b) / c * 100), c),
for url in sys.argv[1:]:
    i = url.rfind("/")
    file = url[i+1:]
    print url, "->", file
    urllib.urlretrieve(url, file, reporthook)
print

หากไม่มีการนำเข้าที่จำเป็นเพิ่มเติมโซลูชันนี้ใช้งานได้ (สำหรับฉัน) - ด้วย https:

try:
    import urllib2 as urlreq # Python 2.x
except:
    import urllib.request as urlreq # Python 3.x
req = urlreq.Request("http://example.com/foo/bar")
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36')
urlreq.urlopen(req).read()

ฉันมักจะมีปัญหาในการคว้าเนื้อหาเมื่อไม่ระบุ "User-Agent" ในข้อมูลส่วนหัว แล้วมักจะร้องขอจะถูกยกเลิกกับสิ่งที่ชอบหรือurllib2.HTTPError: HTTP Error 403: Forbiddenurllib.error.HTTPError: HTTP Error 403: Forbidden

วิธีการส่งส่วนหัว

Python 3:

import urllib.request
contents = urllib.request.urlopen(urllib.request.Request(
    "https://api.github.com/repos/cirosantilli/linux-kernel-module-cheat/releases/latest",
    headers={"Accept" : 'application/vnd.github.full+json"text/html'}
)).read()
print(contents)

Python 2:

import urllib2
contents = urllib2.urlopen(urllib2.Request(
    "https://api.github.com",
    headers={"Accept" : 'application/vnd.github.full+json"text/html'}
)).read()
print(contents)

หากคุณกำลังทำงานกับ HTTP APIs โดยเฉพาะนอกจากนี้ยังมีทางเลือกที่สะดวกสบายมากขึ้นเช่นNap

ตัวอย่างเช่นต่อไปนี้เป็นวิธีรับส่วนสำคัญจาก Github ตั้งแต่วันที่ 1 พฤษภาคม 2014 :

from nap.url import Url
api = Url('https://api.github.com')

gists = api.join('gists')
response = gists.get(params={'since': '2014-05-01T00:00:00Z'})
print(response.json())

ตัวอย่างเพิ่มเติม: https://github.com/kimmobrunfeldt/nap#examples

โซลูชั่นที่ยอดเยี่ยม Xuan, Theller

เพื่อให้ทำงานกับ python 3 ทำการเปลี่ยนแปลงต่อไปนี้

import sys, urllib.request

def reporthook(a, b, c):
    print ("% 3.1f%% of %d bytes\r" % (min(100, float(a * b) / c * 100), c))
    sys.stdout.flush()
for url in sys.argv[1:]:
    i = url.rfind("/")
    file = url[i+1:]
    print (url, "->", file)
    urllib.request.urlretrieve(url, file, reporthook)
print

นอกจากนี้ URL ที่คุณป้อนควรนำหน้าด้วย "http: //" มิฉะนั้นจะส่งคืนข้อผิดพลาดประเภท URL ที่ไม่รู้จัก

สำหรับpython >= 3.6คุณสามารถใช้dload :

import dload
t = dload.text(url)

สำหรับjson:

j = dload.json(url)

ติดตั้ง:
pip install dload

จริงๆแล้วในไพ ธ อนเราสามารถอ่านได้จาก URL เช่นจากไฟล์นี่คือตัวอย่างสำหรับการอ่าน json จาก API

import json

from urllib.request import urlopen

with urlopen(url) as f:

resp = json.load(f)

return resp['some_key']

หากคุณต้องการ API ระดับต่ำกว่า:

import http.client

conn = http.client.HTTPSConnection('example.com')
conn.request('GET', '/')

resp = conn.getresponse()
content = resp.read()

conn.close()

text = content.decode('utf-8')

print(text)