อะไรคือความแตกต่างระหว่างโมดูล urllib, urllib2, urllib3 และคำขอ?

ในหลามสิ่งที่เป็นความแตกต่างระหว่างurllib, urllib2, urllib3และrequestsโมดูล? ทำไมถึงมีสาม? พวกเขาดูเหมือนจะทำสิ่งเดียวกัน ...

ฉันรู้ว่ามันถูกพูดไปแล้ว แต่ฉันขอแนะนำrequestsแพ็คเกจ Python

หากคุณใช้ภาษาอื่นนอกเหนือจากไพ ธ อนคุณอาจกำลังคิดurllibและurllib2ใช้งานง่ายไม่ใช้รหัสมากและมีความสามารถสูงนั่นคือสิ่งที่ฉันคิด แต่requestsแพ็คเกจมีประโยชน์อย่างไม่น่าเชื่อและสั้นมากที่ทุกคนควรใช้งาน

ก่อนอื่นจะรองรับ API ที่พักผ่อนอย่างสมบูรณ์และทำได้ง่ายเช่นเดียวกับ:

import requests

resp = requests.get('http://www.mywebsite.com/user')
resp = requests.post('http://www.mywebsite.com/user')
resp = requests.put('http://www.mywebsite.com/user/put')
resp = requests.delete('http://www.mywebsite.com/user/delete')

ไม่ว่า GET / POST คุณจะไม่ต้องเข้ารหัสพารามิเตอร์อีกต่อไป แต่จะใช้พจนานุกรมเป็นอาร์กิวเมนต์และทำได้ดี:

userdata = {"firstname": "John", "lastname": "Doe", "password": "jdoe123"}
resp = requests.post('http://www.mywebsite.com/user', data=userdata)

นอกจากนี้ยังมีตัวถอดรหัส JSON ในตัว (อีกครั้งฉันรู้ว่าjson.loads()การเขียนไม่มาก แต่แน่ใจว่าสะดวก):

resp.json()

หรือหากข้อมูลการตอบกลับของคุณเป็นเพียงข้อความให้ใช้:

resp.text

นี่เป็นเพียงส่วนยอดของภูเขาน้ำแข็ง นี่คือรายการของคุณสมบัติจากเว็บไซต์ร้องขอ:

• โดเมนและ URL ระหว่างประเทศ
• Keep-Alive & Connection Pooling
• เซสชันที่มีการคงอยู่ของคุกกี้
• การยืนยัน SSL แบบเบราว์เซอร์
• การพิสูจน์ตัวตนพื้นฐาน / ข้อมูลสำคัญ
• คุกกี้คีย์ / ค่า Elegant
• การบีบอัดอัตโนมัติ
• หน่วยตอบรับ Unicode
• การอัพโหลดไฟล์หลายส่วน
• หมดเวลาเชื่อมต่อ
• .netrc สนับสนุน
• รายการสินค้า
• Python 2.6 —3.4
• Thread ปลอดภัย

urllib2 มีฟังก์ชั่นพิเศษบางอย่างเช่นurlopen()ฟังก์ชั่นช่วยให้คุณสามารถระบุส่วนหัว (โดยปกติคุณจะต้องใช้ httplib ในอดีตซึ่งเป็น verbose ที่มากขึ้น) ที่สำคัญยิ่งกว่าแม้ว่า urllib2 จะให้Requestชั้นเรียนเพิ่มเติม วิธีการเปิดเผยในการทำคำขอ:

r = Request(url='http://www.mysite.com')
r.add_header('User-Agent', 'awesome fetcher')
r.add_data(urllib.urlencode({'foo': 'bar'})
response = urlopen(r)

โปรดทราบว่าurlencode()มีเฉพาะใน urllib ไม่ใช่ urllib2

นอกจากนี้ยังมีตัวจัดการสำหรับการใช้การสนับสนุน URL ขั้นสูงเพิ่มเติมใน urllib2 คำตอบสั้น ๆ คือหากคุณไม่ได้ทำงานกับรหัสดั้งเดิมคุณอาจต้องการใช้เครื่องมือเปิด URL จาก urllib2 แต่คุณยังต้องนำเข้าสู่ urllib สำหรับฟังก์ชันยูทิลิตี้บางอย่าง

คำตอบโบนัส ด้วย Google App Engine คุณสามารถใช้ httplib, urllib หรือ urllib2 ใด ๆ ก็ได้ แต่ทั้งหมดนี้เป็นเพียงคำแนะนำสำหรับ API การดึง URL ของ Google นั่นคือคุณยังคงมีข้อ จำกัด เช่นพอร์ตโปรโตคอลและความยาวของการตอบสนองที่ได้รับอนุญาต คุณสามารถใช้แกนหลักของไลบรารีได้ตามที่คุณคาดหวังว่าจะได้รับ URL HTTP

urllibและurllib2เป็นทั้งโมดูล Python ที่ทำหน้าที่ขอ URL ที่เกี่ยวข้อง แต่มีฟังก์ชั่นที่แตกต่างกัน

1) urllib2 สามารถยอมรับวัตถุคำขอเพื่อตั้งค่าส่วนหัวสำหรับคำขอ URL urllib ยอมรับเฉพาะ URL เท่านั้น

2) urllib ให้urlencodeวิธีการซึ่งใช้สำหรับการสร้างสตริงการสืบค้น GET, urllib2 ไม่มีฟังก์ชันดังกล่าว นี่คือหนึ่งในเหตุผลที่มักใช้ urllib ร่วมกับ urllib2

คำขอ - คำขอเป็นห้องสมุด HTTP ที่ใช้งานง่ายและง่ายต่อการเขียนใน Python

1) คำขอ Python เข้ารหัสพารามิเตอร์โดยอัตโนมัติเพื่อให้คุณส่งผ่านข้อโต้แย้งง่ายๆซึ่งไม่เหมือนกับในกรณีของ urllib ซึ่งคุณต้องใช้วิธีการurllib.encode ()เพื่อเข้ารหัสพารามิเตอร์ก่อนส่งต่อ

2) ถอดรหัสการตอบสนองเป็น Unicode โดยอัตโนมัติ

3) คำขอมีการจัดการข้อผิดพลาดที่สะดวกยิ่งขึ้นหากการรับรองความถูกต้องของคุณล้มเหลว urllib2 จะเพิ่ม urllib2.URLError ขณะที่คำขอจะส่งคืนออบเจ็กต์การตอบสนองตามปกติตามที่คาดไว้ ทั้งหมดที่คุณต้องดูว่าการร้องขอนั้นประสบความสำเร็จโดยบูลีนresponse.ok

ข้อแตกต่างที่สำคัญอย่างหนึ่งคือการย้ายพอร์ต Python2 ไปยัง Python3 urllib2 ไม่มีอยู่สำหรับ python3 และเมธอดที่ส่งไปยัง urllib ดังนั้นคุณกำลังใช้งานอย่างหนักและต้องการย้ายไปยัง Python3 ในอนาคตพิจารณาใช้ urllib อย่างไรก็ตามเครื่องมือ 2to3 จะทำงานให้คุณโดยอัตโนมัติ

เพียงเพื่อเพิ่มไปยังคำตอบที่มีอยู่ฉันไม่เห็นใครพูดถึงว่าการร้องขอหลามไม่ใช่ห้องสมุดท้องถิ่น หากคุณตกลงกับการเพิ่มการอ้างอิงจากนั้นคำขอก็ไม่เป็นไร อย่างไรก็ตามหากคุณพยายามหลีกเลี่ยงการเพิ่มการพึ่งพา urllib เป็นไลบรารี่แบบเนทีฟที่คุณมีอยู่แล้ว

ผมชอบฟังก์ชั่นและมันจะไม่ปรากฏอยู่ในurllib.urlencodeurllib2

>>> urllib.urlencode({'abc':'d f', 'def': '-!2'})
'abc=d+f&def=-%212'

ในการรับเนื้อหาของ URL:

try: # Try importing requests first.
    import requests
except ImportError: 
    try: # Try importing Python3 urllib
        import urllib.request
    except AttributeError: # Now importing Python2 urllib
        import urllib


def get_content(url):
    try:  # Using requests.
        return requests.get(url).content # Returns requests.models.Response.
    except NameError:  
        try: # Using Python3 urllib.
            with urllib.request.urlopen(index_url) as response:
                return response.read() # Returns http.client.HTTPResponse.
        except AttributeError: # Using Python3 urllib.
            return urllib.urlopen(url).read() # Returns an instance.

เป็นการยากที่จะเขียน Python2 และ Python3 และrequestโค้ดการพึ่งพาสำหรับการตอบสนองเพราะurlopen()ฟังก์ชั่นและrequests.get()ฟังก์ชั่นการคืนค่าประเภทที่แตกต่างกัน:

• Python2 urllib.request.urlopen()ส่งคืน ahttp.client.HTTPResponse
• Python3 urllib.urlopen(url)ส่งคืน aninstance
• การร้องขอrequest.get(url)ส่งคืนrequests.models.Response

โดยทั่วไปคุณควรใช้ urllib2 เนื่องจากจะทำให้บางครั้งง่ายขึ้นเล็กน้อยโดยการยอมรับคำขอวัตถุและจะเพิ่ม URLException จากข้อผิดพลาดของโปรโตคอลด้วย ด้วย Google App Engine คุณไม่สามารถใช้งานได้ คุณต้องใช้URL Fetch APIที่ Google จัดเตรียมไว้ในสภาพแวดล้อม Python แบบ sandboxed

จุดสำคัญที่ผมพบที่ขาดหายไปในคำตอบดังกล่าวคือผลตอบแทน urllib วัตถุของการพิมพ์<class http.client.HTTPResponse>ในขณะที่ผลตอบแทนrequests<class 'requests.models.Response'>

เนื่องจากนี้อ่าน () วิธีการที่สามารถใช้กับแต่ไม่ได้มีurllibrequests

PS: requestsมีอยู่มากมายด้วยวิธีการมากมายที่แทบจะไม่ต้องการอีกต่อไปเช่นread()>>