ฉันจะดูคำขอ HTTP ทั้งหมดที่ส่งโดยแอปพลิเคชัน Python ของฉันได้อย่างไร


263

ในกรณีของฉันฉันใช้requestsห้องสมุดเพื่อโทรหา API ของ PayPal ผ่าน HTTPS น่าเสียดายที่ฉันได้รับข้อผิดพลาดจาก PayPal และฝ่ายสนับสนุนของ PayPal ไม่สามารถระบุได้ว่าเกิดข้อผิดพลาดหรือเกิดจากสาเหตุใด พวกเขาต้องการให้ฉัน "โปรดส่งคำขอทั้งหมดรวมส่วนหัว"

ฉันจะทำสิ่งนั้นได้อย่างไร

คำตอบ:


499

วิธีการง่ายๆ: เปิดใช้งานการบันทึกในคำขอเวอร์ชันล่าสุด (1.x และสูงกว่า)

คำขอใช้http.clientและloggingการกำหนดค่าโมดูลการควบคุมการเข้าสู่ระบบฟุ่มเฟื่อยตามที่อธิบายไว้ที่นี่

สาธิต

ตัดตอนรหัสจากเอกสารที่เชื่อมโยง:

import requests
import logging

# These two lines enable debugging at httplib level (requests->urllib3->http.client)
# You will see the REQUEST, including HEADERS and DATA, and RESPONSE with HEADERS but without DATA.
# The only thing missing will be the response.body which is not logged.
try:
    import http.client as http_client
except ImportError:
    # Python 2
    import httplib as http_client
http_client.HTTPConnection.debuglevel = 1

# You must initialize logging, otherwise you'll not see debug output.
logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True

requests.get('https://httpbin.org/headers')

ตัวอย่างผลลัพธ์

$ python requests-logging.py 
INFO:requests.packages.urllib3.connectionpool:Starting new HTTPS connection (1): httpbin.org
send: 'GET /headers HTTP/1.1\r\nHost: httpbin.org\r\nAccept-Encoding: gzip, deflate, compress\r\nAccept: */*\r\nUser-Agent: python-requests/1.2.0 CPython/2.7.3 Linux/3.2.0-48-generic\r\n\r\n'
reply: 'HTTP/1.1 200 OK\r\n'
header: Content-Type: application/json
header: Date: Sat, 29 Jun 2013 11:19:34 GMT
header: Server: gunicorn/0.17.4
header: Content-Length: 226
header: Connection: keep-alive
DEBUG:requests.packages.urllib3.connectionpool:"GET /headers HTTP/1.1" 200 226

1
ขอบคุณ @ EmmettJ.Butler =) แม้ว่าฉันจะไม่แน่ใจว่าข้อมูลนี้มีให้ในเวลาที่มีการสอบถามดั้งเดิม
Inactivist

9
โปรดทราบว่า httplib ไม่สามารถใช้ได้กับงูหลาม 3. เพื่อทำให้โค้ดแบบพกพาแทนที่import httplibด้วยหรือใช้หกimport requests.packages.urllib3.connectionpool as httplib from six.moves import http_client as httplib
Jason R. Coombs

ในrequests2.18.1 และ Python 3 ตัวบันทึกlogging.getLogger("requests.packages.urllib3")ไม่มีอยู่หรือไม่มีผลใด ๆ
Flimm

1
สำหรับ Python3 ดูที่นี่ - docs.python-requests.org/en/latest/api/?highlight=debug from http.client import HTTPConnection
shershen

น่าเสียดายที่ "send:" "reply:" และ "header:" บรรทัดไม่ได้ถูกบันทึกจริง ๆ แต่เพิ่งพิมพ์ไปยัง stdout แต่ฉันต้องการมีข้อมูลนี้ในไฟล์บันทึก!
เลนิก

145
r = requests.get('https://api.github.com', auth=('user', 'pass'))

rคือการตอบสนอง มันมีคุณสมบัติคำขอซึ่งมีข้อมูลที่คุณต้องการ

r.request.allow_redirects  r.request.headers          r.request.register_hook
r.request.auth             r.request.hooks            r.request.response
r.request.cert             r.request.method           r.request.send
r.request.config           r.request.params           r.request.sent
r.request.cookies          r.request.path_url         r.request.session
r.request.data             r.request.prefetch         r.request.timeout
r.request.deregister_hook  r.request.proxies          r.request.url
r.request.files            r.request.redirect         r.request.verify

r.request.headers ให้ส่วนหัว:

{'Accept': '*/*',
 'Accept-Encoding': 'identity, deflate, compress, gzip',
 'Authorization': u'Basic dXNlcjpwYXNz',
 'User-Agent': 'python-requests/0.12.1'}

จากนั้นr.request.dataมีร่างกายเป็นแผนที่ คุณสามารถแปลงไฟล์นี้ได้urllib.urlencodeหากต้องการ:

import urllib
b = r.request.data
encoded_body = urllib.urlencode(b)

ขึ้นอยู่กับประเภทของการตอบสนอง.data--attatt อาจหายไปและ.body--attribute จะมีแทน


14
ข้อใดต่อไปนี้ที่ทำให้ฉัน "คำขอทั้งหมดรวมส่วนหัว"
Chris B.

1
เพิ่มอีก คุณต้องการอะไรนอกเหนือจากส่วนหัวและร่างกาย?
Skylar Saveland

8
ฉันไม่แน่ใจว่าสิ่งที่พวกเขากำลังมองหา ฉันหวังว่าจะจับทุกอย่างที่ผ่านสายสำหรับพวกเขาในรูปแบบที่แน่นอนไบต์ต่อไบต์
Chris B.

18
นี่เป็นวิธีที่ต้องการในการทำในกรณีของฉัน หมายเหตุเพียงหนึ่งเดียว: response.requestดูเหมือนว่าจะเป็นPreparedRequestในกรณีของฉัน; มันไม่ได้มี.dataแต่.bodyแทน
Antti Haapala

2
สำหรับ URL แบบเต็ม (ด้วยพารามิเตอร์การสืบค้น) คุณยังสามารถใช้response.url (ซึ่งแตกต่างกันเล็กน้อยในการที่มันไม่ได้)response.request...
Chuck van der Linden

6

คุณสามารถใช้HTTP Toolkitเพื่อทำสิ่งนี้

มีประโยชน์อย่างยิ่งหากคุณต้องการทำสิ่งนี้อย่างรวดเร็วโดยไม่มีการเปลี่ยนแปลงโค้ด: คุณสามารถเปิดเทอร์มินัลจากชุดเครื่องมือ HTTP เรียกใช้โค้ดไพ ธ อนใดก็ได้จากที่นั่นตามปกติและคุณจะสามารถดูเนื้อหาทั้งหมดของ HTTP / HTTPS ขอได้ทันที

มีเวอร์ชั่นฟรีที่สามารถทำทุกอย่างที่คุณต้องการและเป็นโอเพ่นซอร์ส 100%

ฉันเป็นผู้สร้างชุดเครื่องมือ HTTP; ฉันสร้างมันขึ้นมาเองเพื่อแก้ไขปัญหาเดียวกันนี้ให้กับฉันสักพัก! ฉันก็พยายามที่จะแก้ปัญหาการรวมระบบการชำระเงิน แต่ SDK ของพวกเขาไม่ทำงานฉันไม่สามารถบอกได้ว่าทำไม มันน่าหงุดหงิดมาก แต่การได้เห็นปริมาณข้อมูลดิบช่วยได้จริงๆ


5

หากคุณใช้ Python 2.x ให้ลองติดตั้งตัวเปิดurllib2 ที่ควรพิมพ์ส่วนหัวของคุณแม้ว่าคุณอาจจะต้องรวมกับ openers อื่น ๆ ที่คุณใช้ในการกด HTTPS

import urllib2
urllib2.install_opener(urllib2.build_opener(urllib2.HTTPHandler(debuglevel=1)))
urllib2.urlopen(url)

2

verboseตัวเลือกการกำหนดค่าอาจจะช่วยให้คุณเห็นสิ่งที่คุณต้องการ มีตัวอย่างในเอกสาร

หมายเหตุ:อ่านความคิดเห็นด้านล่าง: ตัวเลือกการกำหนดค่า verbose ดูเหมือนจะไม่สามารถใช้ได้อีกต่อไป


3
มีอะไร หามันไม่เจอ
BastiBen

3
@badcat มีส่วน "การบันทึกข้อมูล verbose" ในเวลานั้น ดูเหมือนว่ามันจะถูกลบออกในเดือนธันวาคม
Bruno

2
อ่านั่นจะอธิบายอย่างนั้น :) ถึงตอนนี้คำถามนี้ใช้ได้อีกครั้งเพราะฉันไม่สามารถหาวิธีพิมพ์ทราฟฟิกทั้งหมดระหว่างเซิร์ฟเวอร์และไคลเอนต์สำหรับการดีบัก
BastiBen

1
มี "วิธีการใหม่" ที่แนะนำเพื่อให้ได้ผลเช่นเดียวกับการบันทึกอย่างละเอียดหรือไม่
cbare

1
คำตอบของฉันแสดงวิธีที่ถูกต้องสำหรับคำร้องขอ 1.x และสูงกว่า
Inactivist
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.