ฉันสามารถตั้งค่า max_retries สำหรับคำร้องขอได้หรือไม่

โมดูลคำขอ Python นั้นเรียบง่ายและสวยงาม แต่มีสิ่งหนึ่งที่ทำให้ฉันรำคาญ เป็นไปได้ที่จะได้รับการร้องขอการยกเว้นการเชื่อมต่อกับข้อความเช่น:

Max retries exceeded with url: ...

แสดงว่าคำขอสามารถพยายามเข้าถึงข้อมูลได้หลายครั้ง แต่ไม่มีการกล่าวถึงความเป็นไปได้นี้ในเอกสาร ดูซอร์สโค้ดฉันไม่พบที่ที่ฉันสามารถเปลี่ยนค่าเริ่มต้น (สมมุติ 0)

ดังนั้นเป็นไปได้หรือไม่ที่จะกำหนดจำนวนการลองใหม่สูงสุดสำหรับคำขอ

มันเป็นurllib3ห้องสมุดต้นแบบที่จะลองใหม่ หากต้องการตั้งค่าจำนวนการลองส่งสูงสุดใหม่ให้ใช้อะแดปเตอร์การขนส่งอื่น :

from requests.adapters import HTTPAdapter

s = requests.Session()
s.mount('http://stackoverflow.com', HTTPAdapter(max_retries=5))

max_retriesอาร์กิวเมนต์ใช้เวลาจำนวนเต็มหรือRetry()วัตถุ ; หลังช่วยให้คุณสามารถควบคุมความล้มเหลวชนิดต่าง ๆ ได้อย่างละเอียด (ค่าจำนวนเต็มจะกลายเป็นRetry()อินสแตนซ์ที่จัดการความล้มเหลวในการเชื่อมต่อเท่านั้นข้อผิดพลาดหลังจากการเชื่อมต่อถูกทำโดยค่าเริ่มต้นที่ไม่จัดการ .

คำตอบเก่าการคาดการณ์การปล่อยคำขอ 1.2.1 :

requestsห้องสมุดไม่ได้จริงๆให้กำหนดค่านี้หรือไม่ได้ตั้งใจที่จะ (ดูคำขอดึงนี้ ) ขณะนี้ (คำขอ 1.1) การลองนับมีค่าเป็น 0 หากคุณต้องการตั้งเป็นค่าที่สูงกว่าคุณจะต้องตั้งค่านี้ทั่วโลก:

import requests

requests.adapters.DEFAULT_RETRIES = 5

ค่าคงที่นี้ไม่ได้บันทึกไว้ ใช้งานที่อันตรายของคุณเองเป็นรุ่นอนาคตสามารถเปลี่ยนแปลงวิธีการจัดการนี้

การปรับปรุงและนี่ไม่เปลี่ยนแปลง ในเวอร์ชั่น 1.2.1 มีการเพิ่มตัวเลือกในการตั้งค่าmax_retriesพารามิเตอร์ในHTTPAdapter()คลาสดังนั้นตอนนี้คุณต้องใช้อะแดปเตอร์การขนส่งทางเลือกดูด้านบน วิธีการแก้ลิงไม่ทำงานอีกต่อไปเว้นแต่ว่าคุณจะแก้ไขHTTPAdapter.__init__()ค่าเริ่มต้นด้วย (ไม่แนะนำอย่างมาก)

สิ่งนี้จะไม่เพียงเปลี่ยนmax_retriesแต่ยังเปิดใช้งานกลยุทธ์ backoff ซึ่งทำให้การร้องขอไปยังhttp: //ที่อยู่สลีปเป็นระยะเวลาหนึ่งก่อนที่จะลองอีกครั้ง (รวมเป็น 5 ครั้ง):

import requests
from urllib3.util.retry import Retry
from requests.adapters import HTTPAdapter

s = requests.Session()

retries = Retry(total=5,
                backoff_factor=0.1,
                status_forcelist=[ 500, 502, 503, 504 ])

s.mount('http://', HTTPAdapter(max_retries=retries))

s.get('http://httpstat.us/500')

ตามเอกสารประกอบสำหรับRetry : หาก backoff_factor คือ0.1ดังนั้น sleep () จะนอนสำหรับ [0.1s, 0.2s, 0.4s, ... ] ระหว่างการลองใหม่ นอกจากนี้ยังจะบังคับให้ลองใหม่อีกครั้งถ้ารหัสสถานะกลับมาเป็น500 , 502 , 503หรือ504

ตัวเลือกอื่น ๆ เพื่อRetryให้สามารถควบคุมได้ละเอียดยิ่งขึ้น:

• ทั้งหมด - จำนวนการลองใหม่ทั้งหมดที่อนุญาต
• เชื่อมต่อ - จำนวนข้อผิดพลาดเกี่ยวกับการเชื่อมต่อที่ต้องลองอีกครั้ง
• อ่าน - กี่ครั้งที่จะลองอ่านข้อผิดพลาดอีกครั้ง
• เปลี่ยนเส้นทาง - กี่เปลี่ยนเส้นทางที่จะดำเนินการ
• method_whitelist - ชุดของคำกริยา HTTP ตัวพิมพ์ใหญ่ที่เราควรลองใหม่
• status_forcelist - ชุดรหัสสถานะ HTTP ที่เราควรบังคับให้ลองใหม่
• backoff_factor - ปัจจัย backoff ที่จะใช้ระหว่างความพยายาม
• lift_on_redirect - หากจำนวนการเปลี่ยนเส้นทางหมดลงเพื่อเพิ่มMaxRetryErrorหรือเพื่อตอบกลับด้วยรหัสตอบกลับในช่วง3xx
• boost_on_status - ความหมายที่คล้ายกันกับra_on_redirect : ไม่ว่าเราควรจะเพิ่มข้อยกเว้นหรือกลับคำตอบถ้าสถานะอยู่ในช่วงstatus_forcelistและลองใหม่ได้หมดลง

หมายเหตุ : Ra_on_statusค่อนข้างใหม่และยังไม่ได้เปิดตัว urllib3 หรือคำขอ raise_on_statusโต้แย้งคำหลักที่ดูเหมือนจะทำให้มันเป็นห้องสมุดมาตรฐานที่มากที่สุดในหลามรุ่น 3.6

หากต้องการส่งคำขอลองใหม่อีกครั้งเกี่ยวกับรหัสสถานะเฉพาะ HTTP ใช้status_forcelist ตัวอย่างเช่นstatus_forcelist = [503]จะลองอีกครั้งในรหัสสถานะ503 (บริการไม่พร้อมใช้งาน)

ตามค่าเริ่มต้นการลองใหม่จะเริ่มขึ้นสำหรับเงื่อนไขเหล่านี้:

• ไม่สามารถรับการเชื่อมต่อจากพูล
• TimeoutError
• HTTPExceptionยกระดับ (จากhttp.clientใน Python 3 else httplib ) ดูเหมือนว่าจะเป็นข้อยกเว้น HTTP ระดับต่ำเช่น URL หรือโปรโตคอลไม่ได้เกิดขึ้นอย่างถูกต้อง
• SocketError
• ProtocolError

โปรดสังเกตว่าสิ่งเหล่านี้เป็นข้อยกเว้นทั้งหมดที่ป้องกันไม่ให้ได้รับการตอบกลับ HTTP ปกติ หากมีการตอบสนองปกติใด ๆจะไม่มีการลองใหม่ โดยไม่ใช้status_forcelistแม้แต่การตอบกลับด้วยสถานะ 500 จะไม่ถูกลองใหม่

เพื่อให้มันทำงานในลักษณะที่ใช้งานง่ายยิ่งขึ้นสำหรับการทำงานกับรีโมต API หรือเว็บเซิร์ฟเวอร์ฉันจะใช้ข้อมูลโค้ดข้างต้นซึ่งบังคับให้ลองใหม่ในสถานะ500 , 502 , 503และ504ซึ่งทั้งหมดนี้ไม่ใช่เรื่องแปลกสำหรับ เว็บและ (อาจ) สามารถกู้คืนได้เมื่อกำหนดระยะเวลาแบ็คออฟที่เพียงพอ

แก้ไขนำเข้า: Retryระดับโดยตรงจากurllib3

ระวังคำตอบของ Martijn Pieters ไม่เหมาะสำหรับรุ่น 1.2.1+ คุณไม่สามารถตั้งค่าได้ทั่วโลกหากไม่มีการปะแก้ห้องสมุด

คุณสามารถทำสิ่งนี้แทน:

import requests
from requests.adapters import HTTPAdapter

s = requests.Session()
s.mount('http://www.github.com', HTTPAdapter(max_retries=5))
s.mount('https://www.github.com', HTTPAdapter(max_retries=5))

หลังจากดิ้นรนเล็กน้อยกับคำตอบที่นี่ฉันพบห้องสมุดชื่อbackoffที่ทำงานได้ดีขึ้นสำหรับสถานการณ์ของฉัน ตัวอย่างพื้นฐาน:

import backoff

@backoff.on_exception(
    backoff.expo,
    requests.exceptions.RequestException,
    max_tries=5,
    giveup=lambda e: e.response is not None and e.response.status_code < 500
)
def publish(self, data):
    r = requests.post(url, timeout=10, json=data)
    r.raise_for_status()

ฉันยังคงแนะนำให้ให้ฟังก์ชั่นพื้นฐานของห้องสมุด แต่ถ้าคุณพบปัญหาหรือต้องการการควบคุมที่กว้างกว่า Backoff เป็นตัวเลือก

วิธีที่สะอาดกว่าที่จะได้รับการควบคุมที่สูงขึ้นอาจเป็นการบรรจุสิ่งของที่ลองใหม่ลงในฟังก์ชันและทำให้ฟังก์ชันนั้นสามารถเรียกคืนได้โดยใช้มัณฑนากรและยกเว้นรายการที่อนุญาต

ฉันได้สร้างสิ่งเดียวกันที่นี่: http://www.praddy.in/retry-decorator-whitelisted-exceptions/

สร้างรหัสในลิงค์นั้นซ้ำ:

def retry(exceptions, delay=0, times=2):
"""
A decorator for retrying a function call with a specified delay in case of a set of exceptions

Parameter List
-------------
:param exceptions:  A tuple of all exceptions that need to be caught for retry
                                    e.g. retry(exception_list = (Timeout, Readtimeout))
:param delay: Amount of delay (seconds) needed between successive retries.
:param times: no of times the function should be retried


"""
def outer_wrapper(function):
    @functools.wraps(function)
    def inner_wrapper(*args, **kwargs):
        final_excep = None  
        for counter in xrange(times):
            if counter > 0:
                time.sleep(delay)
            final_excep = None
            try:
                value = function(*args, **kwargs)
                return value
            except (exceptions) as e:
                final_excep = e
                pass #or log it

        if final_excep is not None:
            raise final_excep
    return inner_wrapper

return outer_wrapper

@retry(exceptions=(TimeoutError, ConnectTimeoutError), delay=0, times=3)
def call_api():