จะตั้งค่าการหมดเวลาสำหรับคำขอ http get () ใน Golang ได้อย่างไร?

ฉันกำลังสร้าง URL fetcher ใน Go และมีรายการ URL ที่จะดึงข้อมูล ฉันส่งhttp.Get()คำขอไปยังแต่ละ URL และได้รับคำตอบ

resp,fetch_err := http.Get(url)

ฉันจะกำหนดระยะหมดเวลาที่กำหนดเองสำหรับคำขอรับแต่ละรายการได้อย่างไร (เวลาเริ่มต้นนั้นนานมากและทำให้ fetcher ของฉันช้ามาก) ฉันต้องการให้ตัวดึงข้อมูลของฉันมีระยะหมดเวลาประมาณ 40-45 วินาทีหลังจากนั้นควรส่งคืน "คำขอหมดเวลา" และไปยัง URL ถัดไป

ฉันจะบรรลุเป้าหมายนี้ได้อย่างไร?

เห็นได้ชัดใน Go 1.3 http ไคลเอนต์มีฟิลด์หมดเวลา

client := http.Client{
    Timeout: 5 * time.Second,
}
client.Get(url)

นั่นเป็นเคล็ดลับสำหรับฉัน

คุณจำเป็นต้องตั้งค่าของคุณเองไคลเอ็นต์กับของคุณเองการขนส่งที่ใช้ฟังก์ชั่นแบบ Dial ที่กำหนดเองซึ่งล้อมรอบDialTimeout

สิ่งที่ต้องการ ( ยังไม่ทดสอบอย่างสมบูรณ์) สิ่งนี้ :

var timeout = time.Duration(2 * time.Second)

func dialTimeout(network, addr string) (net.Conn, error) {
    return net.DialTimeout(network, addr, timeout)
}

func main() {
    transport := http.Transport{
        Dial: dialTimeout,
    }

    client := http.Client{
        Transport: &transport,
    }

    resp, err := client.Get("http://some.url")
}

หากต้องการเพิ่มคำตอบของ Volker หากคุณต้องการตั้งค่าการหมดเวลาอ่าน / เขียนนอกเหนือจากการหมดเวลาการเชื่อมต่อคุณสามารถทำสิ่งต่อไปนี้ได้

package httpclient

import (
    "net"
    "net/http"
    "time"
)

func TimeoutDialer(cTimeout time.Duration, rwTimeout time.Duration) func(net, addr string) (c net.Conn, err error) {
    return func(netw, addr string) (net.Conn, error) {
        conn, err := net.DialTimeout(netw, addr, cTimeout)
        if err != nil {
            return nil, err
        }
        conn.SetDeadline(time.Now().Add(rwTimeout))
        return conn, nil
    }
}

func NewTimeoutClient(connectTimeout time.Duration, readWriteTimeout time.Duration) *http.Client {

    return &http.Client{
        Transport: &http.Transport{
            Dial: TimeoutDialer(connectTimeout, readWriteTimeout),
        },
    }
}

รหัสนี้ได้รับการทดสอบและใช้งานได้ในการผลิต ดูข้อมูลสำคัญทั้งหมดพร้อมการทดสอบได้ที่นี่ https://gist.github.com/dmichael/5710968

โปรดทราบว่าคุณจะต้องสร้างไคลเอนต์ใหม่สำหรับแต่ละคำขอเนื่องจากการconn.SetDeadlineอ้างอิงถึงประเด็นในอนาคตtime.Now()

หากคุณต้องการทำตามคำขอการจัดการที่ผิดพลาดจะถูกละเว้นเพื่อความกะทัดรัด:

ctx, cncl := context.WithTimeout(context.Background(), time.Second*3)
defer cncl()

req, _ := http.NewRequestWithContext(ctx, http.MethodGet, "https://google.com", nil)

resp, _ := http.DefaultClient.Do(req)

วิธีที่รวดเร็วและสกปรก:

http.DefaultTransport.(*http.Transport).ResponseHeaderTimeout = time.Second * 45

นี่เป็นการกลายพันธุ์ของรัฐทั่วโลกโดยไม่มีการประสานงานใด ๆ แต่มันอาจจะโอเคสำหรับ url fetcher ของคุณ มิฉะนั้นให้สร้างอินสแตนซ์ส่วนตัวของhttp.RoundTripper:

var myTransport http.RoundTripper = &http.Transport{
        Proxy:                 http.ProxyFromEnvironment,
        ResponseHeaderTimeout: time.Second * 45,
}

var myClient = &http.Client{Transport: myTransport}

resp, err := myClient.Get(url)
...

ไม่มีการทดสอบข้างต้น

คุณสามารถใช้https://github.com/franela/goreqซึ่งจัดการการหมดเวลาในรูปแบบและวิธีง่ายๆ

timeout := time.Duration(5 * time.Second)
transport := &http.Transport{Proxy: http.ProxyURL(proxyUrl), ResponseHeaderTimeout:timeout}

สิ่งนี้อาจช่วยได้ แต่สังเกตว่าResponseHeaderTimeoutเริ่มต้นหลังจากสร้างการเชื่อมต่อแล้วเท่านั้น