Nginx proxy_read_timeout เทียบกับ proxy_connect_timeout

ฉันเริ่มใช้ Nginx เป็น reverse proxy สำหรับชุดเซิร์ฟเวอร์ที่ให้บริการบางประเภท

บริการอาจค่อนข้างช้าในบางครั้ง (การทำงานบน Java และ JVM บางครั้งอาจติดอยู่ใน "การรวบรวมขยะเต็ม" ซึ่งอาจใช้เวลาหลายวินาที) ดังนั้นฉันจึงตั้งค่าเป็นproxy_connect_timeout2 วินาทีซึ่งจะทำให้ Nginx มีเวลาพอที่จะคิด ออกว่าบริการติดอยู่ใน GC และจะไม่ตอบสนองในเวลาและมันควรจะผ่านการร้องขอไปยังเซิร์ฟเวอร์ที่แตกต่างกัน

ฉันยังได้ตั้งค่าproxy_read_timeoutเพื่อป้องกันไม่ให้พร็อกซีย้อนกลับติดขัดหากบริการใช้เวลามากเกินไปในการคำนวณการตอบสนอง - อีกครั้งควรย้ายคำร้องขอไปยังเซิร์ฟเวอร์อื่นที่ควรจะว่างพอที่จะตอบกลับในเวลาที่เหมาะสม

ฉันใช้การวัดประสิทธิภาพบางอย่างและฉันสามารถเห็นได้อย่างชัดเจนว่าการproxy_connect_timeoutทำงานอย่างถูกต้องตามที่คำขอบางอย่างกลับมาตรงตามเวลาที่กำหนดไว้สำหรับการหมดเวลาการเชื่อมต่อเนื่องจากบริการติดขัดและไม่ยอมรับการเชื่อมต่อขาเข้า (บริการกำลังใช้ Jetty ภาชนะ servlet) proxy_read_timeoutยังทำงานที่ฉันสามารถดูการร้องขอว่าการกลับมาหลังจากที่หมดเวลาที่ระบุไว้มี

ปัญหาคือฉันคาดว่าจะเห็นคำขอบางอย่างที่หมดเวลาหลังจากproxy_read_timeout + proxy_connect_timeoutนั้นหรือเกือบระยะเวลานั้นถ้าบริการค้างอยู่และไม่ยอมรับการเชื่อมต่อเมื่อ Nginx พยายามเข้าถึงมัน แต่ก่อนที่ Nginx จะหมดเวลา - มันจะถูกปล่อยออกมา และเริ่มการประมวลผล แต่ช้าเกินไปและ Nginx จะยกเลิกเนื่องจากการหมดเวลาอ่าน ฉันเชื่อว่าบริการดังกล่าวมีกรณีดังกล่าว แต่หลังจากใช้การวัดประสิทธิภาพหลายครั้งรวมคำขอหลายล้านรายการ - ฉันไม่เห็นคำขอเดียวที่ส่งคืนสิ่งใด ๆ ข้างต้นproxy_read_timeout(ซึ่งเป็นการหมดเวลาที่มากขึ้น)

ฉันจะขอบคุณความคิดเห็นใด ๆ เกี่ยวกับปัญหานี้แม้ว่าฉันคิดว่าอาจเป็นเพราะข้อผิดพลาดใน Nginx (ฉันยังไม่ได้ดูรหัสดังนั้นนี่เป็นเพียงข้อสันนิษฐาน) ว่าตัวนับการหมดเวลาไม่ได้รับการรีเซ็ตหลังจากการเชื่อมต่อ สำเร็จถ้า Nginx ไม่อ่านอะไรจากเซิร์ฟเวอร์ upstream

ที่จริงแล้วฉันไม่สามารถทำซ้ำได้ใน:

2011/08/20 20:08:43 [notice] 8925#0: nginx/0.8.53
2011/08/20 20:08:43 [notice] 8925#0: built by gcc 4.1.2 20080704 (Red Hat 4.1.2-48)
2011/08/20 20:08:43 [notice] 8925#0: OS: Linux 2.6.39.1-x86_64-linode19

ฉันตั้งค่านี้ใน nginx.conf ของฉัน:

proxy_connect_timeout   10;
proxy_send_timeout      15;
proxy_read_timeout      20;

ฉันตั้งค่าเซิร์ฟเวอร์ทดสอบสองเครื่องแล้ว หนึ่งที่เพิ่งหมดเวลาใน SYN และหนึ่งที่จะยอมรับการเชื่อมต่อ แต่ไม่ตอบสนอง:

upstream dev_edge {
  server 127.0.0.1:2280 max_fails=0 fail_timeout=0s; # SYN timeout
  server 10.4.1.1:22 max_fails=0 fail_timeout=0s; # accept but never responds
}

จากนั้นฉันก็ส่งหนึ่งการเชื่อมต่อการทดสอบ:

[m4@ben conf]$ telnet localhost 2480
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
GET / HTTP/1.1
Host: localhost

HTTP/1.1 504 Gateway Time-out
Server: nginx
Date: Sun, 21 Aug 2011 03:12:03 GMT
Content-Type: text/html
Content-Length: 176
Connection: keep-alive

จากนั้นดู error_log ซึ่งแสดงสิ่งนี้:

2011/08/20 20:11:43 [error] 8927#0: *1 upstream timed out (110: Connection timed out) while connecting to upstream, client: 127.0.0.1, server: ben.dev.b0.lt, request: "GET / HTTP/1.1", upstream: "http://10.4.1.1:22/", host: "localhost"

แล้ว:

2011/08/20 20:12:03 [error] 8927#0: *1 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 127.0.0.1, server: ben.dev.b0.lt, request: "GET / HTTP/1.1", upstream: "http://127.0.0.1:2280/", host: "localhost"

จากนั้น access.log ซึ่งมีการหมดเวลา 30 วินาทีที่คาดไว้ (10 + 20):

504:32.931:10.003, 20.008:.:176 1 127.0.0.1 localrhost - [20/Aug/2011:20:12:03 -0700] "GET / HTTP/1.1" "-" "-" "-" dev_edge 10.4.1.1:22, 127.0.0.1:2280 -

นี่คือรูปแบบบันทึกที่ฉันใช้ซึ่งรวมถึงการหมดเวลาอัปสตรีมแต่ละรายการ:

log_format  edge  '$status:$request_time:$upstream_response_time:$pipe:$body_bytes_sent $connection $remote_addr $host $remote_user [$time_local] "$request" "$http_referer" "$http_user_agent" "$http_x_forwarded_for" $edge $upstream_addr $upstream_cache_status';

ปัญหาคือฉันคาดว่าจะเห็นคำขอบางอย่างที่หมดเวลาหลังจาก proxy_read_timeout + proxy_connect_timeout หรือเกือบระยะเวลานั้นถ้าบริการค้างและไม่ยอมรับการเชื่อมต่อเมื่อ Nginx พยายามเข้าถึง แต่ก่อน Nginx สามารถหมดเวลา - มันได้รับการปล่อยตัวและเริ่มการประมวลผล แต่ช้าเกินไปและ Nginx จะยกเลิกเนื่องจากการหมดเวลาอ่าน

การหมดเวลาเชื่อมต่อหมายถึงแผงลอย TCP เมื่อจับมือ (เช่นไม่มี SYN_ACKs) TCP จะลองส่ง SYN อีกครั้ง แต่คุณได้รับเพียง 2 วินาที ถึง Nginx เพื่อใช้เซิร์ฟเวอร์อื่นดังนั้นจึงไม่มีเวลาสำหรับการส่ง SYN ใหม่อีกครั้ง

UPD : ไม่พบในเอกสาร แต่ tcpdump แสดงว่ามี3วินาที หน่วงเวลาระหว่างวันที่ 1 ที่ส่ง SYN และความพยายามครั้งที่สองในการส่ง SYN