เวลาแฝงของ P99 คืออะไร?

เวลาแฝงของ P99 แสดงถึงอะไร? ฉันมักจะได้ยินเกี่ยวกับเรื่องนี้ในการสนทนาเกี่ยวกับประสิทธิภาพของแอปพลิเคชัน แต่ไม่พบแหล่งข้อมูลออนไลน์ที่จะพูดถึงเรื่องนี้

มันเป็นเรื่องที่ร้อยละ 99 หมายความว่า 99% ของคำขอควรเร็วกว่าเวลาในการตอบสนองที่กำหนด กล่าวอีกนัยหนึ่งเพียง 1% ของคำขอที่ได้รับอนุญาตให้ช้าลง

เราสามารถอธิบายได้ด้วยการเปรียบเทียบหากนักเรียน 100 คนกำลังวิ่งแข่งนักเรียน 99 คนควรเข้าร่วมการแข่งขันในเวลา "แฝง"

ลองนึกภาพว่าคุณกำลังรวบรวมข้อมูลประสิทธิภาพของบริการของคุณและตารางด้านล่างนี้คือการรวบรวมผลลัพธ์ (ค่าเวลาในการตอบสนองเป็นสิ่งสมมติเพื่อแสดงแนวคิด)

Latency    Number of requests
1s         5
2s         5
3s         10
4s         40
5s         20
6s         15
7s         4
8s         1

เวลาแฝง P99 ของบริการของคุณคือ 7 วินาที คำขอเพียง 1% ใช้เวลานานกว่านั้น ดังนั้นหากคุณสามารถลดเวลาแฝง P99 ของบริการของคุณได้คุณจะต้องเพิ่มประสิทธิภาพ

ลองดูตัวอย่างจากที่นี่

Request latency:
    min: 0.1
    max: 7.2
    median: 0.2
    p95: 0.5
    p99: 1.3

ดังนั้นเราสามารถพูดได้ว่า 99 เปอร์เซ็นต์ของคำขอทางเว็บเวลาในการตอบสนองที่พบคือ 1.3 มิลลิวินาที (มิลลิวินาที / ไมโครวินาทีขึ้นอยู่กับการวัดเวลาในการตอบสนองของระบบของคุณที่กำหนดค่าไว้) หรือต่ำกว่า เหมือนที่ @tranmq บอกหากเราลดเวลาแฝง P99 ของบริการเราสามารถเพิ่มประสิทธิภาพได้

และเป็นที่น่าสังเกตว่า p95 เนื่องจากอาจมีคำขอเพียงไม่กี่คำขอทำให้ p99 มีราคาสูงกว่า p95 เช่น) คำขอเริ่มต้นที่สร้างแคชอ็อบเจ็กต์คลาสอุ่นเครื่องเธรดเริ่มต้น ...

สุดท้าย; เราสามารถมีสัญญาณรบกวนประมาณ 1% ในการวัดของเรา (เช่นความแออัดของเครือข่ายการหยุดทำงานการเสื่อมสภาพของบริการ) ดังนั้นเวลาแฝงของ p99 จึงเป็นตัวแทนที่ดีในกรณีที่เลวร้ายที่สุด และเกือบทุกครั้งเป้าหมายของเราคือการลดเวลาแฝงของ p99