จะคำนวณความน่าจะเป็นที่เกี่ยวข้องกับคะแนน Z ขนาดใหญ่อย่างไร้เหตุผลได้อย่างไร

แพคเกจซอฟต์แวร์สำหรับการตรวจจับแรงจูงใจเครือข่ายสามารถให้คะแนน Z สูงมาก (สูงสุดที่ฉันเคยเห็นคือ 600,000+ แต่คะแนน Z มากกว่า 100 นั้นเป็นเรื่องธรรมดา) ฉันวางแผนที่จะแสดงว่าคะแนน Z เหล่านี้เป็นของปลอม

คะแนน Z ขนาดใหญ่สอดคล้องกับความน่าจะเป็นที่ต่ำมาก ค่าของความน่าจะเป็นที่เกี่ยวข้องจะได้รับเช่นหน้าแจกวิกิพีเดียตามปกติ (และอาจเป็นตำราสถิติทุกเล่ม) สำหรับคะแนน Z ถึง 6 ดังนั้น ...

คำถาม : เราคำนวณฟังก์ชันข้อผิดพลาดได้อย่างไรสำหรับ n มากถึง 1,000,000 พูด?$1-\mathrm{erf}(n/\sqrt{2})$

ฉันโดยเฉพาะอย่างยิ่งหลังจากแพคเกจที่ใช้งานแล้วสำหรับนี้ (ถ้าเป็นไปได้) สิ่งที่ดีที่สุดที่ฉันเคยพบคือ WolframAlpha ซึ่งสามารถคำนวณได้สำหรับ n = 150 ( ที่นี่ )

คำถามเกี่ยวกับฟังก์ชั่นข้อผิดพลาดเสริม

$$\textrm{erfc}(x) = \frac{2}{\sqrt{\pi}}\int_{x}^{\infty}\exp(-t^2) d t$$

สำหรับค่า "ใหญ่" ของ (ในคำถามเดิม) - นั่นคือระหว่าง 100 ถึง 700,000 หรือมากกว่านั้น (ในทางปฏิบัติค่าใด ๆ ที่มากกว่า 6 ควรได้รับการพิจารณาว่า "ใหญ่" อย่างที่เราเห็น) โปรดทราบว่าเนื่องจากสิ่งนี้จะถูกใช้เพื่อคำนวณค่า p จึงมีค่าน้อยในการได้รับตัวเลขทศนิยม (ทศนิยม) มากกว่าสามหลัก .= n / $x$$=n/\sqrt{2}$

ในการเริ่มต้นให้พิจารณาการประมาณที่แนะนำโดย @Iterator

$$f(x) = 1 - \sqrt{1 - \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right)},$$

ที่ไหน

$$a = \frac{8(\pi-3)}{3(4-\pi)} \approx 0.439862.$$

แม้ว่านี่จะเป็นประมาณที่ยอดเยี่ยมกับการทำงานผิดพลาดของตัวเองก็เป็นประมาณเลวร้ายไป{} อย่างไรก็ตามมีวิธีแก้ไขอย่างเป็นระบบ$\textrm{erfc}$

สำหรับค่า p ที่เชื่อมโยงกับค่าขนาดใหญ่ของเราสนใจข้อผิดพลาดสัมพัทธ์ : เราหวังว่าค่าสัมบูรณ์ของมันจะน้อยกว่า 0.001 สำหรับสามค่านัยสำคัญ ตัวเลขของความแม่นยำ น่าเสียดายที่นิพจน์นี้ยากที่จะศึกษาสำหรับขนาดใหญ่เนื่องจากอันเดอร์โฟลในการคำนวณความแม่นยำสองเท่า นี่คือความพยายามหนึ่งครั้งที่จะแปลงข้อผิดพลาดสัมพัทธ์กับสำหรับ :$x$ x x 0 ≤ x ≤ $f(x)/\textrm{erfc}(x) - 1$$x$$x$$0 \le x \le 5.8$

การคำนวณจะไม่เสถียรเมื่อเกิน 5.3 หรือมากกว่านั้นและไม่สามารถส่งหนึ่งหลักที่สำคัญผ่านมา 5.8 นี่ไม่ใช่เรื่องแปลก:กำลังผลักดันข้อ จำกัด ของเลขคณิตความแม่นยำสองเท่า เนื่องจากไม่มีหลักฐานว่าข้อผิดพลาดสัมพัทธ์จะเป็นที่ยอมรับได้เล็กสำหรับใหญ่กว่าเราต้องทำดีกว่าประสบการณ์( - 5.8 2 ) ≈ 10 - 14.6$x$$\exp(-5.8^2) \approx 10^{-14.6}$$x$

ทำการคำนวณในแบบเลขคณิตขยาย (ด้วยMathematica ) ปรับปรุงรูปภาพของสิ่งที่เกิดขึ้น:

ข้อผิดพลาดเพิ่มขึ้นอย่างรวดเร็วด้วยและไม่แสดงอาการของการปรับระดับ ที่ผ่านมาหรือมากกว่านั้นการประมาณนี้ไม่ได้ให้ข้อมูลที่เชื่อถือได้เพียงหลักเดียว!x = $x$$x=10$

อย่างไรก็ตามพล็อตกำลังเริ่มดูเป็นเส้นตรง เราอาจจะคาดเดาว่าความผิดพลาดเป็นสัดส่วนโดยตรงกับx(สิ่งนี้สมเหตุสมผลในเชิงทฤษฎี:เป็นฟังก์ชันแปลก ๆ และก็ชัดแจ้งดังนั้นอัตราส่วนของพวกเขาควรจะเป็นฟังก์ชันแปลกดังนั้นเราคาดว่าข้อผิดพลาดสัมพัทธ์ถ้ามันเพิ่มขึ้นจะทำตัวเหมือน อำนาจคี่ .) นำไปสู่การนี้เราจะศึกษาข้อผิดพลาดญาติหารด้วย xเท่ากันฉันเลือกที่จะตรวจสอบเพราะความหวังคือสิ่งนี้ควรมีค่า จำกัด คงที่ นี่คือกราฟ:$x$$\textrm{erfc}$x x x ⋅ erfc ( x ) / f ( x $f$$x$ $x$$x \cdot \textrm{erfc}(x)/f(x)$

การคาดเดาของเราดูเหมือนจะถูกนำออกมา: อัตราส่วนนี้ดูเหมือนจะใกล้ถึงขีด จำกัด ประมาณ 8 หรือมากกว่านั้น เมื่อถูกถามMathematicaจะจัดหา:

a1 = Limit[x (Erfc[x]/f[x]), x -> \[Infinity]]

ค่าเป็น7.94325 สิ่งนี้ช่วยให้เราสามารถปรับปรุงการประมาณการ:เราใช้$a_1 = \frac{2 }{\sqrt{\pi }}e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \approx 7.94325$

$$f_1(x) = f(x) \frac{a_1}{x}$$

เป็นการปรับแต่งครั้งแรกของการประมาณ เมื่อใหญ่จริงๆ - มากกว่าสองสามพัน - การประมาณนี้ค่อนข้างดี เนื่องจากมันยังคงไม่ดีพอสำหรับช่วงของการขัดแย้งที่น่าสนใจระหว่างและหรือมากกว่านั้นลองทำซ้ำขั้นตอน เวลานี้ข้อผิดพลาดที่เกี่ยวข้องแบบผกผัน - โดยเฉพาะนิพจน์ควรทำตัวเหมือนสำหรับขนาดใหญ่ (โดยอาศัยการพิจารณาความเท่าเทียมกันก่อนหน้านี้) . ดังนั้นเราคูณด้วยและหาข้อ จำกัด ต่อไป:5.3 2000 1 - erfc ( x ) / f 1 ( x ) 1 / x 2 x x $x$$5.3$$2000$$1 - \textrm{erfc}(x)/f_1(x)$$1/x^2$$x$$x^2$

a2 = Limit[x^2 (a1 - x (Erfc[x]/f[x])), x -> \[Infinity]] 

ค่าคือ

$$a_2 = \frac{1}{32 \sqrt{\pi }} e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \left(32-\frac{9 (-4+\pi )^3 \pi }{(-3+\pi )^2}\right) \approx 114.687.$$

กระบวนการนี้สามารถดำเนินต่อไปตราบเท่าที่เราต้องการ ฉันเอามันออกไปอีกหนึ่งขั้นตอนเพื่อค้นหา

a3 = Limit[x^2 (a2 - x^2 (a1 - x (Erfc[x]/f[x]))), x -> \[Infinity]] 

มีค่าประมาณ 1623.67 (นิพจน์แบบเต็มเกี่ยวข้องกับฟังก์ชันเหตุผลแปดองศาของและยาวเกินกว่าจะเป็นประโยชน์ได้ที่นี่)$\pi$

การยกเลิกการดำเนินการเหล่านี้ทำให้เราประมาณค่าขั้นสุดท้าย

$$f_3(x) = f(x)\left(a_1 - a_2/x^2 + a_3/x^4\right)/x.$$

ข้อผิดพลาดเป็นสัดส่วน6} การนำเข้าเป็นค่าคงที่ของสัดส่วนดังนั้นเราจึงวางแผน :$x^{-6}$$x^6(1 - \textrm{erfc}(x) / f_3(x))$

มันเข้าใกล้ค่า จำกัด อย่างรวดเร็วประมาณ 2,660.59 เมื่อใช้การประมาณเราจะได้ค่าประมาณของซึ่งความแม่นยำสัมพัทธ์ดีกว่าสำหรับทั้งหมด เมื่อเกิน 20 หรือมากกว่านั้นเรามีเลขนัยสำคัญสามตัวของเรา (หรือมากกว่านั้นเมื่อใหญ่ขึ้น) นี่คือตารางเปรียบเทียบค่าที่ถูกต้องกับการประมาณสำหรับระหว่างและ :$f_3$$\textrm{erfc}(x)$$2661/x^6$$x \gt 0$$x$$x$$x$$10$$20$

 x  Erfc    Approximation      
10  2.088*10^-45    2.094*10^-45
11  1.441*10^-54    1.443*10^-54
12  1.356*10^-64    1.357*10^-64
13  1.740*10^-75    1.741*10^-75
14  3.037*10^-87    3.038*10^-87
15  7.213*10^-100   7.215*10^-100
16  2.328*10^-113   2.329*10^-113
17  1.021*10^-127   1.021*10^-127
18  6.082*10^-143   6.083*10^-143
19  4.918*10^-159   4.918*10^-159
20  5.396*10^-176   5.396*10^-176

ในความเป็นจริงการประมาณนี้ให้ความแม่นยำอย่างน้อยสองตัวเลขที่สำคัญสำหรับซึ่งเป็นเพียงการประมาณที่การคำนวณทางเดินเท้า (เช่นฟังก์ชั่นของ Excel ) หายไป$x=8$NormSDist

ในที่สุดคนหนึ่งอาจจะกังวลเกี่ยวกับความสามารถของเราในการคำนวณเบื้องต้นประมาณฉอย่างไรก็ตามนั่นไม่ใช่เรื่องยาก: เมื่อมีขนาดใหญ่พอที่จะทำให้เกิดอันเดอร์โฟล์ในเอ็กซ์โพเนนเชียลรากที่สองจะประมาณครึ่งหนึ่งด้วยเลขชี้กำลัง$f$$x$

$$f(x) \approx \frac{1}{2} \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right).$$

การคำนวณลอการิทึมของเรื่องนี้ (ในฐาน 10) นั้นง่ายและพร้อมให้ผลลัพธ์ที่ต้องการ ตัวอย่างเช่นสมมติxลอการิทึมสามัญของการประมาณนี้คือ$x=1000$

$$\log_{10}(f(x)) \approx \left(-1000^2 \left(\frac{4 + a \cdot 1000^2}{\pi + a \cdot 1000^2}\right) - \log(2)\right) / \log(10) \sim -434295.63047.$$

อัตราผลตอบแทนทวีคูณ

$$f(1000) \approx 2.34169 \cdot 10^{-434296}.$$

การใช้การแก้ไข (ใน ) สร้าง$f_3$

$$\textrm{erfc}(1000) \approx 1.86003\ 70486\ 32328 \cdot 10^{-434298}.$$

โปรดทราบว่าการแก้ไขจะลดการประมาณดั้งเดิมลงมากกว่า 99% (และแน่นอน .) (การประมาณนี้แตกต่างจากค่าที่ถูกต้องเฉพาะในหลักสุดท้ายการประมาณที่รู้จักกันดี , เท่ากับ , ทำผิดพลาดในตัวเลขนัยสำคัญที่หกฉันแน่ใจว่าเราสามารถปรับปรุงมันได้เช่นกันถ้าเรา ต้องการโดยใช้เทคนิคเดียวกัน)$a_1/x \approx 1\text{%}$1.860038⋅10 - $\exp(-x^2)/(x\sqrt{\pi})$$1.860038 \cdot 10^{-434298}$

ขอบบนแบบเรียบง่าย

สำหรับค่าที่สูงมากของการโต้แย้งในการคำนวณความน่าจะเป็นที่ส่วนบนของปกติขอบเขตที่ยอดเยี่ยมมีอยู่ที่อาจจะดีเท่าที่จะใช้วิธีอื่นใดกับจุดลอยตัวที่มีความแม่นยำสองเท่า สำหรับให้ ที่เป็นไฟล์ PDF มาตรฐานทั่วไป ฉันใช้สัญกรณ์ในการเคารพสัญกรณ์มาตรฐานในการวิเคราะห์การอยู่รอด ในบริบทวิศวกรรมที่พวกเขาเรียกฟังก์ชั่นนี้ฟังก์ชั่และแสดงได้โดย(z)$z > 0$φ ( Z ) = ( 2 π ) - 1 /

$$\renewcommand{\Pr}{\mathbb{P}}\newcommand{\rd}{\mathrm{d}} S(z) := \Pr(Z > z) = \int_z^\infty \varphi(z) \rd z \>,$$ $\varphi(z) = (2\pi)^{-1/2} e^{-z^2/2}$$S(z)$$Q$$Q(z)$

จากนั้นความเรียบง่ายบนขอบเขตเบื้องต้นคือ ที่สัญกรณ์ทางด้านขวาแสดงว่านี่เป็นค่าประมาณขอบเขตบน คำตอบนี้ ให้ข้อพิสูจน์ถึงขอบเขต

$$\newcommand{\Su}{\hat{S}_u} \newcommand{\Sl}{\hat{S}_\ell} S(z) \leq \frac{\varphi(z)}{z} =: \Su(z) \> ,$$

มีขอบเขตล่างที่ดีหลายอย่างเช่นกัน หนึ่งในวิธีที่ง่ายที่สุดและง่ายที่สุดในการสืบทอดมาคือขอบเขต มีวิธีการแยกอย่างน้อยสามวิธีในการรับขอบเขตนี้ ภาพร่างคร่าวๆของวิธีการดังกล่าวสามารถพบได้ในคำตอบของคำถามที่เกี่ยวข้อง

$$S(z) \geq \frac{z}{z^2+1} \varphi(z) =: \Sl(z) \> .$$

รูปภาพ

ด้านล่างเป็นพล็อตของทั้งสองขอบเขต (สีเทา) พร้อมด้วยฟังก์ชั่นที่เกิดขึ้นจริง(z)$S(z)$

ดีแค่ไหน?

จากพล็อตมันก็ดูเหมือนว่าขอบเขตกลายเป็นที่ค่อนข้างแน่นแม้สำหรับขนาดใหญ่ปานกลางZเราอาจถามตัวเองว่าพวกเขาเข้มงวดแค่ไหนและประโยคเชิงปริมาณในเรื่องนั้นสามารถทำอะไรได้บ้าง$z$

การวัดความหนาแน่นที่เป็นประโยชน์อย่างหนึ่งคือข้อผิดพลาดสัมพัทธ์สัมบูรณ์ สิ่งนี้ทำให้คุณมีข้อผิดพลาดตามสัดส่วนของการประมาณ

$$\newcommand{\err}{\mathcal{E}} \err(z) = \left|\frac{\Su(z) - S(z)}{S(z)}\right| \>.$$

ตอนนี้โปรดทราบว่าเนื่องจากฟังก์ชั่นที่เกี่ยวข้องทั้งหมดนั้นไม่ใช่ค่าลบโดยใช้คุณสมบัติขอบเขตของและเราได้รับ และนี่คือหลักฐาน สำหรับขอบเขตบนถูกต้องภายใน 1% สำหรับมันถูกต้องภายใน 0.1% และสำหรับนั้นถูกต้องภายใน 0.01% S ℓ(Z)E($\Su(z)$$\Sl(z)$

$$\err(z) = \frac{\Su(z) - S(z)}{S(z)} \leq \frac{\Su(z) - \Sl(z)}{\Sl(z)} = z^{-2} \> ,$$ $z \geq 10$$z \geq 28$$z \geq 100$

ในความเป็นจริงรูปแบบที่เรียบง่ายของขอบเขตให้ตรวจสอบที่ดีเกี่ยวกับ "การประมาณ" อื่น ๆ หากในการคำนวณเชิงตัวเลขของการประมาณที่ซับซ้อนกว่านั้นเราจะได้ค่านอกขอบเขตเหล่านี้เราสามารถ "แก้ไข" เพื่อรับค่าเช่นขอบเขตบนที่ให้ไว้ที่นี่

มีการปรับแต่งมากมายของขอบเขตเหล่านี้ Laplace ขอบเขตที่กล่าวถึงที่นี่ให้ลำดับที่ดีของขอบเขตบนและล่างบนของรูปแบบโดยที่เป็นฟังก์ชันเหตุผลR ( z ) φ ( z ) R ( z $S(z)$$R(z) \varphi(z)$$R(z)$

ท้ายที่สุดนี่คือคำถามและคำตอบที่เกี่ยวข้องกัน

คุณสามารถประมาณมันด้วยฟังก์ชั่นที่ง่ายกว่ามาก - ดูที่ส่วน Wikipediaสำหรับข้อมูลเพิ่มเติม การประมาณพื้นฐานคือ$\textrm{erf}(x) \approx \textrm{sgn}(x)\sqrt{1 - \exp(-x^2 \frac{4/\pi + ax^2}{1+ax^2}})$

บทความนี้มีลิงค์ที่ไม่ถูกต้องสำหรับส่วนนั้น PDF อ้างอิงสามารถพบได้ในไฟล์ของ Sergei Winitzki - หรือที่ลิงค์นี้