สถิติและข้อมูลขนาดใหญ่

ความน่าจะเป็นตามจริงตามจริงคือฟังก์ชันที่กำหนดจำนวนจริงให้กับแต่ละเหตุการณ์หากเป็นไปตามสมมติฐานพื้นฐานสามข้อ (สมมติฐานของ Kolmogorov):P ( A ) APPPP( A )P(A)P(A)AAA P( A ) ≥ 0 สำหรับทุก ๆA P(A)≥0 for everyAP(A) \geq 0 \ \text{for every} A P( Ω ) = 1P(Ω)=1P(\Omega) = 1 ถ้าA 1,2แล้ว⋯ ไม่ปะติดปะต่อกันP( ⋃∞i = 1Aผม) = ∑i = 1∞P( กผม)If A1,A2,⋯are disjoint, thenP(⋃i=1∞Ai)=∑i=1∞P(Ai)\text{If} \ A_1, A_2, \cdots …

10 probability  kolmogorov-axioms 

ความเข้าใจของฉันเกี่ยวกับสิ่งที่ตัวประมาณและตัวประมาณคือ: ตัวประมาณ: กฎในการคำนวณค่าประมาณ: ค่าที่คำนวณจากชุดข้อมูลตามตัวประมาณ ระหว่างคำสองคำนี้ถ้าฉันถูกขอให้ชี้ให้เห็นตัวแปรแบบสุ่มฉันจะบอกว่าการประมาณนั้นเป็นตัวแปรสุ่มเนื่องจากค่าของมันจะเปลี่ยนแบบสุ่มตามตัวอย่างในชุดข้อมูล แต่คำตอบที่ฉันได้รับคือ Estimator เป็นตัวแปรสุ่มและการประมาณการไม่ใช่ตัวแปรสุ่ม ทำไมถึงเป็นอย่างนั้น?

10 mathematical-statistics  inference  random-variable  estimators 

การสอนมาตรฐานกล่าวว่าความไวและความจำเพาะเป็นคุณสมบัติของแบบทดสอบและไม่ขึ้นกับความชุก แต่นี่ไม่ใช่แค่ข้อสันนิษฐานใช่ไหม หลักการของแฮร์ริสันเกี่ยวกับอายุรศาสตร์ที่ 19 เอ็ดกล่าวว่า มีการยืนยันมานานแล้วว่าความไวและความจำเพาะเป็นพารามิเตอร์ที่ไม่ขึ้นอยู่กับความแม่นยำของการทดสอบและข้อความจำนวนมากยังคงสร้างข้อความนี้ อย่างไรก็ตามสมมติฐานที่มีประโยชน์เชิงสถิตินี้เป็นแบบง่าย ๆ ในทางคลินิก ... ความไวของการทดสอบจะสูงขึ้นในผู้ป่วยในโรงพยาบาลและการทดสอบความจำเพาะสูงในผู้ป่วยนอก (ความชุกโดยทั่วไปจะสูงกว่าในผู้ป่วยในกว่าผู้ป่วยนอก) มีความสัมพันธ์ทางคณิตศาสตร์หรือกราฟิกโดยประมาณระหว่างพารามิเตอร์เหล่านี้หรือไม่? แม้แต่ลิงค์นี้ก็เรียกว่า 'การทำให้เข้าใจง่าย' ทำไม? แก้ไข: ฉันรู้วิธีการกำหนดความไว ไม่มีคำศัพท์ใดที่เกี่ยวข้องกับการแพร่หลายดังที่ได้กล่าวไว้ในคำตอบ ตัวฉันเองยืนยันว่าสิ่งเหล่านี้เป็นคุณสมบัติของการทดสอบที่ไม่ได้รับผลกระทบจากประชากรที่ใช้จนกระทั่งฉันเจอข้อความนี้ดังนั้นคำถาม แต่ฉันคิดว่าความสับสนนี้เกิดขึ้นไม่ใช่เพราะคำจำกัดความ แต่การคำนวณค่าเหล่านี้ในทางปฏิบัติ ความเจาะจงและความไวถูกคำนวณโดยใช้ตาราง 2x2 ความชุกของประชากรอ้างอิงที่นี่สำคัญหรือไม่ นั่นคือสิ่งที่พวกเขากำลังอ้างถึง? ถ้าเป็นเช่นนั้นฟังก์ชั่นคืออะไร?

10 bayesian  epidemiology  diagnostic  sensitivity-specificity 

ฉันไม่มีตัวอย่างหรืองานเฉพาะในใจ ฉันเพิ่งใหม่ในการใช้ b-splines และฉันต้องการทำความเข้าใจกับฟังก์ชันนี้ในบริบทการถดถอย สมมติว่าเราต้องการที่จะประเมินความสัมพันธ์ระหว่างตัวแปรตอบสนองและพยากรณ์บางx 1 , x 2 , . . , xพี ตัวทำนายประกอบด้วยตัวแปรตัวเลขบางตัวและตัวแปรบางตัวyyyx1,x2,...,xpx1,x2,...,xpx_1, x_2,...,x_p สมมติว่าหลังจากปรับโมเดลการถดถอยแล้วหนึ่งในตัวแปรตัวเลขเช่นนั้นมีความสำคัญ ตรรกะขั้นตอนหลังจากนั้นคือการประเมินว่าคำสั่งชื่อพหุนามที่สูงขึ้นเช่น: x 2 1และx 3 1จะต้องอธิบายความสัมพันธ์อย่างเพียงพอโดยไม่ต้อง overfittingx1x1x_1x21x12x_1^2x31x13x_1^3 คำถามของฉันคือ: คุณเลือกจุดไหนระหว่าง b-splines หรือพหุนามคำสั่งที่สูงขึ้นอย่างง่าย เช่นใน R: y ~ poly(x1,3) + x2 + x3 VS y ~ bs(x1,3) + x2 + x3 คุณจะใช้พล็อตเพื่อแจ้งการเลือกระหว่างสองสิ่งนี้กับสิ่งที่เกิดขึ้นได้อย่างไรหากไม่ชัดเจนจากพล็อต (เช่น: เนื่องจากจุดข้อมูลจำนวนมาก) คุณจะประเมินเงื่อนไขการโต้ตอบแบบสองทางระหว่างและสมมุติว่าx 3x2x2x_2x3x3x_3 …

10 regression  multiple-regression  splines  polynomial  penalized 

สิ่งนี้ถูกอ้างถึงบ่อยมากเมื่อพูดถึงคำสาปของมิติและไป (สูตรทางขวามือเรียกว่าความเปรียบต่างสัมพัทธ์) limd→∞var(||Xd||kE[||Xd||k])=0,then:Dmaxkd−DminkdDminkd→0limd→∞var(||Xd||kE[||Xd||k])=0,then:Dmaxdk−DmindkDmindk→0 \lim_{d\rightarrow \infty} \text{var} \left(\frac{||X_d||_k}{E[||X_d||_k]} \right) = 0, \text{then}: \frac{D_{\max^{k}_{d}} - D_{\min^{k}_{d}}}{D_{\min^{k}_{d}}} \rightarrow 0 ผลของทฤษฎีบทแสดงให้เห็นว่าความแตกต่างระหว่างระยะทางสูงสุดและต่ำสุดไปยังจุดสอบถามที่กำหนดไม่ได้เพิ่มขึ้นเร็วเท่ากับระยะทางที่ใกล้ที่สุดไปยังจุดใด ๆ ในพื้นที่มิติสูง สิ่งนี้ทำให้เคียวรีความใกล้เคียงไม่มีความหมายและไม่เสถียรเนื่องจากมีการเลือกปฏิบัติที่ไม่ดีระหว่างเพื่อนบ้านที่อยู่ใกล้ที่สุดและไกลที่สุด ลิงค์ แต่ถ้ามีใครลองคำนวณความแตกต่างสัมพัทธ์สำหรับค่าตัวอย่างความหมายจะใช้เวกเตอร์ที่มีค่าน้อยมากและคำนวณระยะห่างจากศูนย์เวกเตอร์และทำเช่นเดียวกันสำหรับเวกเตอร์ที่มีค่าที่มีขนาดใหญ่กว่ามาก มิติที่ 3 และมิติที่ใหญ่กว่า10910910^9เท่าจะเห็นว่าในขณะที่อัตราส่วนลดลงการเปลี่ยนแปลงนั้นเล็กมากจนไม่เกี่ยวข้องกับจำนวนมิติที่ใช้จริงในทางปฏิบัติ ด้วยข้อมูลที่มีขนาดขนาดของหมายเลขเกรแฮม - ซึ่งฉันคิดว่าเป็นขนาดที่จำเป็นสำหรับเอฟเฟกต์ที่อธิบายว่ากระดาษมีความเกี่ยวข้องจริง ๆ - ฉันคิดว่าไม่) ดังที่ได้กล่าวไปแล้วทฤษฎีบทนี้มักถูกอ้างถึงมากเพื่อสนับสนุนคำแถลงว่าการวัดความใกล้เคียงตามปริภูมิแบบยุคลิดเป็นกลยุทธ์ที่ไม่ดีในพื้นที่มิติสูงผู้เขียนพูดอย่างนั้นเองแต่ทว่าพฤติกรรมที่เสนอไม่ได้เกิดขึ้นจริง คิดว่าทฤษฎีบทนี้ถูกนำมาใช้ในแบบที่ทำให้เข้าใจผิด ตัวอย่าง: ด้วยdมิติ a=np.ones((d,)) / 1e5 b=np.ones((d,)) * 1e5 dmin,dmax=norm(a), norm(b) (dmax-dmin)/dmin สำหรับ d = 3 9999999999.0 สำหรับ …

10 machine-learning  distance-functions  high-dimensional 

ความเรียบง่ายบ่อยครั้งในการสร้างแบบจำลองและการจำลองคือการแทนที่ตัวแปรสุ่มด้วยค่าเฉลี่ย เมื่อการทำให้เข้าใจง่ายนี้จะนำไปสู่ข้อสรุปที่ผิด?

10 modeling  mean  random-variable 

ทฤษฎีบทพิตแมน –Koopman – Darmois กล่าวว่าหากตัวอย่าง iid จากตระกูลการแจกแจงความน่าจะเป็นที่ยอมรับยอมรับสถิติที่เพียงพอซึ่งจำนวนองค์ประกอบสเกลาร์ไม่เติบโตขึ้นกับขนาดของตัวอย่างมันก็เป็นตระกูลเลขชี้กำลัง ตำราหรือเอกสารอธิบายเบื้องต้นให้การพิสูจน์ไหม? ทำไมถึงตั้งชื่อตามคนสามคนนี้?

10 mathematical-statistics  references 

ฉันกำลังทำงานผ่านกระดาษCho 2014ซึ่งนำเสนอสถาปัตยกรรมตัวเข้ารหัส - ถอดรหัสสำหรับการสร้างแบบจำลอง seq2seq ในกระดาษพวกเขาดูเหมือนจะใช้ความน่าจะเป็นของผลลัพธ์ที่ได้รับอินพุต (หรือเป็นลบบันทึกการเกิดโอกาส) เป็นฟังก์ชั่นการสูญเสียสำหรับอินพุตของความยาวMและเอาท์พุทyของความยาวN :xxxMMMyyyNNN P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y_1, …, y_N | x_1, …, x_M) = P(y_1 | x_1, …, x_m) P(y_2 | y_1, x_1, …, x_m) \dots P(y_N | y_1, …, y_N-1, x_1, …, x_m) อย่างไรก็ตามฉันคิดว่าฉันพบปัญหาหลายประการกับการใช้ฟังก์ชันนี้เป็นฟังก์ชันการสูญเสีย: ดูเหมือนว่าจะถือว่าครูบังคับให้ใช้ในระหว่างการฝึกอบรม (เช่นแทนที่จะใช้ตัวถอดรหัสสำหรับตำแหน่งในการป้อนข้อมูลในการทำซ้ำครั้งถัดไปจะใช้โทเค็นที่รู้จัก มันจะไม่ลงโทษลำดับยาว ๆ เนื่องจากความน่าจะเป็นคือจากถึงNของเอาต์พุตหากตัวถอดรหัสสร้างลำดับที่ยาวกว่าทุกอย่างหลังจากNแรกจะไม่รวมการสูญเสีย111NNNNNN หากโมเดลทำนายโทเค็น End-of-String ก่อนหน้านี้ฟังก์ชั่นการสูญเสียยังต้องการขั้นตอน - ซึ่งหมายความว่าเรากำลังสร้างเอาต์พุตตาม "นานา" ที่ไม่ได้รับการฝึกฝนของโมเดล …

10 deep-learning  loss-functions  rnn 

ให้เป็นตัวแปรสุ่มมาตรฐานแบบอิสระที่เป็นอิสระ มีหลักฐานมากมาย (ยาว) ออกมาแสดงว่าZ1,⋯,ZnZ1,⋯,ZnZ_1,\cdots,Z_n ∑i=1n(Zi−1n∑j=1nZj)2∼χ2n−1∑i=1n(Zi−1n∑j=1nZj)2∼χn−12 \sum_{i=1}^n \left(Z_i - \frac{1}{n}\sum_{j=1}^n Z_j \right)^2 \sim \chi^2_{n-1} หลักฐานจำนวนมากค่อนข้างยาวและบางส่วนใช้การเหนี่ยวนำ (เช่นการอนุมานเชิงสถิติของ Casella) ฉันสงสัยว่ามีข้อพิสูจน์เรื่องผลการทดลองนี้หรือไม่

10 mathematical-statistics  sampling 

ต่อไปนี้เป็นคำถามเกี่ยวกับการสร้างภาพข้อมูลจำนวนมากที่เสนอเป็น 'พิสูจน์ด้วยภาพ' ของการดำรงอยู่ของบุคคลที่ผิดธรรมดาของ Simpson และอาจเป็นคำถามเกี่ยวกับคำศัพท์ ซิมป์สัน Paradox เป็นปรากฏการณ์ที่ค่อนข้างง่ายที่จะอธิบายและยกตัวอย่างตัวเลขของ (เหตุผลที่ว่าทำไมนี้สามารถเกิดขึ้นได้เป็นลึกและน่าสนใจ) ความขัดแย้งก็คือมีตารางฉุกเฉิน 2x2x2 อยู่ (Agresti, การวิเคราะห์ข้อมูลอย่างมีหมวดหมู่) ซึ่งสมาคมร่อแร่มีทิศทางที่แตกต่างจากความสัมพันธ์ตามเงื่อนไข นั่นคือการเปรียบเทียบอัตราส่วนในสองประชากรย่อยสามารถไปในทิศทางเดียว แต่การเปรียบเทียบในประชากรที่รวมกันไปในทิศทางอื่น ในสัญลักษณ์: มีเช่นนั้น a + ba , b , c , d, e , f, g, ชั่วโมงa,b,c,d,e,f,g,ha,b,c,d,e,f,g,ha + bc + d&gt; e + fก.+ ชมa+bc+d&gt;e+fg+h \frac{a+b}{c+d} > \frac{e+f}{g+h} แต่ และaค&lt; eก.ac&lt;eg \frac{a}{c} < \frac{e}{g} …

10 mathematical-statistics  data-visualization  causality  contingency-tables  simpsons-paradox 

สมมติว่าเรามีตัวแปรสุ่ม 3 ตัวคือและเรารู้ว่าการกระจายตัวแบบคู่แบบแต่เราไม่รู้อะไรเลย (เช่น ตามเงื่อนไขความเป็นอิสระ) เราจะได้การแจกแจงร่วมกันไหม?X1, X2, X3X1,X2,X3X_1,X_2,X_3P( X1, X2) , P( X2, X3) , P( X3, X1)P(X1,X2),P(X2,X3),P(X3,X1)P(X_1,X_2), P(X_2,X_3), P(X_3,X_1)P( X1, X2, X3)P(X1,X2,X3)P(X_1,X_2,X_3)

10 probability  distributions 

อะไรคือชื่อของโอเปอเรเตอร์ที่นำเวกเตอร์ที่มีหมวดหมู่และแปลงให้เป็นตัวแทนแบบไบนารี่โดยใช้การเข้ารหัสแบบร้อนแรง ฉันสงสัยเพราะฉันกำลังเขียนบทความทางวิทยาศาสตร์และต้องการชื่อที่เหมาะสมสำหรับสิ่งนั้น

10 terminology  categorical-encoding 

ในหลายคำตอบที่ฉันได้เห็นผู้ใช้ CrossValidated แนะนำ OP ค้นหาเอกสารต้นใน Lasso, Ridge และ Elastic Net สำหรับลูกหลานแล้วน้ำเชื้อทำงานอย่างไรกับ Lasso, Ridge และ Elastic Net

10 references  lasso  regularization  ridge-regression  elastic-net 

ฉันสงสัยว่าอะไรคือความแตกต่างระหว่างนักบวชสองคนนี้: ที่ไม่แสดงข้อมูล ไม่ถูกต้อง

10 bayesian  prior  improper-prior 

ฉันกำลังทดสอบความสัมพันธ์ระหว่างข้อผิดพลาดและส่วนที่เหลือโดยใช้การจำลองแบบง่าย ๆ ในอาร์สิ่งหนึ่งที่ฉันพบคือไม่ว่าขนาดตัวอย่างหรือความแปรปรวนข้อผิดพลาดฉันได้สำหรับความชันเสมอเมื่อคุณพอดีกับโมเดล111 e r r o r s ∼ β0+ β1× r e s i d u a l serrors∼β0+β1×residuals {\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals} นี่คือการจำลองที่ฉันทำ: n &lt;- 10 s &lt;- 2.7 x &lt;- rnorm(n) e &lt;- rnorm(n,sd=s) y &lt;- 0.3 + 1.2*x + e …

10 regression  least-squares  residuals