สถิติและข้อมูลขนาดใหญ่

ฉันพยายามที่จะทำให้สัญชาตญาณชัดเจนขึ้น: "ถ้าทำให้มีแนวโน้มมากขึ้นก็ทำให้Aมีแนวโน้มมากขึ้น" เช่นAAABBBBBBAAA ให้n(S)n(S)n(S)แทนขนาดของพื้นที่ที่AAAและBBBเป็นเช่นนั้น อ้างสิทธิ์: P(B|A)>P(B)P(B|A)>P(B)P(B|A)>P(B)ดังนั้นn(AB)/n(A)>n(B)/n(S)n(AB)/n(A)>n(B)/n(S)n(AB)/n(A) > n(B)/n(S) so n(AB)/n(B)>n(A)/n(S)n(AB)/n(B)>n(A)/n(S)n(AB)/n(B) > n(A)/n(S) อันไหนP(A|B)>P(A)P(A|B)>P(A)P(A|B)>P(A) ฉันเข้าใจคณิตศาสตร์ แต่ทำไมสิ่งนี้ถึงสมเหตุสมผล

9 probability  inference  conditional-probability  intuition  association-measure 

ในการเรียนรู้อย่างลึกซึ้งกับFrançois Chollet กับ Python มันบอกว่า: ดังนั้นการปรับการกำหนดค่าของโมเดลตามประสิทธิภาพของชุดการตรวจสอบความถูกต้องสามารถส่งผลให้ overfitting เป็นชุดการตรวจสอบได้อย่างรวดเร็วแม้ว่าโมเดลของคุณจะไม่ได้รับการฝึกฝนโดยตรง ศูนย์กลางของปรากฏการณ์นี้คือแนวคิดของการรั่วไหลของข้อมูล ทุกครั้งที่คุณปรับแต่ง hyperparameter ของรูปแบบของคุณขึ้นอยู่กับประสิทธิภาพของแบบจำลองในชุดการตรวจสอบ, ข้อมูลบางอย่างเกี่ยวกับการรั่วไหลของข้อมูลการตรวจสอบลงในรูปแบบ หากคุณทำสิ่งนี้เพียงครั้งเดียวสำหรับหนึ่งพารามิเตอร์ข้อมูลที่น้อยมากจะรั่วไหลและชุดการตรวจสอบของคุณจะยังคงเชื่อถือได้ในการประเมินรูปแบบ แต่ถ้าคุณทำซ้ำหลาย ๆ ครั้ง - ทำการทดสอบหนึ่งครั้งประเมินผลชุดการตรวจสอบความถูกต้องและแก้ไขแบบจำลองของคุณจากนั้นคุณก็จะรั่วไหลข้อมูลจำนวนมากเกี่ยวกับการตรวจสอบความถูกต้องที่ตั้งไว้ในแบบจำลอง เหตุใดข้อมูลเกี่ยวกับข้อมูลการตรวจสอบจึงรั่วไหลหากฉันประเมินประสิทธิภาพของแบบจำลองกับข้อมูลการตรวจสอบความถูกต้องเมื่อทำการปรับพารามิเตอร์ไฮเปอร์พารามิเตอร์

9 neural-networks  cross-validation  hyperparameter 

ฉันถูกเพื่อนคนหนึ่งถามคำถามต่อไปนี้ ฉันไม่สามารถช่วยเธอออกไปได้ แต่ฉันหวังว่าจะมีคนสามารถอธิบายให้ฉันได้ ฉันไม่พบตัวอย่างที่คล้ายกันขอบคุณสำหรับความช่วยเหลือและคำอธิบายใด ๆ Q: ผลการทดสอบการโยนเหรียญ 100 ครั้งจะถูกบันทึกเป็น 0 = "หาง" และ 1 = "หัว" เอาต์พุต x คือสตริงของ 0 และ 1 ของความยาว 100 และจำนวนครั้งที่เราได้รับ 1-0-0 ใน x ถูกคำนวณและมันคือ 20 (เช่น: ถ้า x = (001001110100), 1-0-0 เกิดขึ้น 2 ครั้ง) คุณคิดว่านี่เป็นเหรียญที่ยุติธรรมหรือไม่?

9 probability  inference  bernoulli-distribution 

พิจารณากรณีที่อธิบายไว้ด้านล่างจาก Peacock (1972) ข้อความนี้ดูเหมือนจะบ่งบอกว่านักสถิติรุ่นเยาว์กำลังสร้างข้อความที่ฉลาดและถูกต้อง แต่เขาคือ?

9 experiment-design  clinical-trials 

ฉันกำลังพยายามทำความเข้าใจกับการหาค่าเหมาะที่สุดสำหรับการไล่ระดับสีแบบลาดชันในขั้นตอนวิธี ML (การเรียนรู้ของเครื่อง) ผมเข้าใจว่ามีค่าใช้จ่ายในฟังก์ชั่นที่มีจุดมุ่งหมายเพื่อลดข้อผิดพลาดyy ในสถานการณ์ที่น้ำหนักได้รับการปรับให้เหมาะสมเพื่อให้เกิดข้อผิดพลาดขั้นต่ำและมีการใช้อนุพันธ์บางส่วนมันเปลี่ยนทั้งและในแต่ละขั้นตอนหรือเป็นการรวมกัน (เช่นในการทำซ้ำสองสามเท่านั้นเท่านั้นและ เมื่อไม่ได้ลดความผิดพลาดอีกต่อไปอนุพันธ์เริ่มต้นด้วย )? แอปพลิเคชันอาจเป็นแบบจำลองการถดถอยเชิงเส้นแบบจำลองการถดถอยแบบโลจิสติกหรือการเพิ่มอัลกอริทึมY^- yY^-Y\hat y-yW1,W2W1,W2w_1, w_2W1W1w_1W2W2w_2W1W1w_1W1W1w_1W2W2w_2

9 optimization  gradient-descent 

ใช้เวลาประมาณ 20 จุดสุ่มในพื้นที่ 10,000 มิติที่มีพิกัดแต่ละ IID จาก(0,1) แยกออกเป็น 10 คู่ ("คู่รัก") และเพิ่มค่าเฉลี่ยของแต่ละคู่ ("เด็ก") ไปยังชุดข้อมูล จากนั้นทำ PCA บนผลลัพธ์ 30 คะแนนและลงจุด PC1 กับ PC2N(0,1)N(0,1)\mathcal N(0,1) สิ่งที่น่าทึ่งเกิดขึ้น: "ครอบครัว" แต่ละแห่งก่อให้เกิดจุดที่อยู่ใกล้กัน แน่นอนว่าเด็กทุกคนอยู่ใกล้กับผู้ปกครองแต่ละคนในพื้นที่ 10,000 มิติดั้งเดิมดังนั้นใคร ๆ ก็คาดหวังว่ามันจะอยู่ใกล้กับพ่อแม่ในพื้นที่ PCA อย่างไรก็ตามในพื้นที่ PCA ผู้ปกครองแต่ละคู่อยู่ใกล้กันเช่นกันแม้ว่าในพื้นที่ดั้งเดิมพวกเขาเป็นเพียงจุดสุ่ม! เด็ก ๆ จัดการดึงผู้ปกครองมารวมกันในการฉาย PCA ได้อย่างไร \quad\quad\quad\quad บางคนอาจกังวลว่าสิ่งนี้ได้รับอิทธิพลจากความจริงที่ว่าเด็กมีบรรทัดฐานต่ำกว่าพ่อแม่ สิ่งนี้ดูเหมือนจะไม่สำคัญ: ถ้าฉันสร้างเด็กเป็นโดยที่และเป็นจุดของผู้ปกครองพวกเขาจะมีบรรทัดฐานเดียวกันโดยเฉลี่ยกับผู้ปกครอง แต่ฉันยังคงสังเกตเห็นปรากฏการณ์เชิงคุณภาพในพื้นที่ PCA:(x+y)/2–√(x+y)/2(x+y)/\sqrt{2}xxxyyy \quad\quad\quad\quad คำถามนี้ใช้ชุดข้อมูลของเล่น แต่ได้แรงบันดาลใจจากสิ่งที่ฉันสังเกตเห็นในชุดข้อมูลจริงจากการศึกษาความสัมพันธ์จีโนมกว้าง (GWAS) …

9 pca  python  high-dimensional  genetics  gwas 

ทำหน้าที่ในรูปแบบ ex/(1+ex)ex/(1+ex)e^x/(1+e^x)มีชื่อมาตรฐานหรือไม่ เช่นy=a+bxy=a+bxy = a + bx เป็นฟังก์ชันเชิงเส้น

9 logistic  neural-networks  deep-learning  terminology 

สำหรับตัวแปรสุ่มที่กำหนด (หรือประชากรหรือกระบวนการสุ่ม) ความคาดหวังทางคณิตศาสตร์คือคำตอบสำหรับคำถามการคาดการณ์จุดใดที่ช่วยลดการสูญเสียกำลังสองที่คาดการณ์ไว้ได้? . นอกจากนี้มันเป็นทางออกที่ดีที่สุดสำหรับเกมเดาการตระหนักถึงตัวแปรสุ่มต่อไป (หรือการจับฉลากใหม่จากประชากร) และฉันจะลงโทษคุณด้วยระยะห่างกำลังสองระหว่างค่าและการเดาของคุณหากคุณมีความไม่ตรงเชิงเส้นในแง่ ของการลงโทษ ค่ามัธยฐานคือคำตอบของคำถามที่เกี่ยวข้องภายใต้การสูญเสียที่แน่นอนและโหมดคือคำตอบภายใต้การสูญเสีย "ทั้งหมดหรือไม่มีอะไร" คำถาม:ความแปรปรวนและส่วนเบี่ยงเบนมาตรฐานตอบคำถามที่คล้ายกันหรือไม่ พวกเขาคืออะไร แรงจูงใจสำหรับคำถามนี้เกิดขึ้นจากการสอนมาตรการพื้นฐานของแนวโน้มกลางและการแพร่กระจาย ในขณะที่มาตรการของแนวโน้มกลางสามารถถูกกระตุ้นด้วยปัญหาการตัดสินใจเชิงทฤษฎีข้างต้นฉันสงสัยว่าจะกระตุ้นให้เกิดมาตรการแพร่กระจายได้อย่างไร

9 variance  standard-deviation  decision-theory  variability 

ด้วยการถดถอย OLS นำไปใช้กับการตอบสนองอย่างต่อเนื่องเราสามารถสร้างสมการการถดถอยแบบหลายสมการได้ คำถามของฉันคือมีวิธีทำเช่นนี้กับการถดถอยโลจิสติกผ่านเศษเหลือการถดถอยโลจิสติก ? นั่นคือถ้าฉันต้องการประมาณโดยใช้วิธีการสร้างแบบจำลองเชิงเส้นแบบมาตรฐานทั่วไปมีวิธีเรียกใช้การถดถอยแบบลอจิสติกกับxและรับ pseudo-residuals R_1จากนั้นถดถอยR_1บนzถึง รับตัวประมาณค่าสัมประสิทธิ์การถดถอยโลจิสติก การอ้างอิงถึงตำราหรือวรรณกรรมจะได้รับการชื่นชมPr ( Y= 1 | x , z)Pr(Y=1|x,z)\Pr(Y = 1 | x, z)xxxR1R1R_1R1R1R_1Zzz

9 regression  logistic  residuals 

ฟังก์ชันความหนาแน่นของความน่าจะเป็นของการแจกแจงแบบสม่ำเสมอ (ต่อเนื่อง) แสดงไว้ด้านบน พื้นที่ใต้เส้นโค้งคือ 1 - ซึ่งสมเหตุสมผลเนื่องจากผลรวมของความน่าจะเป็นทั้งหมดในการแจกแจงความน่าจะเป็นคือ 1 ฟังก์ชันความน่าจะเป็นข้างต้น (f (x)) สามารถกำหนดเป็น 1 / (ba) สำหรับ x ใน [a, b] และ 0 เป็นอย่างอื่น พิจารณาว่าฉันต้องเลือกจำนวนจริงระหว่าง a (พูด 2) และ b (พูด 6) สิ่งนี้ทำให้ความน่าจะเป็นแบบเดียวกัน = 0.25 อย่างไรก็ตามเนื่องจากมีจำนวนอนันต์ของตัวเลขในช่วงเวลานั้นผลรวมของความน่าจะเป็นทั้งหมดจึงไม่เท่ากับอินฟินิตี้หรือไม่? ฉันกำลังมองเห็นอะไร f (x) ไม่ใช่ความน่าจะเป็นของตัวเลข x ที่เกิดขึ้นหรือไม่

9 probability  distributions  uniform 

ดังนั้นฉันจึงพยายามสอนตัวเองเกี่ยวกับโครงข่ายประสาทเทียม (สำหรับแอพพลิเคชั่นการถดถอยไม่แบ่งภาพแมว) การทดลองครั้งแรกของฉันคือการฝึกอบรมเครือข่ายเพื่อใช้ตัวกรอง FIR และการแปลงฟูริเยร์แบบไม่ต่อเนื่อง (การฝึกอบรมเรื่อง "ก่อน" และ "หลัง") เนื่องจากการดำเนินการเชิงเส้นทั้งสองนั้นสามารถใช้งานได้ในชั้นเดียว ทั้งสองทำงานได้ดี ดังนั้นฉันอยากดูว่าฉันสามารถเพิ่มabs()และทำให้เรียนรู้สเปกตรัมแอมพลิจูด ครั้งแรกที่ฉันคิดเกี่ยวกับจำนวนโหนดที่มันจะต้องอยู่ในชั้นที่ซ่อนอยู่และตระหนักว่า 3 ReLUs นั้นเพียงพอสำหรับการประมาณที่หยาบกabs(x+jy) = sqrt(x² + y²)ร้านดังนั้นฉันจึงทดสอบการทำงานด้วยตัวเองบนตัวเลขที่ซับซ้อนโดดเดี่ยว (2 อินพุต→ 3 ReLU โหนดที่ซ่อนชั้น→ 1 เอาท์พุท) มันทำงานเป็นครั้งคราว: แต่ส่วนใหญ่เวลาที่ฉันลองมันติดอยู่ในขั้นต่ำในท้องถิ่นและล้มเหลวในการหารูปร่างที่เหมาะสม: ฉันลองใช้เครื่องมือเพิ่มประสิทธิภาพและชุดรูปแบบ ReLU ทั้งหมดใน Keras แต่พวกเขาไม่ได้สร้างความแตกต่างมากนัก มีอะไรอีกบ้างที่ฉันสามารถทำได้เพื่อทำให้เครือข่ายง่าย ๆ เช่นนี้มาบรรจบกันอย่างน่าเชื่อถือ? หรือฉันกำลังเข้าใกล้สิ่งนี้ด้วยทัศนคติที่ไม่ถูกต้องและคุณควรจะทิ้งโหนดมากกว่าที่จำเป็นในปัญหาและถ้าครึ่งหนึ่งของพวกเขาตายมันไม่ถือว่าเป็นเรื่องใหญ่อะไร?

9 machine-learning  neural-networks  optimization  keras  euclidean 

ด้วยตัวแปรสุ่มที่มีความสัมพันธ์สูงสองตัวและฉันต้องการที่จะจำกัดความน่าจะเป็นที่ความแตกต่างเกินจำนวนที่กำหนด: XXXYYY|X−Y||X−Y| |X - Y| P(|X−Y|&gt;K)&lt;δP(|X−Y|&gt;K)&lt;δ P( |X - Y| > K) < \delta สมมติว่าความเรียบง่ายนั้น: สัมประสิทธิ์สหสัมพันธ์เป็นที่รู้กันว่า "สูง" พูดว่า: ρX,Y=covar(X,Y)/σXσY≥1−ϵρX,Y=covar(X,Y)/σXσY≥1−ϵ \rho_{X,Y}= {covar(X,Y)} / {\sigma_X \sigma_Y} \geq 1 - \epsilon X,YX,YX,Y มีค่าเฉลี่ยเป็นศูนย์:μx=μy=0μx=μy=0 \mu_x = \mu_y = 0 −1≤xi,yi≤1−1≤xi,yi≤1-1 \leq x_i, y_i \leq 1 (หรือ ถ้ามันง่ายกว่า)0≤xi,yi≤10≤xi,yi≤1 0 \leq x_i, y_i \leq 1 (ถ้าทำให้สิ่งต่าง …

9 correlation  mathematical-statistics  bounds 

รับ iid, พิจารณาตัวแปรสุ่มX1,…,Xn,…∼N(0,1)X1,…,Xn,…∼N(0,1)X_1, \ldots, X_n, \ldots \sim \mathscr{N}(0,1) Zn: =สูงสุด1 ≤ ฉัน≤ nXผม.Zn=สูงสุด1≤ผม≤nXผม. Z_n := \max_{1 \le i \le n} X_i\,. คำถาม:ผลลัพธ์ที่ "สำคัญ" ที่สุดเกี่ยวกับตัวแปรสุ่มเหล่านี้คืออะไร เพื่อชี้แจง "ความสำคัญ" ซึ่งผลลัพธ์ใดที่มีผลลัพธ์เช่นอื่น ๆ มากที่สุดซึ่งเป็นผลลัพธ์เชิงตรรกะ? ผลลัพธ์ใดที่ใช้บ่อยที่สุดในทางปฏิบัติ โดยเฉพาะอย่างยิ่งดูเหมือนว่าจะเป็นชาวบ้านมีความรู้ในทางสถิติ (ทางทฤษฎี) ว่านั้น "โดยทั่วไปเหมือนกับ" \ sqrt {2 \ log n}อย่างน้อยที่สุด (ดูคำถามที่เกี่ยวข้องนี้)ZnZnZ_n2 บันทึกn-----√2เข้าสู่ระบบ⁡n\sqrt{2 \log n} อย่างไรก็ตามมีผลลัพธ์ที่เกี่ยวข้องมากมายในประเภทนี้และดูเหมือนว่าเป็นกรณีที่ส่วนใหญ่ไม่เท่ากันหรือบ่งบอกถึงกันและกัน ตัวอย่างเช่น* * * ** * …

9 mathematical-statistics  references  extreme-value  maximum 

สมมติว่าผมมีค่าบวกในการประมาณการของพวกเขาและสอดคล้องประมาณการเป็นกลางผลิตโดยตัวประมาณคือ ,เป็นต้นnnnμ1,μ2,...,μnμ1,μ2,...,μn\mu_1,\mu_2,...,\mu_nnnnμ1^,μ2^,...,μn^μ1^,μ2^,...,μn^\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}E[μ1^]=μ1E[μ1^]=μ1\mathrm E[\hat{\mu_1}]=\mu_1E[μ2^]=μ2E[μ2^]=μ2\mathrm E[\hat{\mu_2}]=\mu_2 ฉันต้องการประมาณโดยใช้การประมาณการในมือ เห็นได้ชัดว่าไร้เดียงสามีอคติต่ำกว่า min(μ1,μ2,...,μn)min(μ1,μ2,...,μn)\mathrm{min}(\mu_1,\mu_2,...,\mu_n)min(μ1^,μ2^,...,μn^)min(μ1^,μ2^,...,μn^)\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})E[min(μ1^,μ2^,...,μn^)]≤min(μ1,μ2,...,μn)E[min(μ1^,μ2^,...,μn^)]≤min(μ1,μ2,...,μn)\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n) สมมติว่าฉันยังมีเมทริกซ์ความแปรปรวนร่วมของตัวประมาณอยู่ในมือ เป็นไปได้ไหมที่จะได้รับการประเมินขั้นต่ำแบบไม่เอนเอียง (หรือมีอคติน้อยกว่า) โดยใช้การประมาณที่กำหนดและเมทริกซ์ความแปรปรวนร่วม?Cov(μ1^,μ2^,...,μn^)=ΣCov(μ1^,μ2^,...,μn^)=Σ\mathrm{Cov}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) = \Sigma

9 unbiased-estimator  estimators  minimum 

ให้เป็นตัวอย่างที่สุ่มจากการกระจายรังสีแกมมาขวา)X1,...,XnX1,...,XnX_1,...,X_nGamma(α,β)Gamma(α,β)\mathrm{Gamma}\left(\alpha,\beta\right) ให้และS ^ 2เป็นค่าเฉลี่ยตัวอย่างและความแปรปรวนตัวอย่างตามลำดับX¯X¯\bar{X}S2S2S^2 จากนั้นพิสูจน์หรือพิสูจน์ว่าX¯X¯\bar{X}และS2/X¯2S2/X¯2S^2/\bar{X}^2นั้นเป็นอิสระ ความพยายามของฉัน: ตั้งแต่S2/X¯2=1n−1∑ni=1(XiX¯−1)2S2/X¯2=1n−1∑i=1n(XiX¯−1)2S^2/\bar{X}^2 = \frac{1}{n-1} \sum_{i=1}^n \left(\frac{X_i}{\bar{X}}-1\right)^2 เราต้องตรวจสอบความเป็นอิสระของX¯X¯\bar{X}และ(XผมX¯)ni = 1(XผมX¯)ผม=1n\left(\frac{X_i}{\bar{X}} \right)_{i=1}^{n} , แต่ฉันจะสร้างความเป็นอิสระระหว่างพวกเขาได้อย่างไร?

9 self-study  distributions  independence  gamma-distribution