สถิติและข้อมูลขนาดใหญ่

ในการเรียนรู้ของเครื่องเราอาจใช้พื้นที่ใต้เส้นโค้ง ROC (มักเรียกว่าAUCย่อหรือ AUROC) เพื่อสรุปว่าระบบสามารถแยกแยะระหว่างสองประเภทได้ดีเพียงใด ในทฤษฎีการตรวจจับสัญญาณมักใช้ (ดัชนีความไว)เพื่อวัตถุประสงค์ที่คล้ายกัน ทั้งสองมีความเกี่ยวข้องใกล้ชิดและผมเชื่อว่าพวกเขาจะเทียบเท่ากับแต่ละอื่น ๆ หากสมมติฐานบางอย่างมีความพึงพอใจd′d′d' การคำนวณมักจะนำเสนอโดยยึดตามการแจกแจงแบบปกติสำหรับการแจกแจงสัญญาณ (ดูลิงค์วิกิพีเดียด้านบนเป็นต้น) การคำนวณโค้ง ROC ไม่ได้ทำให้สมมติฐานนี้: มันใช้กับตัวจําแนกใด ๆ ที่ส่งออกเกณฑ์การตัดสินใจอย่างต่อเนื่องมูลค่าที่สามารถเกณฑ์d′d′d' วิกิพีเดียกล่าวว่าเทียบเท่ากับ1 ดูเหมือนว่าจะถูกต้องถ้าสมมติฐานของทั้งสองมีความพึงพอใจ; แต่ถ้าสมมติฐานไม่เหมือนกันมันไม่ใช่ความจริงสากล 2 AUC - 1d′d′d'2AUC−12AUC−12 \text{AUC} - 1 มันยุติธรรมหรือไม่ที่จะแสดงลักษณะของความแตกต่างของข้อสันนิษฐานเนื่องจาก "AUC ทำให้สมมติฐานน้อยลงเกี่ยวกับการแจกแจงพื้นฐาน" หรือเป็นใช้กันอย่างแพร่หลายเช่นเดียวกับ AUC แต่เป็นเพียงการปฏิบัติทั่วไปที่ผู้ใช้มีแนวโน้มที่จะใช้การคำนวณที่ถือว่าการแจกแจงปกติ? มีข้อแตกต่างอื่น ๆ ในสมมติฐานพื้นฐานที่ฉันพลาดหรือไม่?d ′d′d′d'd′d′d'

13 machine-learning  roc  auc  signal-detection  d-prime 

คำถามนี้อาจง่ายเกินไป สำหรับแนวโน้มชั่วคราวของข้อมูลฉันต้องการค้นหาจุดที่การเปลี่ยนแปลง "ฉับพลัน" เกิดขึ้น ตัวอย่างเช่นในรูปแรกที่แสดงด้านล่างฉันต้องการค้นหาจุดเปลี่ยนแปลงโดยใช้วิธีการทางสถิติ และฉันต้องการที่จะใช้วิธีการดังกล่าวกับข้อมูลอื่น ๆ ที่จุดเปลี่ยนไม่ชัดเจน (เช่นรูปที่ 2) ดังนั้นจึงมีวิธีการร่วมกันสำหรับวัตถุประสงค์ดังกล่าวหรือไม่

13 time-series  trend  change-point 

พยายามเรียนรู้ Python และ Sklearn แต่สำหรับงานของฉันฉันต้องเรียกใช้ regressions ที่ใช้การแจกแจงข้อผิดพลาดจาก Poisson, Gamma และโดยเฉพาะอย่างยิ่งตระกูล Tweedie ฉันไม่เห็นอะไรเลยในเอกสารเกี่ยวกับพวกเขา แต่พวกเขาอยู่ในหลายส่วนของการกระจาย R ดังนั้นฉันจึงสงสัยว่ามีใครเห็นการใช้งานที่ใดก็ได้สำหรับ Python มันจะเจ๋งมากถ้าคุณสามารถชี้ให้ฉันเห็นการใช้งานการกระจาย Tweedie ของ SGD!

13 generalized-linear-model  python  scikit-learn  gradient-descent  tweedie-distribution 

ฉันกำลังวิเคราะห์ข้อมูลบางอย่างโดยใช้การสร้างแบบจำลองเอฟเฟกต์แบบผสมเชิงเส้นในอาร์ฉันวางแผนที่จะสร้างโปสเตอร์ที่มีผลลัพธ์และฉันก็สงสัยว่าถ้าใครมีประสบการณ์กับโมเดลเอฟเฟกต์ผสมสามารถแนะนำแผนการที่จะใช้ แบบ ฉันกำลังคิดเกี่ยวกับพล็อตที่เหลือพล็อตของค่าติดตั้งกับค่าเดิม ฯลฯ ฉันรู้ว่าสิ่งนี้จะขึ้นอยู่กับข้อมูลของฉันเป็นอย่างมาก แต่ฉันแค่พยายามทำความเข้าใจถึงวิธีที่ดีที่สุดในการอธิบายผลลัพธ์ของตัวแบบผสมเอฟเฟกต์เชิงเส้น ฉันใช้แพ็คเกจ nlme ใน R ขอบคุณ

13 r  data-visualization  mixed-model 

หากมีการใช้ตัวแปรปัจจัย (เช่นเพศที่มีระดับ M และ F) ในสูตร glm จะมีการสร้างตัวแปรจำลองและสามารถพบได้ในสรุปแบบจำลอง glm พร้อมกับค่าสัมประสิทธิ์ที่เกี่ยวข้อง (เช่น genderM) หากแทนที่จะอาศัย R เพื่อแยกปัจจัยด้วยวิธีนี้ปัจจัยจะถูกเข้ารหัสในชุดของตัวแปรตัวเลข 0/1 (เช่น genderM (1 สำหรับ M, 0 สำหรับ F), genderF (1 สำหรับ F, 0 สำหรับ M) และใช้ตัวแปรเหล่านี้เป็นตัวแปรตัวเลขในสูตร glm ผลลัพธ์สัมประสิทธิ์จะแตกต่างกันหรือไม่? โดยทั่วไปคำถามคือ: R ใช้การคำนวณสัมประสิทธิ์ที่แตกต่างกันเมื่อทำงานกับตัวแปรปัจจัยเทียบกับตัวแปรตัวเลขหรือไม่ คำถามติดตามผล (อาจตอบโดยข้างต้น): นอกจากประสิทธิภาพของการปล่อยให้ R สร้างตัวแปรจำลองแล้วยังมีปัญหากับปัจจัยการเข้ารหัสซ้ำเป็นชุดของตัวแปรตัวเลข 0,1 และใช้ในรูปแบบแทนหรือไม่?

13 r  generalized-linear-model  categorical-data  categorical-encoding 

ขนาดสัมพัทธ์ของค่า ap เปลี่ยนแปลงขนาดตัวอย่างต่างกันอย่างไร เช่นถ้าคุณได้p=0.20p=0.20p=0.20ที่n=45n=45n=45สำหรับค่าสหสัมพันธ์และที่n=120n=120n=120คุณได้ค่า p เท่ากันที่ 0.20 สิ่งที่จะเป็นขนาดสัมพันธ์ของค่า p สำหรับการทดสอบครั้งที่สองเมื่อเทียบกับค่า p ดั้งเดิม เมื่อn=45n=45n=45 ?

13 p-value  sample-size 

การสุ่มตัวอย่างด้วยการเปลี่ยนมีสองข้อได้เปรียบกว่าการสุ่มตัวอย่างโดยไม่ต้องเปลี่ยนอย่างที่ฉันเห็น: 1) คุณไม่จำเป็นต้องกังวลเกี่ยวกับการแก้ไขประชากร จำกัด 2) มีโอกาสที่องค์ประกอบจากประชากรจะถูกดึงหลายครั้ง - จากนั้นคุณสามารถรีไซเคิลการวัดและประหยัดเวลา แน่นอนจากมุมมองทางวิชาการคนหนึ่งต้องตรวจสอบทั้งสองวิธี แต่จาก POV เชิงปฏิบัติฉันไม่เห็นว่าทำไมใครจะพิจารณาการสุ่มตัวอย่างโดยไม่มีการเปลี่ยนเนื่องจากข้อดีของการแทนที่ แต่ฉันเป็นผู้เริ่มต้นในสถิติดังนั้นอาจมีเหตุผลมากมายที่ทำไมการไม่มีการทดแทนอาจเป็นตัวเลือกที่ดีกว่า - อย่างน้อยสำหรับกรณีการใช้งานเฉพาะ ได้โปรดเถียงฉันด้วย!

13 sampling  finite-population 

มีวรรณกรรมใดบ้างที่ตรวจสอบการเลือกขนาดของมินิบัสเมื่อทำการโคตรลาดลงแบบสุ่ม? จากประสบการณ์ของฉันดูเหมือนว่าจะเป็นทางเลือกเชิงประจักษ์ซึ่งมักพบผ่านการตรวจสอบข้ามหรือการใช้กฎง่ายๆ เป็นความคิดที่ดีหรือไม่ที่จะเพิ่มขนาดมินิบัสช้าลงเนื่องจากข้อผิดพลาดในการตรวจสอบความถูกต้องลดลง? สิ่งนี้จะมีผลกระทบอะไรกับข้อผิดพลาดการวางนัยทั่วไป? ฉันดีกว่าถ้าใช้มินิบัสขนาดเล็กมากและอัปเดตโมเดลของฉันนับแสนครั้งหรือไม่ ฉันจะดีกว่าด้วยจำนวนที่สมดุลระหว่างที่เล็กมากและแบตช์หรือไม่? ฉันควรปรับขนาดของรถมินิบัสตามขนาดของชุดข้อมูลหรือจำนวนคุณลักษณะที่คาดหวังภายในชุดข้อมูลหรือไม่ เห็นได้ชัดว่าฉันมีคำถามมากมายเกี่ยวกับการใช้แผนการเรียนรู้ของมินิบัส น่าเสียดายที่เอกสารส่วนใหญ่ที่ฉันอ่านไม่ได้ระบุวิธีการที่พวกเขาเลือกพารามิเตอร์นี้ ฉันเคยประสบความสำเร็จจากนักเขียนเช่น Yann LeCun โดยเฉพาะจาก Tricks of the Trade คอลเลกชันของเอกสาร อย่างไรก็ตามฉันยังไม่เห็นคำถามเหล่านี้ตอบอย่างเต็มที่ ไม่มีใครมีคำแนะนำสำหรับเอกสารหรือคำแนะนำเกี่ยวกับเกณฑ์ที่ฉันสามารถใช้เพื่อกำหนดขนาดรถมินิบัสที่ดีเมื่อพยายามเรียนรู้คุณสมบัติ

13 machine-learning  gradient-descent  hyperparameter  deep-learning 

ฉันต้องประมาณฟังก์ชั่นอันตรายพื้นฐานในรูปแบบ Cox ที่ขึ้นอยู่กับเวลาλ0( t )λ0(t)\lambda_0(t) λ(t)=λ0(t)exp(Z(t)′β)λ(t)=λ0(t)exp⁡(Z(t)′β)\lambda(t) = \lambda_0(t) \exp(Z(t)'\beta) ขณะที่ฉันเข้าเรียนหลักสูตรการอยู่รอดฉันจำได้ว่าอนุพันธ์โดยตรงของฟังก์ชันอันตรายสะสม ( ) จะไม่เป็นตัวประมาณที่ดีเพราะตัวประมาณ Breslow ให้ฟังก์ชันขั้นตอนλ0(t)dt=dΛ0(t)λ0(t)dt=dΛ0(t)\lambda_0(t) dt = d\Lambda_0(t) ดังนั้นมีฟังก์ชั่นใด ๆ ใน R ที่ฉันสามารถใช้โดยตรงได้หรือไม่ หรือการอ้างอิงใด ๆ ในหัวข้อนี้? ฉันไม่แน่ใจว่ามันมีค่าที่จะเปิดคำถามอื่นดังนั้นฉันแค่เพิ่มพื้นหลังบางส่วนว่าทำไมฟังก์ชั่นอันตรายพื้นฐานมีความสำคัญสำหรับฉัน สูตรด้านล่างนี้ประเมินความน่าจะเป็นที่เวลารอดของวิชาหนึ่งนั้นจะใหญ่กว่าวิชาอื่น ภายใต้การตั้งค่าโมเดล Cox จำเป็นต้องมี ฟังก์ชั่นอันตรายพื้นฐานλ0(t)λ0(t)\lambda_0(t) P(T1>T2)=−∫∞0S1(t)dS2(t)=−∫∞0S1(t)S2(t)λ2(t)dtP(T1>T2)=−∫0∞S1(t)dS2(t)=−∫0∞S1(t)S2(t)λ2(t)dtP(T_1 > T_2 ) = - \int_0^\infty S_1(t) dS_2(t) = - \int_0^\infty S_1(t)S_2(t)\lambda_2(t)dt

13 r  survival  cox-model 

มีวิธีดำเนินการ Gaussian Process Regression ในเอาต์พุตหลายมิติ (อาจสัมพันธ์กัน) โดยใช้GPMLหรือไม่ ในสคริปต์ตัวอย่าง ฉันสามารถค้นหาตัวอย่าง 1D เท่านั้น คำถามที่คล้ายกันใน CV ที่โหม่งกรณีของการป้อนข้อมูลหลายมิติ ฉันอ่านหนังสือเพื่อดูว่าฉันสามารถหาอะไรได้บ้าง ในบทที่ 9ของหนังสือเล่มนี้ (มาตรา 9.1) พวกเขาได้กล่าวถึงกรณีของการส่งออกหลายรายการ พวกเขาได้กล่าวถึงสองสามวิธีในการจัดการกับสิ่งนี้การใช้เสียงที่มีความสัมพันธ์และทูโกคุริง (มีความสัมพันธ์กันมาก่อน) ฉันยังไม่รู้วิธีการรวมแนวคิดเหล่านี้เข้ากับกรอบงาน GPML นอกจากนี้ยังมีไลบรารี / กรอบ GP อื่น ๆ ที่รองรับเอาต์พุตหลายมิติหรือไม่

13 regression  machine-learning  matlab  gaussian-process  nonparametric-bayes 

ฉันสงสัยว่า "กระบวนการคงที่ลำดับที่สอง" ของเขาถูกกำหนดในบทนำของ Brockwell และ Davis ' เกี่ยวกับอนุกรมเวลาและการพยากรณ์ : คลาสของโมเดลอนุกรมเวลาเชิงเส้นซึ่งรวมถึงคลาสของโมเดล autoregressive moving-average (ARMA) เป็นกรอบสำหรับการศึกษากระบวนการคงที่ทั่วไป ในความเป็นจริงกระบวนการคงที่ลำดับที่สองทุกอันอาจเป็นกระบวนการเชิงเส้นหรือสามารถแปลงเป็นกระบวนการเชิงเส้นได้โดยการลบส่วนประกอบที่กำหนดขึ้นได้ ผลลัพธ์นี้เรียกว่าการสลายตัวของ Wold และมีการกล่าวถึงในส่วนที่ 2.6 ในวิกิพีเดีย , กรณีของคำสั่งคงที่อันดับสองนั้นเกิดขึ้นเมื่อข้อกำหนดของ stationarity ที่เข้มงวดถูกนำไปใช้กับคู่ของตัวแปรสุ่มจากอนุกรมเวลาเท่านั้น แต่ฉันคิดว่าหนังสือเล่มนี้มีคำจำกัดความที่แตกต่างจากของ Wikipedia เพราะหนังสือเล่มนี้ใช้คำสั้น ๆ สำหรับการเขียนแบบมุมกว้างในขณะที่ Wikipedia ใช้คำว่า stationarity แบบสั้นเพื่อความชัดเจนที่เข้มงวด ขอบคุณและขอแสดงความนับถือ!

13 time-series 

ฉันกำลังเรียนรู้การเรียนรู้ของเครื่องและหนังสือทุกเล่มที่ฉันเปิดฉันชนกับการแจกแจงแบบไคสแควร์, ฟังก์ชันแกมม่า, การแจกแจงแบบ t, เกาส์เซียนและอื่น ๆ หนังสือทุกเล่มที่ฉันได้เปิดจนถึงเพียงกำหนดสิ่งที่การกระจายคือพวกเขาไม่ได้อธิบายหรือให้สัญชาตญาณว่าสูตรเฉพาะสำหรับฟังก์ชั่นมาจากไหน ตัวอย่างเช่นทำไมการกระจายแบบไคสแควร์ถึงเป็นแบบนั้น การแจกแจงแบบ t คืออะไร? สัญชาตญาณของการกระจายคืออะไร พิสูจน์? เป็นต้น ฉันต้องการที่จะมีความเข้าใจที่ชัดเจนและพื้นฐานของการแจกแจงที่ใช้กันมากที่สุดเพื่อให้ทุกครั้งในภายหลังเมื่อฉันเห็นพวกเขาฉันเข้าใจอย่างแท้จริงว่าการกระจายตัวทีคืออะไรการกระจายแบบเกาส์และที่สำคัญที่สุดคือทำไม พวกเขาคือ. มันจะดีถ้าหนังสือ / บทช่วยสอนสามารถอธิบายแนวคิดของคนธรรมดาเพื่อที่จะเข้าใจพวกเขาคุณไม่จำเป็นต้องเข้าใจพวกเขา x) หนังสือหลายเล่มเป็นเช่นนี้พวกเขาไม่เหมาะสำหรับผู้เริ่มต้น :(

13 probability  distributions  mathematical-statistics  references 

คำถามของฉันเกี่ยวกับความสัมพันธ์ระหว่างอัลฟ่าและเบต้ากับคำจำกัดความในสถิติ alpha = type I error rate = ระดับนัยสำคัญภายใต้การพิจารณาว่าสมมติฐาน NULL นั้นถูกต้อง อัตราข้อผิดพลาด Beta = type II หากอัลฟาลดลง (ความจำเพาะเพิ่มขึ้นเมื่ออัลฟ่า = 1- เจาะจง) เบต้าจะเพิ่มขึ้น (ความไว / พลังงานลดลงเมื่อเบต้า = 1 - ความไว / พลังงาน) การเปลี่ยนแปลงในอัลฟ่าส่งผลต่อเบต้าอย่างไร มีความสัมพันธ์เชิงเส้นหรือไม่? อัตราส่วนอัลฟ่า / เบต้าจะเท่ากันเสมอหรือกล่าวอีกนัยหนึ่งว่าความจำเพาะ / ความไวของอัตราส่วนจะเท่ากันเสมอหรือไม่? ถ้าใช่ก็หมายความว่าโดยใช้การแก้ไข bonferroni เราเพียงแค่เปลี่ยนเป็นความไวต่ำและความจำเพาะสูงกว่า แต่เราไม่ได้เปลี่ยนอัตราส่วนความไว / ความจำเพาะ ถูกต้องหรือไม่ที่จะพูดอย่างนั้น? อัปเดต (คำถามเฉพาะกรณี): สำหรับการออกแบบการทดลองที่กำหนดเราเรียกใช้โมเดลเชิงเส้น 5 ตัวบนข้อมูล …

13 statistical-significance  mathematical-statistics 

หากฉันสนใจในการปรับการปฏิสัมพันธ์แบบสองทางให้เหมาะสมระหว่างตัวแปรอธิบายเชิงเส้นและตัวแปรอธิบายอีกที่มีความสัมพันธ์กำลังสองกับตัวแปรที่ขึ้นอยู่กับฉันจะต้องรวมทั้งการโต้ตอบกับองค์ประกอบกำลังสองและการโต้ตอบกับเส้นตรง องค์ประกอบในรูปแบบ? เช่น ในการสร้างหัวข้อของฉันก่อนหน้านี้: คำศัพท์ความโค้งและการเลือกรูปแบบถ้านี่เป็นการวิเคราะห์การเลือกรูปแบบที่ใช้ใน R โดยมีตัวแปรอธิบายหลายตัว แบบจำลองเอาท์พุทที่มีคำที่ใช้โต้ตอบซึ่งรวมถึงคำกำลังสองaaaขbbYyyY∼ a + b + b2+ a b + a b2y∼a+b+b2+ab+ab2 y\sim a+b+b^2+ab+ab^2 MuMIna : b2a:b2a:b^2จะมีผลถ้าคำปฏิสัมพันธ์กับองค์ประกอบเชิงเส้นมีอยู่ในรูปแบบเดียวกันเช่นเดียวกับa , bและb ^ 2เป็นลักษณะพิเศษโดยตรงหรือไม่a : ba:ba:baaaขbbข2b2b^2

13 r  regression  model-selection 

ฉันจะพิสูจน์ได้ว่าผลคูณของผลิตภัณฑ์เคอร์เนลสองฟังก์ชันคือฟังก์ชันเคอร์เนล?

13 machine-learning  kernel-trick