สถิติและข้อมูลขนาดใหญ่

ฉันกำลังวิเคราะห์ตาราง 2x2 จากชุดข้อมูลขนาดเล็กจำนวน 30 ราย เราพยายามค้นหาตัวแปรบางอย่างที่ให้คำแนะนำว่าควรเลือกการรักษาแบบใด ตัวแปร (obs ปกติ / แปลก) และการตัดสินใจในการรักษา (A / B) มีความสนใจเป็นพิเศษและข้อมูลจึงมีลักษณะดังนี้: Obs / Tr ธันวาคมปกติแปลกA12012B1351825530Obs/Tr. Dec.ABnormal121325strange055121830\begin{array} {|r|r|r|r|} \hline \text{Obs/Tr. Dec.} &\text{A} &\text{B}\\ \hline \text{normal} &12 &13 &25\\ \hline \text{strange} &0 &5 &5\\ \hline &12 &18 &30\\ \hline \hline \end{array} เห็นได้ชัดว่าเซลล์หนึ่งขาดรายการที่ไม่รวมการทดสอบไคสแควร์และการทดสอบที่แม่นยำของฟิชเชอร์ไม่ได้ให้ค่า p ที่อิ่มตัว (แต่ยังคงอยู่ <10%) ดังนั้นความคิดแรกของฉันคือการหาการทดสอบที่มีพลังมากขึ้นและฉันกำลังอ่านใน …

11 chi-squared  power  contingency-tables  fishers-exact 

คำถามดังต่อไปนี้: ตัวอย่างแบบสุ่มของค่า n ถูกรวบรวมจากการแจกแจงแบบทวินามลบด้วยพารามิเตอร์ k = 3 ค้นหาตัวประมาณความน่าจะเป็นสูงสุดของพารามิเตอร์π ค้นหาสูตร asymptotic สำหรับข้อผิดพลาดมาตรฐานของตัวประมาณค่านี้ อธิบายว่าเหตุใดการแจกแจงทวินามลบจะประมาณปกติถ้าพารามิเตอร์ k ใหญ่พอ พารามิเตอร์ของการประมาณปกตินี้มีอะไรบ้าง การทำงานของฉันมีดังต่อไปนี้: 1. ฉันรู้สึกว่านี่เป็นสิ่งที่ต้องการ แต่ฉันไม่แน่ใจว่าฉันถูกต้องหรือไม่หรือถ้าฉันสามารถรับข้อมูลนี้เพิ่มเติมได้ p(x)=(x−1k−1)πk(1−π)x−kL(π)=Πnip(xn|π)ℓ(π)=Σniln(p(xn|π))ℓ‘(π)=Σnikπ−(x−k)(1−π)p(x)=(x−1k−1)πk(1−π)x−kL(π)=Πinp(xn|π)ℓ(π)=Σinln⁡(p(xn|π))ℓ‘(π)=Σinkπ−(x−k)(1−π)p(x) = {x-1 \choose k-1}\pi^k(1-\pi)^{x-k}\\ L(\pi) = \Pi_i^n p(x_n|\pi)\\ \ell(\pi) = \Sigma_i^n\ln(p(x_n|\pi))\\ \ell`(\pi) = \Sigma_i^n\dfrac{k}{\pi}-\dfrac{(x-k)}{(1-\pi)} ฉันคิดว่าต่อไปนี้เป็นสิ่งที่ขอ ในส่วนสุดท้ายฉันรู้สึกว่าฉันต้องการแทนที่π^π^\hat{\pi}ด้วยkxkx\dfrac{k}{x} ℓ‘‘(π^)=−kπ^2+x(1−π^)2se(π^)=−1ℓ‘‘(π^)−−−−−−−√se(π^)=π^2k−(1−π^)2x−−−−−−−−−−−−√ℓ‘‘(π^)=−kπ^2+x(1−π^)2se(π^)=−1ℓ‘‘(π^)se(π^)=π^2k−(1−π^)2x\ell``(\hat{\pi}) = -\dfrac{k}{\hat{\pi}^2} + \dfrac{x}{(1-\hat{\pi})^2}\\ se(\hat{\pi}) = \sqrt{-\dfrac{1}{\ell``(\hat{\pi})}}\\ se(\hat{\pi}) = \sqrt{\dfrac{\hat{\pi}^2}{k} - \dfrac{(1-\hat{\pi})^2}{x}}\\ ฉันไม่แน่ใจจริงๆว่าจะพิสูจน์ได้อย่างไรและยังคงค้นคว้าอยู่ …

11 self-study  maximum-likelihood  negative-binomial 

ฉันพยายามจำลองความเข้มเฉลี่ยของปรสิตที่มีผลต่อโฮสต์ใน R โดยใช้โมเดลทวินามลบ ฉันได้รับคำเตือน 50 คำขึ้นไปที่บอกว่า: In dpois(y, mu, log = TRUE) : non-integer x = 251.529000 ฉันจะจัดการกับสิ่งนี้ได้อย่างไร รหัสของฉันมีลักษณะเช่นนี้: mst.nb = glm.nb(Larvae+Nymphs+Adults~B.type+Month+Season, data=MI.df)

11 r  generalized-linear-model  negative-binomial 

ตามความคิดเห็นจากหัวข้อก่อนหน้าฉันต้องการทราบว่าสามารถทดสอบสมมติฐานของแนวโน้มทั่วไประหว่างกลุ่มการรักษาและกลุ่มควบคุมในวิธีการความแตกต่างในความแตกต่างได้อย่างไร ฉันสามารถทดสอบสมมติฐานที่มีข้อมูลของจุดสองจุด (ตัวอย่างเช่นการสำรวจพื้นฐานในปี 2545 การรักษาเกิดขึ้นตั้งแต่ปี 2545 ถึง 2549 และการติดตามผลในปี 2549) ขอบคุณมาก! แก้ไข: หลังจากโพสต์คำถามนี้พาเนล "ที่เกี่ยวข้อง" นำฉันไปยังคำถามที่ยังไม่ได้ตอบซึ่งผู้ถามต้องการเข้าใจสัญชาตญาณเบื้องหลังวิธีการบัญชีสำหรับแนวโน้มเวลาในวิธี DID ฉันต้องการเชื่อมโยงที่นี่เนื่องจากคำถามนั้นน่าสนใจสำหรับฉันเช่นกัน ขอบคุณ!

11 difference-in-difference 

ฉันกำลังอ่านหนังสือของ Kevin Murphy: Machine Learning-A Perspective ในบทแรกผู้เขียนอธิบายคำสาปของมิติและมีส่วนที่ฉันไม่เข้าใจ ตัวอย่างผู้เขียนระบุ: พิจารณาว่าอินพุตนั้นมีการกระจายอย่างสม่ำเสมอตามคิวบ์หน่วยมิติ สมมติว่าเราประเมินความหนาแน่นของคลาสฉลากโดยสร้างไฮเปอร์คิวบ์รอบ ๆ x จนกว่าจะมีเศษส่วนที่ต้องการของจุดข้อมูล ความยาวขอบที่คาดหวังของก้อนนี้เป็น{D}}fffeD(f)=f1DeD(f)=f1De_D(f) = f^{\frac{1}{D}} มันเป็นสูตรสุดท้ายที่ฉันไม่สามารถเข้าใจได้ ดูเหมือนว่าถ้าคุณต้องการที่จะพูดว่า 10% ของคะแนนกว่าความยาวขอบควรเป็น 0.1 ตามแต่ละมิติ? ฉันรู้ว่าเหตุผลของฉันผิด แต่ฉันไม่เข้าใจว่าทำไม

11 self-study  k-nearest-neighbour  high-dimensional 

ฉันเข้าใจความแตกต่างระหว่าง k medoid กับ k หมายความว่า แต่คุณสามารถยกตัวอย่างให้ฉันด้วยชุดข้อมูลขนาดเล็กที่เอาต์พุต k medoid แตกต่างจาก k หมายถึงเอาต์พุต

11 k-means  k-medoids 

ฉันต้องการใช้การถดถอยแบบเกาส์แบบขั้นตอนแบบเพิ่มโดยใช้หน้าต่างแบบเลื่อนผ่านจุดข้อมูลที่มาถึงแบบทีละรายการผ่านสตรีม ให้แทนมิติของพื้นที่อินพุต ดังนั้นทุกจุดข้อมูลมีองค์ประกอบจำนวนdddxixix_iddd ให้เป็นขนาดของหน้าต่างเลื่อนnnn ในการคาดคะเนฉันต้องคำนวณค่าผกผันของแกรมเมทริกซ์โดยที่และ k เป็นเคอร์เนลเอ็กซ์เชียลกำลังสองKKKKij=k(xi,xj)Kij=k(xi,xj)K_{ij} = k(x_i, x_j) เพื่อหลีกเลี่ยงการเพิ่มขึ้นของ K กับจุดข้อมูลใหม่ทุกจุดฉันคิดว่าฉันสามารถลบจุดข้อมูลที่เก่าที่สุดก่อนที่จะเพิ่มจุดใหม่และด้วยวิธีนี้ฉันจะป้องกันไม่ให้กรัมเติบโตขึ้น ยกตัวอย่างเช่นปล่อยให้โดยที่คือความแปรปรวนร่วมของน้ำหนักและเป็นฟังก์ชันการทำแผนที่โดยปริยายโดยเคอร์เนล exponential กำลังสองK=ϕ(X)TΣϕ(X)K=ϕ(X)TΣϕ(X)K = \phi(X)^{T}\Sigma\phi(X)ΣΣ\Sigmaϕϕ\phi ตอนนี้ให้ ] และโดยที่คือคูณคอลัมน์เมทริกซ์X=[xt−n+1|xt−n+2|...|xtX=[xt−n+1|xt−n+2|...|xtX=[x_{t-n+1}|x_{t-n+2}|...|x_{t}Xnew=[xt−n+2|...|xt|xt+1]Xnew=[xt−n+2|...|xt|xt+1]X_{new}=[x_{t-n+2}|...|x_{t}|x_{t+1}]xxxddd111 ฉันจำเป็นต้องใช้วิธีที่มีประสิทธิภาพเพื่อหาสิ่งที่อาจใช้Kสิ่งนี้ดูเหมือนจะไม่ตรงกันข้ามกับปัญหาเมทริกซ์ที่ได้รับการปรับปรุงอันดับ 1 ที่สามารถจัดการกับสูตร Sherman-Morrison ได้อย่างมีประสิทธิภาพK−1newKnew−1K_{new}^{-1}KKK

11 regression  covariance  gaussian-process  linear-algebra  online 

เมื่อศึกษาวิธีการสองตัวอย่างที่เป็นอิสระเราจะบอกว่าเรากำลังดูที่ "ความแตกต่างของสองวิธี" นี่หมายความว่าเราใช้ค่าเฉลี่ยจากประชากร 1 ( ) และลบออกจากค่าเฉลี่ยจากประชากร 2 ( ) ดังนั้น "ความแตกต่างของสองวิธี" ของเราคือ ( - )y¯1y¯1\bar y_1y¯2y¯2\bar y_2y¯1y¯1\bar y_1y¯2y¯2\bar y_2 เมื่อศึกษาตัวอย่างที่จับคู่หมายถึงเราจะบอกเรากำลังมองหาที่ "หมายถึงความแตกต่าง"d สิ่งนี้คำนวณจากการใช้ความแตกต่างระหว่างแต่ละคู่แล้วทำการหาค่าเฉลี่ยของความแตกต่างเหล่านั้นทั้งหมดd¯d¯\bar d คำถามของฉันคือ: เราได้รับเหมือนกัน ( - ) เมื่อเทียบกับถ้าเราคำนวณพวกเขาจากคอลัมน์ข้อมูลสองคอลัมน์และครั้งแรกที่พิจารณามันเป็นสองตัวอย่างอิสระและครั้งที่สองถือว่าเป็นคู่ ข้อมูล? ฉันได้เล่นกับข้อมูลสองคอลัมน์และดูเหมือนว่าค่าเหมือนกัน! ในกรณีนั้นสามารถพูดได้หรือไม่ว่ามีการใช้ชื่อที่ต่างกันด้วยเหตุผลที่ไม่ใช่เชิงปริมาณ?y¯1y¯1\bar y_1y¯2y¯2\bar y_2d¯d¯\bar d

11 paired-comparisons  paired-data  mean 

ฉันมีอนุกรมเวลาและฉันต้องการจำลองเป็นกระบวนการ ARFIMA (aka FARIMA) หากถูกรวมกับคำสั่ง (เศษส่วน)ฉันต้องการแยกความแตกต่างเล็กน้อยเพื่อทำให้เป็นแบบนิ่งytyty_tytyty_tddd คำถาม : สูตรต่อไปนี้กำหนดความแตกต่างของเศษส่วนถูกต้องหรือไม่ ΔdYเสื้อ: =Yเสื้อ- dYt - 1+d( d- 1 )2 !Yt - 2-d( d- 1 ) ( d- 2 )3 !Yt - 3+ . . . + ( - 1)k + 1d( d- 1 ) ⋅ . . ⋅ ( d- k )k …

11 time-series  arima  arfima 

ความแตกต่างระหว่างการหมุน varimax กับการหมุนแบบ oblimin ในการวิเคราะห์ปัจจัยคืออะไร? นอกจากนี้ฉันยังสับสนเกี่ยวกับความสัมพันธ์ระหว่างการวิเคราะห์องค์ประกอบหลักการหมุน varimax และการวิเคราะห์ปัจจัยเชิงสำรวจทั้งในเชิงทฤษฎีและใน SPSS พวกเขาเกี่ยวข้องกันอย่างไร

11 factor-analysis  rotation 

ฉันใช้การทดสอบ DW กับโมเดลการถดถอยของฉันใน R และฉันได้สถิติการทดสอบ DW ที่ 1.78 และค่า p เท่ากับ 2.2e-16 = 0 นี่หมายความว่าไม่มีความสัมพันธ์อัตโนมัติระหว่างส่วนที่เหลือเพราะสถิติอยู่ใกล้กับ 2 ด้วยค่า p เล็ก ๆ หรือหมายความว่าแม้ว่าสถิติใกล้เคียงกับ 2 ค่า p มีค่าน้อยดังนั้นเราจึงปฏิเสธสมมติฐานว่างที่มีอยู่ ไม่มีความสัมพันธ์อัตโนมัติ?

11 r  regression  hypothesis-testing  autocorrelation  residuals 

พิจารณาการถดถอยง่าย (ปกติไม่ได้สันนิษฐาน):ที่คือมีค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐาน\ประมาณการสแควร์น้อยที่สุดของและไม่เกี่ยวข้องกันหรือไม่?Yi=a+bXi+ei,Yi=a+bXi+ei,Y_i = a + b X_i + e_i,eieie_i000σσ\sigmaaaabbb

11 regression  correlation  estimation 

Christopher Bishop เขียนในการจดจำรูปแบบในหนังสือของเขาและการเรียนรู้ของเครื่องเพื่อพิสูจน์ว่าแต่ละองค์ประกอบหลักติดต่อกันช่วยเพิ่มความแปรปรวนของการฉายภาพให้เป็นมิติหนึ่งหลังจากข้อมูลถูกฉายไปยังพื้นที่มุมฉากกับองค์ประกอบที่เลือกไว้ก่อนหน้านี้ คนอื่น ๆ แสดงหลักฐานที่คล้ายกัน อย่างไรก็ตามสิ่งนี้พิสูจน์ให้เห็นว่าแต่ละองค์ประกอบที่ต่อเนื่องกันเป็นโครงที่ดีที่สุดสำหรับหนึ่งมิติในแง่ของการเพิ่มความแปรปรวนให้สูงสุด เหตุใดสิ่งนี้จึงบอกเป็นนัยถึงความแปรปรวนของการฉายภาพที่จะบอกว่า 5 มิตินั้นถูกเลือกให้มากที่สุดสำหรับส่วนประกอบแรก

11 machine-learning  variance  pca  dimensionality-reduction  eigenvalues 

ฉันเข้าใจว่า f- การวัด (ตามความแม่นยำและการเรียกคืน) เป็นค่าประมาณความแม่นยำของตัวจําแนก นอกจากนี้f-measure ยังได้รับความนิยมมากกว่าความถูกต้องเมื่อเรามีชุดข้อมูลที่ไม่สมดุล ฉันมีคำถามง่าย ๆ (ซึ่งเกี่ยวกับการใช้คำศัพท์ที่ถูกต้องมากกว่าเกี่ยวกับเทคโนโลยี) ฉันมีชุดข้อมูลที่ไม่สมดุลและฉันใช้การวัดแบบ f ในการทดลองของฉัน ฉันกำลังจะเขียนกระดาษซึ่งไม่ใช่สำหรับการเรียนรู้ด้วยเครื่องจักร / การประชุมการทำเหมืองข้อมูล ดังนั้นฉันสามารถอ้างถึงการวัดค่า f เหมือนกันกับความถูกต้องในบริบทนี้ ยกตัวอย่างเช่นฉันมี f- วัด 0.82 แล้วฉันจะบอกได้ว่าลักษณนามของฉันบรรลุการทำนายที่แม่นยำ 82%

11 machine-learning  classification  data-mining  unbalanced-classes  accuracy 

ฉันมีคำถามเกี่ยวกับการแจกจ่ายที่ถูกต้องเพื่อใช้สำหรับการสร้างแบบจำลองด้วยข้อมูลของฉัน ฉันจัดทำรายการป่าไม้ที่มี 50 แปลงแต่ละแปลงมีขนาด 20 ม. x 50 ม. ในแต่ละแปลงนั้นฉันประมาณเปอร์เซ็นต์ของต้นไม้ที่บังแสง แต่ละพล็อตมีหนึ่งค่าเป็นเปอร์เซ็นต์สำหรับฝาครอบหลังคา เปอร์เซ็นต์มีตั้งแต่ 0 ถึง 0.95 ฉันกำลังสร้างแบบจำลองของร้อยละต้นไม้ปกคลุมหลังคา ( ตัวแปรY ) ด้วยเมทริกซ์ของตัวแปรXอิสระจากภาพถ่ายดาวเทียมและข้อมูลด้านสิ่งแวดล้อม ฉันไม่แน่ใจว่าฉันควรใช้การแจกแจงทวินามหรือไม่เนื่องจากตัวแปรสุ่มแบบทวินามคือผลรวมของการทดลองอิสระn ครั้ง (เช่นตัวแปรสุ่มของเบอร์นูลลี) ค่าเปอร์เซ็นต์ไม่ใช่ผลรวมของการทดลอง เป็นเปอร์เซ็นต์ที่แท้จริง ฉันควรใช้แกมมาแม้ว่าจะไม่มีขีด จำกัด บน ฉันควรแปลงเปอร์เซ็นต์เป็นจำนวนเต็มและใช้ปัวซองเป็นค่าหรือไม่ ฉันควรจะอยู่กับเกาส์เซียนหรือไม่ ฉันไม่พบตัวอย่างมากมายในวรรณคดีหรือในตำราที่พยายามจำลองเปอร์เซ็นต์ด้วยวิธีนี้ คำแนะนำหรือข้อมูลเชิงลึกใด ๆ ที่ชื่นชม ขอบคุณสำหรับคำตอบ ในความเป็นจริงการกระจายเบต้าเป็นสิ่งที่ฉันต้องการและมีการพูดคุยอย่างละเอียดในบทความนี้: Eskelson, BN, Madsen, L. , Hagar, JC, & Temesgen, H. (2011) การประมาณพืชพรรณที่เข้าใจได้ของชายฝั่ง Riparian ด้วยแบบจำลองการถดถอยแบบเบตาและโคคูล่า …

11 distributions  binomial  gamma-distribution