สถิติและข้อมูลขนาดใหญ่

สมมุติว่าฉันมี -vectorของตัวแปรตามและ -vectorของตัวแปรอิสระ เมื่อได้วางแผนกับฉันเห็นว่ามีความสัมพันธ์เชิงเส้น (แนวโน้มสูงขึ้น) ระหว่างทั้งสอง ตอนนี้ก็หมายความว่ามีแนวโน้มลดลงเชิงเส้นตรงระหว่างและXY N X Y 1ยังไม่มีข้อความNNYYYยังไม่มีข้อความNNXXXYYY YX1X1X\frac{1}{X}YYYXXX ตอนนี้ถ้าฉันใช้การถดถอย: และรับค่าที่ติดตั้งY = β XY= β∗ X+ ϵY=β∗X+ϵY = \beta * X + \epsilonY^= β^XY^=β^X\hat{Y} = \hat{\beta}X จากนั้นฉันก็ทำการถดถอย:และรับค่าติดตั้ง ~ Y = α 1Y= α ∗ 1X+ ϵY=α∗1X+ϵY = \alpha * \frac{1}{X} + \epsilonY~= α^1XY~=α^1X\tilde{Y} = \hat{\alpha} \frac{1}{X} ค่าสองค่าที่คาดการณ์ไว้และจะเท่ากันหรือไม่? …

10 regression  data-transformation  linear-model 

ฉันติดอยู่กับวิธีการแก้ไขปัญหานี้ ดังนั้นเรามีสองลำดับของตัวแปรสุ่มและY ฉันสำหรับฉัน= 1 , . . , n . ตอนนี้XและYมีการกระจายชี้แจงอิสระที่มีพารามิเตอร์λและμ แต่แทนที่จะสังเกตXและY , เราสังเกตแทนZและWXผมXiX_iYผมYiY_iฉัน= 1 , . . , ni=1,...,ni=1,...,nXXXYYYλλ\lambdaμμ\muXXXYYYZZZWWW และ W = 1ถ้า Z ฉัน = X ฉันและ 0 ถ้า Z ฉัน = Yฉัน ฉันต้องไปหารูปแบบปิดสำหรับประมาณค่าความน่าจะเป็นสูงสุดของ λและ μบนพื้นฐานของ ZและW นอกจากนี้เราต้องแสดงให้เห็นว่าสิ่งเหล่านี้เป็น maxima ระดับโลกZ=min(Xi,Yi)Z=min(Xi,Yi)Z=\min(X_i,Y_i)W=1W=1W=1Zi=XiZi=XiZ_i=X_iZi=YiZi=YiZ_i=Y_iλλ\lambdaμμ\muZZZWWW ตอนนี้ฉันรู้ว่าอย่างน้อยสอง exponentials อิสระเป็นตัวเองชี้แจงกับอัตราเท่ากับผลรวมของอัตราเพื่อให้เรารู้ว่าคือการชี้แจงกับพารามิเตอร์λ + μ ดังนั้นประมาณการโอกาสสูงสุดของเราคือ: λ + …

10 self-study  maximum-likelihood  exponential  minimum 

ตำราสถิติจำนวนมากให้ภาพตัวอย่างที่เข้าใจง่ายว่า eigenvectors ของเมทริกซ์ความแปรปรวนร่วมคืออะไร: เวกเตอร์uและzเป็นค่า eigenvectors (ดี, eigenaxes) มันสมเหตุสมผลแล้ว แต่สิ่งหนึ่งที่ทำให้ฉันสับสนก็คือเราแยก eigenvectors จากเมทริกซ์สหสัมพันธ์ไม่ใช่ข้อมูลดิบ นอกจากนี้ชุดข้อมูลดิบที่แตกต่างกันมากอาจมีเมทริกซ์สหสัมพันธ์เหมือนกัน ตัวอย่างเช่นทั้งคู่มีเมทริกซ์สหสัมพันธ์ของ: [10.970.971][10.970.971]\left[\begin{array}{} 1 & 0.97 \\ 0.97 &1\end{array}\right] ดังนั้นพวกเขาจึงมี eigenvectors ชี้ไปในทิศทางเดียวกัน: [.71.71−.71.71][.71−.71.71.71]\left[\begin{array}{} .71 & -.71 \\ .71 & .71\end{array}\right] แต่ถ้าคุณต้องใช้การตีความภาพแบบเดียวกันกับที่ทิศทางของข้อมูลผู้ใช้ในข้อมูลดิบคุณจะได้เวกเตอร์ชี้ไปในทิศทางที่ต่างกัน ใครช่วยบอกฉันทีว่าฉันทำผิดไปได้ไหม การแก้ไขที่สอง : หากฉันกล้าหาญมากด้วยคำตอบที่ดีเยี่ยมด้านล่างฉันสามารถเข้าใจความสับสนและแสดงให้เห็นได้ คำอธิบายด้วยภาพสอดคล้องกับความจริงที่ว่า eigenvector สกัดจากเมทริกซ์ความแปรปรวนร่วมนั้นแตกต่างกัน Covariances และ Eigenvectors (สีแดง): [1111][.7.72−.72.7][1111][.7−.72.72.7]\left[\begin{array}{} 1 & 1 \\ 1 & …

10 correlation  pca  covariance-matrix  eigenvalues 

ก่อนที่จะถามคำถามนี้ผมค้นหาเว็บไซต์ของเราและพบมากคำถามที่คล้ายกัน (เช่นที่นี่ , ที่นี่และที่นี่ ) แต่ฉันรู้สึกว่าคำถามที่เกี่ยวข้องนั้นไม่ได้รับการตอบสนองหรือพูดคุยอย่างดีดังนั้นจึงอยากจะถามคำถามนี้อีกครั้ง ฉันรู้สึกว่าควรมีผู้ชมจำนวนมากที่ต้องการอธิบายคำถามประเภทนี้อย่างชัดเจนยิ่งขึ้น สำหรับคำถามของฉันก่อนอื่นให้ลองพิจารณาโมเดลผสมผลกระทบเชิงเส้น โดยที่เป็นองค์ประกอบผลกระทบเชิงเส้นคงที่\ mathbf {Z}เป็นเมทริกซ์ออกแบบเพิ่มเติมที่สอดคล้องกันพารามิเตอร์สุ่มผล , \ boldsymbol \ และ\ boldsymbol \ epsilon \ \ sim \ N (\ mathbf {0, \ sigma ^ 2 I})เป็นข้อผิดพลาดทั่วไป X βy = X β + Z γ+ ϵY=Xβ+Zγ+ε \mathbf{y = X\boldsymbol \beta + Z \boldsymbol \gamma + …

10 mixed-model  residuals  heteroscedasticity  diagnostic 

ฉันใช้การวิเคราะห์ความหมายแฝงเพื่อแสดงคลังข้อมูลของเอกสารในพื้นที่มิติต่ำกว่า ฉันต้องการจัดกลุ่มเอกสารเหล่านี้เป็นสองกลุ่มโดยใช้วิธี k หลายปีที่ผ่านมาฉันทำสิ่งนี้โดยใช้ gensim ของ Python และเขียนอัลกอริทึม k-mean ของฉันเอง ฉันกำหนดเซนทรอยด์ของคลัสเตอร์โดยใช้ระยะทางแบบยุคลิด แต่ก็ทำการจัดกลุ่มเอกสารตามความคล้ายคลึงกันของโคไซน์กับเซนทรอยด์ ดูเหมือนว่าจะทำงานได้ค่อนข้างดี ตอนนี้ฉันกำลังพยายามทำสิ่งนี้กับคลังเอกสารขนาดใหญ่กว่ามาก K-หมายถึงไม่ได้มาบรรจบกันและฉันสงสัยว่ามันเป็นข้อบกพร่องในรหัสของฉัน ฉันอ่านเมื่อเร็ว ๆ นี้ว่าคุณไม่ควรจัดกลุ่มโดยใช้ความเหมือนโคไซน์เพราะ k-mean ใช้งานได้กับระยะทางแบบยุคลิดเท่านั้น แม้ว่าตามที่ฉันได้กล่าวมาดูเหมือนว่าจะทำงานได้ดีในกรณีทดสอบขนาดเล็กของฉัน ตอนนี้ฉันเจอสิ่งนี้ในหน้าLSA Wikipedia : เอกสารและคำแทนเวกเตอร์สามารถจัดกลุ่มได้โดยใช้อัลกอริทึมการจัดกลุ่มแบบดั้งเดิมเช่น k- หมายถึงโดยใช้มาตรการความคล้ายคลึงกันเช่นโคไซน์ แล้วมันคืออะไร? ฉันสามารถใช้โคไซน์คล้ายคลึงกันได้หรือไม่?

10 k-means  svd  lsa  cosine-distance  cosine-similarity 

ฉันรับรู้ถึงตัวอย่างที่ดีของคู่ตัวแปรสุ่มที่มีความสัมพันธ์ซึ่งปกติเล็กน้อย แต่ไม่ได้ร่วมกัน ดูคำตอบนี้โดยDilip Sarwateและหนึ่งในนี้โดยพระคาร์ดินัล ฉันยังรับรู้ถึงตัวอย่างของตัวแปรสุ่มสองตัวที่มีผลรวมไม่ปกติ ดูคำตอบนี้โดยมาโคร แต่ในตัวอย่างนี้ตัวแปรสุ่มสองตัวไม่มีการเชื่อมโยงกัน มีตัวอย่างของตัวแปรสุ่มสองตัวที่มีความแปรปรวนร่วมที่ไม่ใช่ศูนย์และผลรวมที่ไม่ปกติหรือไม่? หรือเป็นไปได้ที่จะพิสูจน์ว่าผลรวมของตัวแปรสุ่มปกติสองตัวใด ๆ ที่มีความสัมพันธ์กันแม้ว่าพวกเขาจะไม่ได้เป็นตัวแปรตามปกติก็ตาม [บริบท: ฉันมีคำถามที่ถามทำการบ้านสำหรับการกระจายของX + ขYที่XและYเป็นปกติมาตรฐานที่มีความสัมพันธ์ρ ฉันคิดว่าคำถามหมายถึงการระบุว่าพวกเขาเป็นตัวแปรปกติ แต่ฉันสงสัยว่าจะสามารถพูดอะไรได้หรือไม่หากไม่มีข้อสมมุติพิเศษสำหรับρไม่ใช่ศูนย์]X+ b YaX+bYaX+bYXXXYYYρρ\rhoρρ\rho ขอบคุณ!

10 correlation  normal-distribution  multivariate-analysis  bivariate 

ฉันได้ยินเรื่องราวเมื่อเร็ว ๆ นี้ที่มีคนพูดว่าถ้าพวกเขาต้องการที่จะฆ่าใครสักคน (และหนีไปด้วย) พวกเขาจะทำมันด้วยรถของพวกเขา พวกเขาอ้างถึงสถิติต่าง ๆ เกี่ยวกับจำนวนผู้เสียชีวิตที่เกี่ยวข้องกับรถยนต์ (รวมถึงรถติดคนเดินเท้า) ควบคู่ไปกับสถิติเพิ่มเติมเกี่ยวกับจำนวนคนขับที่ถูกตัดสินโทษต่ออาชญากรรมประเภทใด ... blah, blah, blah คำถามของฉันคือสิ่งนี้: เป็นไปได้หรือไม่ที่จะแสดงให้เห็นว่ารถยนต์ใช้ (ทางสถิติ) เป็นอาวุธในการฆาตกรรม? กล่าวอีกนัยหนึ่งฉันตระหนักว่ามันเป็นไปไม่ได้ที่จะแสดงให้เห็นว่าจริง ๆ แล้วอุบัติเหตุทางรถยนต์ที่คนขับรถคันเดียวเป็นความพยายามหรือการกระทำที่มุ่งมั่น ค่อนข้างฉันสงสัยว่าวิธีการอาจจะจินตนาการซึ่งสามารถแสดงให้เห็นว่าร้อยละของ 'อุบัติเหตุ' เหล่านั้นจริง ๆ แล้วในทุกโอกาสไม่ใช่อุบัติเหตุเลย ...

10 statistical-significance 

ฉันมีโมเดลต่อไปนี้ที่m_plotมีเอlme4::lmerฟเฟ็กต์แบบสุ่มข้ามสำหรับผู้เข้าร่วม ( lfdn) และรายการ ( content): Random effects: Groups Name Variance Std.Dev. Corr lfdn (Intercept) 172.173 13.121 role1 62.351 7.896 0.03 inference1 24.640 4.964 0.08 -0.30 inference2 52.366 7.236 -0.05 0.17 -0.83 inference3 21.295 4.615 -0.03 0.22 0.86 -0.77 content (Intercept) 23.872 4.886 role1 2.497 1.580 -1.00 inference1 18.929 4.351 …

10 mixed-model  lme4-nlme  intraclass-correlation 

ฉันได้อ่านวรรณกรรมแล้วว่าป่าสุ่มไม่เหมาะสม ในขณะที่ฟังดูดี แต่มันก็ดีเกินกว่าที่จะเป็นจริงได้ เป็นไปได้หรือไม่ที่ rf จะมีน้ำหนักเกิน?

10 random-forest  overfitting 

สมมติว่าฉันมีตัวอย่างขนาดเล็กเช่น N = 100 และสองชั้น ฉันจะเลือกการฝึกอบรมการตรวจสอบข้ามและขนาดชุดการทดสอบสำหรับการเรียนรู้ของเครื่องได้อย่างไร ฉันจะเลือกอย่างสังหรณ์ใจ ขนาดชุดฝึกอบรมเท่ากับ 50 ขนาดชุดการตรวจสอบความถูกต้องแบบไขว้และ ขนาดทดสอบ 25 แต่อาจทำให้รู้สึกมากหรือน้อย ฉันจะตัดสินใจค่าเหล่านี้ได้อย่างไร ฉันขอลองตัวเลือกที่แตกต่างกัน (แม้ว่าฉันเดาว่ามันจะไม่เป็นที่นิยม ... เพิ่มความเป็นไปได้ในการเรียนรู้มากกว่า)? ถ้าฉันมีมากกว่าสองคลาส

10 machine-learning  sampling  svm  cross-validation  sample-size 

ปัญหา ฉันต้องการให้พอดีกับพารามิเตอร์แบบจำลองของประชากร 2-Gaussian แบบเรียบง่าย ให้ทุก hype รอบวิธี Bayesian ฉันต้องการเข้าใจว่าสำหรับปัญหานี้อนุมาน Bayesian เป็นเครื่องมือที่ดีกว่าวิธีการกระชับแบบดั้งเดิม จนถึงตอนนี้ MCMC ทำงานได้แย่มากในตัวอย่างของเล่นนี้ แต่บางทีฉันอาจมองข้ามบางสิ่งบางอย่าง ดังนั้นเรามาดูรหัส เครื่องมือ ฉันจะใช้ python (2.7) + scipy stack, lmfit 0.8 และ PyMC 2.3 สมุดบันทึกเพื่อทำซ้ำการวิเคราะห์สามารถพบได้ที่นี่ สร้างข้อมูล ก่อนอื่นให้สร้างข้อมูล: from scipy.stats import distributions # Sample parameters nsamples = 1000 mu1_true = 0.3 mu2_true = 0.55 sig1_true = 0.08 …

10 bayesian  gaussian-mixture  frequentist  pymc  method-comparison 

ดังนั้นหากได้รับสถิติ Chi Squared ของ Pearson สำหรับตารางรูปแบบของมันคือ:1×N1×N1 \times N ∑i=1n(Oi−Ei)2Ei∑i=1n(Oi−Ei)2Ei\sum_{i=1}^n\frac{(O_i - E_i)^2}{E_i} จากนั้นสิ่งนี้จะประมาณการกระจาย Chi-Squared ที่มีอิสระขององศาเมื่อขนาดตัวอย่างมีขนาดใหญ่ขึ้น χ2n−1χn−12\chi_{n-1}^2n−1n−1n-1NNN สิ่งที่ฉันไม่เข้าใจก็คือวิธีการประมาณ asymptotic นี้ทำงานอย่างไร ฉันรู้สึกเหมือน 's ในหารจะถูกแทนที่ด้วย{} นับได้ว่าจะให้คุณสำหรับ(0,1) แต่แน่นอนว่ามันมีอิสระแบบองศาไม่ใช่ดังนั้นจึงมีบางอย่างที่ชัดเจนเกิดขึ้นEiEiE_is2inisi2ni\frac{s_i^2}{n_i}χ2n=∑ni=1Z2iχn2=∑i=1nZi2\chi_n^2 = \sum_{i=1}^nZ_i^2Zi∼n(0,1)Zi∼n(0,1)Z_i\sim n(0,1)nnnn−1n−1n-1

10 chi-squared  asymptotics 

วรรณกรรมแบบจำลองการกระจายพันธุ์ทุกชนิดชี้ให้เห็นว่าเมื่อทำนายการมีอยู่ของสายพันธุ์โดยใช้แบบจำลองที่มีความน่าจะเป็นผลลัพธ์ (เช่น RandomForests) การเลือกเกณฑ์ความน่าจะเป็นที่จะจำแนกประเภทของสิ่งมีชีวิตที่มีอยู่จริง ไม่พึ่งพาค่าเริ่มต้น 0.5 เสมอไป ฉันต้องการความช่วยเหลือในเรื่องนี้! นี่คือรหัสของฉัน: library(randomForest) library(PresenceAbsence) #build model RFfit <- randomForest(Y ~ x1 + x2 + x3 + x4 + x5, data=mydata, mytry = 2, ntrees=500) #eventually I will apply this to (predict for) new data but for first I predict back to training data …

10 r  classification  random-forest  threshold 

ฉันเขียนฟังก์ชันง่าย ๆ ใน Python เพื่อคำนวณค่าเฉลี่ยถ่วงน้ำหนักชี้แจง: def test(): x = [1,2,3,4,5] alpha = 0.98 s_old = x[0] for i in range(1, len(x)): s = alpha * x[i] + (1- alpha) * s_old s_old = s return s อย่างไรก็ตามฉันจะคำนวณ SD ที่เกี่ยวข้องได้อย่างไร

10 standard-deviation  python  exponential-smoothing 

ฉันเข้าใจว่าถ้าฉันมีสองรุ่น A และ B และ A ซ้อนกันใน B ดังนั้นจากข้อมูลบางอย่างฉันสามารถใส่พารามิเตอร์ของ A และ B โดยใช้ MLE และใช้การทดสอบอัตราส่วนความน่าจะเป็นบันทึกทั่วไป โดยเฉพาะอย่างยิ่งการกระจายของการทดสอบควรจะกับองศาอิสระที่คือความแตกต่างในจำนวนของพารามิเตอร์ที่และมีχ2χ2\chi^2nnnnnnAAABBB อย่างไรก็ตามจะเกิดอะไรขึ้นถ้าและมีจำนวนพารามิเตอร์เท่ากัน แต่โมเดลไม่ซ้อนกัน? นั่นคือพวกเขาเป็นรุ่นที่แตกต่างกันเพียง มีวิธีใดที่จะใช้การทดสอบอัตราส่วนความน่าจะเป็นหรือใครจะทำอย่างอื่นได้บ้างAAABBB

10 maximum-likelihood  model-selection  likelihood-ratio