คำถามติดแท็ก convergence

ให้แสดงถึงฟังก์ชันการแจกแจงทวินาม (DF) พร้อมพารามิเตอร์และประเมินที่ : และปล่อยให้แสดง Poisson DF พร้อมพารามิเตอร์a \ in \ mathbb R ^ +ประเมินที่r \ in \ {0,1,2, \ ldots \} : \ start {equation} F (a , r) = e ^ {- a} \ sum_ {i = 0} ^ r \ frac {a ^ i} {i!} \ end …

30 binomial  poisson-distribution  convergence  probability-inequalities 

เมื่อฉันใช้ GAM มันให้ DF ที่เหลือกับฉันคือ (บรรทัดสุดท้ายในรหัส) นั่นหมายความว่าอย่างไร? นอกเหนือไปจากตัวอย่างของ GAM โดยทั่วไปแล้วจำนวนองศาความเป็นอิสระจะเป็นจำนวนที่ไม่ใช่จำนวนเต็มหรือไม่26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 -1.6217 -0.8971 1.2445 6.0516 (Dispersion Parameter for gaussian family taken to be 6.6717) Null Deviance: 1126.047 on 31 degrees …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

อะไรคือความแตกต่างระหว่างสัญชาตญาณแบบสุ่มที่มาบรรจบกันของความน่าจะเป็นกับความแปรปรวนแบบสุ่มในการแจกแจง ฉันได้อ่านคำจำกัดความและสมการทางคณิตศาสตร์มากมาย แต่นั่นไม่ได้ช่วยจริงๆ (โปรดทราบว่าฉันเป็นนักศึกษาระดับปริญญาตรีสาขาเศรษฐศาสตร์กำลังศึกษา) ตัวแปรสุ่มสามารถรวมกันเป็นตัวเลขเดียวได้อย่างไร แต่ยังมาบรรจบกับการแจกแจงได้อย่างไร

26 distributions  random-variable  convergence  intuition 

ฉันได้อ่านคำอธิบายของอัลกอริทึม EM (เช่นจากการจดจำรูปแบบของอธิการและการเรียนรู้ของเครื่องและจากหลักสูตรแรกของ Roger and Gerolami ในการเรียนรู้ของเครื่อง) การได้มาของ EM ก็โอเคฉันเข้าใจแล้ว ฉันยังเข้าใจว่าทำไมอัลกอริทึมครอบคลุมถึงบางสิ่ง: ในแต่ละขั้นตอนเราปรับปรุงผลลัพธ์และโอกาสถูกล้อมรอบด้วย 1.0 ดังนั้นโดยใช้ข้อเท็จจริงง่าย ๆ (หากฟังก์ชันเพิ่มขึ้นและถูก จำกัด ขอบเขตจากนั้นก็มาบรรจบกัน) เรารู้ว่าอัลกอริทึม ทางออกบางอย่าง อย่างไรก็ตามเราจะรู้ได้อย่างไรว่ามันเป็นขั้นต่ำในท้องถิ่น? ในแต่ละขั้นตอนเรากำลังพิจารณาพิกัดเดียวเท่านั้น (ไม่ว่าจะเป็นตัวแปรแฝงหรือพารามิเตอร์) ดังนั้นเราอาจพลาดอะไรบางอย่างเช่นค่าต่ำสุดในท้องถิ่นต้องการการเคลื่อนย้ายโดยพิกัดทั้งสองพร้อมกัน ฉันเชื่อว่านี่เป็นปัญหาที่คล้ายคลึงกับของขั้นตอนวิธีการปีนเขาทั่วไปซึ่ง EM เป็นตัวอย่างของ ดังนั้นสำหรับอัลกอริทึมการปีนเขาทั่วไปเรามีปัญหานี้สำหรับฟังก์ชั่น f (x, y) = x * y หากเราเริ่มต้นจากจุด (0, 0) ดังนั้นเพียงพิจารณาทั้งสองทิศทางในครั้งเดียวเราสามารถเลื่อนขึ้นจาก 0 ค่า

24 missing-data  convergence  expectation-maximization 

จำนวนสูงสุดของ IID Standardnormals ลู่กับมาตรฐานกัมเบลจัดจำหน่ายตามมากราคาทฤษฎีX1,…,Xn.∼X1,…,Xn.∼X_1,\dots,X_n. \sim เราจะแสดงสิ่งนั้นได้อย่างไร เรามี P(maxXi≤x)=P(X1≤x,…,Xn≤x)=P(X1≤x)⋯P(Xn≤x)=F(x)nP(maxXi≤x)=P(X1≤x,…,Xn≤x)=P(X1≤x)⋯P(Xn≤x)=F(x)nP(\max X_i \leq x) = P(X_1 \leq x, \dots, X_n \leq x) = P(X_1 \leq x) \cdots P(X_n \leq x) = F(x)^n เราจำเป็นต้องค้นหา / เลือกan>0,bn∈Ran>0,bn∈Ra_n>0,b_n\in\mathbb{R}ลำดับของค่าคงที่เช่น: F(anx+bn)n→n→∞G(x)=e−exp(−x)F(anx+bn)n→n→∞G(x)=e−exp⁡(−x)F\left(a_n x+b_n\right)^n\rightarrow^{n\rightarrow\infty} G(x) = e^{-\exp(-x)} คุณสามารถแก้ไขหรือค้นหามันในวรรณคดี? มีบางตัวอย่างหน้า 6/71แต่ไม่ใช่สำหรับกรณีปกติ: Φ(anx+bn)n=(12π−−√∫anx+bn−∞e−y22dy)n→e−exp(−x)Φ(anx+bn)n=(12π∫−∞anx+bne−y22dy)n→e−exp⁡(−x)\Phi\left(a_n x+b_n\right)^n=\left(\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{a_n x+b_n} e^{-\frac{y^2}{2}}dy\right)^n\rightarrow e^{-\exp(-x)}

21 probability  normal-distribution  convergence  extreme-value 

การกระจายตัวแบบปกติมาบรรจบกับการแจกแจงบางอย่างหรือไม่หากการเบี่ยงเบนมาตรฐานเติบโตโดยไม่มีขอบเขต? มันจะปรากฏขึ้นกับผมว่าไฟล์ PDF เริ่มต้นมองเช่นการกระจายชุดที่มีขอบเขตที่กำหนดโดยซิก] มันเป็นเรื่องจริงเหรอ?[−2σ,2σ][−2σ,2σ][-2 \sigma, 2 \sigma]

18 normal-distribution  convergence 

ปัญหาเกิดขึ้นก่อนหน้านี้ แต่ฉันต้องการถามคำถามเฉพาะที่จะพยายามล้วงเอาคำตอบที่จะทำให้ชัดเจน (และจำแนก): ใน "Asymptotics ของคนจน" คนหนึ่งรักษาความแตกต่างที่ชัดเจนระหว่าง (a)ลำดับของตัวแปรสุ่มที่รวมความน่าจะเป็นเป็นค่าคงที่ ตรงกันข้ามกับ (b)ลำดับของตัวแปรสุ่มที่รวมความน่าจะเป็นเข้ากับตัวแปรสุ่ม แต่ใน "Asymptotics ของ Wise Man" เราสามารถมีกรณีของ (c)ลำดับของตัวแปรสุ่มที่รวมความน่าจะเป็นเป็นค่าคงที่ในขณะที่รักษาความแปรปรวนที่ไม่ใช่ศูนย์ที่ขีด จำกัด คำถามของฉันคือ (ขโมยจากคำตอบเชิงสำรวจของฉันเองด้านล่าง): เราจะเข้าใจตัวประมาณที่สอดคล้องกันเชิงเส้นกำกับ แต่ก็มีความแปรปรวนที่ไม่ใช่ศูนย์และ จำกัด ได้อย่างไร ความแปรปรวนนี้สะท้อนถึงอะไร? พฤติกรรมของมันแตกต่างจากตัวประมาณ "ปกติ" ที่สอดคล้องกันอย่างไร หัวข้อที่เกี่ยวข้องกับปรากฏการณ์ที่อธิบายไว้ใน (c) (ดูในความคิดเห็นด้วย): ความแตกต่างระหว่างตัวประมาณที่สอดคล้องกันและตัวประมาณที่ไม่เอนเอียงคืออะไร? /stats/120553/convergence-of-an-estimator-with-infinite-variance ทำไมตัวประมาณที่ไม่สอดคล้องกันแบบเชิงเส้นกำกับจึงไม่มีความแปรปรวนที่ไม่มีที่สิ้นสุด เกือบแน่ใจว่าการลู่เข้าและการแปรปรวนที่ จำกัด ไปที่ศูนย์

18 mathematical-statistics  variance  convergence  asymptotics  consistency 

ฉันมีคำถามของผู้เริ่มต้นเกี่ยวกับทฤษฎีบทขีด จำกัด กลาง (CLT): ฉันทราบว่า CLT ระบุว่าค่าเฉลี่ยของตัวแปรสุ่มของ iid นั้นมีการแจกแจงแบบปกติโดยประมาณ (สำหรับโดยที่คือดัชนีของการสรุป) หรือตัวแปรสุ่มมาตรฐานจะมีการแจกแจงแบบปกติมาตรฐานn→∞n→∞n \to \inftynnn ตอนนี้กฎจำนวนมากระบุอย่างคร่าว ๆ ว่าค่าเฉลี่ยของตัวแปรสุ่มของ iid มาบรรจบกัน (ในความน่าจะเป็นหรือเกือบจะแน่นอน) ตามมูลค่าที่คาดหวัง สิ่งที่ฉันไม่เข้าใจคือ: ถ้าตามที่ CLT ระบุค่าเฉลี่ยจะกระจายไปตามปกติแล้วจะสามารถรวมเข้ากับค่าที่คาดหวังในเวลาเดียวกันได้อย่างไร การบรรจบกันจะบอกฉันว่าเมื่อเวลาผ่านไปความน่าจะเป็นที่ค่าเฉลี่ยนั้นไม่ใช่ค่าที่คาดหวังคือเกือบเป็นศูนย์ดังนั้นการกระจายจะไม่เป็นเรื่องปกติ แต่เป็นศูนย์เกือบทุกที่ยกเว้นตามค่าที่คาดหวัง คำอธิบายใด ๆ ยินดีต้อนรับ

18 probability  normal-distribution  convergence  central-limit-theorem  law-of-large-numbers 

มันเพียงพอที่จะแสดงให้เห็นว่า MSE = 0 เป็นn→∞n→∞n\rightarrow\infty ? ฉันยังอ่านบางสิ่งเกี่ยวกับ plim ในบันทึกของฉันด้วย ฉันจะค้นหา plim และใช้เพื่อแสดงว่าตัวประมาณมีความสอดคล้องกันได้อย่างไร

17 estimation  convergence  consistency 

ฉันอ่านว่าอัลกอริทึม k-mean จะแปลงเป็นค่าต่ำสุดในท้องถิ่นเท่านั้นและไม่ใช่ระดับต่ำสุดทั่วโลก ทำไมนี้ ฉันสามารถคิดอย่างมีเหตุผลว่าการกำหนดค่าเริ่มต้นอาจส่งผลกระทบต่อการจัดกลุ่มสุดท้ายและมีความเป็นไปได้ของการจัดกลุ่มย่อยที่เหมาะสม แต่ฉันไม่พบสิ่งใดที่จะพิสูจน์ได้ในเชิงคณิตศาสตร์ นอกจากนี้เหตุใด k-หมายถึงกระบวนการวนซ้ำ เราไม่สามารถแยกความแตกต่างของฟังก์ชั่นวัตถุประสงค์เพียงเล็กน้อยกับเซนทรอยด์, แบ่งมันให้เป็นศูนย์เพื่อค้นหาเซนทรอยด์ที่ลดฟังก์ชั่นนี้ได้หรือไม่? เหตุใดเราต้องใช้การไล่ระดับสีเพื่อเข้าถึงขั้นตอนทีละน้อย?

17 clustering  k-means  convergence  gradient-descent  minimum 

( โพสต์ครั้งแรกใน MSE) ฉันได้เห็นการอภิปรายแบบฮิวริสติกจำนวนมากของทฤษฎีบทขีด จำกัด กลางแบบคลาสสิกพูดถึงการแจกแจงแบบปกติ (หรือการแจกแจงแบบคงที่ใด ๆ ) เป็น "ตัวดึงดูด" ในพื้นที่ความหนาแน่นของความน่าจะเป็น ตัวอย่างเช่นพิจารณาประโยคเหล่านี้ที่ส่วนบนสุดของการรักษาของ Wikipedia : ในการใช้งานทั่วไปมากขึ้นทฤษฎีบทขีด จำกัด กลางคือชุดของทฤษฎีบทการลู่เข้าแบบอ่อนในทฤษฎีความน่าจะเป็น พวกเขาทั้งหมดแสดงความจริงที่ว่าผลรวมของตัวแปรสุ่มแบบอิสระและแบบกระจาย (iid) จำนวนมากหรือมิฉะนั้นตัวแปรสุ่มที่มีการพึ่งพาประเภทเฉพาะจะมีแนวโน้มที่จะกระจายไปตามชุดการกระจายตัวเล็ก ๆ ชุดหนึ่ง เมื่อความแปรปรวนของตัวแปร iid มีจำนวน จำกัด การกระจายตัวดึงดูดจะเป็นการแจกแจงแบบปกติ ภาษาของระบบพลวัตนี้มีการชี้นำอย่างมาก เฟลเลอร์ยังพูดถึง "การดึงดูด" ในการรักษา CLT ในเล่มที่สองของเขา (ฉันสงสัยว่านั่นคือที่มาของภาษา) และ Yuval Flimus ในบันทึกนี้ยังพูดถึง "อ่างแห่งการดึงดูด" (ฉันไม่คิดว่าเขาหมายถึง "รูปแบบที่แน่นอนของแหล่งท่องเที่ยวนั้นสามารถอนุมานได้ล่วงหน้า" แต่ค่อนข้าง "รูปแบบที่แน่นอนของตัวดึงดูดนั้นสามารถอนุมานได้ล่วงหน้า"; ยังมีภาษาอยู่) คำถามของฉันคือ: สามารถ การเปรียบเทียบแบบไดนามิกจะทำให้แม่นยำ?ฉันไม่รู้หนังสือที่พวกเขาเป็นอยู่ - แม้ว่าหนังสือหลายเล่มจะชี้ให้เห็นว่าการแจกแจงแบบปกตินั้นพิเศษสำหรับความมั่นคงภายใต้การบิด …

16 probability  mathematical-statistics  convergence  central-limit-theorem  convolution 

ฉันใช้glmerฟังก์ชันจากlme4แพ็คเกจใน R และฉันใช้bobyqaเครื่องมือเพิ่มประสิทธิภาพ (เช่นค่าเริ่มต้นในกรณีของฉัน) ฉันได้รับคำเตือนและฉันสงสัยว่ามันหมายถึงอะไร Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from bobyqa: bobyqa -- a trust region step failed to reduce q ฉันค้นหา "ขั้นตอนภูมิภาคที่เชื่อถือได้ล้มเหลวในการลด q" พบข้อมูลบางอย่างในแพ็คเกจ minqaซึ่งพูดว่า "Consult Powell สำหรับคำอธิบาย" ฉันทำ (คุณสามารถทำได้เช่นกันหากคุณต้องการ! ดูการอ้างอิงและลิงก์ไปยังพวกเขาด้านล่าง) แต่ฉันไม่เข้าใจ ที่จริงแล้วฉันไม่พบสิ่งใดเกี่ยวกับการลด q MJD Powell (2007) "การพัฒนา NEWUOA …

16 r  optimization  lme4-nlme  convergence  glmm 

ฉันพยายามอ่านงานวิจัยในเรื่องการถดถอยแบบมิติสูง เมื่อมีขนาดใหญ่กว่า , ที่อยู่,n ดูเหมือนว่าคำว่ามักปรากฏในรูปของอัตราการลู่เข้าสำหรับตัวประมาณค่าการถดถอยpppnnnp>>np>>np >> nlogp/nlog⁡p/n\log p/n ตัวอย่างเช่นที่นี่สมการ (17) บอกว่ารูปทรงพอดีเชือกสอดคล้องกับ β^β^\hat{\beta}1n∥Xβ^−Xβ∥22=OP(σlogpn−−−−−√∥β∥1).1n‖Xβ^−Xβ‖22=OP(σlog⁡pn‖β‖1). \dfrac{1}{n}\|X\hat{\beta} - X \beta\|_2^2 = O_P \left(\sigma \sqrt{\dfrac{\log p}{n} } \|\beta\|_1\right)\,. ปกตินี้ยังแสดงให้เห็นว่าlogplog⁡p\log pควรจะมีขนาดเล็กกว่าnnnn มีสัญชาตญาณว่าทำไมอัตราส่วนของlogp/nlog⁡p/n\log p/nจึงโดดเด่นเช่นนี้? นอกจากนี้ก็ดูเหมือนว่าจากวรรณกรรมปัญหาการถดถอยมิติสูงได้รับซับซ้อนเมื่อlogp≥nlog⁡p≥n\log p \geq nn ทำไมถึงเป็นเช่นนั้น? มีการอ้างอิงที่ดีที่กล่าวถึงปัญหาที่ว่าpppและnnnจะโตเร็วแค่ไหนเมื่อเปรียบเทียบกัน?

16 regression  lasso  convergence  high-dimensional 

คำถามของฉันคือ: แบบจำลองเชิงเส้นทั่วไป (GLMs) รับประกันว่าจะรวมกันเป็นค่าสูงสุดทั่วโลกหรือไม่? ถ้าเป็นเช่นนั้นทำไม นอกจากนี้สิ่งที่มีข้อ จำกัด ในฟังก์ชั่นการเชื่อมโยงเพื่อประกันความนูน? ความเข้าใจของฉันเกี่ยวกับ GLMs คือพวกเขาเพิ่มฟังก์ชั่นความน่าจะเป็นแบบไม่เชิงเส้นอย่างมาก ดังนั้นฉันคิดว่ามี maxima ท้องถิ่นหลายชุดและพารามิเตอร์ที่คุณรวมเข้าด้วยกันนั้นขึ้นอยู่กับเงื่อนไขเริ่มต้นสำหรับอัลกอริธึมการปรับให้เหมาะสม อย่างไรก็ตามหลังจากทำการวิจัยบางอย่างฉันไม่ได้พบแหล่งเดียวซึ่งบ่งชี้ว่ามีหลายท้องถิ่นสูงสุด นอกจากนี้ฉันไม่คุ้นเคยกับเทคนิคการปรับให้เหมาะสม แต่ฉันรู้ว่าวิธี Newton-Raphson และอัลกอริทึม IRLS มีแนวโน้มที่จะสูงสุดในท้องถิ่น กรุณาอธิบายว่าเป็นไปได้ทั้งบนพื้นฐานที่ใช้งานง่ายและทางคณิตศาสตร์! แก้ไข: dksahuji ตอบคำถามเดิมของฉัน แต่ฉันต้องการเพิ่มคำถามติดตาม [ 2 ] ด้านบน ("มีข้อ จำกัด อะไรบ้างในฟังก์ชั่นลิงค์เพื่อประกันความนูน?")

16 generalized-linear-model  optimization  convergence  exponential-family 

ผมจะผ่านเอกสารสแตนซึ่งสามารถดาวน์โหลดได้จากที่นี่ ฉันมีความสนใจเป็นพิเศษในการใช้งานการวินิจฉัยของเจลแมน - รูบิน กระดาษดั้งเดิมGelman & Rubin (1992)กำหนดปัจจัยการลดขนาดที่อาจเกิดขึ้น (PSRF) ดังนี้ Let เป็นฉัน TH โซ่มาร์คอฟชิมและให้มีการรวมMโซ่อิสระตัวอย่าง ให้ˉ Xฉัน⋅เป็นค่าเฉลี่ยจากฉันห่วงโซ่, th และˉ X ⋅ ⋅เป็นค่าเฉลี่ยโดยรวม กำหนด W = 1Xฉัน, 1, … , Xฉัน, NXi,1,…,Xi,NX_{i,1}, \dots , X_{i,N}ผมiiMMMX¯ฉัน⋅X¯i⋅\bar{X}_{i\cdot}ผมiiX¯⋅ ⋅X¯⋅⋅\bar{X}_{\cdot \cdot} ที่ s 2 m =1W= 1MΣm = 1Ms2ม.,W=1M∑m=1Msm2,W = \dfrac{1}{M} \sum_{m=1}^{M} {s^2_m}, และกำหนด B B …

16 mcmc  convergence  gibbs  metropolis-hastings  stan