สถิติและข้อมูลขนาดใหญ่

ฉันพยายามที่จะเข้าใจการทำงานภายในของ Hamiltonian Monte Carlo (HMC) แต่ไม่สามารถเข้าใจส่วนนี้ได้อย่างสมบูรณ์เมื่อเราแทนที่การรวมเวลาที่กำหนดไว้กับข้อเสนอ Metropolis-Hasting ฉันกำลังอ่านกระดาษเกริ่นนำสุดยอด A บทนำเกี่ยวกับแนวคิดของมิลโตเนียนมอนติคาร์โลโดย Michael Betancourt ดังนั้นฉันจะทำตามสัญกรณ์เดิมที่ใช้ในนั้น พื้นหลัง เป้าหมายทั่วไปของ Markov Chain Monte Carlo (MCMC) เป็นที่ใกล้เคียงกับการกระจายของตัวแปรเป้าหมายQπ( q)π(Q)\pi(q)QQq ความคิดของ HMC คือการแนะนำผู้ช่วย "โมเมนตัม" ตัวแปรร่วมกับตัวแปรเดิมที่ถูกจำลองเป็นตำแหน่ง "" คู่ตำแหน่ง - โมเมนตัมเป็นพื้นที่เฟสขยายและสามารถอธิบายได้โดยการเปลี่ยนแปลงของมิลโตเนียน ข้อต่อการกระจายสามารถเขียนได้ในแง่ของการสลายตัวของ microcanonical:พีพีpQQqπ( q, p )π(Q,พี)\pi(q, p) π( q, p ) = π(θE| E)π( E)π(Q,พี)=π(θE|E)π(E)\pi(q, p) = \pi(\theta_E | E) …

9 mcmc  monte-carlo  hmc 

ให้จะอยู่ใน d เมทริกซ์ความแปรปรวนร่วมและความแปรปรวนร่วมของ (ด้วย elementwise ที่คำนวณได้สูงสุด) คืออะไรZ∼N(μ,Σ)Z∼N(μ,Σ)Z \sim \mathcal N(\mu, \Sigma)RdRd\mathbb R^dZ+=max(0,Z)Z+=max(0,Z)Z_+ = \max(0, Z) สิ่งนี้เกิดขึ้นเช่นเพราะถ้าเราใช้ฟังก์ชั่นการเปิดใช้งาน ReLU ภายในเครือข่ายที่ลึกและสมมติว่าผ่าน CLT ที่อินพุตไปยังเลเยอร์ที่กำหนดนั้นเป็นปกติประมาณนี่คือการแจกแจงของเอาท์พุต (ฉันแน่ใจว่ามีคนจำนวนมากคำนวณไว้ก่อนหน้านี้ แต่ฉันไม่พบผลลัพธ์ที่ปรากฏในที่ใด ๆ ในวิธีที่อ่านได้อย่างสมเหตุสมผล)

9 probability  distributions  normal-distribution  moments  censoring 

สมมติว่าเรากำลังทำตัวอย่างของเล่นในการไล่ระดับสีที่ดีลดฟังก์ชันกำลังสองโดยใช้ขั้นตอนขนาดคงที่\( )xTAxxTAxx^TAxα=0.03α=0.03\alpha=0.03A=[10,2;2,3]A=[10,2;2,3]A=[10, 2; 2, 3] ถ้าเราพล็อตการติดตามของในการวนซ้ำแต่ละครั้งเราจะได้ตัวเลขดังต่อไปนี้ ทำไมคะแนนจึงมีความหนาแน่นสูงเมื่อเราใช้ขนาดขั้นตอนคงที่ โดยสังหรณ์ใจมันไม่ได้ดูเหมือนขนาดขั้นตอนคงที่ แต่ขนาดขั้นตอนลดลงxxx PS: รหัส R รวมถึงพล็อต A=rbind(c(10,2),c(2,3)) f <-function(x){ v=t(x) %*% A %*% x as.numeric(v) } gr <-function(x){ v = 2* A %*% x as.numeric(v) } x1=seq(-2,2,0.02) x2=seq(-2,2,0.02) df=expand.grid(x1=x1,x2=x2) contour(x1,x2,matrix(apply(df, 1, f),ncol=sqrt(nrow(df))), labcex = 1.5, levels=c(1,3,5,10,20,40)) grid() opt_v=0 alpha=3e-2 x_trace=c(-2,-2) x=c(-2,-2) while(abs(f(x)-opt_v)>1e-6){ x=x-alpha*gr(x) …

9 r  machine-learning  optimization  gradient-descent 

ไม่ใช่เรื่องแปลกที่เกิดขึ้นเมื่อต้องรับมือกับตัวแบบผสมที่ซับซ้อนสูงสุด (การประมาณค่าเอฟเฟกต์แบบสุ่มที่เป็นไปได้ทั้งหมดสำหรับข้อมูลและตัวแบบที่กำหนด) นั้นสมบูรณ์แบบ (+1 หรือ -1) หรือสัมพันธ์ที่สมบูรณ์แบบ สำหรับวัตถุประสงค์ของการสนทนาเรามาดูรูปแบบและสรุปแบบจำลองต่อไปนี้ Model: Y ~ X*Cond + (X*Cond|subj) # Y = logit variable # X = continuous variable # Condition = values A and B, dummy coded; the design is repeated # so all participants go through both Conditions # subject = random effects …

9 r  correlation  mixed-model  lme4-nlme  covariance-matrix 

ถ้าฉันมีการแจกแจงสมมาตร (เทียบกับค่ามัธยฐาน) สองแบบ XXX และ YYYความแตกต่างของ ยังเป็นการกระจายแบบสมมาตร (เทียบกับค่ามัธยฐาน) ด้วยหรือไม่X−YX−YX-Y

9 distributions  median 

ถ้า X∼ C( 0 , 1 )X∼C(0,1)X\sim\mathcal C(0,1)หาการกระจายของ Y=2 X1 -X2Y=2X1−X2Y=\frac{2X}{1-X^2}. เรามี FY( y) = P r ( Y≤ y)FY(y)=Pr(Y≤y)F_Y(y)=\mathrm{Pr}(Y\le y) = P r (2 X1 -X2≤ y)=Pr(2X1−X2≤y)\qquad\qquad\qquad=\mathrm{Pr}\left(\frac{2X}{1-X^2}\le y\right) =⎧⎩⎨⎪⎪⎪⎪⎪⎪Pr(X∈(−∞,−1−1+y2√y])+Pr(X∈(−1,−1+1+y2√y]),ify&gt;0Pr(X∈(−1,−1+1+y2√y])+Pr(X∈(1,−1−1+y2√y]),ify&lt;0={Pr(X∈(−∞,−1−1+y2y])+Pr(X∈(−1,−1+1+y2y]),ify&gt;0Pr(X∈(−1,−1+1+y2y])+Pr(X∈(1,−1−1+y2y]),ify&lt;0\qquad\qquad=\begin{cases} \mathrm{Pr}\left(X\in\left(-\infty,\frac{-1-\sqrt{1+y^2}}{y}\right]\right)+\mathrm{Pr}\left(X\in\left(-1,\frac{-1+\sqrt{1+y^2}}{y}\right]\right),\text{if}\quad y>0\\ \mathrm{Pr}\left(X\in\left(-1,\frac{-1+\sqrt{1+y^2}}{y}\right]\right)+\mathrm{Pr}\left(X\in\left(1,\frac{-1-\sqrt{1+y^2}}{y}\right]\right),\text{if}\quad y<0 \end{cases} ฉันสงสัยว่าความแตกต่างของกรณีด้านบนนั้นถูกต้องหรือไม่ ในทางตรงกันข้ามต่อไปนี้ดูเหมือนว่าวิธีที่ง่ายกว่า: เราสามารถเขียน Y=tan(2tan- 1X)Y=tan⁡(2tan−1⁡X)Y=\tan(2\tan^{-1}X) ใช้ตัวตน 2 ตันZ1 -สีน้ำตาล2Z= ผิวสีแทน2 z2tan⁡z1−tan2⁡z=tan⁡2z\frac{2\tan z}{1-\tan^2z}=\tan 2z ตอนนี้ X∼ …

9 self-study  distributions  mathematical-statistics  random-variable 

ให้เป็นอิสระและตัวแปรสุ่มชุดมาตรฐานแบบกระจายเหมือนกันX1, … ,Xn∼ คุณ( 0 , 1 )X1,…,Xn∼U(0,1)X_1,\dots,X_n \sim U(0,1) ปล่อย Yn=ΣผมnX2ผมฉันค้นหา: E [Yn--√]ปล่อย Yn=ΣผมnXผม2ฉันค้นหา: E[Yn]\text{Let }\quad Y_n=\sum_i^nX_i^2 \quad \quad \text{I seek: } \quad \mathbb{E}\big[\sqrt{Y_n } \big] ความคาดหวังของนั้นง่าย:YnYnY_n E [X2]E [Yn]=∫10Y2Y√=13= E [ΣผมnX2ผม] =ΣผมnE [X2ผม] =n3E[X2]=∫01Y2Y=13E[Yn]=E[ΣผมnXผม2]=ΣผมnE[Xผม2]=n3\begin{align} \mathbb{E}\left[X^2\right] &=\int_0^1\frac{y}{2\sqrt{y}}=\frac{1}{3}\\ \mathbb{E}\left[Y_n\right] &=\mathbb{E}\left[\sum_i^nX_i^2\right] = \sum_i^n\mathbb{E}\left[X_i^2\right]=\frac{n}{3} \end{align} ตอนนี้ส่วนที่น่าเบื่อ เมื่อต้องการใช้ LOTUS, ฉันจะต้องไฟล์ PDF ของy_nแน่นอนว่าไฟล์ PDF …

9 probability  expected-value  uniform  central-limit-theorem  mgf 

ดังนั้นฉันจึงมีการทดสอบความน่าจะเป็นและฉันไม่สามารถตอบคำถามนี้ได้ มันเพิ่งถามอะไรแบบนี้ พิจารณาว่า XXX เป็นตัวแปรสุ่ม XXX ⩾⩾\geqslant 000ใช้ความไม่เท่าเทียมกันที่ถูกต้องที่จะพิสูจน์สิ่งที่สูงกว่าหรือเท่ากับ,หรือ 2E(X2)3E(X2)3E(X^2)^3E(X3)2E(X3)2E(X^3)^2 สิ่งเดียวที่ฉันคิดได้ก็คือความไม่เท่าเทียมของ Jensen แต่ฉันไม่รู้วิธีนำไปใช้ที่นี่จริง ๆ

9 probability  self-study  probability-inequalities 

Casella และ Bergerระบุคุณสมบัติ invariance ของตัวประมาณค่า ML ดังนี้: อย่างไรก็ตามดูเหมือนว่าพวกเขาจะกำหนด "โอกาส" ของ ηη\eta อย่างสมบูรณ์แบบและไร้สาระ: ถ้าฉันใช้กฎพื้นฐานของทฤษฎีความน่าจะเป็นกับกรณีอย่างง่าย η=τ(θ)=θ2η=τ(θ)=θ2\eta=\tau(\theta)=\theta^2ฉันได้รับต่อไปนี้แทน: L(η|x)=p(x|θ2=η)=p(x|θ=−η–√∨θ=η–√)=:p(x|A∨B)L(η|x)=p(x|θ2=η)=p(x|θ=−η∨θ=η)=:p(x|A∨B)L(\eta|x)=p(x|\theta^2=\eta)=p(x|\theta = -\sqrt \eta \lor \theta = \sqrt \eta)=:p(x|A \lor B) ตอนนี้ใช้ทฤษฎีบทของเบย์แล้วจากข้อเท็จจริงที่ว่า AAA และ BBB เป็นเอกสิทธิ์เฉพาะบุคคลร่วมกันเพื่อให้เราสามารถใช้กฎผลรวม: p(x|A∨B)=p(x)p(A∨B|x)p(A∨B)=p(x|A∨B)=p(x)p(A|x)+p(B|x)p(A)+p(B)p(x|A∨B)=p(x)p(A∨B|x)p(A∨B)=p(x|A∨B)=p(x)p(A|x)+p(B|x)p(A)+p(B)p(x|A\lor B)=p(x)\frac {p(A\lor B|x)}{p(A\lor B)}=p(x|A\lor B)=p(x)\frac {p(A|x)+p(B|x)}{p(A)+p(B)} ตอนนี้ใช้ทฤษฎีบทของเบย์กับเงื่อนไขในตัวเศษอีกครั้ง: p(x)p(A)p(x|A)p(x)+p(B)p(x|B)p(x)p(A)+p(B)=p(A)p(x|A)+p(B)p(x|B)p(A)+p(B)p(x)p(A)p(x|A)p(x)+p(B)p(x|B)p(x)p(A)+p(B)=p(A)p(x|A)+p(B)p(x|B)p(A)+p(B)p(x)\frac {p(A)\frac {p(x|A)}{p(x)}+p(B)\frac {p(x|B)}{p(x)}}{p(A)+p(B)}=\frac {p(A)p(x|A)+p(B)p(x|B)}{p(A)+p(B)} ถ้าเราต้องการเพิ่ม wrt นี้ให้สูงสุด ηη\eta เพื่อให้ได้ค่าประมาณโอกาสสูงสุด ηη\etaเราต้องเพิ่มสูงสุด: pθ(−η–√)p(x|θ=−η–√)+pθ(η–√)p(x|θ=η–√)pθ(−η)p(x|θ=−η)+pθ(η)p(x|θ=η)p_\theta(-\sqrt …

9 self-study  bayesian  maximum-likelihood  frequentist  invariance 

ปิด คำถามนี้จะต้องมีมากขึ้นมุ่งเน้น ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้มุ่งเน้นที่ปัญหาเดียวโดยแก้ไขโพสต์นี้ ปิดให้บริการใน22 วันที่ผ่านมา คำถามที่ 1: มีวิธีการทั่วไปหรือเป็นที่ยอมรับในการจัดการกับสภาพแวดล้อมที่ไม่อยู่นิ่งในการเรียนรู้การเสริมแรงโดยทั่วไปหรือไม่? Q2: ใน gridworld ของฉันฉันได้เปลี่ยนฟังก์ชั่นการให้รางวัลเมื่อมีการเยี่ยมชมรัฐ ทุก ๆ ตอนรางวัลจะรีเซ็ตเป็นสถานะเริ่มต้น ทั้งหมดที่ฉันต้องการให้ตัวแทนของฉันเรียนรู้คือ "อย่าย้อนกลับไปเว้นแต่คุณต้องการจริงๆ" อย่างไรก็ตามสิ่งนี้ทำให้สภาพแวดล้อมไม่อยู่กับที่ สามารถ / ควรรวมกฎง่ายๆนี้ไว้ในโมเดล MDP หรือไม่และอย่างไร Q-learning เป็นทางออกที่ดีที่สุดในการจัดการกับปัญหานี้หรือไม่? ข้อเสนอแนะหรือตัวอย่างที่มีอยู่? คำถามที่ 3: ฉันได้ดู Q-learning ด้วยการเล่นซ้ำประสบการณ์เป็นวิธีแก้ไขปัญหาเกี่ยวกับสภาพแวดล้อมที่ไม่หยุดนิ่งเนื่องจากมันสัมพันธ์กับการปรับปรุงที่ต่อเนื่อง นี่เป็นการใช้วิธีที่ถูกต้องหรือมากกว่านั้นเพื่อจัดการกับการเรียนรู้ข้อมูลที่มีประสิทธิภาพมากขึ้นหรือไม่ และฉันเห็นว่ามันใช้กับการประมาณค่าเท่านั้น ฉันไม่แน่ใจว่ามันเป็น overkill หรือเปล่าที่จะใช้มันสำหรับพื้นที่ที่แยกออกง่าย ๆ เช่น gridworld หรือมีเหตุผลอื่นสำหรับเรื่องนี้ โปรดตอบหรือแสดงความคิดเห็นแม้ว่าคุณจะไม่สามารถตอบคำถามทุกข้อได้

9 markov-process  reinforcement-learning  stationarity  q-learning 

ทำให้แสดงถึงความเป็นอิสระของและC o v ( f( X) , Y) = 0∀ฉ( . )Cov(f(X),Y)=0∀f(.)\mathbb{Cov} \left(f(X),Y\right) = 0 \; \forall \; f(.)XXXYYY? ฉันคุ้นเคยกับคำจำกัดความความเป็นอิสระต่อไปนี้เท่านั้น XXX และ YYY. ฉx , y( x , y) =ฉx( x )ฉY( y)ฉx,Y(x,Y)=ฉx(x)ฉY(Y) f_{x,y}(x,y) = f_x(x)f_y(y)

9 random-variable  independence 

ใน 'องค์ประกอบของการเรียนรู้ทางสถิติ' นิพจน์สำหรับการสลายตัวของความแปรปรวนแบบอคติของแบบจำลองเชิงเส้นจะได้รับเป็น ที่เป็นฟังก์ชันเป้าหมายจริงคือความแปรปรวนของข้อผิดพลาดแบบสุ่มในโมเดลและเป็นประมาณการเชิงเส้นของ(x)Err(x0)=σ2ϵ+E[f(x0)−Ef^(x0)]2+||h(x0)||2σ2ϵ,Err(x0)=σϵ2+E[f(x0)−Ef^(x0)]2+||h(x0)||2σϵ2,Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2,f(x0)f(x0)f(x_0)σ2ϵσϵ2 \sigma_\epsilon^2y=f(x)+ϵy=f(x)+ϵy=f(x)+\epsilonf^(x)f^(x)\hat f(x)f(x)f(x)f(x) คำแปรปรวนทำให้ฉันหนักใจที่นี่เพราะสมการบอกเป็นนัยว่าความแปรปรวนจะเป็นศูนย์ถ้าเป้าหมายไม่มีเสียงนั่นคือแต่มันก็ไม่สมเหตุสมผลสำหรับฉันเพราะแม้จะมีสัญญาณรบกวนเป็นศูนย์ฉันยังสามารถรับตัวประมาณแตกต่างกันสำหรับชุดการฝึกอบรมที่แตกต่างกันซึ่งหมายถึงความแปรปรวนไม่ใช่ศูนย์σ2ϵ=0.σϵ2=0.\sigma_\epsilon^2=0.f^(x0)f^(x0)\hat f(x_0) ตัวอย่างเช่นสมมติว่าฟังก์ชันเป้าหมายเป็นกำลังสองและข้อมูลการฝึกอบรมมีสองจุดตัวอย่างที่สุ่มจากกำลังสองนี้ ชัดเจนฉันจะได้เส้นตรงที่แตกต่างกันทุกครั้งที่ฉันสุ่มตัวอย่างสองคะแนนจากการสุ่มกำลังสอง - เป้าหมาย แล้วความแปรปรวนเป็นศูนย์ได้อย่างไรf(x0)f(x0)f(x_0) ใครช่วยให้ฉันรู้ว่ามีอะไรผิดปกติในความเข้าใจของฉันเกี่ยวกับการย่อยสลายความแปรปรวนแบบอคติ?

9 regression  linear-model  bias-variance-tradeoff 

ฉันต้องการจัดประเภทจุดข้อมูลว่าต้องการโมเดลที่ซับซ้อนกว่าหรือไม่ต้องการโมเดลที่ซับซ้อนกว่านี้อีก ความคิดปัจจุบันของฉันคือการปรับข้อมูลทั้งหมดให้เป็นแบบจำลองเชิงเส้นอย่างง่ายและสังเกตขนาดของเศษเหลือเพื่อทำการจัดหมวดหมู่นี้ จากนั้นฉันก็อ่านเรื่องอคติและความแปรปรวนของข้อผิดพลาดและรู้ว่าถ้าฉันสามารถคำนวณอคติโดยตรงมันอาจเป็นการวัดที่ดีกว่าจากนั้นก็ทำงานกับข้อผิดพลาดทั้งหมด (ส่วนที่เหลือหรือส่วนที่เป็นมาตรฐาน) เป็นไปได้หรือไม่ที่จะประเมินความลำเอียงโดยตรงกับตัวแบบเชิงเส้น? มีหรือไม่มีข้อมูลทดสอบหรือไม่ การตรวจสอบข้ามจะช่วยได้ไหม ถ้าไม่เราสามารถใช้ bootstrapping ทั้งชุดแบบเส้นตรง (ฉันคิดว่ามันเรียกว่า bagging) เพื่อหาค่าอคติโดยประมาณได้หรือไม่?

9 regression  multiple-regression  residuals  bias-variance-tradeoff 

ฉันมีชุดข้อมูลที่มีคุณลักษณะ / covariates ที่มีความสัมพันธ์กันประมาณ 5,000 รายการและการตอบกลับแบบไบนารี ข้อมูลถูกมอบให้ฉันฉันไม่ได้เก็บรวบรวม ฉันใช้ Lasso และเพิ่มการไล่ระดับสีเพื่อสร้างแบบจำลอง ฉันใช้การตรวจสอบข้ามแบบซ้อนซ้ำซ้อน ฉันรายงานว่าสัมประสิทธิ์ 40 ที่ใหญ่ที่สุด (สัมบูรณ์) ของ Lasso และ 40 คุณสมบัติที่สำคัญที่สุดในต้นไม้ที่ไล่ระดับสี (ไม่มีอะไรพิเศษเกี่ยวกับ 40 มันดูเหมือนจะเป็นข้อมูลที่สมเหตุสมผล) ฉันยังรายงานความแปรปรวนของปริมาณเหล่านี้ผ่านรอยพับและการวนซ้ำของ CV ฉันชอบที่จะพูดถึงคุณสมบัติ "สำคัญ" โดยไม่มีการพูดถึงค่า p หรือค่านิยมหรืออะไรก็ตาม แต่แทนที่จะคิดว่ากระบวนการนี้เป็นแบบ --- แม้ว่าจะไม่สมบูรณ์และเรียงลำดับแบบสุ่ม --- เข้าใจลึกลงไปในปรากฏการณ์บางอย่าง สมมติว่าฉันได้ทำทั้งหมดนี้อย่างถูกต้อง (เช่นดำเนินการตรวจสอบข้ามอย่างถูกต้องปรับขนาดสำหรับเชือก) วิธีนี้มีเหตุผล? มีปัญหากับตัวอย่างเช่นการทดสอบสมมติฐานหลายรายการการวิเคราะห์หลังเลิกเรียนการค้นพบที่ผิดพลาดหรือไม่? หรือปัญหาอื่น ๆ ? วัตถุประสงค์ ทำนายความน่าจะเป็นของเหตุการณ์ไม่พึงประสงค์ สำคัญที่สุดประมาณการความน่าจะเป็นได้อย่างแม่นยำ ผู้เยาว์เพิ่มเติม - เพื่อการมีสติตรวจสอบ แต่อาจเปิดเผยตัวพยากรณ์ใหม่ที่สามารถตรวจสอบเพิ่มเติมตรวจสอบค่าสัมประสิทธิ์และความสำคัญตามที่กล่าวไว้ข้างต้น ผู้บริโภค …

9 machine-learning  multiple-comparisons  regression-coefficients  lasso  high-dimensional 

ให้จะ IID และx_i ดูเหมือนชัดเจน แต่ฉันมีปัญหาอย่างเป็นทางการที่ได้มาXiXiX_iX¯=∑ni=1XiX¯=∑i=1nXi\bar{X} = \sum_{i=1}^{n} X_iE[XiX¯]= ?E[XiX¯]= ? E\left[\frac{X_i}{\bar{X}}\right] = \ ?

9 probability  random-variable  expected-value