สถิติและข้อมูลขนาดใหญ่

พิจารณาการสูญเสียกำลังสองด้วยก่อนรับที่2) ปล่อยให้ โอกาส ค้นหาประมาณเบส์\L(θ,δ)=(θ−δ)2L(θ,δ)=(θ−δ)2L(\theta,\delta)=(\theta-\delta)^2π(θ)π(θ)\pi(\theta)π(θ)∼U(0,1/2)π(θ)∼U(0,1/2)\pi(\theta)\sim U(0,1/2)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπδπ\delta^\pi พิจารณาการสูญเสียกำลังสองน้ำหนัก โดยที่ กับก่อน theta) ปล่อยให้เป็นโอกาส ค้นหาประมาณเบส์\Lw(θ,δ)=w(θ)(θ−δ)2Lw(θ,δ)=w(θ)(θ−δ)2L_w(\theta,\delta)=w(\theta)(\theta-\delta)^2w(θ)=I(−∞,1/2)w(θ)=I(−∞,1/2)w(\theta)=\mathbb{I}_{(-\infty,1/2)}π1(θ)=I[0,1](θ)π1(θ)=I[0,1](θ)\pi_1(\theta)=\mathbb{I}_{[0,1]}(\theta)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπ1δ1π\delta^\pi_1 เปรียบเทียบและδπδπ\delta^\piδπ1δ1π\delta^\pi_1 ครั้งแรกที่ฉันสังเกตเห็นว่าและฉันคิดว่านั่นเป็นโอกาสที่มิฉะนั้นฉันจะไม่ได้รับหลังแล้ว ดังนั้นตัวประมาณค่า Bayes ที่เกี่ยวกับการสูญเสียกำลังสองคือ f(x|θ)∼Beta(θ,1)f(x|θ)∼Beta(θ,1)f(x|\theta)\sim Beta(\theta,1)π(θ|x)∝f(x|θ)π(θ)=θxθ−1I[0,1]∗2I(0,1/2)(θ)∼Beta(θ,1)π(θ|x)∝f(x|θ)π(θ)=θxθ−1I[0,1]∗2I(0,1/2)(θ)∼Beta(θ,1)\pi(\theta|x)\propto f(x|\theta)\pi(\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}*2\mathbb{I}_{(0,1/2)}(\theta)\sim Beta(\theta,1)E[π(θ|x)]=θθ+1E[π(θ|x)]=θθ+1\mathbb{E}[\pi(\theta|x)]=\frac{\theta}{\theta+1} ฉันกำลังดูในหนังสือThe Bayesian Choiceและมีทฤษฎีบทเกี่ยวกับตัวประมาณค่า Bayes ที่เกี่ยวข้องกับการสูญเสียกำลังสองและมันถูกกำหนดโดย δπ(x)=Eπ[w(θ)θ|x]Eπ[w(θ)|x]δπ(x)=Eπ[w(θ)θ|x]Eπ[w(θ)|x]\delta^\pi(x)=\frac{\mathbb{E}^\pi[w(\theta)\theta|x]}{\mathbb{E}^\pi[w(\theta)|x]} บางคนสามารถอธิบายให้ฉันคำนวณได้อย่างไร สิ่งที่ฉันพยายามคือ: δπ(x)=∫θw(θ)f(x|θ)π(θ)dθ∫w(θ)f(x|θ)π(θ)dθ∫f(x|θ)π(θ)dθ∫w(θ)f(xθ)π(θ)dθδπ(x)=∫θw(θ)f(x|θ)π(θ)dθ∫w(θ)f(x|θ)π(θ)dθ∫f(x|θ)π(θ)dθ∫w(θ)f(xθ)π(θ)dθ\delta^\pi(x)=\frac{\frac{\int \theta w(\theta)f(x|\theta)\pi(\theta)d\theta}{\int w(\theta)f(x|\theta)\pi(\theta)d\theta}}{\frac{\int f(x|\theta)\pi(\theta)d\theta}{\int w(\theta)f(x\theta)\pi(\theta)d\theta}} ฉันรู้ว่าการสนับสนุนคือแต่เมื่อฉันพยายามรวมเข้ากับตัวเศษ[0,12][0,12][0,\frac{1}{2}] ∫θw(θ)f(x|θ)π(θ)dθ=∫120θθxθ−1dθ=1x∫120θ2xθdθ∫θw(θ)f(x|θ)π(θ)dθ=∫012θθxθ−1dθ=1x∫012θ2xθdθ\int \theta w(\theta)f(x|\theta)\pi(\theta)d\theta=\int_0^\frac{1}{2}\theta\theta x^{\theta-1}d\theta=\frac{1}{x}\int_0^\frac{1}{2}\theta^2 x^\theta d\theta ฉันไม่ได้ผลลัพธ์ที่ดี

9 self-study  bayesian  estimation  hierarchical-bayesian  loss-functions 

มันฝังแน่นอยู่ในการสอนวิชาประยุกต์เช่นยาการวัดปริมาณไบโอ - แพทย์ในประชากรตามปกติ "ระฆังโค้ง" การค้นหาสตริง" Google เราถือว่าการแจกแจงแบบปกติ"ของ Google ส่งคืน23 , 90023,900\small 23,900ผล! พวกเขาดูเหมือนว่า"จากจุดข้อมูลจำนวนมากเราคาดว่าจะมีการแจกแจงแบบปกติสำหรับความผิดปกติของอุณหภูมิ"ในการศึกษาเกี่ยวกับการเปลี่ยนแปลงสภาพภูมิอากาศ หรือ"เราสันนิษฐานว่าการแจกจ่ายวันที่ฟักลูกไก่ปกติ"บนเอกสารที่อาจเป็นที่ถกเถียงกันน้อยเกี่ยวกับเพนกวิน หรือ "เราสันนิษฐานว่าการกระจายปกติของ GDP แรงกระแทกการเจริญเติบโต"หมายถึงการเปลี่ยนเศรษฐกิจมหภาคในตลาด (นำขึ้นกับหน่วยความจำหนังสือเล่มนี้ ... และสิ่งอื่น ๆ ) เมื่อเร็ว ๆ นี้ฉันพบว่าตัวเองตั้งคำถามกับการรักษาข้อมูลการนับที่กระจายตามปกติเนื่องจากลักษณะเชิงบวกของพวกเขาอย่างเคร่งครัด แน่นอนว่าการนับข้อมูลนั้นไม่ต่อเนื่องทำให้เป็นเรื่องปกติมากขึ้น แต่ถึงแม้จะทิ้งประเด็นหลังนี้ไว้ทำไมการวัดเชิงประจักษ์อย่างต่อเนื่องเช่นน้ำหนักส่วนสูงหรือความเข้มข้นของกลูโคสซึ่งถือว่าเป็นต้นแบบ "ต่อเนื่อง" ถือว่าเป็นเรื่องปกติ พวกเขาไม่สามารถสังเกตการรับรู้เชิงลบได้มากกว่าการนับ! ฉันเข้าใจว่าเมื่อค่าเบี่ยงเบนมาตรฐานต่ำกว่าค่าเฉลี่ยแสดงค่าลบเล็กน้อย ("การตรวจสอบช่วง 95%") อาจเป็นข้อสมมติที่ใช้งานได้จริงและฮิสโทแกรมความถี่อาจรองรับหากไม่เบ้จนเกินไป แต่คำถามดูเหมือนจะไม่สำคัญและการค้นหาอย่างรวดเร็วให้สิ่งที่น่าสนใจ ในธรรมชาติเราสามารถค้นหาข้อความต่อไปนี้บนจดหมายจาก DF Heath : "ฉันต้องการชี้ให้เห็นว่าสำหรับการวิเคราะห์ทางสถิติของข้อมูลบางประเภทการสันนิษฐานว่าข้อมูลนั้นมาจากประชากรปกติมักจะผิดและทางเลือกอื่น ข้อสันนิษฐานของการกระจายล็อกปกติดีกว่าทางเลือกนี้ใช้กันอย่างแพร่หลายโดยนักสถิตินักเศรษฐศาสตร์และนักฟิสิกส์ แต่ด้วยเหตุผลบางอย่างมักจะถูกละเว้นโดยนักวิทยาศาสตร์ของสาขาอื่น ๆ " Limpert ตั้งข้อสังเกตว่า"แบบจำลองการบันทึกปกติอาจทำหน้าที่เป็นค่าประมาณในแง่ที่ว่านักวิทยาศาสตร์หลายคนรับรู้ปกติว่าเป็นการประมาณที่ถูกต้องในขณะนี้"ในขณะที่สังเกตการใช้พลังงานต่ำของการทดสอบแบบปกติที่ดี การกระจายที่ถูกต้องชัดเจนเมื่อต้องจัดการกับตัวอย่างเล็ก ๆ ดังนั้นคำถามคือ"เมื่อไหร่ที่จะยอมรับการกระจายตัวปกติของการวัดเชิงประจักษ์ในวิทยาศาสตร์ประยุกต์ที่ไม่มีหลักฐานสนับสนุนเพิ่มเติม?" …

9 normal-distribution  assumptions  normality-assumption  lognormal 

สมมติว่าฉันต้องการฝึกโครงข่ายประสาทลึกเพื่อทำการจำแนกหรือการถดถอย แต่ฉันต้องการที่จะรู้ว่าจะมีความมั่นใจในการทำนายอย่างไร ฉันจะบรรลุสิ่งนี้ได้อย่างไร ความคิดของฉันคือการคำนวณเอนโทรปีของการข้ามสำหรับข้อมูลการฝึกอบรมทุกครั้งซึ่งขึ้นอยู่กับประสิทธิภาพการทำนายของมันในมาตรวัดประสาทข้างต้น จากนั้นฉันจะฝึกโครงข่ายประสาทที่สองสำหรับการถดถอยซึ่งจะใช้แต่ละ datum เป็นอินพุตและมันข้ามเอนโทรปีเป็นเอาท์พุท (หนึ่งโหนดเอาต์พุต) จากนั้นคุณจะใช้ทั้งสองเครือข่ายในการปฏิบัติ - หนึ่งสำหรับการคาดการณ์ของฉลาก / ค่าและอื่น ๆ สำหรับการทำนายความมั่นใจของเครือข่ายแรก (.... แต่ฉันจะต้องมีเครือข่ายที่สามเพื่อทำนายความมั่นใจของเครือข่ายที่สองและอื่น ๆ ... ?!) นี่เป็นแนวคิดที่ถูกต้องหรือไม่? ยิ่งกว่านั้นมันเป็นความคิดมาตรฐานที่ใช้กันทั่วไปหรือไม่? ถ้าไม่คุณจะแนะนำอะไร

9 machine-learning  neural-networks 

คำถามนี้มีพื้นฐานอยู่บนกระดาษหัวข้อ: การสร้างภาพใหม่ในการถ่ายภาพด้วยแสงแบบกระจายโดยใช้แบบจำลองการกระจายการแผ่รังสีแบบคู่ - การกระจาย ลิ้งค์ดาวน์โหลด ผู้เขียนใช้อัลกอริทึม EM ด้วย ล.1l1l_1sparsity normalization ของ vectorไม่รู้จักเพื่อประมาณค่าพิกเซลของรูปภาพ รูปแบบที่ได้รับจากμμ\mu Y= A μ + e(1)(1)y=Aμ+ey=A\mu + e \tag{1} การประมาณการจะได้รับใน Eq (8) เป็น μ^= หาเรื่องm a x lnp ( y| μ)+γLNp ( μ )(2)(2)μ^=arg⁡maxln⁡p(y|μ)+γln⁡p(μ)\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2} ในกรณีของฉันฉันได้ถือว่าเป็นตัวกรองความยาวและคือคูณเวกเตอร์ที่แสดงตัวกรอง ดังนั้น,μμ\muLLLμμ\mathbf{\mu}L × 1L×1L …

9 self-study  bayesian  maximum-likelihood  expectation-maximization  moving-average 

ฉันได้อ่านลักษณนามพีชคณิต: วิธีการทั่วไปในการตรวจสอบข้ามอย่างรวดเร็วการฝึกอบรมออนไลน์และการฝึกอบรมแบบขนานและรู้สึกทึ่งกับประสิทธิภาพของอัลกอริทึมที่ได้รับ อย่างไรก็ตามดูเหมือนว่าเกินกว่า Naive Bayes (และ GBM) มีอัลกอริธึมไม่มากที่ปรับให้เข้ากับกรอบงาน มีเอกสารอื่น ๆ ที่ใช้ตัวแยกประเภทที่แตกต่างกันหรือไม่ (SVMs ป่าสุ่ม)

9 cross-validation  references  random-forest  computational-statistics  naive-bayes 

ฉันเข้าใจวิธีการทำงานของ Convolution แต่ฉันไม่เข้าใจว่าการใช้ 1D convolutions กับข้อมูล 2D ได้อย่างไร ในตัวอย่างนี้คุณสามารถเห็นการโน้มน้าวใจ 2D ในข้อมูล 2D แต่มันจะเป็นอย่างไรถ้าเป็นการสนทนา 1D? เพียงแค่เคอร์เนล 1D เลื่อนไปในทางเดียวกัน และถ้าย่างเท้าเป็น 2? ขอบคุณ!

9 conv-neural-network 

เป็นที่ทราบกันดีว่าความเป็นอิสระของตัวแปรสุ่มหมายถึงความสัมพันธ์แบบศูนย์ แต่ความสัมพันธ์แบบศูนย์นั้นไม่จำเป็นต้องหมายความถึงความเป็นอิสระ ฉันเจอตัวอย่างทางคณิตศาสตร์มากมายที่แสดงถึงการพึ่งพาแม้ว่าจะไม่มีสหสัมพันธ์ มีตัวอย่างชีวิตจริงที่สนับสนุนความจริงข้อนี้หรือไม่?

9 correlation  independence  intuition 

เราทุกคนรู้ว่าตัวสร้างตัวเลขสุ่มในคอมพิวเตอร์ไม่ได้สร้างตัวเลขสุ่มจริง แต่จะสร้างตัวเลขสุ่มหลอกแทน นอกจากนี้ RNG บางตัวก็ยังดีกว่าตัวอื่นและบางตัวก็ใช้งานได้ดีกว่าตัวอื่น มีตัวอย่างอะไรบ้างเมื่อมีการใช้ RNG ที่น่าสงสารหรือ RNG ที่มีการนำมาใช้ไม่ดีและมันถูกนำไปใช้ประโยชน์ ตัวอย่างที่ฉันได้พบคือ รอนแฮร์ริสโกงที่คีโน - Michael Larsen เต้น"กดโชคของคุณ" เกมโป๊กเกอร์ออนไลน์ยุคแรก ๆ ที่ใช้ RNG ที่คาดการณ์ได้ www.cigital.com/papers/download/developer_gambling.php

9 random-generation  history 

ฉันจะกำหนดน้ำหนักให้กับการสำรวจล่าสุดใน R มากขึ้นได้อย่างไร ฉันคิดว่านี่เป็นคำถามหรือความปรารถนาที่ถามบ่อย แต่ฉันมีเวลายากที่จะหาวิธีการใช้งาน ฉันพยายามค้นหาสิ่งนี้มาก แต่ฉันไม่สามารถหาตัวอย่างการปฏิบัติที่ดีได้ ในตัวอย่างของฉันฉันจะมีชุดข้อมูลขนาดใหญ่เมื่อเวลาผ่านไป ฉันต้องการบอกว่าใช้การยกน้ำหนักแบบเอกซ์โปเนนเชียลของแถวของข้อมูลที่ใหม่กว่า ดังนั้นฉันจะมีฟังก์ชันเลขชี้กำลังบางส่วนที่บอกว่าการสังเกตในปี 2558 มีความสำคัญมากกว่า ___ ในการฝึกอบรมแบบจำลองมากกว่าการสังเกตในปี 2012 ตัวแปรชุดข้อมูลของฉันมีการผสมผสานของค่าหมวดหมู่และตัวเลขและเป้าหมายของฉันคือค่าตัวเลข - หากเป็นสิ่งสำคัญ ฉันต้องการทดสอบ / ลองใช้โมเดลเช่น GBM / Random Forest โดยเฉพาะในแพ็คเกจ CARET ปรับปรุงคำถาม ฉันขอขอบคุณคำตอบที่ระบุไว้ด้านล่างเกี่ยวกับวิธีลดน้ำหนักแบบเอ็กซ์โปเนนเชียลตามระยะทางวันที่ระหว่างจุดสองจุด อย่างไรก็ตามเมื่อพูดถึงการฝึกอบรมรุ่นนี้ด้วยคาเร็ตน้ำหนักตัวประกอบมีอะไรกันแน่? ค่าน้ำหนักในแต่ละแถวการฝึกอบรมคือระยะห่างระหว่างบางจุดในอนาคตและเมื่อจุดนั้นเกิดขึ้นในอดีต น้ำหนักมีการเล่นเฉพาะในระหว่างการทำนายหรือไม่? เพราะถ้าพวกเขาเข้ามาในระหว่างการฝึกซ้อมนั่นจะไม่ทำให้เกิดปัญหาทุกอย่างเพราะ cross-folds ต่าง ๆ จะมีน้ำหนักต่างกันพยายามที่จะทำนายบางสิ่งที่อาจมีอยู่ก่อนหน้านี้ใช่ไหม?

9 r  time-series  regression  random-forest 

ในโมเดลอนุกรมเวลาเช่น ARMA-GARCH เพื่อเลือกความล่าช้าหรือลำดับของเกณฑ์ข้อมูลที่แตกต่างกันของโมเดลเช่น AIC, BIC, SIC เป็นต้น คำถามของฉันง่ายมากเหตุใดเราจึงไม่ใช้การปรับเพื่อเลือกรุ่นที่เหมาะสม เราสามารถเลือกรูปแบบที่นำไปสู่มูลค่าที่สูงขึ้นของการปรับ 2 เนื่องจากทั้งสองปรับและเกณฑ์ข้อมูลลงโทษสำหรับจำนวน regressors เพิ่มเติมในรูปแบบที่ซึ่งอดีตลงโทษและต่อมาลงโทษค่าโอกาส R2R2R^2R2R2R^2R2R2R^2R2R2R^2

9 regression  time-series  model-selection  aic  bic 

ปัญหาคือ: สืบทอดการไล่ระดับสีสำหรับเลเยอร์อินพุตสำหรับเน็ตเวิร์กโครงข่ายประสาทชั้นเดียวที่ซ่อนอยู่โดยใช้ sigmoid สำหรับอินพุต -> ซ่อน, ซอฟต์แม็กซ์สำหรับซ่อน -> เอาต์พุต, ด้วยการสูญเสียเอนโทรปี ฉันสามารถผ่านมาส่วนใหญ่โดยใช้กฎลูกโซ่ แต่ฉันไม่แน่ใจเกี่ยวกับวิธี "โซ่" พวกเขาจริง ๆ กัน กำหนดสัญลักษณ์บางอย่าง r=xW1+b1r=xW1+b1 r = xW_1+b_1 h=σ(r)h=σ(r) h = \sigma\left( r \right) , σσ\sigmaเป็นฟังก์ชัน sigmoid θ=hW2+b2θ=hW2+b2 \theta = hW_2+b_2 , y^=S(θ)y^=S(θ) \hat{y} = S \left( \theta \right) , SSSคือฟังก์ชัน softmax J(y^)=∑iylogy^iJ(y^)=∑iylog⁡y^i J\left(\hat{y}\right) = \sum_i y …

9 neural-networks  gradient 

การใช้ R กับข้อมูลบางอย่างและพยายามดูว่าข้อมูลของฉันเป็นแบบ heteroscedastic หรือไม่ฉันพบการใช้งานสองแบบของการทดสอบ Breusch-Pagan, bptest (แพ็คเกจ lmtest) และncvTest (รถยนต์แพ็คเกจ) อย่างไรก็ตามสิ่งเหล่านี้ให้ผลลัพธ์ที่แตกต่าง ความแตกต่างระหว่างสองคืออะไร? เมื่อใดที่คุณควรเลือกใช้อย่างใดอย่างหนึ่ง > model <- lm(y ~ x) > bp <- bptest(model) > bp studentized Breusch-Pagan test data: model BP = 3.3596, df = 1, p-value = 0.06681 > ncvTest(model) Non-constant Variance Score Test Variance formula: ~ fitted.values …

9 r  regression  heteroscedasticity  assumptions  breusch-pagan 

สมมติว่าเรามี data matrixซึ่งก็คือ -by-และ label vectorซึ่งก็คือ -by-one ที่นี่แต่ละแถวของเมทริกซ์คือการสังเกตและแต่ละคอลัมน์สอดคล้องกับมิติ / ตัวแปร (สมมติ )XX\mathbf{X}nnnpppYYYnnnn>pn>pn>p แล้วสิ่งที่ไม่data space, variable space, observation space, model spaceหมายความว่าอย่างไร พื้นที่ที่ถูกขยายโดยเวกเตอร์คอลัมน์, ช่องว่าง(ลดลง) -D เนื่องจากมันมีพิกัดในขณะที่อยู่ในอันดับซึ่งเรียกว่าพื้นที่ว่างเนื่องจากมันถูกขยายโดยตัวแปร-เวกเตอร์? หรือเรียกว่าพื้นที่สังเกตการณ์เนื่องจากแต่ละมิติ / พิกัดสอดคล้องกับการสังเกต?nnnnnnppp แล้วเวกเตอร์แถวที่ถูกขยายออกมาล่ะ?

9 regression  multiple-regression  terminology  geometry  biplot 

ตาม"Efficient Backprop" โดย LeCun et al (1998)เป็นวิธีปฏิบัติที่ดีในการทำให้มาตรฐานอินพุตทั้งหมดเป็นปกติดังนั้นพวกเขาจะอยู่กึ่งกลางรอบ 0 และอยู่ในช่วงของอนุพันธ์อันดับสองสูงสุด ตัวอย่างเช่นเราจะใช้ [-0.5,0.5] สำหรับฟังก์ชั่น "Tanh" นี่คือการช่วยให้ความคืบหน้าในการเผยแผ่กลับไปในขณะที่รัฐ Hessian มีเสถียรภาพมากขึ้น อย่างไรก็ตามฉันไม่แน่ใจว่าจะทำอย่างไรกับเซลล์ประสาท Rectifier ซึ่งมีค่าสูงสุด (0, x) (เช่นเดียวกันกับฟังก์ชั่นลอจิสติกตั้งแต่นั้นเราก็ต้องการ [0.1,0.9] แต่ไม่ได้อยู่ตรงกลางประมาณ 0)

9 machine-learning  neural-networks  normalization  deep-learning  multidimensional-scaling 

ฉันจะค้นหานิพจน์การวิเคราะห์ได้อย่างไรในปัญหาต่อไปนี้D(n,l,L)D(n,l,L)D(n,l,L) ผมสุ่มวาง "บาร์" ของความยาวลงในช่วงL] "บาร์" สามารถทับซ้อนกัน ฉันต้องการหาค่าเฉลี่ยความยาวรวมของช่วงเวลาครอบครองโดย "บาร์" อย่างน้อยหนึ่งรายการnnnlll[0,L][0,L][0,L]DDD[ 0 , L ][0,L][0,L] ใน "ความหนาแน่นต่ำ" ขีด จำกัด , การทับซ้อนกันควรจะมีเพียงเล็กน้อยและลิตร ใน "ความหนาแน่นสูง" ขีด จำกัด ,แนวทางLแต่ฉันจะหานิพจน์ทั่วไปสำหรับอย่างไร นั่นควรเป็นปัญหาพื้นฐานทางสถิติ แต่ฉันไม่สามารถหาคำอธิบายที่อธิบายได้ในฟอรัมD = n ⋅ lD=n⋅lD = n\cdot lDDDLLLDDD ความช่วยเหลือใด ๆ ที่จะได้รับการชื่นชมอย่างมาก. โปรดทราบว่าแท่งจะถูกสุ่มสุ่ม (อิสระทางสถิติ) ของกันและกัน

9 probability  distributions