สถิติและข้อมูลขนาดใหญ่

ในกระดาษที่เรียกว่าการเรียนรู้อย่างลึกซึ้งและหลักการคอขวดข้อมูลผู้เขียนระบุไว้ในส่วน II A) ดังต่อไปนี้: เซลล์ประสาทเดี่ยวจัดประเภทอินพุตแบบแยกได้เชิงเส้นเท่านั้นเนื่องจากพวกมันสามารถนำไฮเปอร์เพลนมาใช้ในพื้นที่อินพุตเท่านั้น u = w h + bu=wh+bu = wh+b. ไฮเปอร์เพลนสามารถจำแนกข้อมูลได้อย่างเหมาะสมที่สุดเมื่ออินพุทถูกปล่อยให้เป็นอิสระ เพื่อแสดงสิ่งนี้พวกเขาได้รับสิ่งต่อไปนี้ ใช้ทฤษฎีบทของเบย์พวกเขาได้: p ( y| x)=11 + e x p ( - l o gp ( x | y)p ( x |Y')- l o gp ( y)p (Y'))p(y|x)=11+exp(−logp(x|y)p(x|y′)−logp(y)p(y′))p(y|x) = \frac{1}{1 + exp(-log\frac{p(x|y)}{p(x|y')} -log\frac{p(y)}{p(y')})} (1) ที่ไหน xxx …

10 bayesian  neural-networks  information-theory 

ชุดข้อมูลของฉัน (ยังไม่มีข้อความ≈ 10 , 000ยังไม่มีข้อความ≈10,000N \approx 10,000) มีตัวแปรตาม (DV), "baseline" อิสระห้าตัวแปร (P1, P2, P3, P4, P5) และหนึ่งตัวแปรอิสระที่น่าสนใจ (Q) ฉันใช้การถดถอยเชิงเส้น OLS สำหรับรุ่นสองรุ่นต่อไปนี้: DV ~ 1 + P1 + P2 + P3 + P4 + P5 -> R-squared = 0.125 DV ~ 1 + P1 + P2 + P3 + P4 + …

10 regression  linear  r-squared 

เมื่อฉันเริ่มอ่านเกี่ยวกับตัวกรองคาลมานฉันคิดว่ามันเป็นกรณีพิเศษของโมเดล ARIMA (คือ ARIMA (0,1,1)) แต่จริงๆแล้วดูเหมือนว่าสถานการณ์จะซับซ้อนกว่านี้ ประการแรก ARIMA สามารถใช้สำหรับการทำนายและตัวกรองคาลมานใช้สำหรับการกรอง แต่พวกเขาไม่ได้เกี่ยวข้องอย่างใกล้ชิด? คำถาม: อะไรคือความสัมพันธ์ระหว่างตัวกรอง ARIMA และตัวกรองคาลมาน? คนหนึ่งกำลังใช้อีกคนหรือไม่ เป็นกรณีพิเศษอีกกรณีหนึ่งหรือไม่

10 time-series  bayesian  arima  kalman-filter 

คุณลักษณะฟูริเยร์แบบสุ่มให้การประมาณค่ากับฟังก์ชันเคอร์เนล พวกมันใช้สำหรับวิธีเคอร์เนลต่างๆเช่น SVM และกระบวนการ Gaussian วันนี้ฉันลองใช้การติดตั้ง TensorFlowและฉันได้รับค่าลบสำหรับคุณสมบัติครึ่งหนึ่งของฉัน ตามที่ฉันเข้าใจแล้วสิ่งนี้ไม่ควรเกิดขึ้น ดังนั้นฉันจึงกลับไปที่เอกสารต้นฉบับซึ่ง --- อย่างที่ฉันคาดไว้ --- กล่าวว่าคุณลักษณะควรมีชีวิตอยู่ใน [0,1] แต่คำอธิบาย (เน้นด้านล่าง) ไม่สมเหตุสมผลสำหรับฉัน: ฟังก์ชันโคไซน์สามารถสร้างค่าได้ทุกที่ใน [-1,1] และจุดส่วนใหญ่ที่แสดงมีค่าโคไซน์เชิงลบ ฉันอาจจะพลาดอะไรบางอย่างที่เห็นได้ชัด แต่จะขอบคุณถ้ามีคนชี้ให้เห็นว่ามันคืออะไร

10 machine-learning  kernel-smoothing  feature-construction  tensorflow  fourier-transform 

สำหรับตัวแปรสุ่มแบบต่อเนื่องXXXหากE(|X|)E(|X|)E(|X|)มีค่า จำกัด คือlimn→∞nP(|X|&gt;n)=0limn→∞nP(|X|&gt;n)=0\lim_{n\to\infty}n P(|X|>n)=0 ? นี่เป็นปัญหาที่ฉันพบบนอินเทอร์เน็ต แต่ฉันไม่แน่ใจว่าจะมีหรือไม่ ฉันรู้ว่าnP(|X|&gt;n)&lt;E(|X|)nP(|X|&gt;n)&lt;E(|X|)n P(|X|>n)<E(|X|)ถือโดยอสมมาตรมาร์คอฟ แต่ฉันไม่สามารถแสดงได้ว่ามันจะเป็น 0 เมื่อnnnไปที่อนันต์

10 probability  expected-value  probability-inequalities 

ฉันสะดุดกับคำที่มาก่อนในการวัด LOF (Local Outlier Factor) ฉันคุ้นเคยกับเงื่อนไขของค่าผิดปกติ (โดยทั่วไปคือ liers - อินสแตนซ์ที่ไม่ทำงานเหมือนกับอินสแตนซ์อื่น ๆ ) 'Inliers' หมายถึงอะไรในบริบทของการตรวจจับความผิดปกติ และวิธีการที่เกี่ยวข้องกับ (แตกต่างจาก) ค่าผิดปกติ?

10 residuals  outliers  anomaly-detection 

ในบันทึกการบรรยาย 3 สัปดาห์ของชั้นเรียน Coursera Machine LearningของAndrew Ngจะมีการเพิ่มคำศัพท์ในฟังก์ชั่นค่าใช้จ่ายเพื่อทำให้เป็นมาตรฐาน J+(θ)=J(θ)+λ2m∑j=1nθ2jJ+(θ)=J(θ)+λ2m∑j=1nθj2J^+(\theta) = J(\theta) + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2 บันทึกการบรรยายพูดว่า: เรายังสามารถทำให้พารามิเตอร์ theta ทั้งหมดของเราเป็นปกติในการสรุปเดียว: minθ 12m [∑i=1m(hθ(x(i))−y(i))2+λ ∑j=1nθ2j]minθ 12m [∑i=1m(hθ(x(i))−y(i))2+λ ∑j=1nθj2]min_\theta\ \dfrac{1}{2m}\ \left[ \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})^2 + \lambda\ \sum_{j=1}^n \theta_j^2 \right] 12m12m\frac 1 {2m}ถูกนำไปใช้กับเทอม normalization ของเครือข่ายประสาท : จำได้ว่าฟังก์ชั่นค่าใช้จ่ายสำหรับการถดถอยโลจิสติกปกติ: J(θ)=−1m∑i=1m[y(i) log(hθ(x(i)))+(1−y(i)) log(1−hθ(x(i)))]+λ2m∑j=1nθ2jJ(θ)=−1m∑i=1m[y(i) log⁡(hθ(x(i)))+(1−y(i)) log⁡(1−hθ(x(i)))]+λ2m∑j=1nθj2J(\theta) = - …

10 regularization 

ในกระดาษWaveNetเมื่อเร็ว ๆ นี้ผู้เขียนอ้างถึงรูปแบบของพวกเขาว่ามีชั้นซ้อนทับของความเชื่อมั่นที่ขยาย พวกเขายังจัดทำแผนภูมิต่อไปนี้เพื่ออธิบายความแตกต่างระหว่างการโน้มน้าวแบบ 'ปกติ' และการโน้มน้าวแบบขยาย Convolutions ทั่วไปดูเหมือนว่า นี่คือ convolutions ที่มีขนาดฟิลเตอร์ที่ 2 และ stride ที่ 1 ซ้ำเป็น 4 เลเยอร์ จากนั้นพวกเขาแสดงสถาปัตยกรรมที่ใช้โดยแบบจำลองของพวกเขาซึ่งพวกเขาเรียกว่า convolutions ที่ขยาย ดูเหมือนว่านี้ พวกเขาบอกว่าแต่ละชั้นมีการเจือจางที่เพิ่มขึ้นของ (1, 2, 4, 8) แต่สำหรับฉันแล้วนี่ดูเหมือนการบิดปกติที่มีขนาดฟิลเตอร์ที่ 2 และ stride ที่ 2 ซ้ำเป็น 4 เลเยอร์ ตามที่ฉันเข้าใจแล้วการบิดแบบขยายที่มีขนาดตัวกรองเป็น 2 ก้าว 1 และเพิ่มการเจือจางที่ (1, 2, 4, 8) จะมีลักษณะเช่นนี้ ในไดอะแกรม WaveNet ไม่มีตัวกรองใด …

10 neural-networks  deep-learning  conv-neural-network  tensorflow 

พยายามเข้าใจความสัมพันธ์ระหว่างการเอนโทรปีและความงุนงง โดยทั่วไปสำหรับรูปแบบM , ฉงนสนเท่ห์ (M) = 2 ^ เอนโทรปี (M) ความสัมพันธ์นี้มีไว้สำหรับ n-grams ที่แตกต่างกันทั้งหมดเช่น unigram, bigram ฯลฯ หรือไม่

10 natural-language  entropy  perplexity 

ความคลาดเคลื่อนมาตรฐานของสัดส่วนจะมากที่สุดเท่าที่จะเป็นไปได้สำหรับ N ที่กำหนดเมื่อสัดส่วนของปัญหาเท่ากับ 0.5 และยิ่งเล็กลงยิ่งอัตราส่วนต่อจาก 0.5 ฉันเห็นได้ว่าเหตุใดจึงเป็นเช่นนี้เมื่อฉันดูสมการสำหรับความคลาดเคลื่อนมาตรฐานของสัดส่วน แต่ฉันไม่สามารถอธิบายสิ่งนี้ได้อีก มีคำอธิบายนอกเหนือจากคุณสมบัติทางคณิตศาสตร์ของสูตรหรือไม่? ถ้าเป็นเช่นนั้นเหตุใดจึงมีความไม่แน่นอนน้อยลงในสัดส่วนที่ประมาณไว้ (สำหรับ N ที่ระบุ) เมื่อใกล้ถึง 0 หรือ 1

10 standard-error  proportion  intuition 

ฉันต้องการประเมินความแตกต่างของ KL ระหว่างการแจกแจงแบบต่อเนื่องสองค่า f และ g อย่างไรก็ตามฉันไม่สามารถเขียนความหนาแน่นสำหรับ f หรือ g ได้ ฉันสามารถสุ่มตัวอย่างจากทั้ง f และ g ผ่านวิธีการบางอย่าง (เช่น markov chain monte carlo) KL แตกต่างจาก f ถึง g ถูกกำหนดเช่นนี้ DKL(f||g)=∫∞−∞f(x)log(f(x)g(x))dxDKL(f||g)=∫−∞∞f(x)log⁡(f(x)g(x))dxD_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx นี่คือความคาดหวังของด้วยความเคารพ f ดังนั้นคุณสามารถจินตนาการถึงการประมาณ monte carlolog(f(x)g(x))log⁡(f(x)g(x))\log\left(\frac{f(x)}{g(x)}\right) 1N∑iNlog(f(xi)g(xi))1N∑iNlog⁡(f(xi)g(xi))\frac{1}{N}\sum_i^N \log\left(\frac{f(x_i)}{g(x_i)}\right) ที่ฉันจัดทำดัชนีตัวอย่าง N ที่ดึงมาจาก f (เช่นสำหรับ i = 1, …

10 kullback-leibler 

ฉันมีชุดข้อมูลที่มีสามตัวแปรโดยที่ตัวแปรทั้งหมดเป็นเชิงปริมาณ อนุญาตเรียกว่า ,และx_2ฉันเหมาะสมกับโมเดลการถดถอยในมุมมองแบบเบย์ผ่าน MCMC ด้วยyyyx1x1x_1x2x2x_2rjags ฉันทำการวิเคราะห์เชิงสำรวจและสแกตเตอร์ล็อตของแนะนำว่าควรใช้เทอมกำลังสอง จากนั้นฉันติดตั้งสองรุ่นy×x2y×x2y\times x_2 (1)y=β0+β1∗x1+β2∗x2y=β0+β1∗x1+β2∗x2y=\beta_0+\beta_1*x_1+\beta_2*x_2 (2)y=β0+β1∗x1+β2∗x2+β3∗x1x2+β4∗x21+β5∗x22y=β0+β1∗x1+β2∗x2+β3∗x1x2+β4∗x12+β5∗x22y=\beta_0+\beta_1*x1+\beta_2*x_2+\beta_3*x_1x_2+\beta_4*x_1^2+\beta_5*x_2^2 ในรูปแบบที่ 1 ขนาดผลของแต่ละพารามิเตอร์ไม่เล็กและช่วงเวลาที่มีความน่าเชื่อถือ 95% ไม่ได้มีค่าที่0000 ในรูปแบบที่ 2 ขนาดของผลของพารามิเตอร์และมีขนาดเล็กและแต่ละช่วงเวลาที่น่าเชื่อถือสำหรับพารามิเตอร์ทั้งหมดมี0β3β3\beta_3β4β4\beta_4000 ความจริงที่ว่าช่วงเวลาที่น่าเชื่อถือมีเพียงพอที่จะบอกได้ว่าพารามิเตอร์นั้นไม่มีนัยสำคัญใช่หรือไม่000 จากนั้นฉันปรับรูปแบบต่อไปนี้ (3)y=β0+β1∗x1+β2∗x2+β3∗x22y=β0+β1∗x1+β2∗x2+β3∗x22y=\beta_0+\beta_1*x_1+\beta_2*x_2+\beta_3*x^2_2 ขนาดผลของแต่ละพารามิเตอร์ไม่เล็ก แต่มีข้อยกเว้นของช่วงเวลาที่น่าเชื่อถือว่ามี0β1β1\beta_1000 วิธีใดที่เหมาะสมในการเลือกตัวแปรในสถิติแบบเบย์ แก้ไข:ฉันสามารถใช้ Lasso ในรูปแบบการถดถอยใด ๆ เช่นรุ่นเบต้าหรือไม่ ฉันใช้โมเดลที่มีการกระจายตัวแปรโดยที่ โดยที่เป็นเวกเตอร์ ฉันควรใช้ Laplace ก่อนหน้าในด้วยหรือไม่log(σ)=−δδXlog(σ)=−δδXlog(\sigma)=-\pmb{\delta}Xδδδδ\pmb{\delta}δδδδ\pmb{\delta} EDIT2:ฉันติดตั้งสองรุ่นโดยหนึ่งมี Gaussian Priori สำหรับ ,และอีกรุ่นด้วย Laplace (เลขชี้กำลังสองเท่า)βjβj\beta_jδjδj\delta_j ค่าประมาณสำหรับแบบเกาส์เซคือ Mean SD Naive SE Time-series SE B[1] -1.17767 …

10 bayesian  feature-selection  model-selection  model  credible-interval 

ฉันจะหาบทพิสูจน์ของทฤษฎีบท Pitman – Koopman – Darmois ได้ที่ไหน ฉัน googled บางครั้ง น่าแปลกที่โน้ตจำนวนมากพูดถึงทฤษฎีบทนี้ แต่ก็ไม่มีใครแสดงหลักฐาน

10 mathematical-statistics  references  inference  sufficient-statistics 

ลองนึกภาพเรามีรูปแบบการถดถอยเชิงเส้นที่มีตัวแปรตามYเราได้พบกับสิ่งRตอนนี้เราทำถดถอยอีก แต่คราวนี้และเช่นเดียวกันสิ่ง(y)} ฉันถูกบอกว่าฉันไม่สามารถเปรียบเทียบทั้งเพื่อดูว่าแบบจำลองใดเหมาะสมกว่า ทำไมถึงเป็นอย่างนั้น? เหตุผลที่ทำให้ฉันคือเราจะเปรียบเทียบความแปรปรวนของปริมาณที่แตกต่างกัน (ตัวแปรตามต่างกัน) ฉันไม่แน่ใจว่านี่ควรเป็นเหตุผลเพียงพอสำหรับเรื่องนี้yyyR2yRy2R^2_ylog(y)log⁡(y)\log(y)R2log(y)Rlog⁡(y)2R^2_{\log(y)}R2R2R^2 นอกจากนี้ยังมีวิธีที่จะทำให้เป็นระเบียบนี้หรือไม่? ความช่วยเหลือใด ๆ ที่จะได้รับการชื่นชม

10 regression  data-transformation  r-squared 

ถ้าผมใช้ฟรีย์ก่อนสำหรับความน่าจะเป็นทวินามพารามิเตอร์แล้วนี้หมายถึงการใช้การจัดจำหน่ายθθ\thetaθ∼beta(1/2,1/2)θ∼beta(1/2,1/2)\theta \sim beta(1/2,1/2) ถ้าผมจะเปลี่ยนกรอบใหม่ของการอ้างอิงแล้วอย่างชัดเจนไม่ได้นอกจากนี้ยังกระจายเป็นการจัดจำหน่ายϕ=θ2ϕ=θ2\phi = \theta^2ϕϕ\phibeta(1/2,1/2)beta(1/2,1/2)beta(1/2,1/2) คำถามของฉันในสิ่งที่เป็นค่าคงที่ก่อนหน้าเจฟฟรีย์ในการแก้ไข reparameterisations? ฉันคิดว่าฉันเข้าใจผิดในเรื่องที่จะซื่อสัตย์ ... ที่ดีที่สุด เบน

10 bayesian  jeffreys-prior