สถิติและข้อมูลขนาดใหญ่

Intro ฉันมีผู้เข้าร่วมที่สัมผัสพื้นผิวที่ปนเปื้อนด้วยเชื้ออีโคไลในสองเงื่อนไข ( A = สวมถุงมือB = ไม่มีถุงมือ) ฉันต้องการทราบว่ามีความแตกต่างระหว่างปริมาณของแบคทีเรียที่ปลายนิ้วของพวกเขาด้วยและไม่ต้องใส่ถุงมือ แต่ยังรวมถึงจำนวนผู้ติดต่อด้วย ปัจจัยทั้งสองนี้มีส่วนร่วมภายใน วิธีการทดลอง: ผู้เข้าร่วม (n = 35) แตะที่ช่องสี่เหลี่ยมหนึ่งครั้งด้วยนิ้วเดียวกันสำหรับผู้ติดต่อได้สูงสุด 8 ราย (ดูรูปที่ a) จากนั้นฉันกวาดนิ้วของผู้เข้าร่วมและวัดแบคทีเรียที่ปลายนิ้วหลังจากการสัมผัสแต่ละครั้ง จากนั้นใช้นิ้วใหม่เพื่อสัมผัสจำนวนพื้นผิวที่แตกต่างกันและจาก 1 ถึง 8 รายชื่อ (ดูรูป b) นี่คือข้อมูลจริง : ข้อมูลจริง ข้อมูลไม่ปกติดังนั้นดูการกระจายของแบคทีเรียที่ขอบ | NumberContacts ด้านล่าง x = แบคทีเรีย แต่ละด้านคือจำนวนผู้ติดต่อที่แตกต่างกัน MODEL ลองจากlme4 :: glmerตามคำแนะนำของอะมีบาโดยใช้ Gamma (link = "log") และพหุนามสำหรับ NumberContacts: …

9 r  anova  repeated-measures  lme4-nlme  glmm 

ฉันรู้ว่าช่วงเวลาแรกของการกระจายบางอย่าง ฉันรู้ว่าการกระจายของฉันนั้นต่อเนื่องไม่มีรูปแบบและมีรูปร่างที่ดี (ดูเหมือนว่าการกระจายแกมม่า) เป็นไปได้ที่จะ:NNN ใช้อัลกอริทึมสร้างตัวอย่างจากการแจกแจงนี้ซึ่งในเงื่อนไขที่ จำกัด จะมีช่วงเวลาเหมือนกันทุกประการ? แก้ไขปัญหานี้ได้อย่างไร ฉันเข้าใจว่าจนกว่าฉันจะมีช่วงเวลาไม่สิ้นสุดคำถามนี้จะไม่มีทางแก้ปัญหาที่ไม่ซ้ำกัน ฉันยินดีที่จะมี เนื่องจากการชี้แจงความคิดเห็น: ฉันไม่จำเป็นต้องกู้คืนการกระจายเดิม ฉันต้องการได้ทุกช่วงเวลา

9 distributions  moments 

ฉันได้รับการสอนว่าเราสามารถสร้างการประมาณค่าพารามิเตอร์ในรูปแบบของช่วงความมั่นใจหลังจากการสุ่มตัวอย่างจากประชากร ตัวอย่างเช่นช่วงความเชื่อมั่น 95% ที่ไม่มีการละเมิดสมมติฐานควรมีอัตราความสำเร็จ 95% ของการบรรจุสิ่งที่พารามิเตอร์จริงที่เราประเมินอยู่ในประชากร กล่าวคือ สร้างการประมาณจุดจากตัวอย่าง สร้างช่วงของค่าที่ในทางทฤษฎีมีโอกาส 95% ในการเก็บค่าจริงที่เราพยายามประเมิน อย่างไรก็ตามเมื่อหัวข้อได้เปลี่ยนเป็นการทดสอบสมมติฐานขั้นตอนต่าง ๆ ได้อธิบายไว้ดังต่อไปนี้: สมมติว่าพารามิเตอร์บางตัวเป็นสมมติฐานว่าง สร้างการแจกแจงความน่าจะเป็นของความน่าจะเป็นที่จะได้รับการประเมินจุดต่าง ๆ เนื่องจากสมมติฐานว่างนี้เป็นจริง ปฏิเสธสมมติฐานว่างถ้าจุดประเมินที่เราได้รับนั้นจะเกิดขึ้นน้อยกว่า 5% ของเวลาถ้าสมมุติฐานว่างเป็นจริง คำถามของฉันคือ: จำเป็นหรือไม่ที่จะต้องสร้างช่วงความเชื่อมั่นของเราโดยใช้สมมติฐานว่างเพื่อปฏิเสธค่าว่าง? ทำไมไม่เพียงแค่ทำขั้นตอนแรกและรับค่าประมาณของพารามิเตอร์จริง (ไม่ได้ใช้ค่าที่เราตั้งสมมติฐานไว้ในการคำนวณช่วงความเชื่อมั่น) แล้วปฏิเสธสมมติฐานว่างถ้ามันไม่ได้อยู่ในช่วงนี้? ดูเหมือนว่าจะมีเหตุผลเทียบเท่ากับฉันอย่างสังหรณ์ใจ แต่ฉันกลัวว่าฉันขาดอะไรบางอย่างที่เป็นพื้นฐานเพราะอาจมีเหตุผลที่สอนวิธีนี้

9 hypothesis-testing  confidence-interval  estimation  inference 

เมื่อเร็ว ๆ นี้ฉันได้ทบทวนความรู้เกี่ยวกับอนุกรมเวลาของฉันและรู้ว่าการเรียนรู้ด้วยเครื่องส่วนใหญ่ให้การคาดการณ์ล่วงหน้าเพียงขั้นตอนเดียว ด้วยการคาดการณ์ล่วงหน้าหนึ่งขั้นฉันหมายถึงการคาดการณ์ที่เช่นถ้าเรามีข้อมูลรายชั่วโมงให้ใช้ข้อมูลตั้งแต่ 10.00 น. ถึง 11.00 น. และ 11.00 น. สำหรับ 12.00 น. เป็นต้น วิธีการเรียนรู้ของเครื่องสามารถสร้างการคาดการณ์ล่วงหน้าล่วงหน้าได้หรือไม่? ด้วยการคาดการณ์ h-step-ahead ฉันหมายถึงเช่นสมมติว่าข้อมูลรายชั่วโมงเราใช้ข้อมูลจาก 10:00 ในการคาดการณ์ล่วงหน้า 7 ขั้นตอนเพื่อรับการประมาณการสำหรับ 11,12,13,14,15,16,17 ' o นาฬิกา ตัวอย่างรูป: เกี่ยวข้องกับคำถามหลักของฉันฉันสงสัยว่า: อะไรคือสาเหตุที่ฉันไม่เห็นใครก็ตามที่ใช้การเรียนรู้ของเครื่องเพื่อทำการพยากรณ์ล่วงหน้าแบบ h-step หากมีวิธีการที่ใช้การเรียนรู้ของเครื่องมันแม่นยำมากกว่าหรือน้อยกว่า ARIMA หรือไม่?

9 machine-learning  time-series  forecasting  arima 

เป็นไปได้ไหมที่จะมี PDF ของความแตกต่างของรูปลักษณ์ของ iid rv สองอันที่เป็นรูปสี่เหลี่ยมผืนผ้า (แทนที่จะบอกว่าสามเหลี่ยมที่เราได้รับถ้า rv ถูกนำมาจากการแจกแจงแบบเดียวกัน) เช่นเป็นไปได้หรือไม่ที่ PDF f ของ jk (สำหรับสอง iid rv ที่นำมาจากการแจกแจงบางส่วน) ให้มี f (x) = 0.5 สำหรับ -1 ทั้งหมด <<<1? ไม่มีข้อ จำกัด ในการแจกแจงที่เราใช้ j และ k ยกเว้นว่าค่าต่ำสุดคือ -1 และค่าสูงสุดคือ 1 หลังจากการทดลองฉันคิดว่ามันอาจเป็นไปไม่ได้

9 random-variable  pdf  iid 

นี้อาจจะมีบิตของคำถามปรัชญา แต่ที่นี่เราจะไป: ในทางทฤษฎีการตัดสินใจความเสี่ยงของ Bayes ประมาณการสำหรับมีการกำหนดเกี่ยวกับการกระจายก่อนใน\θ^(x)θ^(x)\hat\theta(x)θ∈Θθ∈Θ\theta\in\Thetaππ\piΘΘ\Theta ทีนี้ในแง่หนึ่งสำหรับความจริงจะสร้างข้อมูล (เช่น "มีอยู่"),จะต้องเป็นตัวแปรที่เป็นไปได้ภายใต้ , เช่นมีความน่าจะเป็นที่ไม่ใช่ศูนย์, ความหนาแน่นไม่เป็นศูนย์ ฯลฯ ; ในทางกลับกัน,ไม่เป็นที่รู้จัก, ดังนั้นการเลือกก่อนหน้า, ดังนั้นเราจึงไม่รับประกันว่าจริงเป็นความแปรปรวนที่เป็นไปได้ภายใต้เราเลือกθθ\thetaθθ\thetaππ\piθθ\thetaθθ\thetaππ\pi ตอนนี้ดูเหมือนว่าเราจะต้องเลือกเพื่อที่จะเป็นรูปแบบที่เป็นไปได้ มิฉะนั้นทฤษฎีบทบางอย่างจะไม่ถือ ตัวอย่างเช่นการประมาณค่าขนาดเล็กที่สุดจะไม่เป็นการประมาณค่าแบบเบย์สำหรับสิ่งที่น่าพอใจน้อยที่สุดก่อนเนื่องจากเราสามารถทำให้ค่านั้นไม่ดีตามอำเภอใจก่อนโดยการยกเว้นพื้นที่ขนาดใหญ่รอบ ๆ และรวมถึงจากโดเมน อย่างไรก็ตามการรับประกันว่านั้นอยู่ในโดเมนนั้นอาจทำได้ยากππ\piθθ\thetaθθ\thetaθθ\theta ดังนั้นคำถามของฉันคือ: โดยทั่วไปแล้วสันนิษฐานว่าแท้จริงคือความแปรปรวนของเป็นไปได้หรือไม่?θθ\thetaππ\pi สามารถรับประกันได้หรือไม่ กรณีที่ละเมิดนี้สามารถตรวจพบได้อย่างน้อยดังนั้นจึงไม่เชื่อในทฤษฎีบทเช่น minimax เมื่อเงื่อนไขไม่ได้ถือ? หากไม่จำเป็นต้องทำทำไมมาตรฐานผลลัพธ์ในทฤษฎีการตัดสินใจจึงเป็นเช่นนั้น?

9 bayesian  prior  decision-theory  point-estimation 

ฉันเจอปัญหาการจำลองต่อไปนี้: เนื่องจากชุดของจำนวนจริงที่รู้จักการแจกแจงถูกกำหนดโดย ที่หมายถึงการเป็นส่วนหนึ่งในเชิงบวกของZในขณะที่ฉันสามารถนึกถึงตัวอย่างของ Metropolis-Hastings ที่กำหนดเป้าหมายการกระจายตัวนี้ฉันสงสัยว่ามีตัวเก็บตัวอย่างโดยตรงที่มีประสิทธิภาพโดยใช้ประโยชน์จากความน่าจะเป็นศูนย์จำนวนมากเพื่อลดลำดับของอัลกอริทึมจากถึงง){ω1, … ,ωd}{ω1,…,ωd}\{\omega_1,\ldots,\omega_d\}{ - 1 , 1}d{−1,1}d\{-1,1\}^dP (X)= (x1, … ,xd) ) ∝ (x1ω1+ … +xdωd)+P(X=(x1,…,xd))∝(x1ω1+…+xdωd)+\mathbb{P}(X=(x_1,\ldots,x_d))\propto (x_1\omega_1+\ldots+x_d\omega_d)_+( z)+(z)+(z)_+Zzzโอ(2d)O(2d)O(2^d)O ( d)O(d)O(d)

9 simulation  algorithms  random-generation  computational-statistics  metropolis-hastings 

ความหมายที่ง่ายที่สุดของสถิติที่เพียงพอในมุมมอง frequentist จะได้รับที่นี่ในวิกิพีเดีย อย่างไรก็ตามเมื่อเร็ว ๆ นี้ฉันเจอหนังสือ Bayesian พร้อมคำจำกัดความP( θ | x , t ) = P( θ | t )P(θ|x,t)=P(θ|t)P(\theta|x,t)=P(\theta|t). มันระบุไว้ในลิงค์ว่าทั้งสองจะเท่ากัน แต่ฉันไม่เห็นว่า นอกจากนี้ในหน้าเดียวกันนั้นในส่วน«ประเภทอื่น ๆ ของความพอเพียง»มันระบุไว้ว่าคำจำกัดความทั้งสองนั้นไม่เท่ากันในช่องว่างมิติ ... นอกจากนี้ความพอเพียงเชิงทำนายยังเกี่ยวข้องกับความพอเพียงแบบดั้งเดิมอย่างไร

9 bayesian  mathematical-statistics  sufficient-statistics 

ฉันพยายามสร้างแบบจำลองและคาดการณ์ชุดเวลาที่เป็นวงจรแทนที่จะเป็นฤดูกาล (เช่นมีรูปแบบคล้ายฤดูกาล แต่ไม่ใช่ในช่วงเวลาคงที่) สิ่งนี้ควรเป็นไปได้ที่จะใช้โมเดล ARIMA ตามที่กล่าวไว้ในส่วนที่ 8.5 ของการพยากรณ์: หลักการและการปฏิบัติ : ค่าของมีความสำคัญหากข้อมูลแสดงรอบ เพื่อให้ได้การคาดการณ์แบบวนรอบจำเป็นต้องมีพร้อมกับเงื่อนไขเพิ่มเติมบางอย่างเกี่ยวกับพารามิเตอร์ สำหรับ AR (2) รูปแบบพฤติกรรมที่เกิดขึ้นหากเป็นวงกลม&lt;0pppp≥2p≥2p\geq 2ϕ21+4ϕ2&lt;0ϕ12+4ϕ2&lt;0\phi^2_1+4\phi_2<0 เงื่อนไขเพิ่มเติมเหล่านี้เกี่ยวกับพารามิเตอร์ในกรณีทั่วไปของ ARIMA (p, d, q) คืออะไร ฉันไม่สามารถพบพวกเขาได้ทุกที่

9 time-series  forecasting  arima  seasonality 

ฉันเพิ่งดูการพูดคุยนี้โดยเอริคเจ Maและการตรวจสอบของเขารายการบล็อกที่เขาพูดราดโอนีลว่ารูปแบบเบส์ไม่ overfit ( แต่พวกเขาสามารถ overfit ) และเมื่อใช้พวกเขาเราไม่จำเป็นต้องใช้ชุดทดสอบสำหรับการตรวจสอบพวกเขา (สำหรับ ฉันพูดดูเหมือนจะพูดค่อนข้างเกี่ยวกับการใช้ชุดการตรวจสอบเพื่อปรับพารามิเตอร์) ความจริงแล้วข้อโต้แย้งนั้นไม่ทำให้ฉันและฉันไม่สามารถเข้าถึงหนังสือได้ดังนั้นคุณจะให้ข้อโต้แย้งที่ละเอียดและเข้มงวดมากขึ้นหรือคัดค้านข้อความดังกล่าวหรือไม่? ในขณะเดียวกัน Eric Ma ได้ชี้ให้ฉันสนทนาในหัวข้อเดียวกัน

9 machine-learning  bayesian  cross-validation  deep-learning 

ฉันกำลังศึกษาความแตกต่างระหว่างการทำให้เป็นปกติในการถดถอย RKHS และการถดถอยเชิงเส้น แต่ฉันมีเวลายากที่จะเข้าใจความแตกต่างที่สำคัญระหว่างทั้งสอง รับคู่อินพุต - เอาต์พุต (xi,yi)(xi,yi)(x_i,y_i)ฉันต้องการประเมินฟังก์ชั่น f(⋅)f(⋅)f(\cdot) ดังนี้ f(x)≈u(x)=∑i=1mαiK(x,xi),f(x)≈u(x)=∑i=1mαiK(x,xi),\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation} ที่ไหน K(⋅,⋅)K(⋅,⋅)K(\cdot,\cdot)เป็นฟังก์ชั่นเคอร์เนล ค่าสัมประสิทธิ์αmαm\alpha_m สามารถพบได้โดยการแก้ minα∈Rn1n∥Y−Kα∥2Rn+λαTKα,minα∈Rn1n‖Y−Kα‖Rn2+λαTKα,\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation} ที่มีการละเมิดบางส่วนของโน้ตที่i,ji,ji,j 'รายการของเมทริกซ์เคอร์เนลวันที่KKKคือK(xi,xj)K(xi,xj){\displaystyle K(x_{i},x_{j})} {J})} สิ่งนี้จะให้ α∗=(K+λnI)−1Y.α∗=(K+λnI)−1Y.\begin{equation} \alpha^*=(K+\lambda nI)^{-1}Y. \end{equation} อีกวิธีหนึ่งเราสามารถรักษาปัญหาดังกล่าวเป็นปัญหาการถดถอยแบบเส้นตรง / ปัญหาการถดถอยเชิงเส้น: minα∈Rn1n∥Y−Kα∥2Rn+λαTα,minα∈Rn1n‖Y−Kα‖Rn2+λαTα,\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}\alpha},\end{equation} พร้อมทางออก α∗=(KTK+λnI)−1KTY.α∗=(KTK+λnI)−1KTY.\begin{equation} {\alpha^*=(K^{T}K +\lambda nI)^{-1}K^{T}Y}. \end{equation} …

9 regression  generalized-linear-model  regularization  kernel-trick  rbf-kernel 

ปิด คำถามนี้จะต้องมีมากขึ้นมุ่งเน้น ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้มุ่งเน้นที่ปัญหาเดียวโดยแก้ไขโพสต์นี้ ปิดให้บริการใน2 ปีที่ผ่านมา ฉันยังใหม่กับสาขาการเรียนรู้ของเครื่อง แต่ฉันต้องการลองใช้อัลกอริธึมการจำแนกแบบง่าย ๆ กับ Keras น่าเสียดายที่ฉันมีชุดข้อมูลที่น้อยมากดังนั้นฉันจึงคิดว่าจะพยายามใช้การเรียนรู้การถ่ายโอนกับปัญหา อย่างไรก็ตามฉันไม่พบอะไรในโลกออนไลน์นี้ดังนั้นฉันจึงอยากเข้าใจว่าสถานที่ที่ดีที่สุดในการมองหาเครือข่ายประสาทที่ได้รับการฝึกฝนมาก่อน คุณมีข้อเสนอแนะในเรื่องนี้หรือไม่? เว็บไซต์ใดดีที่สุดในการรับแนวคิดเกี่ยวกับวิธีเริ่มโครงการเรียนรู้ของเครื่อง

9 machine-learning  classification  neural-networks  transfer-learning 

โดยทั่วไปแล้วไฟล์ PDF จะเขียนเป็นโดยที่ตัวพิมพ์เล็กนั้นถือว่าเป็นการรับรู้หรือผลลัพธ์ของตัวแปรสุ่มซึ่งมี pdf นั้น ในทำนองเดียวกัน CDF เขียนเป็นซึ่งมีความหมาย&lt;x) อย่างไรก็ตามในบางสถานการณ์เช่นคำจำกัดความของฟังก์ชั่นการให้คะแนนและการได้มาซึ่ง cdf นั้นมีการกระจายอย่างสม่ำเสมอปรากฏว่าตัวแปรสุ่มถูกเสียบเข้ากับ pdf / cdf ของตัวเอง เราจะได้ตัวแปรสุ่มใหม่หรือf(x|θ)f(x|θ)f(x|\theta)xxxXXXFX(x)FX(x)F_X(x)P(X&lt;x)P(X&lt;x)P(X<x)XXX Y=f(X|θ)Y=f(X|θ)Y=f(X|\theta)Z=FX(X)Z=FX(X)Z=F_X(X). ฉันไม่คิดว่าเราจะเรียกไฟล์นี้ว่า pdf หรือ cdf ได้อีกต่อไปเพราะตอนนี้มันเป็นตัวแปรสุ่มและในกรณีหลัง "การตีความ"ดูเหมือนไร้สาระสำหรับฉันFX(X)=P(X&lt;X)FX(X)=P(X&lt;X)F_X(X)=P(X<X) นอกจากนี้ในกรณีหลังข้างต้นฉันไม่แน่ใจว่าฉันเข้าใจคำแถลงว่า "cdf ของตัวแปรสุ่มตามการแจกแจงแบบเดียวกัน" cdf เป็นฟังก์ชั่นไม่ใช่ตัวแปรสุ่มดังนั้นจึงไม่มีการแจกแจง แต่สิ่งที่มีการแจกแจงแบบสม่ำเสมอคือตัวแปรสุ่มที่แปลงโดยใช้ฟังก์ชันที่แสดงถึง cdf ของตัวเอง แต่ฉันไม่เห็นว่าทำไมการแปลงนี้จึงมีความหมาย เช่นเดียวกันกับฟังก์ชันคะแนนซึ่งเราเสียบตัวแปรสุ่มเข้ากับฟังก์ชันที่แสดงถึงโอกาสในการบันทึกของมันเอง ฉันพยายามทำลายสมองของฉันเป็นเวลาหลายสัปดาห์เพื่อพยายามหาความหมายที่เข้าใจง่ายเบื้องหลังการเปลี่ยนแปลงเหล่านี้ แต่ฉันติดอยู่ ความเข้าใจใด ๆ จะได้รับการชื่นชมอย่างมาก!

9 random-variable  pdf  cdf  intuition 

ขณะนี้ฉันกำลังค้นหาภาพรวมเกี่ยวกับอัลกอริทึมการเรียนรู้การเสริมกำลังและอาจจัดหมวดหมู่ของพวกเขา แต่ถัดจาก Sarsa และ Q-Learning + Deep Q-Learning ฉันไม่สามารถหาอัลกอริทึมที่เป็นที่นิยมได้ Wikipediaให้ภาพรวมเกี่ยวกับวิธีการเรียนรู้การเสริมแรงทั่วไปที่แตกต่างกัน แต่ไม่มีการอ้างอิงถึงอัลกอริทึมที่แตกต่างกันในการใช้วิธีการนี้ แต่บางทีฉันสับสนวิธีและอัลกอริธึมทั่วไปและโดยทั่วไปไม่มีการจัดหมวดหมู่จริงในฟิลด์นี้เช่นในสาขาอื่น ๆ ของการเรียนรู้ของเครื่อง ใครบางคนอาจให้คำแนะนำสั้น ๆ แก่ฉันหรือเป็นเพียงการอ้างอิงที่ฉันสามารถเริ่มอ่านวิธีการต่าง ๆ ความแตกต่างระหว่างพวกเขาและอัลกอริทึมตัวอย่างที่ใช้แนวทางนี้

9 reinforcement-learning  q-learning 

ฉันพบพฤติกรรมที่ขัดแย้งกันของสิ่งที่เรียกว่า "การทดสอบที่แน่นอน" หรือ "การทดสอบการเปลี่ยนแปลง" ซึ่งเป็นต้นแบบของการทดสอบฟิชเชอร์ นี่ไง ลองนึกภาพคุณมีสองกลุ่มจาก 400 คน (เช่น 400 control vs 400 คดี) และ covariate ที่มีสองรังสี (เช่นเปิดเผย / ไม่เปิดเผย) มีบุคคลที่เปิดเผยเพียง 5 คนเท่านั้นในกลุ่มที่สอง การทดสอบของฟิชเชอร์เป็นเช่นนี้: &gt; x &lt;- matrix( c(400, 395, 0, 5) , ncol = 2) &gt; x [,1] [,2] [1,] 400 0 [2,] 395 5 &gt; fisher.test(x) Fisher's …

9 power  permutation-test  fishers-exact