คำถามติดแท็ก nonparametric-bayes

ฉันเริ่มตะลุยกับการใช้งานglmnetกับการถดถอยแบบ LASSOซึ่งผลลัพธ์ของความสนใจของฉันนั้นเป็นแบบขั้วคู่ ฉันได้สร้างกรอบข้อมูลจำลองขนาดเล็กด้านล่าง: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29, 0.88) m_edu <- c(0, 1, 1, 2, 2, 3, 2, 0, 1) p_edu <- c(0, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

ผมสนใจที่จะประเมินความหนาแน่นต่อเนื่องสุ่มตัวแปรXวิธีหนึ่งในการทำสิ่งนี้ที่ฉันได้เรียนรู้คือการใช้การประมาณความหนาแน่นของเคอร์เนลXXX แต่ตอนนี้ฉันสนใจวิธีการแบบเบย์ที่อยู่ในบรรทัดต่อไปนี้ ผมเริ่มเชื่อว่าต่อไปนี้การกระจายFฉันใช้เวลาอ่านXมีวิธีการอัพเดตตามการอ่านใหม่ของฉันหรือไม่?F n X FXXXFFFnnnXXXFFF ฉันรู้ว่าฉันดูเหมือนว่าฉันจะขัดแย้งกับตัวเอง: ถ้าฉันเชื่อว่าในเป็นการกระจายก่อนหน้านี้ของฉันเท่านั้นไม่มีข้อมูลควรโน้มน้าวฉันเป็นอย่างอื่น แต่สมมติว่ามีและจุดข้อมูลของฉันเป็นเหมือน1.7) เมื่อดูที่เห็นได้ชัดว่าฉันไม่สามารถยึดติดกับรุ่นก่อนหน้าได้ แต่ฉันควรอัปเดตอย่างไรF u n i f [ 0 , 1 ] ( 0.3 , 0.5 , 0.9 , 1.7 ) 1.7FFFFFFUnif[0,1]Unif[0,1]Unif[0,1](0.3,0.5,0.9,1.7)(0.3,0.5,0.9,1.7)(0.3, 0.5, 0.9, 1.7)1.71.71.7 อัปเดต:ตามคำแนะนำในความคิดเห็นที่ฉันได้เริ่มดูกระบวนการ Dirichlet ให้ฉันใช้สัญลักษณ์ต่อไปนี้: G∼DP(α,H)θi|G∼Gxi|θi∼N(θi,σ2)G∼DP(α,H)θi|G∼Gxi|θi∼N(θi,σ2) G \sim DP(\alpha,H)\\ \theta_i | G \sim G\\ x_i | \theta_i \sim N(\theta_i,\sigma^2) …

22 bayesian  pdf  nonparametric-bayes  dirichlet-process 

มีวิธีดำเนินการ Gaussian Process Regression ในเอาต์พุตหลายมิติ (อาจสัมพันธ์กัน) โดยใช้GPMLหรือไม่ ในสคริปต์ตัวอย่าง ฉันสามารถค้นหาตัวอย่าง 1D เท่านั้น คำถามที่คล้ายกันใน CV ที่โหม่งกรณีของการป้อนข้อมูลหลายมิติ ฉันอ่านหนังสือเพื่อดูว่าฉันสามารถหาอะไรได้บ้าง ในบทที่ 9ของหนังสือเล่มนี้ (มาตรา 9.1) พวกเขาได้กล่าวถึงกรณีของการส่งออกหลายรายการ พวกเขาได้กล่าวถึงสองสามวิธีในการจัดการกับสิ่งนี้การใช้เสียงที่มีความสัมพันธ์และทูโกคุริง (มีความสัมพันธ์กันมาก่อน) ฉันยังไม่รู้วิธีการรวมแนวคิดเหล่านี้เข้ากับกรอบงาน GPML นอกจากนี้ยังมีไลบรารี / กรอบ GP อื่น ๆ ที่รองรับเอาต์พุตหลายมิติหรือไม่

13 regression  machine-learning  matlab  gaussian-process  nonparametric-bayes 

ฉันกำลังอ่านบทความนี้เกี่ยวกับกระบวนการ Wishart ทั่วไป (GWP) กระดาษคำนวณความแปรปรวนร่วมระหว่างตัวแปรสุ่มที่แตกต่างกัน (ตามกระบวนการ Gaussian ) โดยใช้ฟังก์ชันความแปรปรวนแบบยกกำลังสองกำลังสองคือขวา) มันบอกว่าเมทริกซ์ความแปรปรวนร่วมนี้ติดตาม GWPK(x,x′)=exp(−|(x−x′)|22l2)K(x,x′)=exp⁡(−|(x−x′)|22l2)K(x,x') = \exp\left(-\frac{|(x-x')|^2}{2l^2}\right) ฉันเคยคิดว่าเมทริกซ์ความแปรปรวนร่วมที่คำนวณจากฟังก์ชันความแปรปรวนเชิงเส้นตรง ( )K(x,x′)=xTx′K(x,x′)=xTx′K(x,x') = x^Tx'ตามการแจกแจง Wishart ด้วยพารามิเตอร์ที่เหมาะสม คำถามของฉันคือเราจะยังคงสมมติว่าความแปรปรวนร่วมเป็นไปตามการกระจายของ Wishart ด้วยฟังก์ชันความแปรปรวนแบบยกกำลังสองได้อย่างไร โดยทั่วไปแล้วเงื่อนไขที่จำเป็นสำหรับฟังก์ชันความแปรปรวนร่วมในการผลิตเมทริกซ์ความแปรปรวนร่วม Wishart คืออะไร?

11 machine-learning  normal-distribution  covariance  wishart  nonparametric-bayes 

การตั้งค่าปัญหา หนึ่งในปัญหาของเล่นครั้งแรกที่ฉันต้องการใช้ PyMC กับการจัดกลุ่มแบบไม่ใช้พารามิเตอร์: ให้ข้อมูลบางส่วนสร้างแบบจำลองเป็นแบบเกาส์และเรียนรู้จำนวนของกลุ่มและค่าเฉลี่ยและความแปรปรวนร่วมของแต่ละกลุ่ม สิ่งที่ฉันรู้เกี่ยวกับวิธีนี้ส่วนใหญ่มาจากการบรรยายทางวิดีโอโดย Michael Jordan และ Yee Whye Teh ประมาณปี 2007 (ก่อนที่จะกลายเป็นความโกรธแค้น) และสองสามวันสุดท้ายของการอ่านบทเรียนของดร. Fonnesbeck และ E. Chen [fn1], [ Fn2] แต่ปัญหาคือการศึกษาที่ดีและมีการใช้งานที่น่าเชื่อถือ [fn3] ในปัญหาของเล่นนี้ฉันสร้างสิบดึงจากหนึ่งมิติเกาส์และสี่สิบวาดจาก . อย่างที่คุณเห็นด้านล่างฉันไม่ได้สลับการสุ่มเพื่อให้ง่ายต่อการบอกว่าตัวอย่างใดมาจากส่วนประกอบผสมN ( μ = 4 , σ = 2 )ยังไม่มีข้อความ( μ = 0 , σ= 1 )N(μ=0,σ=1)\mathcal{N}(\mu=0, \sigma=1)ยังไม่มีข้อความ( μ = 4 , σ= …

10 bayesian  clustering  python  pymc  nonparametric-bayes 

กระบวนการ Dirichlet Pocess และ Gaussian นั้นมักเรียกกันว่า ในกรณีนั้นฉันสามารถพูดถึงความหนาแน่นของฟังก์ชั่นภายใต้ GP ได้หรือไม่? นั่นคือกระบวนการ Gaussian หรือกระบวนการ Dirichlet มีแนวคิดเกี่ยวกับความหนาแน่นของความน่าจะเป็นหรือไม่? หากไม่เป็นเช่นนั้นเราจะใช้กฎของเบย์ในการเปลี่ยนจากก่อนหน้าไปยังด้านหลังได้อย่างไรหากความคิดของความน่าจะเป็นก่อนหน้านี้ของฟังก์ชั่นยังไม่ชัดเจน มีสิ่งต่าง ๆ เช่นการประมาณค่า MAP หรือ EAP ในโลกที่ไม่ใช่แบบเบย์ของ Bayesian หรือไม่? ขอบคุณมาก.

10 machine-learning  probability  bayesian  nonparametric  nonparametric-bayes 

ฉันกำลังดูกระดาษแบบจำลองเอฟเฟกต์แบบสุ่มของ Dirichlet และสเปคของโมเดลมีดังนี้: YผมψผมG=Xผมβ+ψผม+εผม∼ กรัม~ D P( α ,G0)Yผม=Xผมβ+ψผม+εผมψผม~GG~DP(α,G0) \begin{align*}y_{i} &= X_{i}\beta + \psi_{i} + \epsilon_{i}\\ \psi_{i} &\sim G \\ G &\sim \mathcal{DP}\left(\alpha, G_{0}\right) \end{align*} ที่ไหน αα\alpha เป็นพารามิเตอร์ขนาดและ G0G0G_{0}เป็นตัวชี้วัดพื้นฐาน ต่อมาในบทความแนะนำว่าเรารวมฟังก์ชั่นเข้ากับการวัดพื้นฐานG0G0G_{0} เช่น ∫ฉ(YJ| θ,ψJ)dG0(ψJ) .∫ฉ(YJ|θ,ψJ)dG0(ψJ). \int f\left(y_{j}|\theta, \psi_{j}\right)\, dG_{0}\left(\psi_{j}\right).การวัดพื้นฐานใน Dirichlet ประมวลผลเป็น cdf หรือว่าเป็น pdf หรือไม่? จะเกิดอะไรขึ้นหากการวัดพื้นฐานคือ Gaussian

9 bayesian  dirichlet-distribution  dirichlet-process  nonparametric-bayes  measure-theory 

ส่วนใหญ่นี้เป็นพื้นหลังข้ามไปที่สิ้นสุดถ้าคุณรู้อยู่แล้วว่าเพียงพอเกี่ยวกับ Dirichlet ผสมกระบวนการ สมมติว่าฉันกำลังสร้างแบบจำลองข้อมูลบางส่วนที่มาจากส่วนผสมของกระบวนการ Dirichlet คือปล่อยให้และมีเงื่อนไขในถือว่าF∼D(αH)F∼D(αH)F \sim \mathcal D(\alpha H)FFFYi∼iid∫f(y|θ)F(dθ).Yi∼iid∫f(y|θ)F(dθ).Y_i \stackrel {iid}{\sim} \int f(y | \theta) F(d\theta). ที่นี่และเป็นหน่วยวัดพื้นฐานก่อน ปรากฎว่าถ้าสำหรับการสังเกตแต่ละครั้งถ้าฉันรู้ว่าแฝงที่เกี่ยวข้องความน่าจะเป็นของในรุ่นนี้คือโดยที่คือจำนวนค่าที่แตกต่างของ (การวัดแบบสุ่มเป็นแบบแยกส่วนโดยสิ้นเชิง) Escobar และ Westพัฒนารูปแบบต่อไปนี้สำหรับการสุ่มตัวอย่างโดยใช้แกมมาก่อนหน้า; ก่อนอื่นพวกเขาเขียนα>0α>0\alpha > 0αHαH\alpha HYiYiY_iθiθi\theta_iαα\alphaL(α|t)∝αtΓ(α)Γ(α+n)L(α|t)∝αtΓ(α)Γ(α+n)L(\alpha | t) \propto \frac{\alpha^t\Gamma(\alpha)}{\Gamma(\alpha + n)}tttθiθi\theta_iFFFαα\alphaπ(α|t)∝π(α)αtΓ(α)Γ(α+n)∝π(α)αt−1(α+n)B(α+1,n)=π(α)αt−1(α+n)∫10xα(1−x)n−1 dx,π(α|t)∝π(α)αtΓ(α)Γ(α+n)∝π(α)αt−1(α+n)B(α+1,n)=π(α)αt−1(α+n)∫01xα(1−x)n−1 dx, \pi(\alpha | t) \propto \pi(\alpha) \frac{\alpha^t\Gamma(\alpha)}{\Gamma(\alpha + n)} \propto \pi(\alpha)\alpha^{t - 1}(\alpha + n){B(\alpha + …

9 bayesian  nonparametric-bayes 

ฉันต้องการปิดหัวของฉันในหัวข้อนี้ แต่การเรียนรู้จากเอกสารและแบบฝึกหัดนั้นยากเพราะมีช่องว่างมากมายที่มักจะถูกเติมในตำราเรียน ถ้ามันเป็นสิ่งสำคัญที่ฉันมีพื้นหลังทางคณิตศาสตร์ที่ค่อนข้างแข็งแกร่งเหมือนที่ฉันทำปริญญาเอกของฉัน ในคณิตศาสตร์ประยุกต์ (CFD จะแม่นยำยิ่งขึ้น)

9 bayesian  nonparametric  references  nonparametric-bayes