คำถามติดแท็ก bayesian

ฉันสามารถเรียกรูปแบบที่ทฤษฎีบทของเบย์ใช้ "แบบจำลองเบย์" ได้หรือไม่? ฉันกลัวคำจำกัดความดังกล่าวอาจกว้างเกินไป แบบจำลอง Bayesian คืออะไร?

34 machine-learning  bayesian 

ฉันเข้าใจว่าการกระจายการคาดการณ์หลังคืออะไรและฉันได้อ่านเกี่ยวกับการตรวจสอบการคาดการณ์หลังแม้ว่ามันจะไม่ชัดเจนสำหรับฉันว่ามันทำอะไร การตรวจสอบการคาดการณ์หลังคืออะไร? เหตุใดผู้เขียนบางคนกล่าวว่าการเรียกใช้การตรวจสอบการคาดการณ์หลังคือ "ใช้ข้อมูลสองครั้ง" และไม่ควรถูกทำร้าย (หรือแม้กระทั่งว่าไม่ใช่ Bayesian)? (เช่นดูสิ่งนี้หรือสิ่งนี้ ) การตรวจสอบนี้มีประโยชน์อะไรบ้าง? สามารถใช้กับการเลือกแบบจำลองได้จริงหรือไม่? (เช่นมีปัจจัยทั้งในเรื่องความฟิตและความซับซ้อนของโมเดลหรือไม่)

33 bayesian  model-selection  posterior 

ฉันกำลังช่วยลูก ๆ ของฉันอยู่ในโรงเรียนมัธยมเข้าใจสถิติและฉันกำลังพิจารณาเริ่มต้นด้วยตัวอย่างง่ายๆโดยไม่มองข้ามทฤษฎี เป้าหมายของฉันคือการทำให้พวกเขามีวิธีการที่ใช้งานง่ายและสร้างสรรค์ที่สุดเพื่อเรียนรู้สถิติตั้งแต่เริ่มต้นเพื่อกระตุ้นความสนใจในการติดตามสถิติและการเรียนรู้เชิงปริมาณเพิ่มเติม ก่อนที่จะเริ่มต้นฉันมีคำถามเฉพาะที่มีนัยโดยทั่วไป: เราควรเริ่มสอนสถิติโดยใช้ Bayesian หรือกรอบบ่อยๆหรือไม่? การค้นคว้ารอบตัวฉันได้เห็นแล้วว่าวิธีการทั่วไปนั้นเริ่มต้นด้วยการแนะนำสั้น ๆ เกี่ยวกับสถิติผู้ใช้บ่อยตามด้วยการอภิปรายเชิงลึกของสถิติแบบเบย์ (เช่นStangl )

32 probability  hypothesis-testing  bayesian  frequentist  teaching 

มีจำนวนของที่มีอยู่ประมาณที่แข็งแกร่งของขนาด เป็นตัวอย่างที่น่าสังเกตคือการเบี่ยงเบนสัมบูรณ์เฉลี่ยที่เกี่ยวข้องกับค่าเบี่ยงเบนมาตรฐานเป็นσ=MAD⋅1.4826σ=MAD⋅1.4826\sigma = \mathrm{MAD}\cdot1.4826 1.4826 ในกรอบการทำงานแบบเบย์มีหลายวิธีที่จะประเมินตำแหน่งของการกระจายตัวแบบปกติอย่างคร่าวๆ (เช่นการปนเปื้อนที่ผิดปกติโดยค่าผิดปกติ) ตัวอย่างเช่นใคร ๆ สามารถสันนิษฐานได้ว่าข้อมูลนั้นถูกแจกจ่าย ณ การแจกแจงหรือการแจก Laplace ตอนนี้คำถามของฉัน: แบบจำลองแบบเบย์สำหรับการวัดขนาดของการแจกแจงแบบปกติอย่างคร่าวๆในลักษณะที่แข็งแกร่งจะแข็งแกร่งในแง่เดียวกับ MAD หรือตัวประมาณที่คล้ายกัน เช่นเดียวกับกรณีของ MAD มันจะเป็นระเบียบถ้าโมเดล Bayesian สามารถเข้าใกล้ SD ของการแจกแจงแบบปกติในกรณีที่การกระจายของข้อมูลกระจายตามปกติ แก้ไข 1: ตัวอย่างทั่วไปของแบบจำลองที่มีความทนทานต่อการปนเปื้อน / ค่าผิดปกติเมื่อสมมติว่าข้อมูลyiYผมy_iเป็นเรื่องปกติประมาณใช้ในการแจกแจงเช่น: yi∼t(m,s,ν)Yผม~เสื้อ(ม.,s,ν)y_i \sim \mathrm{t}(m, s,\nu) โดยที่mม.mคือค่าเฉลี่ยsssคือขนาดและνν\nuคือระดับความอิสระ สำหรับนักบวชที่เหมาะสมบนm,sม.,sm, sและνν\nu , mม.mจะเป็นการประมาณค่าเฉลี่ยของyiYผมy_iที่จะทนทานต่อค่าผิดปกติ อย่างไรก็ตามsssจะไม่เป็นประมาณการที่สอดคล้องกันของ SD ของyiyiy_iเป็นsssขึ้นอยู่กับννν\nuตัวอย่างเช่นถ้าνν\nuจะได้รับการแก้ไขเป็น 4.0 และโมเดลด้านบนจะถูกติดตั้งกับตัวอย่างจำนวนมากจากการแจกแจงจากนั้น sจะอยู่ที่ประมาณ 0.82 สิ่งที่ฉันกำลังมองหาคือโมเดลที่แข็งแกร่งเช่นโมเดล t แต่สำหรับ SD แทนที่จะเป็น …

32 r  bayesian  estimation  standard-deviation  robust 

Morey et al (2015) ยืนยันว่าช่วงความเชื่อมั่นนั้นทำให้เข้าใจผิดและมีอคติหลายประการที่เกี่ยวข้องกับความเข้าใจของพวกเขา ในบรรดาคนอื่น ๆ พวกเขาอธิบายถึงการเข้าใจผิดอย่างแม่นยำดังต่อไปนี้: ความแม่นยำผิดพลาด ความกว้างของช่วงความมั่นใจบ่งบอกถึงความแม่นยำของความรู้ของเราเกี่ยวกับพารามิเตอร์ ช่วงความมั่นใจแคบแสดงความรู้ที่แม่นยำในขณะที่ข้อผิดพลาดความมั่นใจกว้างแสดงความรู้ที่ไม่แม่นยำ ไม่มีการเชื่อมต่อที่จำเป็นระหว่างความแม่นยำของการประมาณและขนาดของช่วงความมั่นใจ วิธีหนึ่งในการดูสิ่งนี้คือจินตนาการนักวิจัยสองคน - นักวิจัยอาวุโสและนักศึกษาปริญญาเอกกำลังวิเคราะห์ข้อมูลจากผู้เข้าร่วมคนจากการทดลอง ในฐานะที่เป็นแบบฝึกหัดเพื่อประโยชน์ของนักศึกษาปริญญาเอกนักวิจัยอาวุโสตัดสินใจที่จะสุ่มแบ่งผู้เข้าร่วมออกเป็นสองชุดจากชุดเพื่อให้พวกเขาแต่ละคนสามารถแยกวิเคราะห์ครึ่งชุดข้อมูล ในการประชุมครั้งหลังทั้งสองร่วมกันกับอีกคนหนึ่งของพวกเขาของนักเรียนช่วงความเชื่อมั่นสำหรับค่าเฉลี่ย ปริญญาเอกของนักเรียน CI เป็นและนักวิจัยอาวุโสของ CI เป็น425 t 95 % 52 ± 2 95 % 53 ± 4505050252525ttt95%95%95\%52±252±252 \pm 295%95%95\%53±453±453 \pm 4 นักวิจัยอาวุโสตั้งข้อสังเกตว่าผลลัพธ์ของพวกเขามีความสอดคล้องกันอย่างกว้างขวางและพวกเขาสามารถใช้ค่าเฉลี่ยถ่วงน้ำหนักเท่ากันของการประมาณจุดสองจุดของพวกเขา52.552.552.5ซึ่งเป็นการประเมินโดยรวมของค่าเฉลี่ยที่แท้จริง อย่างไรก็ตามนักศึกษาปริญญาเอกระบุว่าวิธีการทั้งสองของพวกเขาไม่ควรมีน้ำหนักเท่ากัน: เธอตั้งข้อสังเกตว่า CI ของเธอกว้างกว่าครึ่งและระบุว่าการประเมินของเธอแม่นยำกว่าและควรให้น้ำหนักมากกว่า บันทึกที่ปรึกษาของเธอที่ว่านี้ไม่สามารถจะถูกต้องเพราะการประมาณการจากน้ำหนักไม่สม่ำเสมอทั้งสองวิธีจะแตกต่างจากการประเมินจากการวิเคราะห์ข้อมูลที่สมบูรณ์ชุดซึ่งจะต้องเป็น52.552.552.552.5ความผิดพลาดของนักศึกษาระดับปริญญาเอกคือสมมติว่า CIs ระบุความถูกต้องของข้อมูลภายหลังโดยตรง ตัวอย่างข้างต้นดูเหมือนจะทำให้เข้าใจผิด ถ้าเราสุ่มแบ่งครึ่งเป็นสองตัวอย่างเราจะคาดหวังว่าค่าเฉลี่ยตัวอย่างและข้อผิดพลาดมาตรฐานจะใกล้เคียงกัน ในกรณีเช่นนี้ไม่ควรมีความแตกต่างระหว่างการใช้ค่าเฉลี่ยถ่วงน้ำหนัก (เช่นถ่วงน้ำหนักด้วยข้อผิดพลาดผกผัน) และการใช้ค่าเฉลี่ยเลขคณิตอย่างง่าย …

31 bayesian  confidence-interval  frequentist  precision 

ในบทความนี้นักวิจัยที่มีความสามารถคอสมาชาลิซีีระบุว่าจะยอมรับอย่างเต็มที่มุมมองคชกรรมอัตนัยหนึ่งยังต้องยอมรับผล unphysical ที่ลูกศรของเวลา (ที่ได้รับจากการไหลของเอนโทรปี) จริงควรไปข้างหลัง นี้เป็นส่วนใหญ่ความพยายามที่จะเถียงกับเอนโทรปีสูงสุด / อัตนัยอย่างเต็มที่มุมมองแบบเบย์นำไปข้างหน้าและความนิยมโดยET เจย์นส์ มากกว่าที่LessWrongผู้ให้หลายคนมีความสนใจมากในทฤษฎีความน่าจะเป็นแบบเบย์และยังอยู่ในวิธีการแบบเบย์อัตนัยเป็นพื้นฐานสำหรับทฤษฎีการตัดสินใจอย่างเป็นทางการและหินก้าวต่อที่แข็งแกร่ง AI เอลีเซอร์ยัดคาสกีเป็นผู้สนับสนุนร่วมกันมีและฉันเพิ่งอ่านโพสต์นี้เมื่อฉัน พบกับความคิดเห็นนี้ (ความคิดเห็นที่ดีอื่น ๆ อีกไม่นานหลังจากนั้นในหน้าโพสต์ต้นฉบับ) ทุกคนสามารถให้ความเห็นเกี่ยวกับความถูกต้องของการโต้แย้งของ Shalizi ของ Yudkowsky โดยสังเขปเหตุผลของ Yudkowsky คือกลไกทางกายภาพซึ่งตัวแทนการให้เหตุผลปรับปรุงความเชื่อของตนจำเป็นต้องมีการทำงานดังนั้นจึงมีค่าใช้จ่ายทางอุณหพลศาสตร์ที่ Shalizi กวาดใต้พรม ในความคิดเห็นอื่น Yudkowsky ปกป้องสิ่งนี้พูดว่า: "ถ้าคุณใช้มุมมองของผู้สังเกตการณ์ที่สมบูรณ์แบบที่มีเหตุผลรอบนอกระบบความคิดของ" เอนโทรปี "นั้นค่อนข้างไร้ความหมายเช่นเดียวกับ" ความน่าจะเป็น "- คุณไม่จำเป็นต้องใช้อุณหพลศาสตร์เชิงสถิติในการสร้างแบบจำลองอะไรเลย สมการคลื่น " probabilists หรือ statistcal ใด ๆ สามารถแสดงความคิดเห็นเกี่ยวกับเรื่องนี้ได้หรือไม่? ฉันไม่สนใจข้อโต้แย้งจากผู้มีอำนาจเกี่ยวกับสถานะของ Shalizi หรือ Yudkowsky แต่ฉันอยากจะเห็นบทสรุปของวิธีการที่ Yudkowsky ทั้งสามประเด็นเสนอวิจารณ์ของบทความของ Shalizi …

31 bayesian  entropy  maximum-entropy  philosophical 

ฉันใหม่มากกับสถิติแบบเบย์และนี่อาจเป็นคำถามที่โง่ อย่างไรก็ตาม: พิจารณาช่วงเวลาที่น่าเชื่อถือด้วยค่าก่อนหน้าซึ่งระบุการแจกแจงแบบสม่ำเสมอ ตัวอย่างเช่นจาก 0 ถึง 1 โดยที่ 0 ถึง 1 แสดงถึงช่วงเต็มของค่าที่เป็นไปได้ของเอฟเฟกต์ ในกรณีนี้ช่วงเวลาที่เชื่อถือได้ 95% จะเท่ากับช่วงความมั่นใจ 95% หรือไม่

31 bayesian  confidence-interval  estimation  prior  credible-interval 

ในบล็อกโพสต์นี้โดย Andrew Gelman มีข้อความต่อไปนี้: แบบจำลองของ Bayesian เมื่อ 50 ปีที่แล้วดูเรียบง่ายอย่างสิ้นหวัง (ยกเว้นแน่นอนสำหรับปัญหาง่าย ๆ ) และฉันคาดหวังว่าแบบจำลองของ Bayesian ในวันนี้จะดูเรียบง่ายอย่างสิ้นหวัง 50 ปี (สำหรับตัวอย่างง่ายๆ: เราควรใช้ t แทนข้อผิดพลาดทั่วไปทุกที่ทุกเวลา แต่เรายังไม่ทำเช่นนี้เพราะความคุ้นเคยนิสัยและความสะดวกสบายทางคณิตศาสตร์สิ่งเหล่านี้อาจเป็นเหตุผลที่ดี ในการเมืองอนุรักษ์นิยมมีข้อโต้แย้งที่ดีหลายประการ - แต่ฉันคิดว่าท้ายที่สุดเมื่อเราคุ้นเคยกับแบบจำลองที่ซับซ้อนกว่านี้เราจะไปในทิศทางนั้น) ทำไมเราควร "ใช้ t เป็นประจำแทนที่จะเป็นข้อผิดพลาดทั่วไปทุกที่"

30 distributions  bayesian  normal-distribution  model  robust 

ฉันจะอธิบายปัญหาด้วยตัวอย่าง สมมติว่าคุณต้องการที่จะทำนายรายได้ของแต่ละบุคคลที่มีคุณลักษณะบางอย่าง: {อายุ, เพศ, ประเทศ, ภูมิภาค, เมือง} คุณมีชุดข้อมูลการฝึกอบรมเช่นนั้น train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID Age Gender Income 1 1 1 1 23 M 31 2 1 1 1 48 F 42 3 …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

สมมติว่าเรามีตัวแปรสุ่มtheta) ถ้าเป็นพารามิเตอร์จริงฟังก์ชันความน่าจะเป็นควรขยายให้ใหญ่สุดและอนุพันธ์เท่ากับศูนย์ นี่คือหลักการพื้นฐานที่อยู่เบื้องหลังตัวประมาณค่าความน่าจะเป็นสูงสุดX∼f(x|θ)X~ฉ(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 ตามที่ฉันเข้าใจแล้วข้อมูลฟิชเชอร์ถูกกำหนดให้เป็น I(θ)=E[(∂∂θf(X|θ))2]ผม(θ)=E[(∂∂θฉ(X|θ))2]I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ] ดังนั้นหากเป็นพารามิเตอร์ที่จริง0 แต่ถ้ามันไม่ใช่พารามิเตอร์จริงเราจะมีข้อมูลฟิชเชอร์จำนวนมากขึ้นθ0θ0\theta_0I(θ)=0ผม(θ)=0I(\theta) = 0θ0θ0\theta_0 คำถามของฉัน ข้อมูล Fisher ทำการวัด "ข้อผิดพลาด" ของ MLE ที่กำหนดหรือไม่ กล่าวอีกนัยหนึ่งการมีอยู่ของข้อมูลฟิชเชอร์ในเชิงบวกไม่ได้หมายความว่า MLE ของฉันไม่เหมาะอย่างยิ่งหรือ คำจำกัดความของ "ข้อมูล" นี้แตกต่างจากที่ Shannon ใช้อย่างไร ทำไมเราถึงเรียกมันว่าข้อมูล?

29 bayesian  maximum-likelihood  likelihood  intuition  fisher-information 

ฉันเคยจัดการตัวจําแนกNaive Bayesมาก่อน ฉันได้อ่านเกี่ยวกับMultinomial Naive Bayesเมื่อเร็ว ๆ นี้ นอกจากนี้หลังน่าจะเป็น = (ก่อน * โอกาส) / (หลักฐาน) ข้อแตกต่างที่สำคัญเพียงอย่างเดียว (ในขณะที่เขียนโปรแกรมตัวแยกประเภทเหล่านี้) ที่ฉันพบระหว่าง Naive Bayes และ Multinomial Naive Bayes ก็คือ Multinomial Naive Bayesคำนวณความน่าจะเป็นที่จะนับคำ / โทเค็น (ตัวแปรสุ่ม) และNaive Bayesคำนวณความน่าจะเป็นที่จะติดตาม: ช่วยแก้ให้ด้วยนะถ้าฉันผิด!

29 bayesian  classification  text-mining  naive-bayes 

สำหรับฉันดูเหมือนว่ามีเพียงสองแพ็คเกจ R เท่านั้นที่สามารถดำเนินการจัดสรร Latent Dirichlet : หนึ่งคือldaประพันธ์โดย Jonathan Chang; และอื่น ๆ ที่topicmodelsเขียนโดย Bettina Grünและ Kurt Hornik อะไรคือความแตกต่างระหว่างสองแพ็คเกจนี้ในแง่ของประสิทธิภาพรายละเอียดการติดตั้งและการใช้งานที่เพิ่มขึ้น?

29 r  bayesian  text-mining  topic-models  latent-dirichlet-alloc 

ฉันใช้คาเร็ตเพื่อรันฟอเรสต์แบบสุ่มที่ผ่านการตรวจสอบความถูกต้องข้ามชุดข้อมูล ตัวแปร Y เป็นปัจจัย ไม่มีชุดข้อมูลของ NaN, Inf's หรือ NA ในชุดข้อมูลของฉัน อย่างไรก็ตามเมื่อใช้ป่าสุ่มฉันได้รับ Error in randomForest.default(m, y, ...) : NA/NaN/Inf in foreign function call (arg 1) In addition: There were 28 warnings (use warnings() to see them) Warning messages: 1: In data.matrix(x) : NAs introduced by coercion 2: In data.matrix(x) : NAs …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Statistics.com เผยแพร่ปัญหาประจำสัปดาห์: อัตราการฉ้อโกงประกันภัยที่อยู่อาศัยคือ 10% (หนึ่งในสิบข้อเรียกร้องนั้นเป็นการฉ้อโกง) ที่ปรึกษาได้เสนอระบบการเรียนรู้ของเครื่องเพื่อตรวจสอบการอ้างสิทธิ์และจำแนกพวกเขาว่าเป็นการฉ้อโกงหรือไม่หลอกลวง ระบบมีประสิทธิภาพ 90% ในการตรวจจับการอ้างสิทธิ์ที่ฉ้อโกง แต่มีประสิทธิภาพ 80% เท่านั้นในการจำแนกการเรียกร้องการฉ้อโกงที่ไม่ถูกต้อง หากระบบจัดประเภทการเรียกร้องว่าเป็นการฉ้อโกงความน่าจะเป็นที่จะเป็นการหลอกลวงคืออะไร https://www.statistics.com/news/231/192/Conditional-Probability/?showtemplate=true เพื่อนของฉันและฉันทั้งคู่เกิดคำตอบเดียวกันอย่างอิสระและไม่ตรงกับโซลูชันที่เผยแพร่ ทางออกของเรา: (0.9 * 0.1) / ((. 9 * 0.1) + (. 2 * 0.9)) = 1/3 ทางออกของพวกเขา: นี่เป็นปัญหาของความน่าจะเป็นแบบมีเงื่อนไข (มันเป็นปัญหาของ Bayesian แต่การใช้สูตรใน Bayes Rule จะช่วยปกปิดสิ่งที่เกิดขึ้น) พิจารณาการอ้างสิทธิ์ 100 ครั้ง 10 จะเป็นการฉ้อโกงและระบบจะติดป้าย 9 อย่างถูกต้องว่าเป็น“ การฉ้อโกง” 90 การเรียกร้องจะใช้ได้ แต่ระบบจะจำแนก …

28 probability  bayesian  puzzle 

ความแตกต่างระหว่างเครือข่ายแบบเบย์และกระบวนการมาร์คอฟคืออะไร? ฉันเชื่อว่าฉันเข้าใจหลักการของทั้งสอง แต่ตอนนี้เมื่อฉันต้องการเปรียบเทียบทั้งสองที่ฉันรู้สึกว่าหายไป พวกเขามีความหมายเหมือนกันกับฉัน แน่นอนพวกเขาไม่ใช่ ลิงค์ไปยังแหล่งข้อมูลอื่น ๆ ก็ชื่นชม

28 bayesian  references  modeling  markov-process  bayesian-network