คำถามติดแท็ก generative-models

ฉันรู้ว่ากำเนิดหมายถึง "ตามP(x,y)P(x,y)P(x,y) " และหมายถึงการเลือกปฏิบัติ "ตามP(y|x)P(y|x)P(y|x) ," แต่ฉันสับสนในหลายจุด: Wikipedia (+ เพลงฮิตอื่น ๆ อีกมากมายบนเว็บ) จัดประเภทสิ่งต่าง ๆ เช่น SVMs และแผนผังการตัดสินใจว่าเป็นการเลือกปฏิบัติ แต่สิ่งเหล่านี้ไม่มีการตีความความน่าจะเป็น การเลือกปฏิบัติหมายความว่าอะไรที่นี่ การเลือกปฏิบัติเพียงมาหมายถึงสิ่งที่ไม่ได้กำเนิด? Naive Bayes (NB) มีกำเนิดเนื่องจากจับP(x|y)P(x|y)P(x|y)และP(y)P(y)P(y)และทำให้คุณมีP(x,y)P(x,y)P(x,y) (เช่นเดียวกับP(y|x)P(y|x)P(y|x) ) มันไม่สำคัญที่จะพูดพูดว่าการถดถอยโลจิสติก (เด็กโปสเตอร์ของแบบจำลองการเลือกปฏิบัติ) "กำเนิด" โดยการคำนวณP(x)P(x)P(x)ในรูปแบบที่คล้ายกัน (สมมติฐานความเป็นอิสระเดียวกันกับ NB เช่นP(x)=P(x0)P(x1)...P(xd)P(x)=P(x0)P(x1)...P(xd)P(x) = P(x_0) P(x_1) ... P(x_d)ที่ไหน MLE สำหรับP(xi)P(xi)P(x_i)เป็นเพียงความถี่)? ฉันรู้ว่าแบบจำลองที่มีการเลือกปฏิบัตินั้นมีแนวโน้มที่จะดีกว่าตัวแบบกำเนิด การใช้ประโยชน์จากการทำงานกับแบบจำลองทั่วไปได้อย่างไร ความสามารถในการสร้าง / จำลองข้อมูลได้ถูกอ้างถึง แต่เมื่อไหร่จะเกิดขึ้น? โดยส่วนตัวแล้วฉันมีประสบการณ์เกี่ยวกับการถดถอยการจัดประเภทความร่วมมือ การกรองข้อมูลที่มีโครงสร้างดังนั้นการใช้งานที่ไม่เกี่ยวข้องกับฉันที่นี่จะเป็นอย่างไร "การข้อมูลที่หายไป" อาร์กิวเมนต์ …

153 machine-learning  generative-models 

อย่างไรเคล็ดลับ reparameterizationสำหรับ autoencoders แปรผัน (VAE) ทำงานอย่างไร มีคำอธิบายที่เข้าใจง่ายและเข้าใจง่ายโดยไม่ทำให้คณิตศาสตร์ง่ายขึ้นหรือไม่? แล้วทำไมเราถึงต้องการ 'เคล็ดลับ'?

57 mathematical-statistics  autoencoders  variational-bayes  generative-models 

ความเป็นมา:งานวิจัยสมัยใหม่จำนวนมากในช่วง 4 ปีที่ผ่านมา (โพสต์เล็กซ์เน็ต ) ดูเหมือนว่าจะไม่ได้ใช้การเตรียมการล่วงหน้าสำหรับเครือข่ายประสาทเทียมเพื่อให้ได้ผลลัพธ์การจำแนกประเภทที่ทันสมัย ตัวอย่างเช่นผลลัพธ์อันดับต้น ๆ สำหรับผู้ที่จำไม่ได้ที่นี่มีเพียง 2 เอกสารจาก 50 อันดับแรกที่ดูเหมือนว่าจะใช้แบบจำลองกำเนิดซึ่งทั้งสองเป็น RBM เอกสารที่ได้รับรางวัลอีก 48 ฉบับเกี่ยวกับสถาปัตยกรรมการส่งต่อการเลือกปฏิบัติที่แตกต่างกันด้วยความพยายามอย่างมากในการค้นหาการเริ่มต้นน้ำหนักที่ดีขึ้น / แปลกใหม่และฟังก์ชั่นการเปิดใช้งานที่แตกต่างจาก sigmoid ที่ใช้ใน RBM คำถาม:มีเหตุผลที่ทันสมัยในการใช้เครื่อง Boltzmann ที่ จำกัด อีกต่อไปหรือไม่? หากไม่มีมีการดัดแปลงตามความเป็นจริงที่สามารถนำไปใช้กับสถาปัตยกรรมการส่งต่อฟีดเหล่านี้เพื่อสร้างเลเยอร์ใด ๆ แรงจูงใจ:ฉันถามเพราะบางรุ่นที่ฉันเห็นมีให้ใช้งานโดยปกติจะเป็นรุ่นต่าง ๆ ใน RBM ไม่จำเป็นต้องมีคู่ที่แยกแยะความแตกต่างแบบอะนาล็อกที่ชัดเจนกับเลเยอร์ / โมเดลเชิงกำเนิดเหล่านี้และวีซ่าในทางกลับกัน ตัวอย่างเช่น: mcRBM ssRBM CRBM (แม้ว่าใครจะเถียง CNN ที่ใช้ฟีดไปข้างหน้าสถาปัตยกรรมคือสถาปัตยกรรมแบบอะนาล็อกที่เลือกปฏิบัติ) นอกจากนี้สิ่งเหล่านี้ก็ชัดเจนก่อน alexnet เช่นกันจาก 2010, 2011 และ 2009 …

16 references  deep-learning  rbm  generative-models 

ใครสามารถแนะนำฉันอ้างอิงที่ดีที่อธิบายการเชื่อมต่อระหว่างสถิติแบบเบย์และเทคนิคการสร้างแบบจำลองกำเนิด? ทำไมเรามักจะใช้แบบจำลองกำเนิดกับเทคนิคแบบเบย์? ทำไมมันจึงเป็นเรื่องน่าสนใจเป็นพิเศษที่จะใช้สถิติแบบเบย์ในกรณีที่ไม่มีข้อมูลที่สมบูรณ์ถ้าเลย? โปรดทราบว่าฉันมาจากมุมมองการเรียนรู้ของเครื่องมากขึ้นและฉันสนใจที่จะอ่านเพิ่มเติมเกี่ยวกับมันจากชุมชนสถิติ การอ้างอิงที่ดีที่กล่าวถึงประเด็นเหล่านี้จะได้รับการชื่นชมอย่างมาก ขอบคุณ

15 bayesian  generative-models 

แบบจำลองการวิเคราะห์จำแนกแบบเกาส์เรียนรู้แล้วใช้กฎ Bayes เพื่อประเมิน ดังนั้นพวกเขาเป็นแบบจำลองกำเนิด ทำไมจึงเรียกว่าการวิเคราะห์จำแนก ถ้าเป็นเพราะในที่สุดเราก็ได้เส้นโค้งที่แยกแยะระหว่างชั้นเรียนนั่นก็เกิดขึ้นสำหรับทุกรุ่นกำเนิดP ( y | x ) = P ( x | y ) P p r i o r ( y )P( x | y)P(x|y)P(x|y)P( y| x)= P( x | y) Pp r i o r( y)Σก.∈ YP( x | g) Pp r i o …

13 normal-distribution  discriminant-analysis  generative-models 

เมื่อเร็ว ๆ นี้ฉันได้ตระหนักถึงวิธีการ 'ไร้ความน่าจะเป็น' ซึ่งถูกรวบรวมในวรรณคดี อย่างไรก็ตามฉันไม่ชัดเจนเกี่ยวกับความหมายของวิธีการอนุมานหรือการเพิ่มประสิทธิภาพที่จะไม่มีโอกาสเกิดขึ้น ในการเรียนรู้ของเครื่องเป้าหมายมักจะเพิ่มความน่าจะเป็นของพารามิเตอร์บางอย่างให้เหมาะสมกับฟังก์ชั่นเช่นน้ำหนักบนเครือข่ายประสาท ดังนั้นอะไรคือปรัชญาของวิธีการที่ปราศจากโอกาสและทำไมเครือข่ายที่เป็นปฏิปักษ์เช่น GAN จึงอยู่ในหมวดหมู่นี้

11 machine-learning  deep-learning  maximum-likelihood  generative-models  abc 

ชั่วครู่หนึ่งดูเหมือนว่าFisher Kernelsอาจจะได้รับความนิยมเนื่องจากพวกมันดูเหมือนจะเป็นวิธีในการสร้างเมล็ดจากแบบจำลองความน่าจะเป็น อย่างไรก็ตามฉันไม่ค่อยเห็นพวกเขาใช้ในทางปฏิบัติและฉันมีสิทธิ์ที่ดีที่พวกเขามักจะไม่ทำงานได้ดี พวกเขาพึ่งพาการคำนวณข้อมูลฟิชเชอร์ - การอ้างอิง Wikipedia: ข้อมูลฟิชเชอร์เป็นข้อมูลเชิงลบของความคาดหวังของอนุพันธ์อันดับสองเกี่ยวกับ ar ของลอการิทึมธรรมชาติของ f ข้อมูลอาจถูกมองว่าเป็นมาตรวัดของ "ความโค้ง" ของเส้นโค้งการสนับสนุนใกล้กับค่าประมาณความน่าจะเป็นสูงสุด (MLE) ของθ เท่าที่ฉันสามารถบอกได้ว่านี่หมายความว่าฟังก์ชั่นเคอร์เนลระหว่างสองจุดคือระยะทางตามพื้นผิวโค้งนี้ - ใช่ไหม? อย่างไรก็ตามนี่อาจเป็นปัญหาสำหรับใช้ในวิธีเคอร์เนลเช่น MLE อาจเป็นการประเมินที่แย่มากสำหรับรุ่นที่กำหนด ความโค้งของเส้นโค้งการสนับสนุนรอบ ๆ MLE อาจไม่มีประโยชน์ใด ๆ สำหรับการแยกแยะระหว่างอินสแตนซ์ตัวอย่างเช่นถ้าพื้นผิวที่มีโอกาสสูงแหลมมาก ดูเหมือนว่าจะทิ้งข้อมูลจำนวนมากเกี่ยวกับโมเดล หากเป็นกรณีนี้มีวิธีการสร้างเมล็ดที่ทันสมัยกว่าจากวิธีการที่น่าจะเป็นหรือไม่? ตัวอย่างเช่นเราสามารถใช้ชุดการระงับเพื่อใช้การประมาณค่า MAP ด้วยวิธีเดียวกันได้หรือไม่ แนวคิดอื่น ๆ ของระยะทางหรือความคล้ายคลึงกันจากวิธีความน่าจะเป็นสามารถทำงานเพื่อสร้างฟังก์ชั่นเคอร์เนล (ที่ถูกต้อง)?

10 machine-learning  probability  kernel-trick  generative-models 

คุณจะตีความเส้นโค้งการอยู่รอดจากโมเดลอันตรายตามสัดส่วนของค็อกซ์ได้อย่างไร ในตัวอย่างของเล่นนี้สมมติว่าเรามีโมเดลอันตรายตามสัดส่วนในageตัวแปรในkidneyข้อมูลและสร้างเส้นโค้งการอยู่รอด library(survival) fit <- coxph(Surv(time, status)~age, data=kidney) plot(conf.int="none", survfit(fit)) grid() ตัวอย่างเช่น ณ เวลาคำสั่งใดเป็นจริง หรือทั้งสองอย่างผิดปกติ?200200200 คำแถลงที่ 1: เราจะเหลือวิชา 20% (เช่นถ้าเรามีคนโดยวันที่เราควรเหลืออีกประมาณ ) 100010001000200200200200200200 งบ 2: สำหรับคนที่ได้รับหนึ่งเขา / เธอมีมีโอกาสที่จะอยู่รอดได้ในวันที่20020%20%20\%200200200 ความพยายามของฉัน: ฉันไม่คิดว่าทั้งสองงบจะเหมือนกัน (แก้ไขฉันถ้าฉันผิด) เนื่องจากเราไม่ได้มีการสันนิษฐาน iid (เวลารอดสำหรับทุกคนไม่ได้มาจากการกระจายอย่างอิสระ) มันคล้ายกับการถดถอยโลจิสติกในคำถามของฉันที่นี่อัตราความเป็นอันตรายของแต่ละคนขึ้นอยู่กับสำหรับบุคคลนั้นβTxβTx\beta^Tx

9 r  survival  cox-model  likelihood  machine-learning  deep-learning  generative-models  machine-learning  reinforcement-learning  q-learning  regression  multicollinearity  convergence  beta-distribution  bernoulli-distribution  machine-learning  self-study  pattern-recognition  neural-networks  stochastic-processes  linear