Bayesian lasso vs spike และ slab

คำถาม:อะไรคือข้อดี / ข้อเสียของการใช้อันใดอันหนึ่งก่อนหน้าสำหรับการเลือกตัวแปร?

สมมติว่าฉันมีความน่าจะเป็น: ที่ฉันสามารถใส่ได้ทั้งหนึ่งในไพรเออร์นี้: or:

y \sim N (X w, σ^{2} I)

$y\sim\mathcal{N}(Xw,\sigma^2I)$

w_{i} \sim π δ_{0} + (1 - π) N (0, 100) π = 0.9,

$w_i\sim \pi\delta_0+(1-\pi)\mathcal{N}(0,100)\\ \pi=0.9\,,$

w_{i} \sim \exp (- λ | w_{i} |) λ \sim Γ (1, 1) .

$w_i\sim \exp(-\lambda|w_i|)\\ \lambda \sim \Gamma(1,1)\,.$

ฉันใส่เพื่อเน้นน้ำหนักส่วนใหญ่เป็นศูนย์และแกมม่าก่อนหน้าบนเพื่อเลือกพารามิเตอร์ 'normalizing' $\pi=0.9$ $\lambda$

อย่างไรก็ตามอาจารย์ของฉันยังคงยืนยันว่ารุ่น lasso 'ลดค่าสัมประสิทธิ์และไม่ได้ทำการเลือกตัวแปรที่เหมาะสมจริง ๆ นั่นคือมีการหดตัวมากเกินไปของพารามิเตอร์ที่เกี่ยวข้อง

ฉันพบว่าการนำ Lasso ไปใช้งานได้ง่ายขึ้นเนื่องจากฉันใช้ Bayes แบบแปรผัน ในความเป็นจริงแล้วSparse Bayesian Learning paper ซึ่งวางก่อนหน้าของให้การแก้ปัญหาแบบสปอร์ $\frac{1}{|w_i|}$

bayesian feature-selection

— sachinruk
แหล่งที่มา

อาจารย์ของคุณถูกต้องว่ามันลดขนาดพารามิเตอร์ที่เกี่ยวข้อง แต่แล้วอะไรล่ะ เพียงลดขนาดให้เท่าที่ไม่สนับสนุนอย่างมีนัยสำคัญเพื่อลดข้อผิดพลาด และทำไมต้องเน้นไปที่การเลือกตัวแปรที่เหมาะสม .. ไม่ควรมุ่งเน้นที่การลดข้อผิดพลาด (ทดสอบ)

— seanv507

สำหรับปัญหาส่วนใหญ่ใช่ฉันจะเห็นด้วย อย่างไรก็ตามสำหรับปัญหาบางอย่าง (เช่นการตรวจจับมะเร็งด้วยการแสดงออกของยีน) มันเป็นสิ่งสำคัญอย่างยิ่งที่จะค้นหาว่าคุณลักษณะใดเป็นปัจจัยสนับสนุน ป.ล. ฉันได้ย้ายจาก postdoc ของฉันตั้งแต่เขาเป็นคนปัญญาอ่อน เครื่องเรียนรู้ ftw !!!

— sachinruk

Spike และ Slab เป็นมาตรฐานทองคำในการเลือกตัวแปรและฉันก็ชอบที่จะทำงานกับ LASSO ด้วย @Sachin_ruk: เข็มและพื้นก่อนสามารถดำเนินการได้โดยใช้ Bay Variational เกินไป ...

— Sandipan Karmakar

@SandipanKarmakar คุณสามารถโพสต์ลิงก์ที่อ้างถึง spike และ slab ด้วย Variational Bayes

— sachinruk

คำถามของคุณผสานการสร้างแบบจำลอง [สิ่งใดก่อนหน้านี้] และการใช้งาน [Variational Bayes] ควรดำเนินการแยกต่างหาก

— ซีอาน

วิธีการทั้งสองนี้ (LASSO vs. Spike-and-Slab) สามารถตีความได้ว่าเป็นปัญหาการประมาณค่าแบบเบย์ที่คุณกำลังระบุพารามิเตอร์ที่แตกต่างกัน หนึ่งในความแตกต่างที่สำคัญคือวิธี LASSO ไม่ได้ใส่จุดมวลใด ๆ ไว้ที่ศูนย์สำหรับก่อนหน้านี้ (เช่นพารามิเตอร์เกือบจะไม่เป็นศูนย์เป็นนิรนัย) ในขณะที่เข็มและแผ่นทำให้จุดมวลที่สำคัญ ในศูนย์

ในความเห็นที่ต่ำต้อยของฉันประโยชน์หลักของวิธีการแบบสแลปแอนด์แอปคือว่ามันเหมาะกับปัญหาที่จำนวนพารามิเตอร์มากกว่าจำนวนจุดข้อมูลและคุณต้องการกำจัดพารามิเตอร์จำนวนมากอย่างสมบูรณ์ จากรูปแบบ เนื่องจากวิธีนี้ทำให้จุดมวลขนาดใหญ่เป็นศูนย์ในอดีตมันจะให้ผลการประมาณการหลังที่มีแนวโน้มที่จะเกี่ยวข้องกับพารามิเตอร์เพียงเล็กน้อยโดยหวังว่าจะหลีกเลี่ยงการปรับข้อมูลให้เหมาะสม

เมื่ออาจารย์ของคุณบอกคุณว่าอดีตไม่มีประสิทธิภาพวิธีการเลือกตัวแปรสิ่งที่เขาอาจหมายถึงคือ ภายใต้ LASSO พารามิเตอร์แต่ละตัวนั้นแทบจะไม่เป็นศูนย์เลย (เช่นพวกมันทั้งหมดอยู่ในโมเดล) เนื่องจากความน่าจะเป็นยังไม่เป็นศูนย์เหนือการสนับสนุนพารามิเตอร์นี่ก็หมายความว่าแต่ละตัวนั้นแทบจะไม่ได้เป็นศูนย์ก่อนเลย (นั่นคือทั้งหมดอยู่ในรูปแบบ) ตอนนี้คุณอาจเสริมด้วยการทดสอบสมมติฐานและพารามิเตอร์กฎออกมาจากตัวแบบนั้น แต่นั่นจะเป็นการทดสอบเพิ่มเติมที่กำหนดไว้ด้านบนของตัวแบบเบย์

ผลลัพธ์ของการประมาณแบบเบย์จะสะท้อนถึงการมีส่วนร่วมจากข้อมูลและการสนับสนุนจากก่อนหน้านี้ โดยธรรมชาติการกระจายก่อนหน้านี้ที่มีความเข้มข้นใกล้เคียงกับศูนย์มากขึ้น (เช่นสไปค์ - และ - สแลป) จะ "หด" ค่าประมาณพารามิเตอร์ผลลัพธ์ซึ่งสัมพันธ์กับค่าที่มีความเข้มข้นน้อยกว่า (เช่น LASSO) แน่นอน "การลดขนาด" นี้เป็นเพียงผลกระทบของข้อมูลก่อนหน้านี้ที่คุณระบุ รูปร่างของ LASSO ก่อนหน้านี้หมายความว่ามันกำลังลดขนาดการประมาณค่าพารามิเตอร์ทั้งหมดไปสู่ค่าเฉลี่ยซึ่งสัมพันธ์กับค่าประจบประแจงก่อนหน้า

— Ben - Reinstate Monica
แหล่งที่มา