เหตุใดการเพิ่มประสิทธิภาพส่วนผสมของเสียนโดยตรงแบบคำนวณได้ยาก?

18

พิจารณาความน่าจะเป็นบันทึกของส่วนผสมของ Gaussians:

l (S_{n}; θ) = \sum_{t = 1}^{n} \log f (x^{(t)} | θ) = \sum_{t = 1}^{n} \log {\sum_{i = 1}^{k} p_{i} f (x^{(t)} | μ^{(i)}, σ_{i}^{2})}

$l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\}$

ฉันสงสัยว่าทำไมมันจึงยากที่จะคำนวณสมการนั้นโดยตรง ฉันกำลังมองหาปรีชาญาณที่ชัดเจนว่าทำไมมันควรจะชัดเจนว่ามันยากหรืออาจเป็นคำอธิบายที่เข้มงวดมากขึ้นว่าทำไมมันยาก ปัญหานี้เป็นปัญหาที่สมบูรณ์หรือไม่หรือเราไม่ทราบวิธีการแก้ปัญหาหรือไม่ นี่คือเหตุผลที่เราใช้อัลกอริทึมEM (การคาดหวังสูงสุด ) หรือไม่

โน้ต:

$S_n$ = ข้อมูลการฝึกอบรม

$x^{(t)}$ = จุดข้อมูล

$\theta$ = ชุดของพารามิเตอร์ที่ระบุ Gaussian, ค่าเฉลี่ย, ค่าเบี่ยงเบนมาตรฐานและความน่าจะเป็นในการสร้างจุดจากแต่ละคลัสเตอร์ / คลาส / Gaussian

$p_i$ = ความน่าจะเป็นในการสร้างจุดจากคลัสเตอร์ / คลาส / Gaussian i

machine-learning gaussian-mixture expectation-maximization

— Pinocchio
แหล่งที่มา

14

ขั้นแรก GMM เป็นอัลกอริทึมเฉพาะสำหรับการทำคลัสเตอร์ซึ่งคุณพยายามค้นหาการทำป้ายกำกับที่ดีที่สุดสำหรับการสังเกตของคุณ มีเรียนเป็นไปได้ก็หมายความว่ามี labellings เป็นไปได้ของข้อมูลการฝึกอบรมของคุณ นี้จะกลายเป็นใหญ่แล้วสำหรับค่าปานกลางของและn $n$ $k$ $k^n$ $k$ $n$

ประการที่สองฟังก์ชั่นที่คุณพยายามลดให้น้อยที่สุดนั้นไม่ได้นูนออกมาและเมื่อรวมกับขนาดของปัญหาทำให้ยากมาก ฉันรู้แค่ว่า k-mean (สามารถมองเห็น GMM ในรูปแบบ kmeans ที่นุ่มนวล) นั้นเป็น NP-hard แต่ฉันไม่ทราบว่ามันได้รับการพิสูจน์แล้วสำหรับ GMM เช่นกัน

หากต้องการดูว่าปัญหาไม่ได้นูนออกมาให้พิจารณากรณีหนึ่งมิติ: และตรวจสอบว่าคุณไม่สามารถรับประกันได้ว่า

L = \log (e^{- (x / σ_{1})^{2}} + e^{- (x / σ_{2})^{2}})

$L = \log \left(e^{-({x}/{\sigma_{1}})^2} + e^{-({x}/{\sigma_{2}})^2}\right)$

สำหรับทุก x

\frac{d^{2} L}{d x^{2}} > 0

$\frac{d^2L}{dx^2} > 0$

มีปัญหาแบบไม่นูนหมายความว่าคุณสามารถติดอยู่ในท้องถิ่นน้อยที่สุด โดยทั่วไปคุณไม่ได้รับการรับประกันที่แข็งแกร่งในการเพิ่มประสิทธิภาพของนูนและการค้นหาวิธีแก้ไขก็ยากกว่าเช่นกัน

— jpmuc
แหล่งที่มา

3

เกี่ยวกับจุดที่สอง: k- หมายถึงสามารถดูเป็นกรณีพิเศษของ GMMs (แม่นยำยิ่งขึ้นกรณีที่ จำกัด ที่ความแปรปรวนจะถูกนำไปเป็นศูนย์) หากเราสามารถลดค่า k-mean ให้เหมาะสมกับ GMM ได้ปัญหาหลังนี้ก็ต้องเป็นปัญหาที่ยากเช่นกัน

— ลูคัส

1

@ Lucas: นี่คือลิงค์ Cross Validatedเพื่อพูดของคุณ

— ซีอาน

7

นอกจากประเด็นของ juampa แล้วให้ฉันส่งสัญญาณความยากลำบากเหล่านั้น:

ฟังก์ชั่นคือมากมายดังนั้นสูงสุดที่แท้จริงคือและสอดคล้องกับการ (ตัวอย่างเช่น) และ 0maximiser ที่แท้จริงควรจบด้วยโซลูชันนี้ซึ่งไม่มีประโยชน์สำหรับการประเมิน $l(\theta|S_n)$ $+\infty$ $\hat\mu^{(i)}=x_1$ $\hat\sigma_i=0$
แม้ว่าจะไม่ได้พิจารณาข้อตกลงในการสลายตัวของผลรวมเป็นผลรวมของผลิตภัณฑ์ในฟังก์ชันที่จะขยายใหญ่สุดในนั้นมีหลายโมดอลสูง (นอกเหนือจากการไม่นูน) ดังนั้นความท้าทายสำหรับวิธีการเชิงตัวเลข EM ยอมรับความยากลำบากโดยการแปลงเป็นโหมดโลคัลหรือจุดอานและต้องการการวิ่งหลายครั้ง ตามที่ปรากฏใน $k^n$ $l(\theta|S_n)$ $\theta$

นำมาจากหนังสือของฉัน

ข้อสังเกตเพิ่มเติม: หากไม่เรียกใช้อัลกอริธึม EM อาจใช้อัลกอริธึมการปรับให้เหมาะสมแบบมาตรฐาน (เช่น Newton-Raphson) ทีละพารามิเตอร์นั่นคือวนซ้ำ

$\theta_1^\prime=\arg\max_{\theta_1} l(\theta|S_n)$
$\theta_2^\prime=\arg\max_{\theta_2} l(\theta_1^\prime,\theta_{-1}|S_n)$
...
$\theta_v^\prime=\arg\max_{\theta_v} l(\theta_{-v}^\prime,\theta_v|S_n)$

$v$ $l(\theta|S_n)$

— ซีอาน
แหล่งที่มา

ตกลง L ไม่ได้ จำกัด หากความแปรปรวนเป็น 0 แต่ถ้าเราแยกพารามิเตอร์เหล่านั้นออกจากพารามิเตอร์ที่เป็นไปได้ (ดังนั้นเราจึงถือว่าความแปรปรวนทั้งหมด> 0) ดังนั้น L จะไม่สูงมากเมื่อใดก็ตามที่ความแปรปรวนที่เลือกน้อยที่สุด (เพราะประเด็นอื่น ๆ ) ฉันถูกไหม? จากนั้นสำหรับชุดพารามิเตอร์ที่เป็นไปได้นี้ L จะถูก จำกัด ขอบเขตและนี่จะบอกเป็นนัยว่าอัลกอริทึม EM มาบรรจบกัน (เพิ่มลำดับที่ถูกล้อมรอบ)

— ahstat

@ahstat: สมมติว่าความแปรปรวนเป็นไปในเชิงบวกอย่างเคร่งครัดไม่ได้ป้องกัน EM ให้เข้าหาการแก้ปัญหาที่เลวร้ายถ้าเริ่มใกล้พอ

— ซีอาน