เพราะเหตุใด K- ไม่ได้รับการปรับให้เหมาะสมโดยใช้การไล่ระดับสี

ฉันรู้ว่าk หมายถึงมักจะมีการเพิ่มประสิทธิภาพการใช้เพิ่มประสิทธิภาพของความคาดหวัง อย่างไรก็ตามเราสามารถปรับฟังก์ชั่นการสูญเสียของมันให้เป็นแบบเดียวกับที่เราเพิ่มประสิทธิภาพอื่น ๆ !

ฉันพบเอกสารบางอย่างที่ใช้การไล่ระดับสีแบบสโตแคสติกสำหรับวิธี k ขนาดใหญ่ แต่ฉันไม่ได้รับคำตอบ

มีใครรู้บ้างไหมว่าเพราะเหตุใด เป็นเพราะความคาดหวังของการรวมกันมาเร็วขึ้น ? มีการรับประกันเป็นพิเศษหรือไม่? หรือมันเป็นเหตุผลทางประวัติศาสตร์ ?

— elsonidoq
แหล่งที่มา

ขั้นตอนการขยายให้ใหญ่สุดแล้วไต่ระดับความเป็นไปได้ (ตามเงื่อนไขกับค่าที่เลือกโดยขั้นตอนการคาดหวัง) ใช่ไหม

— David J. Harris

@ DavidJ.Harris ฉันไม่คิดว่า OP กำลังโต้แย้งว่า EM ทำงานอย่างไร แต่ถามว่าทำไมวิธีหนึ่งที่ใช้กันอย่างแพร่หลายและวิธีอื่นไม่ได้ใช้มากนัก ความคิดเห็นของคุณดูเหมือนจะไม่ตรงกับสาเหตุที่ทำให้ EM เป็นที่ต้องการ

— Glen_b -Reinstate Monica

สวัสดี @ DavidJ.Harris มันก็เหมือนกับ Glen_b ฉันเข้าใจว่าอัลกอริทึมทั้งสองนั้นปรับให้เหมาะสมกับโอกาส (EM) หรือโอกาสในการบันทึก (โคตรลาด) หลังจากขุดเข้าไปใน google และเพื่อน ๆ ฉันก็ไปที่ลิงค์กระดาษนี้ว่าคำถามนี้ตอบแล้วหรือยัง ถ้าฉันไม่พลาดเข้าใจ EM ก็จะแก้ปัญหาได้ดีกว่าการไล่ระดับสี

— elsonidoq

ฟังก์ชั่นวัตถุประสงค์สำหรับ k- หมายถึงการเพิ่มประสิทธิภาพคืออะไร? มันแตกต่างกันอย่างไร

— Vladislavs Dovgalecs

มันเป็นความแตกต่างได้อย่างราบรื่นในพารามิเตอร์ (หมายถึงกลุ่ม) แต่แน่นอนไม่ได้อยู่ในการกำหนดกลุ่ม (ซึ่งเป็นตัวแปรตัวบ่งชี้ Multinomial)?

— Ruben van Bergen

คำตอบ:

ในฐานะที่เป็น OP กล่าวถึงมันเป็นไปได้ที่จะแก้ k- หมายถึงโดยใช้การไล่ระดับสีและนี่อาจเป็นประโยชน์ในกรณีที่เกิดปัญหาขนาดใหญ่

มีเหตุผลทางประวัติศาสตร์อย่างแน่นอนสำหรับความชุกของอัลกอริธึมสไตล์ EM สำหรับการแก้ k-mean (เช่นอัลกอริทึมของ Lloyd) อัลกอริทึมของลอยด์เป็นที่นิยมกันมากจนบางครั้งผู้คนเรียกมันว่า "อัลกอริธึม k-mean" และอาจไม่รู้ด้วยวิธีอื่น ๆ แต่ความนิยมนี้ไม่สมควร

Bottou และ Bengio (1995) แสดงให้เห็นว่าอัลกอริทึมของ Lloyd เทียบเท่ากับการปรับฟังก์ชั่นต้นทุน k-mean โดยใช้วิธีของนิวตัน ในปัญหาการปรับให้เหมาะสมโดยทั่วไปวิธีลำดับที่สองเช่นวิธีของนิวตันสามารถรวมกันได้เร็วกว่าวิธีการเรียงลำดับแรกเช่นการไล่ระดับสีเนื่องจากพวกเขาใช้ประโยชน์จากข้อมูลเกี่ยวกับความโค้งของฟังก์ชันวัตถุประสงค์ ในการทดลองเกี่ยวกับชุดข้อมูล Iris ที่รู้จักกันดีพวกเขาแสดงให้เห็นว่าอัลกอริทึมของ Lloyd ไม่ได้มาบรรจบกันเร็วกว่าการไล่ระดับสี มันน่าสนใจที่จะเห็นการเปรียบเทียบนี้กับชุดข้อมูลที่หลากหลาย

อ้างอิง:

Bottou และ Bengio (1995) คุณสมบัติการบรรจบกันของอัลกอริธึม k-mean

— user20160
แหล่งที่มา

K-หมายถึงการจัดกลุ่มเป็น unsupervised และเทคนิค unsupervised ที่ใกล้ที่สุดซึ่งใช้ EM คือการจัดกลุ่มตามรูปแบบ (แบบจำลองผสมแบบเกาส์, GMM) ปัญหาที่น่ารำคาญกับการจัดกลุ่มตามรูปแบบของ GMM เกิดขึ้นเมื่อคุณสมบัติหลายอย่างมีความสัมพันธ์กันซึ่งทำให้เกิดความแปลกประหลาดใกล้เคียงกันในเมทริกซ์ความแปรปรวนร่วมแบบอิงคุณลักษณะ ในสถานการณ์นี้ฟังก์ชันความน่าจะเป็นจะไม่เสถียรโดยมีดัชนีเงื่อนไขถึงอินฟินิตี้ทำให้ GMM พังทลายลงอย่างสมบูรณ์

ดังนั้นให้ทิ้งแนวคิดของ EM และ kNN - เนื่องจากมันขึ้นอยู่กับเมทริกซ์ความแปรปรวนร่วม (ความสัมพันธ์) สำหรับการวิเคราะห์ที่ไม่ได้รับการดูแล คำถามของคุณเกี่ยวกับการเพิ่มประสิทธิภาพนั้นคล้ายกับการทำแผนที่ Sammon และการวัดหลายมิติแบบคลาสสิคและแบบหลายมิติ (MDS) การแมป Sammon นั้นเป็นแบบอนุพันธ์ซ้ำในขณะที่รูปแบบต่าง ๆ ของ MDS เป็นแบบวนซ้ำทั่วไปหรือขั้นตอนเดียวขั้นตอนเดียวซึ่งสามารถปรับให้เหมาะสมระหว่างการดำเนินการเมทริกซ์ขั้นตอนเดียว

มองย้อนกลับไปที่คำขอของคุณอีกครั้งคำตอบคือ: ได้ทำไปแล้วในการทำแผนที่ Sammon

— Jolet
แหล่งที่มา