อธิบายขั้นตอนของอัลกอริธึม LLE (การฝังเชิงเส้นในพื้นที่) ไหม

ฉันเข้าใจหลักการพื้นฐานที่อยู่เบื้องหลังอัลกอริทึมสำหรับ LLE ประกอบด้วยสามขั้นตอน

1. การค้นหาย่านที่คุ้นเคยของแต่ละจุดข้อมูลด้วยตัวชี้วัดบางอย่างเช่น k-nn
2. ค้นหาน้ำหนักสำหรับแต่ละเพื่อนบ้านซึ่งแสดงถึงผลกระทบที่เพื่อนบ้านมีต่อจุดข้อมูล
3. สร้างการฝังข้อมูลในระดับต่ำตามน้ำหนักที่คำนวณ

แต่คำอธิบายทางคณิตศาสตร์ของขั้นตอนที่ 2 และ 3 นั้นสร้างความสับสนในหนังสือเรียนและแหล่งข้อมูลออนไลน์ทั้งหมดที่ฉันได้อ่าน ฉันไม่สามารถให้เหตุผลว่าทำไมจึงใช้สูตรนี้

ขั้นตอนเหล่านี้มีการปฏิบัติอย่างไรในทางปฏิบัติ มีวิธีที่เข้าใจง่าย ๆ ในการอธิบายสูตรทางคณิตศาสตร์ที่ใช้หรือไม่?

ข้อมูลอ้างอิง: http://www.cs.nyu.edu/~roweis/lle/publications.html

Local linear embedding (LLE) ช่วยลดความจำเป็นในการประมาณระยะทางระหว่างวัตถุที่อยู่ห่างไกลและกู้คืนโครงสร้างที่ไม่ใช่เชิงเส้นทั่วโลก LLE มีประโยชน์เนื่องจากไม่มีพารามิเตอร์เช่นอัตราการเรียนรู้หรือเกณฑ์การลู่เข้า LLE ยังเครื่องชั่งน้ำหนักได้ดีกับมิติที่แท้จริงของ{Y} ฟังก์ชันวัตถุประสงค์สำหรับ LLE คือ start Weight matrixองค์ประกอบสำหรับวัตถุและถูกตั้งค่าเป็นศูนย์ถ้า$\mathbf{Y}$

$$\begin{equation} \zeta(\mathbf{Y})=(\mathbf{Y}- \mathbf{WY})^2\\ \quad \quad \quad \quad \quad\quad \quad = \mathbf{Y}^\top (\mathbf{I}-\mathbf{W})^\top (\mathbf{I}-\mathbf{W})\mathbf{Y} \end{equation}$$ $\mathbf{W}$$w_{ij}$$i$$j$$j$ไม่ใช่เพื่อนบ้านที่ใกล้ที่สุดของไม่เช่นนั้นน้ำหนักของเพื่อนบ้านที่ใกล้ที่สุดของ K-จะถูกกำหนดผ่านรูปสี่เหลี่ยมจัตุรัสที่น้อยที่สุดของ โดยที่ตัวแปรตามเป็นเวกเตอร์ของคนเป็นเมทริกซ์แกรมสำหรับเพื่อนบ้านที่ใกล้ที่สุดทั้งหมดของวัตถุและเป็นเวกเตอร์ของน้ำหนักที่เป็นไปตามข้อ จำกัด แบบรวมถึงความสามัคคี ปล่อยให้เป็นสมการเชิงบวก semidefinite$i$$i$ $$\begin{equation} \mathbf{U}=\mathbf{G}\boldsymbol{\beta} \end{equation}$$ $\mathbf{U}$$K \times 1$$\mathbf{G}$$K \times K$$i$$\boldsymbol{\beta}$$K \times 1$$\mathbf{D}$$K \times K$เมทริกซ์ระยะทางสำหรับทุกคู่ของเพื่อนบ้าน K-ที่ใกล้ที่สุดของวัตถุมิติ\มันสามารถแสดงให้เห็นว่าเท่ากับเมทริกซ์ระยะทางที่กึ่งกลางด้วยองค์ประกอบ ค่าสัมประสิทธิ์การถดถอยถูกกำหนดตัวเลขโดยใช้ $p$$\mathbf{x}_i$$\mathbf{G}$$\boldsymbol{\tau}$ $$\begin{equation} \tau_{lm}=-\frac{1}{2} \left( d_{lm}^2 - \frac{1}{K}\sum_l d_{lm}^2 - \frac{1}{K}\sum_m d_{lm}^2 + \sum_l\sum_m d_{lm}^2 \right). \end{equation}$$ $K$ $$\begin{equation} \underset{K \times 1}{\boldsymbol{\beta}}=\underset{K \times K}{(\boldsymbol{\tau}^\top \boldsymbol{\tau})}^{-1}\underset{K \times 1}{\boldsymbol{\tau}^\top\mathbf{U}}, \end{equation}$$ และมีการตรวจสอบเพื่อยืนยันว่าพวกเขารวมเป็นเอกภาพ ค่าของจะถูกฝังลงในแถวของที่ตำแหน่งคอลัมน์ต่าง ๆ ที่สอดคล้องกับเค - เพื่อนบ้านที่ใกล้ที่สุดของออบเจ็กต์ , เช่นเดียวกับองค์ประกอบทรานสโพส สิ่งนี้ถูกทำซ้ำสำหรับแต่ละวัตถุที่ในชุดข้อมูล มันรับประกันว่าหากจำนวนเพื่อนบ้านที่ใกล้ที่สุดต่ำเกินไปอาจทำให้เบาบางทำให้ eigenanalysis กลายเป็นเรื่องยาก พบว่าเพื่อนบ้านที่ใกล้ที่สุดส่งผลให้$\boldsymbol{\beta}$$i$$\mathbf{W}$$i$$i$$K$$\mathbf{W}$$K=9$$\mathbf{W}$เมทริกซ์ที่ไม่ได้มีพยาธิสภาพในระหว่างการกระตุ้นด้วยไฟฟ้า ฟังก์ชั่นวัตถุประสงค์จะลดลงโดยการหาค่าลักษณะเฉพาะที่ไม่ใช่ศูนย์ที่เล็กที่สุดของ รูปแบบที่ลดลงของแสดงโดยโดยที่มีมิติตามค่า eigenvalues ​​ที่น้อยที่สุดของแลมบ์ดา} $$\begin{equation} (\mathbf{I}-\mathbf{W})^\top(\mathbf{I}-\mathbf{W})\mathbf{E}=\boldsymbol{\Lambda}\mathbf{D}\mathbf{E}. \end{equation}$$ $\mathbf{X}$$\mathbf{Y}=\mathbf{E}$$\mathbf{E}$$n \times 2$$\boldsymbol{\Lambda}$