คำอธิบายจากระยะไกลถึงบนสุดของระยะทาง Mahalanobis คืออะไร?

ฉันเรียนรู้รูปแบบและสถิติและเกือบหนังสือฉันเปิดในเรื่องที่ทุกฉันชนแนวคิดของระยะทาง Mahalanobis หนังสือให้คำอธิบายที่เข้าใจง่าย แต่ก็ยังไม่ดีพอสำหรับฉันที่จะเข้าใจสิ่งที่เกิดขึ้นจริง ๆ ถ้ามีคนถามฉันว่า "มาฮาโลโนบิสระยะทางเท่าไหร่" ฉันทำได้แค่ตอบว่า: "มันเป็นสิ่งที่ดีมากซึ่งวัดระยะทางได้" :)

คำจำกัดความมักจะมีค่าลักษณะเฉพาะและค่าลักษณะเฉพาะซึ่งฉันมีปัญหาเล็กน้อยในการเชื่อมต่อกับระยะทาง Mahalanobis ฉันเข้าใจความหมายของคำว่า eigenvector และค่าลักษณะเฉพาะ แต่พวกมันเกี่ยวข้องกับระยะทาง Mahalanobis อย่างไร มีอะไรเกี่ยวข้องกับการเปลี่ยนฐานใน Linear Algebra เป็นต้นหรือไม่?

ฉันได้อ่านคำถามก่อนหน้านี้ในหัวข้อนี้ด้วย:

• ระยะ Mahalanobis คืออะไรและใช้ในการจดจำรูปแบบอย่างไร

• คำอธิบายที่ใช้งานง่ายสำหรับฟังก์ชั่นการแจกแจงแบบเกาส์และระยะทาง mahalanobis (Math.SE)

ฉันได้อ่านคำอธิบายนี้ด้วย

คำตอบที่ดีและภาพที่ดี แต่ยังคงฉันไม่ได้จริงๆได้รับมัน ... ฉันมีความคิด แต่ก็ยังคงอยู่ในความมืด ใครสามารถให้ "คุณจะอธิบายให้คุณยายของคุณ" ได้อย่างไร - อธิบายเพื่อที่ฉันจะได้สรุปในที่สุดและไม่เคยสงสัยอีกครั้งว่าห่าคือระยะทาง Mahalanobis? :) มันมาจากอะไรทำไม?

UPDATE:

นี่คือสิ่งที่ช่วยทำความเข้าใจสูตร Mahalanobis:

https://math.stackexchange.com/questions/428064/distance-of-a-test-point-from-the-center-of-an-ellipsoid

นี่คือ scatterplot ของข้อมูลหลายตัวแปร (ในสองมิติ):

เราสามารถทำอะไรได้บ้างเมื่อแกนถูกปล่อยออกมา?

แนะนำพิกัดที่ข้อมูลแนะนำโดยตัวเอง

ต้นกำเนิดจะเป็นที่เซนทรอยด์ของจุด (จุดของค่าเฉลี่ยของพวกเขา) แรกประสานงานแกน (สีฟ้าในรูปถัดไป) จะขยายไปตาม "กระดูกสันหลัง" ของจุดซึ่ง (ตามคำนิยาม) เป็นทิศทางใดซึ่งความแปรปรวนเป็นที่ยิ่งใหญ่ที่สุด สองประสานแกน (สีแดงในภาพ) จะขยายตั้งฉากกับคนแรก (ในมากกว่าสองมิติมันจะถูกเลือกในทิศทางตั้งฉากซึ่งความแปรปรวนมีขนาดใหญ่ที่สุดเท่าที่จะเป็นไปได้เป็นต้น)

เราจำเป็นต้องมีขนาด ค่าเบี่ยงเบนมาตรฐานตามแต่ละแกนจะทำอย่างดีเพื่อสร้างหน่วยตามแกน จำกฎ 68-95-99.7: ประมาณสองในสาม (68%) ของคะแนนควรอยู่ภายในหนึ่งหน่วยของจุดกำเนิด (ตามแนวแกน) ประมาณ 95% ควรอยู่ในสองหน่วย ทำให้ง่ายต่อการมองลูกตาในหน่วยที่ถูกต้อง สำหรับการอ้างอิงรูปนี้มีวงกลมหน่วยในหน่วยเหล่านี้:

มันไม่เหมือนวงกลมจริงๆเหรอ? นั่นเป็นเพราะภาพนี้มีการบิดเบี้ยว (เป็นหลักฐานตามระยะห่างที่แตกต่างกันระหว่างตัวเลขในสองแกน) ลองวาดใหม่ด้วยแกนในแนวที่เหมาะสม - จากซ้ายไปขวาและจากล่างขึ้นบน - และด้วยอัตราส่วนกว้างยาวหนึ่งหน่วยเพื่อให้หนึ่งหน่วยในแนวนอนทำหน้าที่เท่ากับหนึ่งหน่วยในแนวตั้ง:

คุณวัดระยะทาง Mahalanobis ในภาพนี้มากกว่าในภาพต้นฉบับ

เกิดอะไรขึ้นที่นี่? เราให้ข้อมูลบอกเราถึงวิธีการสร้างระบบพิกัดสำหรับการวัดใน scatterplot นั่นคือทั้งหมดที่มันเป็น แม้ว่าเราจะมีทางเลือกไม่กี่ทางในการทำ (เราสามารถย้อนกลับได้ทั้งสองแกนหรือทั้งสองอย่างและในสถานการณ์ที่หายากทิศทางตาม "หนาม" - ทิศทางหลัก - ไม่เป็นเอกลักษณ์) พวกมันไม่เปลี่ยนระยะทาง ในพล็อตสุดท้าย

---

ความคิดเห็นทางเทคนิค

(ไม่ใช่สำหรับคุณยายผู้อาจเริ่มหมดความสนใจทันทีที่ตัวเลขปรากฏขึ้นอีกครั้งในแปลง แต่เพื่อตอบคำถามที่เหลือที่ถูกวาง)

• เวกเตอร์หน่วยตามแกนใหม่คือeigenvectors (ทั้งเมทริกซ์ความแปรปรวนร่วมหรืออินเวอร์ส)

• เราได้ตั้งข้อสังเกตว่าการยกเลิกวงรีเพื่อให้วงกลมหารระยะทางตามค่าไอเกนวีคเตอร์แต่ละตัวด้วยค่าเบี่ยงเบนมาตรฐาน: สแควร์รูทของความแปรปรวนร่วม ปล่อยให้ขาตั้งสำหรับการทำงานแปรปรวนใหม่ (Mahalanobis) ระยะทางระหว่างจุดสองจุดและเป็นระยะห่างจากไปหารด้วยรากที่สองของXY) การดำเนินงานเกี่ยวกับพีชคณิตที่สอดคล้องกันคิดตอนนี้ของในแง่ของการเป็นตัวแทนในฐานะที่เป็นเมทริกซ์และและในแง่ของการเป็นตัวแทนของพวกเขาเป็นพาหะจะเขียน(XY)} วิธีนี้ใช้ได้ผล$C$$x$$y$$x$$y$$C(x-y, x-y)$$C$$x$$y$$\sqrt{(x-y)'C^{-1}(x-y)}$โดยไม่คำนึงถึงพื้นฐานที่ใช้แสดงถึงเวกเตอร์และเมทริกซ์ โดยเฉพาะอย่างยิ่งนี่เป็นสูตรที่ถูกต้องสำหรับระยะทาง Mahalanobis ในพิกัดดั้งเดิม

• จำนวนที่แกนจะถูกขยายในขั้นตอนสุดท้ายคือ (ค่ารากที่สองของ) ค่าลักษณะเฉพาะของเมทริกซ์ความแปรปรวนร่วมแบบผกผัน เท่า ๆ กันแกนนั้นหดตัวโดยค่ารากของค่าความแปรปรวนร่วมของเมทริกซ์ความแปรปรวนร่วม ยิ่งกระจายยิ่งจำเป็นต้องแปลงวงรีนั้นให้เป็นวงกลมมากขึ้นเท่านั้น

• แม้ว่าโพรซีเดอร์นี้จะใช้งานกับชุดข้อมูลใด ๆ ได้เสมอ แต่มันก็ดูดี (เมฆรูปฟุตบอลคลาสสิก) สำหรับข้อมูลที่มีค่าหลายตัวแปรโดยประมาณ ในกรณีอื่น ๆ จุดเฉลี่ยอาจไม่ได้เป็นตัวแทนที่ดีของศูนย์กลางของข้อมูลหรือ "เงี่ยง" (แนวโน้มทั่วไปในข้อมูล) จะไม่ถูกระบุอย่างแม่นยำโดยใช้ความแปรปรวนเป็นตัวชี้วัดการแพร่กระจาย

• การเลื่อนของจุดกำเนิดพิกัดพิกัดการหมุนและการขยายตัวของแกนรวมกันก่อให้เกิดการแปลงเลียนแบบ นอกเหนือจากการเลื่อนครั้งแรกนี่เป็นการเปลี่ยนแปลงพื้นฐานจากเดิม (โดยใช้เวกเตอร์หน่วยชี้ไปในทิศทางที่เป็นบวก) เป็นใหม่ (ใช้ตัวเลือกของหน่วย eigenvectors)

• มีการเชื่อมต่อที่แข็งแกร่งกับเป็นหลักวิเคราะห์ส่วนประกอบ (PCA) สิ่งนั้นมาไกลเกินกว่าที่จะอธิบาย "มันมาจากไหน" และ "ทำไม" คำถาม - ถ้าคุณไม่เชื่อในความสง่างามและประโยชน์ของการให้ข้อมูลกำหนดพิกัดที่คุณใช้เพื่ออธิบายและวัด ความแตกต่าง

• สำหรับการแจกแจงหลายตัวแปรปกติ (ที่เราสามารถดำเนินการก่อสร้างเดียวกันโดยใช้คุณสมบัติของความหนาแน่นของความน่าจะเป็นแทนที่จะเป็นคุณสมบัติแบบอะนาล็อกของเมฆจุด) ระยะทาง Mahalanobis (ไปยังจุดกำเนิดใหม่) ปรากฏขึ้นแทน " " ในนิพจน์ที่อธิบายลักษณะความหนาแน่นของความน่าจะเป็นของการแจกแจงแบบปกติมาตรฐาน ดังนั้นในพิกัดใหม่การแจกแจงแบบหลายตัวแปรปกติจะดูเป็นมาตรฐาน$x$$\exp(-\frac{1}{2} x^2)$เมื่อฉายลงบนเส้นใด ๆ ผ่านจุดกำเนิด โดยเฉพาะอย่างยิ่งมันเป็นมาตรฐานปกติในแต่ละพิกัดใหม่ จากมุมมองนี้ความรู้สึกที่สำคัญเพียงอย่างเดียวที่การแจกแจงหลายตัวแปรปกติแตกต่างกันในแง่ของจำนวนมิติที่ใช้ (โปรดทราบว่าจำนวนมิตินี้อาจเป็นและบางครั้งก็น้อยกว่าจำนวนมิติที่ระบุ)

คุณยายของฉันทำอาหาร ของคุณก็เช่นกัน การปรุงอาหารเป็นวิธีการสอนสถิติที่แสนอร่อย

คุกกี้ฟักทอง Pumpkin Habanero ยอดเยี่ยมมาก! ลองนึกถึงซินนามอนและขิงที่ยอดเยี่ยมในช่วงเทศกาลคริสต์มาสจากนั้นให้ตระหนักว่าพวกเขาร้อนเพียงใด

ส่วนผสมคือ:

• พริก habanero (10 เมล็ดและสับละเอียด)
• น้ำตาล (1.5 ถ้วย)
• เนย (1 ถ้วย)
• สารสกัดวานิลลา (1 ช้อนชา)
• ไข่ (กลาง 2)
• แป้ง (2.75 ถ้วย)
• เบกกิ้งโซดา (1 ช้อนชา)
• เกลือ (1 ช้อนชา)

ลองนึกภาพแกนพิกัดของคุณสำหรับโดเมนของคุณว่าเป็นปริมาณส่วนผสม น้ำตาล. แป้ง. เกลือ. ผงฟู. การแปรผันไปตามทิศทางเหล่านั้นสิ่งอื่น ๆ ที่เท่าเทียมกันนั้นแทบไม่มีผลกระทบใด ๆ ต่อคุณภาพของรสชาติเนื่องจากการเปลี่ยนแปลงของพริกฮาบาเนโร การเปลี่ยนแปลง 10% ในแป้งหรือเนยจะทำให้น้อยลง แต่ไม่ใช่นักฆ่า การเพิ่มฮาบาเนโรจำนวนมากขึ้นเพียงเล็กน้อยจะทำให้คุณได้ลิ้มรสหน้าผาจากขนมหวานไปจนถึงการทดสอบความเจ็บปวดจากเทสโทสเทอโรน

Mahalanobis นั้นไม่ไกลเท่า "ปริมาตรส่วนผสม" มากนักเนื่องจากอยู่ห่างจาก "รสชาติที่ดีที่สุด" ส่วนผสม "ที่มีศักยภาพ" จริง ๆ ซึ่งมีความอ่อนไหวต่อความแปรปรวนมากเป็นสิ่งที่คุณต้องควบคุมอย่างระมัดระวังที่สุด

หากคุณคิดถึงการแจกแจงแบบเกาส์ใด ๆ กับการแจกแจงแบบปกติมาตรฐานความแตกต่างคืออะไร ศูนย์กลางและสเกลตามแนวโน้มกลาง (ค่าเฉลี่ย) และแนวโน้มความแปรปรวน (ค่าเบี่ยงเบนมาตรฐาน) หนึ่งคือการแปลงพิกัดของอีก Mahalanobis คือการเปลี่ยนแปลง มันแสดงให้คุณเห็นว่าโลกนี้เป็นอย่างไรถ้าการกระจายความสนใจของคุณถูกนำกลับมาใช้ซ้ำเป็นแบบมาตรฐานแทนที่จะเป็นแบบเกาส์เซียน

$d(x,y)=\sqrt{\langle x,y \rangle}$$x$$y$$\mathbb R^{n}$$x$$y$$X$

$x$$y$

$x$$C$

รวบรวมความคิดข้างต้นเรามาถึงอย่างเป็นธรรมชาติที่

$$D(x,y)=\sqrt{(x-y)\,C^{-1}(x-y)}$$

$X_i$$X=(X_1,\dots,X_n)$$C_{ij}=\delta_{ij}$$X_i$$Var(X_i)=1$$D(x,y)$ $x$$y$$C(x,y)$

ลองพิจารณากรณีสองตัวแปร เมื่อเห็นรูป bivariate นี้เป็นปกติ (ขอบคุณ @whuber) คุณไม่สามารถอ้างได้ว่า AB มีขนาดใหญ่กว่า AC มีความแปรปรวนในเชิงบวก ตัวแปรสองตัวนั้นสัมพันธ์กัน

คุณสามารถใช้การวัดแบบยุคลิดแบบง่าย (เส้นตรงเช่น AB และ AC) เฉพาะเมื่อตัวแปรนั้นเป็น

1. อิสระ
2. มีความแปรปรวนเท่ากับ 1

โดยพื้นฐานแล้วการวัดระยะทาง Mahalanobis ทำสิ่งต่อไปนี้: มันแปลงตัวแปรเป็นตัวแปรที่ไม่เกี่ยวข้องซึ่งมีความแปรปรวนเท่ากับ 1 แล้วคำนวณระยะทางแบบยุคลิดแบบง่าย

ฉันจะพยายามอธิบายให้คุณเข้าใจอย่างง่ายที่สุด:

ระยะทาง Mahalanobis วัดระยะทางของจุด x จากการกระจายข้อมูล การกระจายข้อมูลมีลักษณะโดยเฉลี่ยและเมทริกซ์ความแปรปรวนร่วมดังนั้นจึงถูกตั้งสมมติฐานว่าเป็นเกาวาหลายตัวแปร

มันถูกใช้ในการจดจำรูปแบบเป็นการวัดความคล้ายคลึงกันระหว่างรูปแบบ (การกระจายข้อมูลของตัวอย่างการฝึกอบรมของคลาส) และตัวอย่างการทดสอบ เมทริกซ์ความแปรปรวนร่วมทำให้รูปร่างของการกระจายข้อมูลในพื้นที่คุณลักษณะ

รูปที่แสดงถึงสามคลาสที่แตกต่างกันและเส้นสีแดงหมายถึงระยะทาง Mahalanobis เดียวกันสำหรับแต่ละคลาส ทุกจุดที่วางอยู่บนเส้นสีแดงมีระยะห่างเท่ากันจากค่าเฉลี่ยของคลาสเนื่องจากใช้เมทริกซ์ความแปรปรวนร่วม

คุณสมบัติที่สำคัญคือการใช้ความแปรปรวนร่วมเป็นปัจจัยการทำให้ปกติ

ฉันต้องการเพิ่มข้อมูลทางเทคนิคเล็กน้อยเพื่อคำตอบที่ยอดเยี่ยมของ Whuber ข้อมูลนี้อาจไม่สนใจคุณยาย แต่บางทีหลานของเธออาจเป็นประโยชน์ ต่อไปนี้เป็นคำอธิบายจากล่างขึ้นบนของพีชคณิตเชิงเส้นที่เกี่ยวข้อง

$d(x,y)=\sqrt{(x-y)^T\Sigma^{-1}(x-y)}$$\Sigma$$\Sigma$$\Sigma$$\Sigma=Q^TDQ$$\Sigma^{-1}=QD^{-\frac{1}{2}}D^{-\frac{1}{2}}Q^T$$d(x,y)=\sqrt{\left[(x-y)^TQ\right]D^{-\frac{1}{2}}D^{-\frac{1}{2}}\left[Q^T(x-y)\right]}=\sqrt{z^Tz}$$Q$$(x-y)$$D^{-\frac{1}{2}}$$D^{-\frac{1}{2}}$$D^{-1}$$z^Tz$

ฉันอาจจะสายไปซักหน่อยในการตอบคำถามนี้ กระดาษนี้ที่นี่เป็นจุดเริ่มต้นที่ดีสำหรับการทำความเข้าใจในระยะทาง Mahalanobis พวกเขาให้ตัวอย่างที่สมบูรณ์พร้อมค่าตัวเลข สิ่งที่ฉันชอบเกี่ยวกับมันคือการนำเสนอทางเรขาคณิตของปัญหาที่นำเสนอ

เพียงเพื่อเพิ่มคำอธิบายที่ยอดเยี่ยมข้างต้นระยะทาง Mahalanobis เกิดขึ้นตามธรรมชาติในการถดถอยเชิงเส้น (หลายตัวแปร) นี่เป็นผลสืบเนื่องจากการเชื่อมต่อระหว่างระยะทาง Mahalanobis และการแจกแจงแบบเกาส์ที่กล่าวถึงในคำตอบอื่น ๆ แต่ฉันคิดว่ามันคุ้มค่ากับการสะกดคำอยู่ดี

$(x_1, y_1), \ldots, (x_N, y_N)$$x_i \in \mathbb{R}^n$$y_i \in \mathbb{R}^m$$\beta_0 \in \mathbb{R}^m$$\beta_1 \in \mathbb{R}^{m \times n}$$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$\epsilon_1, \ldots, \epsilon_N$$m$$0$$C$$x_i$$y_i$$x_i$$\beta_0 + \beta_1 x_i$$C$

$y_i$$x_i$$\beta = (\beta_0, \beta_1)$

$$\begin{equation} -\log p(y_i \mid x_i; \beta) = \frac{m}{2} \log (2\pi\det C) + \frac{1}{2} (y_i - (\beta_0 + \beta_1 x_i))^\top C^{-1} (y_i - (\beta_0 + \beta x_i)). \end{equation}$$ $C$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p(y_i \mid x_i; \beta)] = \operatorname{argmin}_\beta D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ Y ,Y∈ R $$\begin{equation} D_C(\hat y, y) = \sqrt{(y - \hat y)^\top C^{-1} (y - \hat y)} \end{equation}$$ $\hat y, y \in \mathbb{R}^m$

ตามความเป็นอิสระบันทึกความน่าจะเป็นของให้ได้รับจากผลรวม ดังนั้น ที่ปัจจัยไม่มีผลต่ออาร์กิวเมนต์y = ( y 1 , … , y N$\log p({\bf y} \mid {\bf x}; \beta)$${\bf y} = (y_1, \ldots, y_N)$${\bf x} = (x_1, \ldots, x_N)$

$$\begin{equation} \log p({\bf y} \mid {\bf x}; \beta) = \sum_{i=1}^N \log p(y_i \mid x_i; \beta) \end{equation}$$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p({\bf y} \mid {\bf x}; \beta)] = \operatorname{argmin}_\beta \frac{1}{N} \sum_{i=1}^N D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ $1/N$

โดยสรุปค่าสัมประสิทธิ์ที่ลดความน่าจะเป็นในการบันทึกเชิงลบ (เช่นเพิ่มความเป็นไปได้สูงสุด) ของข้อมูลที่สังเกตยังลดความเสี่ยงเชิงประจักษ์ของข้อมูลด้วยฟังก์ชันการสูญเสียที่กำหนดโดยระยะทาง Mahalanobis$\beta_0, \beta_1$

ระยะทาง Mahalanobis เป็นระยะทาง euclidian (ระยะทางธรรมชาติ) ซึ่งคำนึงถึงความแปรปรวนร่วมของข้อมูล มันให้น้ำหนักที่มากขึ้นสำหรับอุปกรณ์ที่มีเสียงดังและมีประโยชน์อย่างมากในการตรวจสอบความคล้ายคลึงกันระหว่างชุดข้อมูลสองชุด

อย่างที่คุณเห็นในตัวอย่างของคุณที่นี่เมื่อตัวแปรมีความสัมพันธ์การแจกแจงจะถูกเปลี่ยนเป็นทิศทางเดียว คุณอาจต้องการลบผลกระทบนี้ หากคุณคำนึงถึงระยะทางของคุณคุณสามารถลบเอฟเฟกต์การเลื่อนออกได้