การฟอกสีฟันนั้นดีอยู่เสมอหรือไม่?

ขั้นตอนก่อนการประมวลผลทั่วไปสำหรับอัลกอริทึมการเรียนรู้ของเครื่องคือการทำให้ข้อมูลขาวขึ้น

ดูเหมือนว่าการฟอกสีฟันเป็นสิ่งที่ดีอยู่เสมอเนื่องจากมันไม่สัมพันธ์กับข้อมูลทำให้ง่ายต่อการสร้างแบบจำลอง

ไวท์เทนนิ่งไม่แนะนำเมื่อไหร่?

หมายเหตุ: ฉันหมายถึงการไม่มีความสัมพันธ์ของข้อมูล

การฟอกสีฟันก่อนกำหนดเป็นลักษณะทั่วไปของการทำให้คุณสมบัติเป็นปกติซึ่งทำให้อินพุตเป็นอิสระโดยการแปลงให้เข้ากับเมทริกซ์ความแปรปรวนร่วมที่แปลงแล้ว ฉันไม่เห็นว่าทำไมสิ่งนี้อาจเป็นสิ่งที่ไม่ดี

อย่างไรก็ตามการค้นหาอย่างรวดเร็วเผย"ความเป็นไปได้ของ Data Whitening เพื่อปรับปรุงประสิทธิภาพของ Weather Radar" ( pdf ) ซึ่งอ่าน:

โดยเฉพาะอย่างยิ่งการฟอกสีฟันทำงานได้ดีในกรณีของ ACF แบบเอ็กซ์โปเนนเชียล (ซึ่งสอดคล้องกับผลลัพธ์ของ Monakov) แต่ก็ไม่ค่อยดีนักในกรณีของเกาส์เซียน หลังจากการทดลองเชิงตัวเลขเราพบว่ากรณีเกาส์เซียนมีอาการเจ็บป่วยเป็นจำนวนมากในแง่ที่ว่าจำนวนเงื่อนไข (อัตราส่วนของค่าสูงสุดถึงค่าลักษณะเฉพาะต่ำสุด) มีขนาดใหญ่มากสำหรับเมทริกซ์ความแปรปรวนร่วมเกาส์

ฉันไม่ได้รับการศึกษามากพอที่จะแสดงความคิดเห็นเกี่ยวกับเรื่องนี้ บางทีคำตอบสำหรับคำถามของคุณคือการฟอกสีฟันนั้นดีอยู่เสมอ แต่ก็มี gotchas บางอย่าง (เช่นด้วยข้อมูลแบบสุ่มมันจะไม่ทำงานได้ดีถ้าทำผ่านฟังก์ชั่นความสัมพันธ์แบบเกาส์แบบเกาส์)

ประการแรกฉันคิดว่าการลบความสัมพันธ์และการฟอกสีฟันเป็นสองขั้นตอนที่แยกจากกัน

ในการแยกความสัมพันธ์ของข้อมูลเราจำเป็นต้องแปลงข้อมูลเพื่อให้ข้อมูลที่ถูกแปลงจะมีเมทริกซ์ความแปรปรวนร่วมแนวทแยง การเปลี่ยนแปลงนี้สามารถพบได้โดยการแก้ปัญหาค่าลักษณะเฉพาะ เราค้นหาค่าลักษณะเฉพาะและค่าลักษณะเฉพาะที่เกี่ยวข้องของความแปรปรวนร่วมโดยการแก้${\bf \Sigma} = {\bf X}{\bf X}'$

$${\bf \Sigma}{\bf \Phi} = {\bf \Phi} {\bf \Lambda}$$

โดยที่เป็นเมทริกซ์แนวทแยงที่มีค่าลักษณะเฉพาะเป็นองค์ประกอบเส้นทแยงมุม${\bf \Lambda}$

เมทริกซ์จึง diagonalizes เมทริกซ์ความแปรปรวนของX} คอลัมน์ของเป็นลักษณะเฉพาะของเมทริกซ์ความแปรปรวนร่วม${\bf \Phi}$${\bf X}$${\bf \Phi}$

นอกจากนี้เรายังสามารถเขียนความแปรปรวนแบบทแยงมุมเป็น:

$${\bf \Phi}' {\bf \Sigma} {\bf \Phi} = {\bf \Lambda} \tag{1}$$

ดังนั้นในการลดความสัมพันธ์เวกเตอร์หนึ่งตัวเราจะทำ:${\bf x}_i$

$${\bf x}_i^* = {\bf \Phi}' {\bf x}_i \tag{2}$$

องค์ประกอบเส้นทแยงมุม (ค่าลักษณะเฉพาะ) ในอาจจะเหมือนหรือต่างกัน ถ้าเราทำให้มันเหมือนกันทั้งหมดนี่เรียกว่าการฟอกสีข้อมูล เนื่องจากค่าลักษณะเฉพาะแต่ละค่าจะกำหนดความยาวของค่าลักษณะเฉพาะที่เกี่ยวข้องความแปรปรวนร่วมจะสอดคล้องกับวงรีเมื่อข้อมูลไม่ได้เป็นสีขาวและเป็นทรงกลม การฟอกสีฟันดำเนินการดังนี้:${\bf \Lambda}$

$${\bf \Lambda}^{-1/2} {\bf \Lambda} {\bf \Lambda}^{-1/2} = {\bf I}$$

เท่ากับการแทนที่ในเราเขียน:$(1)$

$${\bf \Lambda}^{-1/2} {\bf \Phi}' {\bf \Sigma} {\bf \Phi} {\bf \Lambda}^{-1/2} = {\bf I}$$

ดังนั้นเมื่อต้องการใช้การแปลงไวท์เทนนิ่งนี้เป็นเราเพียงแค่คูณมันด้วยเครื่องชั่งนี้การได้รับจุดข้อมูลสีขาวx † i :${\bf x}_i^*$${\bf x}_i^\dagger$

$${\bf x}_i^{\dagger} = {\bf \Lambda}^{-1/2} {\bf x}_i^* = {\bf \Lambda}^{-1/2}{\bf \Phi}'{\bf x}_i \tag 3$$

ตอนนี้ความแปรปรวนของไม่ได้เป็นเพียงเส้นทแยงมุม แต่ยังเครื่องแบบ (สีขาว) เนื่องจากความแปรปรวนของx † ฉัน , E ( x † ฉัน x † ฉัน ' ) =ฉัน${\bf x}_i^\dagger$${\bf x}_i^\dagger$${\bf E}({\bf x}_i^\dagger {{\bf x}_i^\dagger}') = {\bf I}$

${\bf \Sigma}$

และในที่สุดก็มี "gotcha" ทั่วไปที่ผู้คนควรระวัง คุณต้องระมัดระวังว่าคุณคำนวณปัจจัยการปรับสเกลบนข้อมูลการฝึกอบรมจากนั้นคุณใช้สมการ (2) และ (3) เพื่อนำปัจจัยการปรับขนาดเดียวกันไปใช้กับข้อมูลการทดสอบมิฉะนั้นคุณมีความเสี่ยงที่จะมีน้ำหนักเกิน ข้อมูลจากชุดทดสอบในกระบวนการฝึกอบรม)

ที่มา: http://courses.media.mit.edu/2010fall/mas622j/whiten.pdf

จากhttp://cs231n.github.io/neural-networks-2/

จุดอ่อนของการเปลี่ยนแปลงครั้งนี้คือมันสามารถเกินจริงเสียงในข้อมูลเนื่องจากมันขยายมิติทั้งหมด (รวมถึงมิติที่ไม่เกี่ยวข้องของความแปรปรวนเล็ก ๆ ที่ส่วนใหญ่เป็นเสียง) ให้มีขนาดเท่ากันในอินพุต ในทางปฏิบัติสามารถลดได้โดยการปรับให้เรียบยิ่งขึ้น ...

น่าเสียดายที่ฉันไม่ได้รับการศึกษามากพอที่จะแสดงความคิดเห็นเพิ่มเติมเกี่ยวกับเรื่องนี้