ค่าเฉลี่ยศูนย์และความแปรปรวนของหน่วย

ฉันกำลังศึกษาการปรับขนาดข้อมูลและโดยเฉพาะอย่างยิ่งวิธีการมาตรฐาน ฉันเข้าใจคณิตศาสตร์ด้านหลังแล้ว แต่มันไม่ชัดเจนสำหรับฉันว่าทำไมจึงสำคัญที่จะต้องให้คุณสมบัติเป็นศูนย์ค่าเฉลี่ยและความแปรปรวนของหน่วย

คุณอธิบายฉันได้ไหม

คำถามที่ว่าทำไมและทำไมจึงมีความสำคัญขึ้นอยู่กับบริบท

• ยกตัวอย่างเช่นต้นไม้ตัดสินใจเพิ่มมันไม่ใช่เรื่องสำคัญ - อัลกอริธึม ML เหล่านี้ "ไม่สนใจ" เกี่ยวกับการแปลงข้อมูลแบบโมโนโทน พวกเขาแค่มองหาจุดที่จะแยกมัน

• สำหรับตัวทำนายเชิงเส้นตัวอย่างเช่นการปรับสเกลสามารถปรับปรุงความสามารถในการตีความของผลลัพธ์ หากคุณต้องการคิดถึงขนาดของสัมประสิทธิ์เป็นตัวบ่งชี้ว่าสถานที่นั้นมีผลต่อผลลัพธ์มากน้อยเพียงใดคุณลักษณะนั้นจะต้องถูกลดขนาดให้อยู่ในพื้นที่เดียวกัน

• สำหรับผู้ทำนายบางคนโดยเฉพาะอย่างยิ่ง NN การปรับขนาดและโดยเฉพาะอย่างยิ่งการปรับช่วงเฉพาะอาจมีความสำคัญสำหรับเหตุผลทางเทคนิค เลเยอร์บางอันใช้ฟังก์ชั่นที่เปลี่ยนแปลงอย่างมีประสิทธิภาพเฉพาะในบางพื้นที่ (คล้ายกับตระกูลไฮเพอร์โบลิก - ฟังก์ชั่น ) และหากฟีเจอร์นั้นอยู่นอกขอบเขตมากเกินไปความอิ่มตัวอาจเกิดขึ้นได้ หากสิ่งนี้เกิดขึ้นอนุพันธ์เชิงตัวเลขจะทำงานได้ไม่ดีและอัลกอริทึมอาจไม่สามารถรวมกันเป็นจุดที่ดีได้

ในกรณีที่ค่าเฉลี่ยเป็นศูนย์นั่นเป็นเพราะโมเดลการเรียนรู้ของเครื่องบางเครื่องไม่รวมอคติในการเป็นตัวแทนดังนั้นเราจึงต้องย้ายข้อมูลรอบแหล่งกำเนิดก่อนที่จะป้อนเข้าสู่อัลกอริธึม ในกรณีของความแปรปรวนของหน่วยนั่นเป็นเพราะอัลกอริทึมการเรียนรู้ของเครื่องจำนวนมากใช้ระยะทางบางชนิด (เช่น Euclidean) เพื่อตัดสินใจหรือทำนาย หากคุณลักษณะเฉพาะมีค่ากว้าง (เช่นความแปรปรวนขนาดใหญ่) ระยะทางจะได้รับผลกระทบอย่างมากจากคุณสมบัตินั้นและผลกระทบของคุณสมบัติอื่น ๆ จะถูกละเว้น โดยวิธีการบางขั้นตอนวิธีการเพิ่มประสิทธิภาพ (รวมถึงการไล่ระดับสีไล่ระดับ) มีประสิทธิภาพที่ดีขึ้นเมื่อข้อมูลเป็นมาตรฐาน

• เมื่อใดก็ตามที่เราเริ่มต้นด้วยชุดข้อมูลใด ๆ ในการเรียนรู้ของเครื่องเรามักจะคิดว่าคุณสมบัติข้อมูลทั้งหมดมีความสำคัญเท่าเทียมกันเมื่อเทียบกับผลลัพธ์และคุณลักษณะหนึ่งไม่ควรมีอิทธิพลเหนือคุณสมบัติอื่น ๆ นั่นเป็นเหตุผลที่เราเลือกที่จะนำคุณสมบัติทั้งหมดมาสู่ระดับเดียวกัน
  อย่างไรก็ตามหนึ่งอาจสงสัยว่าที่นี่แม้ว่าคุณสมบัติจะไม่ปกติแล้วน้ำหนักที่กำหนดให้ในขณะที่การเรียนรู้อาจช่วยให้ชุดข้อมูลมาบรรจบกันเพื่อเอาท์พุทที่คาดหวังในขณะที่การฝึกอบรม ปัญหาของเรื่องนี้คือมันจะใช้เวลานานในการฝึกฝนและสร้างผลลัพธ์
• การเลือกตัวเลขเฉพาะ 0 เป็นค่าเฉลี่ยและความแปรปรวน 1 เป็นเพียงความง่ายในการมองเห็นและการรักษาตัวเลขขนาดเล็กดังกล่าวจะช่วยในการฝึกอบรมที่เร็วขึ้น

ดังนั้นจึงขอแนะนำให้นำคุณลักษณะทั้งหมดมาให้มีขนาดเล็กลงพอที่จะฝึกได้ง่าย ลิงค์ด้านล่างนี้ยังกล่าวถึงแนวคิดที่คล้ายกัน /stats/41704/how-and-why-do-normalization-and-feature-scaling-work