ใช้สัมประสิทธิ์สหสัมพันธ์ของเพียร์สันเป็นเป้าหมายการเพิ่มประสิทธิภาพในการเรียนรู้ของเครื่อง

ในการเรียนรู้ของเครื่อง (สำหรับปัญหาการถดถอย) ฉันมักจะเห็นค่าเฉลี่ย - กำลังสอง - ข้อผิดพลาด (MSE) หรือค่าเฉลี่ย - ข้อผิดพลาด (แม่) ที่ใช้เป็นฟังก์ชันข้อผิดพลาดเพื่อลด (บวกกับข้อกำหนดการทำให้เป็นปกติ) ฉันสงสัยว่ามีสถานการณ์ที่การใช้สัมประสิทธิ์สหสัมพันธ์จะเหมาะสมกว่าหรือไม่ หากสถานการณ์ดังกล่าวมีอยู่แล้ว:

1. ค่าสัมประสิทธิ์สหสัมพันธ์ภายใต้สถานการณ์ใดเป็นตัวชี้วัดที่ดีกว่าเมื่อเทียบกับ MSE / MAE
2. ในสถานการณ์เหล่านี้ MSE / MAE ยังคงเป็นฟังก์ชั่นต้นทุนพร็อกซีที่ดีที่จะใช้หรือไม่?
3. สัมประสิทธิ์สหสัมพันธ์เป็นไปได้สูงสุดหรือไม่ นี่เป็นฟังก์ชั่นวัตถุประสงค์ที่มั่นคงที่จะใช้หรือไม่?

ฉันไม่พบกรณีที่มีการใช้สัมประสิทธิ์สหสัมพันธ์โดยตรงเป็นฟังก์ชันวัตถุประสงค์ในการปรับให้เหมาะสม ฉันจะขอบคุณถ้าคนสามารถชี้ให้ฉันข้อมูลในพื้นที่นี้

การเพิ่มความสัมพันธ์จะมีประโยชน์เมื่อเอาต์พุตมีเสียงดังมาก กล่าวอีกนัยหนึ่งความสัมพันธ์ระหว่างอินพุตและเอาต์พุตอ่อนแอมาก ในกรณีเช่นนี้การลด MSE ให้น้อยที่สุดจะทำให้เอาต์พุตใกล้เคียงกับศูนย์เพื่อให้ข้อผิดพลาดการคาดการณ์จะเหมือนกับความแปรปรวนของเอาต์พุตการฝึกอบรม

การใช้ความสัมพันธ์โดยตรงเป็นฟังก์ชันวัตถุประสงค์เป็นไปได้สำหรับวิธีการไล่ระดับสีแบบไล่ระดับ (เพียงเปลี่ยนเป็นการลดความสัมพันธ์ลบ) อย่างไรก็ตามฉันไม่ทราบวิธีเพิ่มประสิทธิภาพด้วยวิธีการของ SGD เพราะฟังก์ชันต้นทุนและการไล่ระดับสีเกี่ยวข้องกับผลลัพธ์ของตัวอย่างการฝึกอบรมทั้งหมด

อีกวิธีหนึ่งในการเพิ่มความสัมพันธ์ให้มากที่สุดคือการลด MSE ด้วยการจำกัดความแปรปรวนของเอาต์พุตให้เหมือนกับความแปรปรวนของผลลัพธ์การฝึกอบรม อย่างไรก็ตามข้อ จำกัด ยังเกี่ยวข้องกับเอาต์พุตทั้งหมดดังนั้นจึงไม่มีทาง (ในความคิดของฉัน) ที่จะใช้ประโยชน์จากเครื่องมือเพิ่มประสิทธิภาพ SGD

แก้ไข: ในกรณีที่ชั้นบนสุดของเครือข่ายประสาทเป็นชั้นเอาท์พุทเชิงเส้นเราสามารถลด MSE แล้วปรับน้ำหนักและอคติในชั้นเชิงเส้นเพื่อเพิ่มความสัมพันธ์ การปรับสามารถทำได้คล้ายกับ CCA ( https://en.wikipedia.org/wiki/Canonical_analysis )

เราใช้ความสัมพันธ์ของเพียร์สันในการวิจัยของเราและใช้งานได้ดี ในกรณีของเรามันค่อนข้างเสถียร เนื่องจากเป็นการแปลและการวัดค่าคงที่จึงมีประโยชน์เฉพาะเมื่อคุณต้องการทำนายรูปร่างไม่ใช่ค่าที่แม่นยำ ดังนั้นมันจะมีประโยชน์ถ้าคุณไม่รู้ว่าเป้าหมายของคุณอยู่ในพื้นที่แก้ปัญหาของโมเดลของคุณหรือไม่และคุณมีความสนใจในรูปร่างเท่านั้น ในทางตรงกันข้าม MSE จะลดระยะห่างเฉลี่ยระหว่างการทำนายและเป้าหมายดังนั้นจึงพยายามปรับให้พอดีกับข้อมูลให้มากที่สุด นี่อาจเป็นเหตุผลที่ MSE ใช้กันอย่างแพร่หลายมากขึ้นเพราะคุณมักจะสนใจในการทำนายค่าที่แม่นยำ หากคุณลด MSE ให้น้อยลงความสัมพันธ์ก็จะเพิ่มขึ้น