ค่า R-squared เหมาะสมสำหรับการเปรียบเทียบแบบจำลองหรือไม่?

ฉันพยายามระบุโมเดลที่ดีที่สุดเพื่อทำนายราคารถยนต์โดยใช้ราคาและคุณสมบัติที่มีอยู่ในเว็บไซต์โฆษณาที่จัดประเภทรถยนต์

สำหรับเรื่องนี้ฉันใช้โมเดลสองรุ่นจากห้องสมุด scikit-Learn และโมเดลโครงข่ายประสาทจาก pybrain และ neurolab วิธีที่ฉันใช้จนถึงตอนนี้คือการเรียกใช้ข้อมูลจำนวนคงที่ผ่านบางรุ่น (อัลกอริทึมการเรียนรู้ของเครื่อง) และเปรียบเทียบค่า$R^2$ที่คำนวณด้วยโมดูลตัวชี้วัดการเรียนรู้แบบ Scikit

1. คือ$R^2$วิธีการที่ดีเพื่อเปรียบเทียบประสิทธิภาพของรูปแบบที่แตกต่างกันหรือไม่?
2. แม้ว่าฉันจะได้ผลลัพธ์ที่น่าพอใจสำหรับแบบจำลองเช่น Elastic net และ Random forest ฉันได้รับค่าแย่มาก$R^2$สำหรับแบบจำลองโครงข่ายประสาทเทียมดังนั้น$R^2$เป็นวิธีที่เหมาะสมสำหรับการประเมินเครือข่ายประสาท (หรือวิธีที่ไม่ใช่เชิงเส้น)

ฉันคิดว่าส่วนสำคัญที่ต้องพิจารณาในการตอบคำถามของคุณคือ

ฉันพยายามระบุรุ่นที่ดีที่สุดเพื่อทำนายราคารถยนต์

เพราะคำสั่งนี้บอกเป็นนัยถึงสาเหตุคุณต้องการใช้โมเดล ตัวเลือกรูปแบบและการประเมินผลควรเป็นไปตามสิ่งที่คุณต้องการเพื่อให้บรรลุด้วยค่าติดตั้งของคุณ

ก่อนอื่นให้สรุปสิ่งที่ทำ$R^2$ : คำนวณมาตราส่วนตามฟังก์ชั่นการสูญเสียกำลังสองซึ่งฉันแน่ใจว่าคุณทราบแล้ว ที่เห็นนี้กำหนดที่เหลือสำหรับที่ i ของคุณสังเกตY ฉันและสอดคล้องกับค่าติดตั้งYฉัน โดยใช้สัญกรณ์สะดวกS S R : = Σ N ฉัน= 1อี2 ฉัน , S S T : = $e_i = y_i - \hat{y}_i$$y_i$$\hat{y}_i$$SSR := \sum_{i=1}^Ne_i^2$,R2ถูกกำหนดให้เป็นเพียงR2=1-SSR/SST$SST:=\sum_{i=1}^N(y_i - \bar{y})^2$$R^2$$R^2 = 1 - SSR/SST$

ประการที่สองให้เราดูว่าการใช้สำหรับการเลือกรุ่น / การประเมินผลหมายถึง$R^2$อะไร สมมติว่าเราเลือกจากชุดการทำนายที่สร้างขึ้นโดยใช้แบบจำลองM : M ∈ Mโดยที่Mคือชุดของแบบจำลองที่อยู่ในการพิจารณา (ในตัวอย่างของคุณการรวบรวมนี้จะมีเครือข่ายประสาทป่าสุ่มตาข่ายยืดหยุ่น ... ) ตั้งแต่S S Tจะยังคงอยู่อย่างต่อเนื่องในหมู่ทุกรุ่นถ้าการลดR 2คุณจะเลือกว่ารูปแบบที่ช่วยลดS S R คุณจะเลือก$\bar{Y}_M$$M:M \in \mathcal{M}$$\mathcal{M}$$SST$$R^2$$SSR$ที่ทำให้เกิดข้อผิดพลาดกำลังสองน้อยที่สุด!$M \in \mathcal{M}$

ประการที่สามให้เราพิจารณาว่าทำไม$R^2$หรือเท่าอาจจะน่าสนใจสำหรับการเลือกรูปแบบ ตามเนื้อผ้าการสูญเสียกำลังสอง ( L 2 norm) นั้นถูกใช้ด้วยเหตุผลสามประการ: (1) มันง่ายกว่าการคำนวณที่เบี่ยงเบนน้อยที่สุด (LAD, L 1 norm) เพราะไม่มีค่าสัมบูรณ์ปรากฏในการคำนวณ (2) มันลงโทษพอดี ค่าที่อยู่ไกลจากมูลค่าที่แท้จริงมากกว่า LAD (ในกำลังสองมากกว่าความรู้สึกสัมบูรณ์) และทำให้แน่ใจว่าเรามีค่าผิดปกติน้อยมาก (3) มันสมมาตร : - หรือประเมินราคารถยนต์ต่ำเกินไป ถือว่าเลวร้ายพอ ๆ กัน$SSR$ $L^2$$L^1$

$R^2$$L^p$$1 \leqslant p <2$$p=1$$L^p$$L^p$

โดยสรุปตัวเลือกรูปแบบ / การประเมินผลไม่สามารถพิจารณาได้อย่างอิสระจากจุดมุ่งหมายของโมเดล