RMSE และ Mae สามารถมีค่าเหมือนกันได้หรือไม่?

ฉันกำลังใช้การตรวจสอบความถูกต้องข้ามและการคำนวณตัวชี้วัดข้อผิดพลาดเช่น RMSE $R^2$ , Mae, MSE ฯลฯ

cross-validation rms mae

ใช่. ทำไมจะไม่ล่ะ? Letจะเสมอและทำนายสำหรับจะเสมอ1ที่นั่นคุณมี

X

$X$

0

$0$

X

$X$

1

$1$

— เดวิด

ใช่ในทางทฤษฎี กรณีที่ง่ายที่สุดที่ฉันสามารถจินตนาการได้คือชุดข้อมูลที่ข้อผิดพลาดการทำนายทั้งหมด $\pm$ 1. RMSE และ Mae จะส่งกลับค่าที่เหมือนกันของ 1 ใครสามารถสร้างสถานการณ์อื่น ๆ ได้เช่นกัน แต่ดูเหมือนไม่มีใครน่าจะเป็นไปได้

แก้ไข: ขอบคุณ @DilipSarwate สำหรับการชี้ให้เห็น (เพิ่มเติมโดย @ user20160 ในคำตอบที่ยอดเยี่ยมของพวกเขา) ว่าผลลัพธ์นี้เป็นไปได้ถ้าหากค่าสัมบูรณ์ของข้อผิดพลาดการทำนายทั้งหมดเหมือนกัน ไม่มีอะไรพิเศษเกี่ยวกับคุณค่า $\pm$ 1 ในตัวอย่างของฉันในคำอื่น ๆ ; หมายเลขอื่นใดจะใช้ได้แทน 1

— mkt - Reinstate Monica
แหล่งที่มา

คุณช่วยยกตัวอย่างสถานการณ์สมมติอื่น ๆ ที่คุณจินตนาการได้หรือไม่? ฉันหมายถึงตัวอย่างนอกเหนือจากสเกลาร์หลายตัว (เมื่อค่าคงที่ทั้งหมดอยู่

\pm σ

$\pm \sigma$ แทน

\pm 1

$\pm 1$ ) จากตัวอย่างด้านบน

— Dilip Sarwate

@DilipSarwate ฉันกำลังไตร่ตรองสิ่งนี้เมื่อ user20160 เพิ่มคำตอบที่ดีกว่าซึ่งครอบคลุมในรายละเอียดมากกว่าที่ฉันสามารถทำได้

— mkt - Reinstate Monica

@mkt ขอบคุณสำหรับคำพูดที่ดี คำตอบของคุณถูกต้องและรัดกุม (+1)

— user20160

@DilipSarwate ขอบคุณสำหรับการป้อนข้อมูล

— mkt - Reinstate Monica

การตกแต่งเพิ่มเติมสำหรับคำตอบของคุณ: (i)

n

$n$ จะต้องมีอย่างสม่ำเสมอ (พูด

n = 2 k

$n=2k$ ) และ (ii) อย่างแน่นอน

k

$k$ ส่วนที่เหลือจะต้องมีค่า

+ σ

$+\sigma$ และแน่นอน

k

$k$ ส่วนที่เหลือจะต้องมีค่า

- σ

$-\sigma$ ซึ่งแน่นอนว่าเหลือทั้งหมดมีค่าสัมบูรณ์

σ

$\sigma$ ตามที่คุณระบุ แต่ (ii) รับรองว่าส่วนที่เหลือรวม

0

$0$ ตามที่พวกเขาต้อง ส่วนที่เหลือเป็นค่าเบี่ยงเบนจากค่าเฉลี่ยดังนั้นต้องรวมเป็นศูนย์

— Dilip Sarwate

ข้อผิดพลาดค่าเฉลี่ยสัมบูรณ์ (MAE) สามารถเท่ากับข้อผิดพลาดกำลังสองเฉลี่ย (MSE) หรือข้อผิดพลาดรากเฉลี่ยกำลังสอง (RMSE) ภายใต้เงื่อนไขบางประการซึ่งฉันจะแสดงด้านล่าง เงื่อนไขเหล่านี้ไม่น่าจะเกิดขึ้นในทางปฏิบัติ

รอบคัดเลือกโซน

ปล่อย $r_i = |y_i - \hat{y}_i|$ แสดงถึงค่าสัมบูรณ์ของส่วนที่เหลือสำหรับ $i$ จุดข้อมูล th และปล่อยให้ $r = [r_i, \dots, r_n]^T$ เป็นเวกเตอร์ที่มีค่าตกค้างสัมบูรณ์สำหรับทุกคน $n$ คะแนนในชุดข้อมูล ปล่อยให้ $\vec{1}$ แสดงว่า $n \times 1$ เวกเตอร์ของวัตถุ, แม่, MSE และ RMSE สามารถเขียนเป็น:

\begin{matrix} (1) & M A E = \frac{1}{n} {\vec{1}}^{T} r M S E = \frac{1}{n} r^{T} r R M S E = \sqrt{\frac{1}{n} r^{T} r} \end{matrix}

$MAE = \frac{1}{n} \vec{1}^T r \quad MSE = \frac{1}{n} r^T r \quad RMSE = \sqrt{\frac{1}{n} r^T r} \tag{1}$

MSE

การตั้งค่า MSE ให้เท่ากับ Mae และให้การจัดเรียงใหม่:

\begin{matrix} (2) & (r - \vec{1})^{T} r = 0 \end{matrix}

$(r - \vec{1})^T r = 0 \tag{2}$

MSE และ Mae มีค่าเท่ากันสำหรับชุดข้อมูลทั้งหมดที่ค่าคงที่สัมบูรณ์จะแก้สมการข้างต้น โซลูชันที่ชัดเจนสองประการคือ: $r = \vec{0}$ (ไม่มีข้อผิดพลาดเป็นศูนย์) และ $r = \vec{1}$ (ส่วนที่เหลือทั้งหมด $\pm 1$ mkt ดังที่ได้กล่าวไว้) แต่มีโซลูชั่นมากมายเหลือหลาย

เราสามารถตีความสมการ $(2)$ เรขาคณิตดังต่อไปนี้: LHS เป็นผลคูณของ $r-\vec{1}$ และ $r$ . ผลิตภัณฑ์ Zero dot หมายถึง orthogonality ดังนั้น MSE และ MAE จะเท่ากันถ้าการลบ 1 จากเศษตกค้างสัมบูรณ์แต่ละอันให้เวกเตอร์ที่มีมุมฉากกับค่าตกค้างสัมบูรณ์ดั้งเดิม

นอกจากนี้โดยการเติมสมการ $(2)$ สามารถเขียนใหม่เป็น:

\begin{matrix} (3) & (r - \frac{1}{2} \vec{1})^{T} (r - \frac{1}{2} \vec{1}) = \frac{n}{4} \end{matrix}

$\Big( r-\frac{1}{2} \vec{1} \Big)^T \Big( r-\frac{1}{2} \vec{1} \Big) = \frac{n}{4} \tag{3}$

สมการนี้อธิบายถึง $n$ - มิติทรงกลมมีศูนย์กลางที่ $[\frac{1}{2}, \dots, \frac{1}{2}]^T$ ด้วยรัศมี $\frac{1}{2} \sqrt{n}$ . MSE และ Mae มีค่าเท่ากันหากว่าค่าตกค้างสัมบูรณ์อยู่บนพื้นผิวของ hypersphere นี้

RMSE

การตั้งค่า RMSE ให้เท่ากับ Mae และให้การจัดเรียงใหม่:

\begin{matrix} (4) & r^{T} A r = 0 \end{matrix}

$r^T A r = 0 \tag{4}$

A = (n I - \vec{1} {\vec{1}}^{T})

$A = (n I - \vec{1} \vec{1}^T)$

ที่ไหน $I$ คือเมทริกซ์เอกลักษณ์ ชุดโซลูชันเป็นพื้นที่ว่างของ $A$ ; นั่นคือชุดของทั้งหมด $r$ ดังนั้น $A r = \vec{0}$ . เพื่อหาช่องว่างให้สังเกตว่า $A$ คือ $n \times n$ เมทริกซ์ที่มีองค์ประกอบแนวทแยงเท่ากับ $n-1$ และองค์ประกอบอื่น ๆ ทั้งหมดเท่ากับ $-1$ . คำสั่ง $A r = \vec{0}$ สอดคล้องกับระบบสมการ:

\begin{matrix} (5) & (n - 1) r_{i} - \sum_{j \neq i} r_{j} = 0 \forall i \end{matrix}

$(n-1) r_i - \sum_{j \ne i} r_j = 0 \quad \forall i \tag{5}$

หรือจัดเรียงสิ่งต่าง ๆ :

\begin{matrix} (6) & r_{i} = \frac{1}{n - 1} \sum_{j \neq i} r_{j} \forall i \end{matrix}

$r_i = \frac{1}{n-1}\sum_{j \ne i} r_j \quad \forall i \tag{6}$

นั่นคือทุกองค์ประกอบ $r_i$ ต้องเท่ากับค่าเฉลี่ยขององค์ประกอบอื่น ๆ วิธีเดียวที่จะสนองความต้องการนี้ได้ก็คือองค์ประกอบทั้งหมดจะต้องเท่าเทียมกัน (ผลลัพธ์นี้ยังสามารถได้รับโดยพิจารณาถึงองค์ประกอบของ $A$ ) ดังนั้นชุดโซลูชันประกอบด้วยเวกเตอร์ที่ไม่ใช่ค่าลบทั้งหมดที่มีรายการเหมือนกัน:

{r ∣ r = c \vec{1} \forall c \geq 0}

$\{r \mid r = c \vec{1} \enspace \forall c \ge 0\}$

ดังนั้น RMSE และ Mae จะเท่ากันถ้าค่าสัมบูรณ์ของส่วนที่เหลือเท่ากันสำหรับจุดข้อมูลทั้งหมด

— user20160
แหล่งที่มา

+1 ฉันรู้สึกจำเป็นที่จะต้องตรวจสอบว่า hypersphere นี้ส่วนใหญ่อยู่ในภูมิภาคที่ส่วนประกอบทั้งหมดของ

r

$r$ เป็นสิ่งที่ไม่เป็นลบซึ่งเป็นข้อกำหนดของสิ่งตกค้างสัมบูรณ์: ที่ทำให้ฉันเชื่อว่ามีวิธีแก้ปัญหามากมาย

— whuber

ที่จริงแล้วคำถามคือRMSEและ Mae สามารถเท่ากันได้หรือไม่และ MSE และ Mae สามารถเท่ากันได้หรือไม่ อาจเป็นคำตอบของ @ mkt (หรือรุ่นทั่วไปที่ฉันแนะนำในความคิดเห็น) เป็นคำตอบเดียวสำหรับคำถาม RMSE = MAE?

— Dilip Sarwate

@DilipSarwate ใช่รับรู้หลังจากโพสต์สิ่งนี้ว่าฉันได้ข้ามส่วน 'R' ฉันได้แก้ไขเพื่อรวม RMSE ตอนนี้ ฉันเชื่อว่ารุ่นที่คุณแนะนำนั้นเป็นคำตอบเดียวที่เป็นไปได้ในกรณีนี้

— user20160

@whuber นั่นเป็นจุดที่ดี ฉันจะพยายามแก้ไขในบางสิ่งเช่นนี้

— user20160

@Hiyam หากมีเพียง 1 ค่า RMSE ตามคำจำกัดความจะต้องเท่ากับ Mae เนื่องจากมีข้อผิดพลาดเพียง 1 การยกกำลังสองและการรูทจะส่งคืนค่าสัมบูรณ์ของข้อผิดพลาดดั้งเดิม

— mkt - Reinstate Monica