RMSE กับค่าสัมประสิทธิ์การตัดสินใจ

ฉันกำลังประเมินแบบจำลองทางกายภาพและต้องการทราบว่าหนึ่งในวิธีการใดที่ฉันควรใช้ที่นี่ (ระหว่าง RMSE และค่าสัมประสิทธิ์ของความมุ่งมั่น R2)

ปัญหาที่เกิดขึ้นจะเป็นดังนี้: ฉันมีฟังก์ชั่นที่ผลการคาดการณ์สำหรับค่าอินพุต x, ) ฉันยังมีการสังเกตที่เกิดขึ้นจริงสำหรับค่าที่ผมเรียกว่าY x$\overline{y_x}= f(x)$$y_x$

คำถามของฉันคือข้อดีและข้อเสียของ RMSE หรือคืออะไร ฉันเห็นว่ามีการใช้ทั้งสองอย่างในเอกสารสำหรับปัญหาที่ฉันกำลังทำอยู่$R^2$

ฉันใช้มันทั้งคู่และมีคะแนนให้ทำ

• Rmse มีประโยชน์เพราะอธิบายได้ง่าย ทุกคนรู้ว่ามันคืออะไร
• Rmse ไม่แสดงค่าที่สัมพันธ์กัน หากคุณต้องรู้ช่วงα < y x < βโดยเฉพาะ ถ้าα = 1 , β = 1,000ดังนั้น 0.2 จะคุ้มค่า หากα = 0 , β = 1ดูเหมือนว่าจะไม่ดีขึ้นอีกแล้ว$rmse=0.2$$\alpha <y_x< \beta$$\alpha=1, \beta=1000$$\alpha=0, \beta=1$
• สอดคล้องกับวิธีการก่อนหน้านี้ rmse เป็นวิธีที่ดีในการซ่อนความจริงที่ว่าคนที่คุณสำรวจหรือการวัดที่คุณทำส่วนใหญ่เหมือนกัน (ทุกคนให้คะแนนผลิตภัณฑ์ 3 ดาว) และผลลัพธ์ของคุณดูดีเพราะข้อมูลช่วยคุณได้ หากข้อมูลเป็นแบบสุ่มคุณจะพบว่าโมเดลของคุณโคจรรอบดาวพฤหัสบดี
• ใช้สัมประสิทธิ์ที่ปรับปรุงแล้วของการตัดสินใจมากกว่าปกติ$R^2$
• ค่าสัมประสิทธิ์ของการตัดสินใจยากที่จะอธิบาย แม้แต่คนจากสนามก็ต้องการคำแนะนำเชิงอรรถเช่น \ เชิงอรรถ {ค่าสัมประสิทธิ์การปรับที่กำหนดคือสัดส่วนของความแปรปรวนในชุดข้อมูลที่สามารถอธิบายได้โดยตัวแบบสถิติ ค่านี้แสดงให้เห็นว่าโมเดลในอนาคตสามารถทำนายผลลัพธ์ได้ดีเพียงใด สามารถรับ 0 เป็นค่าต่ำสุดและ 1 เป็นค่าสูงสุด}$R^2$
• ค่าสัมประสิทธิ์การตัดสินใจนั้นแม่นยำมากในการบอกว่าแบบจำลองของคุณอธิบายปรากฏการณ์ได้ดีเพียงใด ถ้าโดยไม่คำนึงถึงค่าy xโมเดลของคุณไม่ดี ฉันเชื่อว่าจุดตัดสำหรับโมเดลที่ดีเริ่มต้นที่ 0.6 และถ้าคุณมีบางอย่างประมาณ 0.7-0.8 โมเดลของคุณจะดีมาก$R^2=0.2$$y_x$
• ในการสรุปข้อมูลกล่าวว่าด้วยแบบจำลองของคุณคุณสามารถอธิบาย 70% ของสิ่งที่เกิดขึ้นในข้อมูลจริง ส่วนที่เหลือ 30% เป็นสิ่งที่คุณไม่รู้และไม่สามารถอธิบายได้ อาจเป็นเพราะมีปัจจัยที่ทำให้สับสนหรือคุณทำผิดพลาดในการสร้างแบบจำลอง$R^2=0.7$
• ในวิทยาการคอมพิวเตอร์เกือบทุกคนใช้ rmse สังคมศาสตร์ใช้บ่อยขึ้น$R^2$
• หากคุณไม่ต้องการปรับพารามิเตอร์ในโมเดลของคุณเพียงใช้ rmse อย่างไรก็ตามหากคุณต้องการใส่ลบหรือเปลี่ยนพารามิเตอร์ในขณะที่สร้างแบบจำลองคุณต้องใช้เพื่อแสดงว่าพารามิเตอร์เหล่านี้สามารถอธิบายข้อมูลได้ดีที่สุด$R^2$
• หากคุณจะใช้ให้ใช้รหัสในภาษา R มันมีห้องสมุดและคุณเพียงแค่ให้ข้อมูลเพื่อให้ได้ผลลัพธ์ทั้งหมด$R^2$

สำหรับนักวิทยาศาสตร์คอมพิวเตอร์ที่ต้องการมันเป็นเรื่องที่น่าตื่นเต้นที่ได้เขียนเกี่ยวกับสถิติ ขอแสดงความนับถือ

ไม่ว่าคุณจะให้ Errror แบบใดให้ลองพิจารณาเวกเตอร์ผลลัพธ์แบบเต็มของคุณในภาคผนวก ผู้ที่ต้องการเปรียบเทียบกับวิธีการของคุณ แต่ชอบการวัดข้อผิดพลาดอื่นสามารถรับค่าดังกล่าวจากตารางของคุณ

:$R^2$

• ไม่สะท้อนข้อผิดพลาดอย่างเป็นระบบ ลองนึกภาพคุณวัดเส้นผ่าศูนย์กลางแทนรัศมีของวัตถุทรงกลม คุณมีการประมาณค่าที่สูงเกินจริงที่คาดไว้ 100% แต่สามารถเข้าถึงค่าใกล้กับ 1$R^2$

• ไม่เห็นด้วยกับความคิดเห็นก่อนหน้าว่านั้นเข้าใจยาก ยิ่งค่ายิ่งสูงเท่าไหร่รูปแบบของคุณจะแม่นยำมากขึ้นเท่านั้น แต่อาจรวมถึงข้อผิดพลาดที่เป็นระบบด้วย$R^2$

• สามารถแสดงได้โดยสูตรที่เข้าใจง่ายซึ่งคุณสร้างอัตราส่วนของผลรวมของค่าคงที่กำลังสองและหารด้วยค่าเฉลี่ย:

$R^2 = 1 - {\frac{SS_E}{mean}} = 1 - \frac{\sum{(y_i - \overline{y_i}})^2}{\sum{(y_i - \overline{y}})^2}$

• ควรจะแสดงในรุ่นที่สูงขึ้นของ. ที่นี่ผู้ทำนายมากขึ้นจะลงโทษรูปแบบ คาดว่าจะแข็งแกร่งขึ้นเมื่อเทียบกับการบรรจุมากเกินไป$R^2_{adj.}$

:$RMSE$

• $RMSE$$RMSE$$R^2$

• $rel. RMSE$$rel. RMSE$

ตามที่คนอื่น ๆ กล่าวถึงตัวเลือกอาจขึ้นอยู่กับสาขาและสถานะของศิลปะ มีวิธีการที่ยอมรับอย่างมหาศาลในการเปรียบเทียบด้วยหรือไม่ ใช้การวัดแบบเดียวกับที่ทำและคุณสามารถเชื่อมโยงวิธีการของคุณโดยตรงกับประโยชน์ได้อย่างง่ายดายในการอภิปราย

ทั้งRoot-Mean-Square-Error (RMSE)และค่าสัมประสิทธิ์ของการตัดสินใจ ($R^2$)เสนอข้อมูลที่แตกต่าง แต่ครบถ้วนซึ่งควรได้รับการประเมินเมื่อประเมินแบบจำลองทางกายภาพของคุณ ไม่มี "ดีกว่า" แต่รายงานบางฉบับอาจมุ่งเน้นที่การวัดมากกว่าหนึ่งขึ้นอยู่กับแอปพลิเคชันนั้น ๆ

ฉันจะใช้คำแนะนำทั่วไปต่อไปนี้เพื่อทำความเข้าใจความแตกต่างระหว่างตัวชี้วัดทั้งสอง:

RMSEช่วยให้คุณมีความรู้สึกของวิธีการปิด (หรือไกล) ค่าคาดการณ์ของคุณจะมาจากข้อมูลจริงที่คุณกำลังพยายามที่จะเป็นนางแบบ สิ่งนี้มีประโยชน์ในแอปพลิเคชั่นที่หลากหลายซึ่งคุณต้องการเข้าใจความแม่นยำและความแม่นยำของการทำนายของแบบจำลอง (เช่นการสร้างแบบจำลองต้นไม้สูง)

ข้อดี

1. มันค่อนข้างง่ายต่อการเข้าใจและสื่อสารเนื่องจากค่าที่รายงานอยู่ในหน่วยเดียวกับตัวแปรตามที่กำลังทำตัวแบบ

จุดด้อย

1. มันมีความไวต่อข้อผิดพลาดขนาดใหญ่ (ลงโทษข้อผิดพลาดการทำนายขนาดใหญ่มากกว่าข้อผิดพลาดการทำนายขนาดเล็ก)

ค่าสัมประสิทธิ์การตัดสินใจ ($R^2$)มีประโยชน์เมื่อคุณพยายามเข้าใจว่าตัวแปรอิสระที่คุณเลือกอธิบายความแปรปรวนในตัวแปรตามของคุณได้ดีเพียงใด สิ่งนี้มีประโยชน์เมื่อคุณพยายามอธิบายว่าปัจจัยใดบ้างที่อาจทำให้เกิดกระบวนการที่น่าสนใจ (เช่นตัวแปรสภาพภูมิอากาศและสภาพดินที่เกี่ยวข้องกับความสูงของต้นไม้)

ข้อดี

1. ให้ความรู้สึกโดยรวมว่าตัวแปรที่คุณเลือกนั้นเหมาะสมกับข้อมูลอย่างไร

จุดด้อย

1. เมื่อมีการเพิ่มตัวแปรอิสระเข้ากับโมเดลของคุณ $R^2$เพิ่มขึ้น (ดูadj$R^2$หรือเกณฑ์ข้อมูลของ Akaikeเป็นทางเลือกที่เป็นไปได้)

แน่นอนข้างต้นจะขึ้นอยู่กับขนาดตัวอย่างและการออกแบบการสุ่มตัวอย่างและความเข้าใจทั่วไปที่ความสัมพันธ์ไม่ได้บ่งบอกถึงสาเหตุ

นอกจากนี้ยังมีแม่ข้อผิดพลาดค่าเฉลี่ยสัมบูรณ์ ไม่เหมือนกับ RMSE มันไม่ได้มีความไวต่อข้อผิดพลาดมากเกินไป จากสิ่งที่ฉันได้อ่านบางช่องชอบ RMSE และอื่น ๆ แม่ ฉันชอบที่จะใช้ทั้ง

ที่จริงแล้วสำหรับนักวิทยาศาสตร์ทางสถิติควรรู้แบบที่ดีที่สุดของแบบจำลองนั้น RMSE นั้นสำคัญมากสำหรับคนเหล่านั้นในการวิจัยที่แข็งแกร่งของเขาถ้า RMSE ใกล้เคียงกับศูนย์มาก

ค่าสัมประสิทธิ์การตัดสินใจดีสำหรับนักวิทยาศาสตร์คนอื่น ๆ เช่นการเกษตรและสาขาอื่น ๆ เป็นค่าระหว่าง 0 และ 1 หากเป็น 1 100% ของค่าจะตรงกับชุดข้อมูลที่สังเกตได้ ถ้าเป็น 0 แสดงว่าข้อมูลต่างกันโดยสิ้นเชิง Dr.SK.Khadar Babu, มหาวิทยาลัย VIT, Vellore, ทมิฬนาฑู, อินเดีย

หากมีการเพิ่มจำนวนลงในแต่ละองค์ประกอบของเวกเตอร์ตัวใดตัวหนึ่ง RMSE จะเปลี่ยนไป เหมือนกันถ้าองค์ประกอบทั้งหมดในหนึ่งหรือทั้งสองเวกเตอร์ถูกคูณด้วยจำนวน รหัส R ดังนี้

#RMSE vs pearson's correlation
one<-rnorm(100)
two<-one+rnorm(100)

rumis<-(two - one)^2
(RMSE<-sqrt(mean(rumis)))
cor(one,two)

oneA<-one+100

rumis<-(two - oneA)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneA,two)

oneB<-one*10
twoB<-two*10

rumis<-(twoB - oneB)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneB,twoB)
cor(oneB,twoB)^2

ในที่สุดความแตกต่างก็เป็นเพียงมาตรฐานในขณะที่ทั้งสองนำไปสู่การเลือกรุ่นเดียวกันเพราะ RMSE คูณจำนวนการสังเกตอยู่ในตัวเศษหรือ R กำลังสองและตัวส่วนหลังคงที่ในทุกรุ่น อื่น ๆ สำหรับ 10 รุ่นที่แตกต่างกัน)