คำถามติดแท็ก accuracy

นี่เป็นคำถามทั่วไปที่ถูกถามทางอ้อมหลายครั้ง แต่ไม่มีคำตอบที่เชื่อถือได้ มันจะเป็นการดีถ้ามีคำตอบโดยละเอียดสำหรับการอ้างอิง ความถูกต้องของสัดส่วนของการจำแนกประเภทที่ถูกต้องในหมู่ทุกประเภทที่สามารถทำได้ง่ายและมากวัด "ที่ใช้งานง่าย" แต่มันอาจจะเป็นตัวชี้วัดที่ดีสำหรับข้อมูลที่ไม่สมดุล ทำไมสัญชาตญาณของเราทำให้เราเข้าใจผิดที่นี่และมีปัญหาอื่นใดกับมาตรการนี้

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

แม้จะเห็นเงื่อนไขเหล่านี้แล้ว 502847894789 ครั้ง แต่ฉันก็ไม่สามารถจำความแตกต่างระหว่างความไวความจำเพาะความแม่นยำความแม่นยำและการเรียกคืนได้ มันเป็นแนวคิดที่เรียบง่าย แต่ชื่อฉันไม่ได้ใช้งานง่ายมากฉันเลยทำให้พวกเขาสับสนกัน วิธีที่ดีในการคิดเกี่ยวกับแนวคิดเหล่านี้คืออะไรเพื่อให้ชื่อเริ่มมีเหตุผล อีกวิธีหนึ่งทำไมชื่อเหล่านี้จึงถูกเลือกสำหรับแนวคิดเหล่านี้เมื่อเทียบกับชื่ออื่น ๆ

49 terminology  accuracy  sensitivity-specificity 

ฉันยังใหม่กับการขุดข้อมูลและฉันพยายามฝึกอบรมต้นไม้ตัดสินใจกับชุดข้อมูลที่ไม่สมดุลกันมาก อย่างไรก็ตามฉันมีปัญหากับความแม่นยำในการทำนายที่ไม่ดี ข้อมูลประกอบด้วยนักเรียนที่เรียนหลักสูตรและตัวแปรระดับคือสถานะของหลักสูตรที่มีสองค่า - ถอนตัวหรือปัจจุบัน อายุ เชื้อชาติ เพศ หลักสูตร ... สถานะของหลักสูตร ในชุดข้อมูลมีอินสแตนซ์อีกมากมายซึ่งเป็นปัจจุบันกว่าถอนออก การถอนอินสแตนซ์นั้นคิดเป็นเพียง 2% ของอินสแตนซ์ทั้งหมด ฉันต้องการสร้างแบบจำลองที่สามารถทำนายความน่าจะเป็นที่คน ๆ หนึ่งจะถอนตัวในอนาคต อย่างไรก็ตามเมื่อทำการทดสอบแบบจำลองกับข้อมูลการฝึกอบรมความแม่นยำของแบบจำลองนั้นแย่มาก ฉันมีปัญหาที่คล้ายกันกับต้นไม้การตัดสินใจที่ข้อมูลถูกครอบงำโดยหนึ่งหรือสองชั้น ฉันจะใช้วิธีใดในการแก้ปัญหานี้และสร้างลักษณนามที่แม่นยำยิ่งขึ้น

43 classification  cart  unbalanced-classes  accuracy 

ฉันได้รับความแม่นยำ 100% สำหรับแผนภูมิการตัดสินใจของฉัน ผมทำอะไรผิดหรือเปล่า? นี่คือรหัสของฉัน: import pandas as pd import json import numpy as np import sklearn import matplotlib.pyplot as plt data = np.loadtxt("/Users/Nadjla/Downloads/allInteractionsnum.csv", delimiter=',') x = data[0:14] y = data[-1] from sklearn.cross_validation import train_test_split x_train = x[0:2635] x_test = x[0:658] y_train = y[0:2635] y_test = y[0:658] from sklearn.tree import …

38 machine-learning  python  cart  accuracy 

เปอร์เซ็นต์ความผิดพลาด Mean แอบโซลูท ( MAPE ) เป็นความถูกต้องทั่วไปหรือมาตรการข้อผิดพลาดสำหรับชุดเวลาหรือการคาดการณ์อื่น ๆ MAPE=100n∑t=1n|At−Ft|At%,MAPE=100n∑t=1n|At−Ft|At%, \text{MAPE} = \frac{100}{n}\sum_{t=1}^n\frac{|A_t-F_t|}{A_t}\%, โดยที่คือจำนวนจริงและF t การคาดการณ์หรือการทำนายที่สอดคล้องกันAtAtA_tFtFtF_t MAPE คือเปอร์เซ็นต์ดังนั้นเราสามารถเปรียบเทียบระหว่างซีรีย์ได้อย่างง่ายดายและผู้คนสามารถเข้าใจและตีความเปอร์เซ็นต์ได้อย่างง่ายดาย อย่างไรก็ตามฉันได้ยินมาว่า MAPE มีข้อเสีย ฉันต้องการทำความเข้าใจข้อเสียเหล่านี้ให้ดีขึ้นเพื่อให้ฉันสามารถตัดสินใจได้อย่างชาญฉลาดว่าจะใช้ MAPE หรือทางเลือกอื่นเช่น MSE ( mse ), Mae ( mae ) หรือ MASE ( mase )

29 accuracy  mape 

สมมติว่าแบบจำลองมีความแม่นยำ 100% สำหรับข้อมูลการฝึกอบรม แต่ความแม่นยำ 70% สำหรับข้อมูลการทดสอบ อาร์กิวเมนต์ต่อไปนี้เป็นจริงเกี่ยวกับโมเดลนี้หรือไม่? เห็นได้ชัดว่านี่เป็นรุ่นที่ติดตั้งมากเกินไป ความแม่นยำในการทดสอบสามารถปรับปรุงได้โดยการลดการ overfitting แต่รุ่นนี้ยังคงเป็นรุ่นที่มีประโยชน์เนื่องจากมีความแม่นยำที่ยอมรับได้สำหรับข้อมูลการทดสอบ

25 model  accuracy  overfitting 

ฉันสับสนเกี่ยวกับความแตกต่างระหว่างคะแนน F1, คะแนนลูกเต๋าและ IoU (จุดตัดผ่านสหภาพ) ตอนนี้ฉันพบว่า F1 และลูกเต๋าหมายถึงสิ่งเดียวกัน (ใช่ไหม) และ IoU มีสูตรที่คล้ายกันมากกับอีกสองรายการ F1 / ลูกเต๋า: 2 TP2 TP+ FP+ Fยังไม่มีข้อความ2TP2TP+FP+Fยังไม่มีข้อความ\frac{2TP}{2TP+FP+FN} IoU / Jaccard: TPTP+ FP+ Fยังไม่มีข้อความTPTP+FP+Fยังไม่มีข้อความ\frac{TP}{TP+FP+FN} มีความแตกต่างในทางปฏิบัติหรือสิ่งอื่น ๆ ที่ควรค่าแก่การสังเกตยกเว้น F1 นั้นให้น้ำหนักจริงที่สูงกว่าหรือไม่ มีสถานการณ์ที่ฉันจะใช้ แต่ไม่ใช่อีกสถานการณ์หนึ่งหรือไม่?

24 terminology  accuracy  precision-recall 

Mean แน่นอนข้อผิดพลาดที่ปรับขนาด (MASE) เป็นตัวชี้วัดของความถูกต้องคาดการณ์ที่เสนอโดยซานโตสและ Hyndman (2006) MSE= MEMEฉันn - s a m p l e ,n a i v eMASE=MAEMAEผมn-saม.พีล.อี,naผมโวลต์อีMASE=\frac{MAE}{MAE_{in-sample, \, naive}} โดยที่คือข้อผิดพลาดแบบสัมบูรณ์ที่เกิดจากการคาดการณ์จริง ในขณะที่เป็นข้อผิดพลาดแบบสัมบูรณ์ที่เกิดจากการคาดการณ์ไร้เดียงสา (เช่นไม่มีการเปลี่ยนแปลงการคาดการณ์สำหรับอนุกรมเวลา ) ซึ่งคำนวณจากข้อมูลในตัวอย่างM E ฉันn - s มพีลิตรอี,MEMAEMAE I(1)MEฉันn - s a m p l e ,n a i v eMAEผมn-saม.พีล.อี,naผมโวลต์อีMAE_{in-sample, \, naive}ผม( 1 )ผม(1)I(1) (ตรวจสอบกระดาษKoehler …

22 time-series  forecasting  accuracy  mase 

ประการแรกเขาให้ความน่าจะเป็นของผลลัพธ์ ตัวอย่างเช่นการคาดการณ์ของเขาสำหรับการเลือกตั้งสหรัฐปัจจุบัน 82% คลินตันเทียบกับ 18% ทรัมป์ ตอนนี้ถึงแม้ว่าทรัมป์ชนะฉันจะรู้ได้อย่างไรว่าไม่ใช่แค่ 18% ของเวลาที่เขาควรจะชนะ ปัญหาอื่นคือความน่าจะเป็นของเขาเปลี่ยนไปตามกาลเวลา ดังนั้นในวันที่ 31 กรกฎาคมมันเกือบ 50-50 ระหว่างทรัมป์และคลินตัน คำถามของฉันคือเนื่องจากเขามีโอกาสที่แตกต่างกันทุกวันสำหรับเหตุการณ์ในอนาคตเดียวกันกับผลลัพธ์เดียวกันฉันจะวัดความแม่นยำของเขาในแต่ละวันได้อย่างไรว่าเขาจะทำนายตามข้อมูลที่มีอยู่ในวันนั้นหรือไม่

19 forecasting  prediction  validation  accuracy  scoring-rules 

สมมติว่าฉันใช้การตรวจสอบความถูกต้องข้ามแบบ K-fold ด้วย K = 10 เท่า จะมีเมทริกซ์ความสับสนหนึ่งครั้งสำหรับแต่ละครั้ง เมื่อรายงานผลลัพธ์ฉันควรคำนวณเมทริกซ์ความสับสนเฉลี่ยหรือเพียงแค่รวมเมทริกซ์ความสับสน

18 machine-learning  cross-validation  accuracy 

ฉันสร้างเส้นโค้ง ROC สำหรับระบบวินิจฉัย พื้นที่ใต้เส้นโค้งนั้นไม่ได้ประมาณค่าพารามิเตอร์เท่ากับ AUC = 0.89 เมื่อฉันพยายามคำนวณความถูกต้องที่การตั้งค่าขีด จำกัด ที่เหมาะสม (จุดที่ใกล้เคียงที่สุดกับจุด (0, 1)) ฉันได้รับความแม่นยำของระบบการวินิจฉัยที่ 0.8 ซึ่งน้อยกว่า AUC! เมื่อฉันตรวจสอบความถูกต้องที่การตั้งค่าขีด จำกัด อื่นซึ่งอยู่ไกลจากขีด จำกัด ที่เหมาะสมฉันได้ความแม่นยำเท่ากับ 0.92 เป็นไปได้หรือไม่ที่จะได้รับความถูกต้องของระบบการวินิจฉัยที่การตั้งค่าขีด จำกัด ที่ดีที่สุดที่ต่ำกว่าความแม่นยำที่ขีด จำกัด อื่นและต่ำกว่าพื้นที่ใต้เส้นโค้ง โปรดดูภาพที่แนบมา

16 roc  reliability  accuracy  auc 

ในระหว่างการฝึกตัวจําแนกไบนารีเครือข่ายประสาทอย่างง่ายฉันได้รับการสูญเสียสูงโดยใช้การข้ามเอนโทรปี แม้จะมีสิ่งนี้ค่าความถูกต้องของชุดการตรวจสอบจะค่อนข้างดี มันมีความหมายไหม? ไม่มีความสัมพันธ์ที่เข้มงวดระหว่างการสูญเสียและความถูกต้อง? ฉันมีในการฝึกอบรมและการตรวจสอบค่าเหล่านี้: 0.4011 - ACC: 0.8224 - val_loss: 0.4577 - val_acc: 0.7826 นี่เป็นความพยายามครั้งแรกของฉันที่จะใช้ NN และฉันเพิ่งเข้าหาการเรียนรู้ของเครื่องดังนั้นฉันจึงไม่สามารถประเมินผลลัพธ์เหล่านี้ได้อย่างเหมาะสม

15 neural-networks  accuracy 

ในหนังสือ "ชีวสถิติสำหรับหุ่น" ในหน้า 40 ฉันอ่าน: ข้อผิดพลาดมาตรฐาน (ตัวย่อ SE) เป็นวิธีหนึ่งในการระบุความแม่นยำในการประมาณการหรือการวัดของคุณ และ ช่วงความเชื่อมั่นเป็นอีกวิธีหนึ่งในการระบุความแม่นยำของการประมาณหรือการวัดบางสิ่ง แต่ไม่มีการเขียนอะไรเพื่อแสดงความแม่นยำของการวัด คำถาม:จะระบุได้อย่างไรว่าการวัดบางอย่างนั้นแม่นยำแค่ไหน? วิธีใดที่ใช้สำหรับสิ่งนั้น เพื่อไม่ให้สับสนกับความแม่นยำและความแม่นยำของการทดสอบ: https://en.wikipedia.org/wiki/Accuracy_and_precision#In_binary_classification

15 confidence-interval  standard-error  measurement-error  accuracy 

คะแนน F1 คือค่าเฉลี่ยฮาร์โมนิกของความแม่นยำและการเรียกคืน แกน y ของการเรียกคืนเป็นอัตราบวกจริง (ซึ่งก็เรียกคืนเช่นกัน) ดังนั้นตัวแยกประเภทบางครั้งสามารถเรียกคืนได้ต่ำ แต่ AUC สูงมากนั่นหมายความว่าอย่างไร อะไรคือความแตกต่างระหว่างคะแนน AUC และ F1

14 machine-learning  precision-recall  auc  accuracy 

ขอโทษถ้านี่เป็นคำถามที่ชัดเจนมาก แต่ฉันอ่านข้อความต่าง ๆ และดูเหมือนจะไม่พบคำยืนยันที่ดี ในกรณีของการจำแนกประเภทความถูกต้องของลักษณนาม= 1- ข้อผิดพลาดคืออะไร? ฉันได้รับความแม่นยำนั่นคือแต่คำถามของฉันคือความแม่นยำและอัตราความผิดพลาดในการทดสอบที่เกี่ยวข้อง TP+ Tยังไม่มีข้อความP+ NTP+Tยังไม่มีข้อความP+ยังไม่มีข้อความ\frac{TP+TN}{P+N}

14 classification  terminology  accuracy