คำถามติดแท็ก scoring-rules

นี่เป็นคำถามทั่วไปที่ถูกถามทางอ้อมหลายครั้ง แต่ไม่มีคำตอบที่เชื่อถือได้ มันจะเป็นการดีถ้ามีคำตอบโดยละเอียดสำหรับการอ้างอิง ความถูกต้องของสัดส่วนของการจำแนกประเภทที่ถูกต้องในหมู่ทุกประเภทที่สามารถทำได้ง่ายและมากวัด "ที่ใช้งานง่าย" แต่มันอาจจะเป็นตัวชี้วัดที่ดีสำหรับข้อมูลที่ไม่สมดุล ทำไมสัญชาตญาณของเราทำให้เราเข้าใจผิดที่นี่และมีปัญหาอื่นใดกับมาตรการนี้

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

ฉันได้คิดมากเกี่ยวกับ "ปัญหาความไม่สมดุลในชั้นเรียน" ในการเรียนรู้ของเครื่องจักร / สถิติเมื่อเร็ว ๆ นี้และฉันรู้สึกลึกลงไปในความรู้สึกที่ฉันไม่เข้าใจว่าเกิดอะไรขึ้น ก่อนอื่นให้ฉันกำหนด (หรือพยายาม) กำหนดคำของฉัน: ปัญหาระดับความไม่สมดุลในเครื่อง / การเรียนรู้ทางสถิติคือการสังเกตว่าบางจำแนกไบนารี (*) ขั้นตอนวิธีการทำงานได้ไม่ดีเมื่อสัดส่วนของ 0 เรียน 1 ชั้นเรียนเป็นเบ้มาก ดังนั้นในข้างต้นตัวอย่างเช่นถ้ามีหนึ่งร้อย000ชั้นเรียนสำหรับทุกเดียว111ชั้นผมจะบอกว่าความไม่สมดุลของระดับคือ111ที่จะ100100100หรือ1%1%1\% % งบส่วนใหญ่ของปัญหาที่ฉันได้เห็นขาดสิ่งที่ฉันคิดว่าเป็นคุณสมบัติที่เพียงพอ (สิ่งที่รูปแบบการต่อสู้ปัญหาไม่สมดุลคือปัญหา) และนี่คือแหล่งที่มาของความสับสนของฉัน การสำรวจข้อความมาตรฐานในการเรียนรู้ของเครื่อง / สถิติกลับมีน้อย: องค์ประกอบของสถิติเอนและรู้เบื้องต้นเกี่ยวกับการเรียนรู้ทางสถิติไม่ได้มี "ชั้นไม่สมดุล" ในดัชนี การเรียนรู้ของเครื่องสำหรับ Predictive Data Analyticsยังไม่มี "คลาสที่ไม่สมดุล" ในดัชนี เมอร์ฟี่เครื่องเรียนรู้: การน่าจะเป็นมุมมองที่ ไม่มี "ระดับความไม่สมดุล * ในดัชนีอ้างอิงไปยังส่วนบนของ SVM ที่ผมพบว่าความคิดเห็นยั่วเย้าดังต่อไปนี้. มันเป็นเรื่องที่ควรค่าแก่การจดจำว่าปัญหาทั้งหมดเหล่านี้และการวิเคราะห์พฤติกรรมที่ได้รับการเสนอเพื่อแก้ไขปัญหาเหล่านี้เกิดขึ้นโดยพื้นฐานเพราะ SVM ไม่ได้สร้างแบบจำลองความไม่แน่นอนในการใช้ความน่าจะเป็นดังนั้นคะแนนเอาท์พุท ความคิดเห็นนี้ไม่พูดที่หลอกลวงกับสัญชาตญาณและประสบการณ์ของฉัน: ที่งานก่อนหน้าของฉันเราเป็นประจำจะพอดีกับการถดถอยโลจิสติกและการไล่ระดับสีได้แรงหนุนรุ่นต้นไม้ (เพื่อลดทวินามบันทึก-โอกาส) …

30 classification  predictive-models  unbalanced-classes  scoring-rules 

ฉันข้ามการตรวจสอบรูปแบบที่พยายามทำนายการนับ หากนี่เป็นปัญหาการจำแนกเลขฐานสองฉันจะคำนวณ AUC แบบพับได้และถ้านี่เป็นปัญหาการถดถอยฉันจะคำนวณ RMSE หรือ Mae แบบ out-of-fold สำหรับโมเดลปัวซงฉันสามารถใช้เมตริกข้อผิดพลาดใดในการประเมิน "ความถูกต้อง" ของการคาดการณ์ที่ไม่อยู่ในกลุ่มตัวอย่าง มีส่วนขยายของปัวซองของ AUC ที่ดูว่าการทำนายลำดับค่าที่แท้จริงดีเพียงใด ดูเหมือนว่าการแข่งขัน Kaggle จำนวนมากสำหรับการนับ (เช่นจำนวนคะแนนโหวตที่เป็นประโยชน์ที่รีวิวร้องเอ๋งจะได้รับหรือจำนวนวันที่ผู้ป่วยจะใช้จ่ายในโรงพยาบาล) ใช้ข้อผิดพลาดรากหมายถึงบันทึกกำลังสองหรือ RMLSE / แก้ไข: สิ่งหนึ่งที่ฉันได้ทำคือการคำนวณ deciles ของค่าที่คาดการณ์ไว้และจากนั้นดูที่การนับจริงโดย binned by decile ถ้า decile 1 อยู่ในระดับต่ำ decile 10 จะสูงและ decile ในระหว่างนั้นเพิ่มขึ้นอย่างเคร่งครัดฉันได้เรียกโมเดล "ดี" แต่ฉันประสบปัญหาในการหาจำนวนกระบวนการนี้และฉันเชื่อว่ามันดีกว่า เข้าใกล้ / แก้ไข 2: ฉันกำลังมองหาสูตรที่ใช้ค่าที่คาดการณ์และตามจริงและส่งกลับเมตริก "ข้อผิดพลาด" หรือ "ความแม่นยำ" บางส่วน แผนของฉันคือการคำนวณฟังก์ชั่นนี้เกี่ยวกับข้อมูลที่อยู่นอกกรอบในระหว่างการตรวจสอบความถูกต้องและจากนั้นใช้เพื่อเปรียบเทียบแบบจำลองที่หลากหลาย …

29 cross-validation  poisson-distribution  count-data  deviance  scoring-rules 

Merkle & Steyvers (2013) เขียน: อย่างเป็นทางการกำหนดกฎการให้คะแนนที่เหมาะสมให้จะคาดการณ์ความน่าจะเป็นของการทดลอง Bernoulliกับความสำเร็จที่แท้จริงน่าจะเป็นพีกฎการให้คะแนนตัวชี้วัดที่เหมาะสมที่มีค่าคาดว่าจะลดลงถ้าPฉฉfdddพีพีpฉ= pฉ=พีf = p ฉันเข้าใจว่าสิ่งนี้เป็นสิ่งที่ดีเพราะเราต้องการสนับสนุนนักพยากรณ์ให้สร้างการคาดการณ์ที่สะท้อนความเชื่อที่แท้จริงของพวกเขาอย่างซื่อสัตย์และไม่ต้องการให้พวกเขามีแรงจูงใจที่ผิดปกติให้ทำอย่างอื่น มีตัวอย่างของโลกแห่งความจริงที่ควรใช้กฎการให้คะแนนที่ไม่เหมาะสมหรือไม่? การอ้างอิง Merkle, EC, & Steyvers, M. (2013) การเลือกกฎการให้คะแนนที่เหมาะสมอย่างเคร่งครัด การวิเคราะห์การตัดสินใจ, 10 (4), 292-304

27 classification  forecasting  scoring-rules 

ฉันเพิ่งเสร็จสิ้นการแข่งขัน Kaggle ซึ่งใช้คะแนน roc auc ตามข้อกำหนดการแข่งขัน ก่อนหน้าโครงการนี้ปกติฉันใช้คะแนน f1 เป็นตัวชี้วัดเพื่อวัดประสิทธิภาพของแบบจำลอง ก้าวไปข้างหน้าฉันสงสัยว่าฉันควรเลือกระหว่างสองเมตริกเหล่านี้อย่างไร เมื่อใดควรใช้สิ่งไหนและข้อดีและข้อเสียของพวกเขาคืออะไร แต่ฉันอ่านบทความที่นี่อะไรคือความแตกต่างระหว่างคะแนน AUC และ F1 แต่มันไม่ได้บอกฉันว่าจะใช้เมื่อไหร่ ขอบคุณล่วงหน้าสำหรับความช่วยเหลือใด ๆ !

26 machine-learning  modeling  roc  scoring-rules 

ทรัพยากรส่วนใหญ่เกี่ยวกับกฎการให้คะแนนที่เหมาะสมพูดถึงจำนวนของกฎการให้คะแนนที่แตกต่างกันเช่นการสูญเสียบันทึกคะแนน Brier หรือการให้คะแนนทรงกลม อย่างไรก็ตามพวกเขามักไม่ค่อยให้คำแนะนำเกี่ยวกับความแตกต่างระหว่างพวกเขามากนัก (จัดแสดง A: Wikipedia ) การเลือกแบบจำลองที่เพิ่มคะแนนลอการิทึมให้สอดคล้องกับการเลือกแบบจำลองความน่าจะเป็นสูงสุดซึ่งดูเหมือนจะเป็นข้อโต้แย้งที่ดีสำหรับการใช้การให้คะแนนแบบลอการิทึม มีเหตุผลที่คล้ายกันสำหรับการให้คะแนน Brier หรือทรงกลมหรือกฎการให้คะแนนอื่น ๆ ? ทำไมบางคนถึงใช้หนึ่งในคะแนนมากกว่าลอการิทึม?

22 machine-learning  classification  model-selection  theory  scoring-rules 

ประการแรกเขาให้ความน่าจะเป็นของผลลัพธ์ ตัวอย่างเช่นการคาดการณ์ของเขาสำหรับการเลือกตั้งสหรัฐปัจจุบัน 82% คลินตันเทียบกับ 18% ทรัมป์ ตอนนี้ถึงแม้ว่าทรัมป์ชนะฉันจะรู้ได้อย่างไรว่าไม่ใช่แค่ 18% ของเวลาที่เขาควรจะชนะ ปัญหาอื่นคือความน่าจะเป็นของเขาเปลี่ยนไปตามกาลเวลา ดังนั้นในวันที่ 31 กรกฎาคมมันเกือบ 50-50 ระหว่างทรัมป์และคลินตัน คำถามของฉันคือเนื่องจากเขามีโอกาสที่แตกต่างกันทุกวันสำหรับเหตุการณ์ในอนาคตเดียวกันกับผลลัพธ์เดียวกันฉันจะวัดความแม่นยำของเขาในแต่ละวันได้อย่างไรว่าเขาจะทำนายตามข้อมูลที่มีอยู่ในวันนั้นหรือไม่

19 forecasting  prediction  validation  accuracy  scoring-rules 

กฎการให้คะแนนที่เหมาะสมคือกฎที่ขยายให้ใหญ่ที่สุดโดยโมเดล 'ของจริง' และไม่อนุญาตให้ 'ป้องกันความเสี่ยง' หรือเล่นเกมในระบบ (จงใจรายงานผลลัพธ์ที่แตกต่างกันเช่นความเชื่อที่แท้จริงของแบบจำลองเพื่อปรับปรุงคะแนน) คะแนน Brier นั้นถูกต้องความแม่นยำ (สัดส่วนจำแนกอย่างถูกต้อง) นั้นไม่เหมาะสมและมักท้อ บางครั้งฉันเห็นว่า AUC เรียกว่าเกณฑ์การให้คะแนนแบบกึ่งที่ทำให้ไม่แม่นยำอย่างสมบูรณ์ แต่มีความอ่อนไหวน้อยกว่ากฎที่เหมาะสม (ตัวอย่างเช่นที่นี่/stats//a/90705/53084 ) กฎการให้คะแนนแบบกึ่งถูกต้องหมายความว่าอย่างไร มันกำหนดไว้ที่ไหนสักแห่ง?

16 classification  references  roc  measurement-error  scoring-rules 

ฉันเพิ่งเรียนรู้เกี่ยวกับกฎการให้คะแนนที่เหมาะสมสำหรับตัวแยกประเภทความน่าจะเป็น หลายหัวข้อในเว็บไซต์นี้ได้ชี้ให้เห็นว่าความแม่นยำเป็นกฎการให้คะแนนที่ไม่เหมาะสมและไม่ควรใช้ในการประเมินคุณภาพของการทำนายที่สร้างขึ้นโดยตัวแบบความน่าจะเป็นเช่นการถดถอยโลจิสติก อย่างไรก็ตามเอกสารทางวิชาการที่ฉันได้อ่านค่อนข้างน้อยได้ให้การสูญเสียการจำแนกประเภทเป็นตัวอย่างของกฎการให้คะแนนที่เหมาะสม (ไม่เข้มงวด) ในการจำแนกประเภทไบนารี คำอธิบายที่ชัดเจนที่สุดที่ฉันพบได้ในบทความนี้ที่ด้านล่างของหน้า 7 เพื่อความเข้าใจที่ดีที่สุดของฉันการลดการสูญเสียการจำแนกประเภทให้น้อยที่สุดนั้นเทียบเท่ากับการเพิ่มความแม่นยำสูงสุดและสมการในกระดาษทำให้รู้สึกอย่างสังหรณ์ใจ ตัวอย่างเช่น: ใช้สัญกรณ์ของกระดาษถ้าความน่าจะเป็นตามเงื่อนไขที่แท้จริง (จากคุณสมบัติของเวกเตอร์x ) ของระดับความสนใจคือη = 0.7 การคาดการณ์ใด ๆq > 0.5 จะมีการสูญเสียที่คาดหวังR (η | q ) = 0.7 (0) + 0.3 (1) = 0.3 และq 0.5 ใด ๆจะมีการสูญเสียที่คาดหวัง 0.7 ฟังก์ชั่นการสูญเสียจึงจะลดลงที่q = η = 0.7 และเหมาะสมดังนั้น การวางนัยทั่วไปไปยังช่วงทั้งหมดของความน่าจะเป็นตามเงื่อนไขที่แท้จริงและการคาดการณ์ดูเหมือนจะตรงไปตรงมาเพียงพอจากที่นั่น≤≤\leq สมมติว่าการคำนวณและข้อความข้างต้นนั้นถูกต้องข้อเสียของขั้นต่ำที่ไม่ซ้ำกันและการคาดการณ์ทั้งหมดที่สูงกว่า 0.5 การแบ่งปันการสูญเสียขั้นต่ำที่เหมือนกันจะชัดเจน ฉันยังคงเห็นว่าไม่มีเหตุผลที่จะใช้ความแม่นยำมากกว่าทางเลือกแบบดั้งเดิมเช่นคะแนนบันทึกคะแนน Brier ฯลฯ …

13 probability  accuracy  scoring-rules 

ความเป็นมา:มีคำถาม / คำตอบที่ดีเกี่ยวกับวิธีการปรับเทียบแบบจำลองซึ่งทำนายความน่าจะเป็นของผลลัพธ์ที่เกิดขึ้น ตัวอย่างเช่น คะแนนหนาม , และการสลายตัวของมันเข้าไปในความละเอียดของความไม่แน่นอนและความน่าเชื่อถือ แผนการสอบเทียบและการถดถอยแบบไอโซโทนิก วิธีการเหล่านี้มักจะต้องใช้วิธีการ binning กับความน่าจะเป็นที่คาดการณ์ดังนั้นพฤติกรรมของผลลัพธ์ (0, 1) จะถูกทำให้ราบเรียบเหนือถังขยะโดยรับผลลัพธ์ที่เป็นค่าเฉลี่ย ปัญหา: อย่างไรก็ตามฉันไม่พบสิ่งใดที่แนะนำให้ฉันทราบเกี่ยวกับวิธีเลือกความกว้างของถังขยะ คำถาม:ฉันจะเลือกความกว้างของถังที่เหมาะสมได้อย่างไร ความพยายาม:มีความกว้างถังขยะทั่วไปสองแห่งที่ใช้งานอยู่: ความกว้างเท่ากัน binning เช่น 10 bins ละครอบคลุม 10% ของช่วงเวลา [0, 1] วิธี Binning ของ Tukey กล่าวถึงที่นี่ แต่ตัวเลือกเหล่านี้ของถังขยะจะเหมาะสมที่สุดหากมีใครสนใจที่จะค้นหาช่วงเวลาในความน่าจะเป็นที่คาดการณ์ซึ่งคาดการณ์ผิดมากที่สุด?

12 probability  predictive-models  binary-data  calibration  scoring-rules 

คำถามเมื่อวานนี้กำหนดความแม่นยำของแบบจำลองซึ่งประมาณความน่าจะเป็นของเหตุการณ์ทำให้ฉันสงสัยเกี่ยวกับการให้คะแนนความน่าจะเป็น หนามคะแนน เป็นตัวชี้วัดข้อผิดพลาดเฉลี่ยกำลังสอง การวัดประสิทธิภาพข้อผิดพลาดแบบอะนาล็อกหมายความว่าแบบอะนา มีชื่อด้วยใช่ไหม11ยังไม่มีข้อความΣi = 1ยังไม่มีข้อความ( p r e dฉันคทีฉันo nผม- r e fe r e n c eผม)21N∑i=1N(predictioni−referencei)2\frac{1}{N}\sum\limits _{i=1}^{N}(prediction_i - reference_i)^2 1ยังไม่มีข้อความΣi = 1ยังไม่มีข้อความ| predฉันคทีฉันo nผม- r e fe r e n c eผม|1N∑i=1N|predictioni−referencei|\frac{1}{N}\sum\limits _{i=1}^{N}|prediction_i - reference_i|

12 classification  error  validation  scoring-rules  brier-score 

ฉันกำลังสร้างโมเดลเหตุการณ์ที่มีสองผลลัพธ์คือ a และ b ฉันได้สร้างแบบจำลองซึ่งประมาณความน่าจะเป็นที่จะเกิดขึ้นหรือ a (เช่นแบบจำลองจะคำนวณว่าจะเกิดขึ้นโดยมีโอกาส 40% และ b จะเกิดขึ้นกับโอกาส 60%) ฉันมีบันทึกผลการทดลองเป็นจำนวนมากพร้อมการประมาณการจากแบบจำลอง ฉันต้องการวัดความแม่นยำของแบบจำลองที่ใช้ข้อมูลนี้ - เป็นไปได้และถ้าเป็นเช่นนั้น

12 predictive-models  scoring-rules 

ฉันเขียนโปรแกรมและทำการพัฒนาโดยอาศัยการทดสอบ หลังจากที่ฉันทำการเปลี่ยนแปลงรหัสของฉันฉันเรียกใช้การทดสอบของฉัน บางครั้งพวกเขาประสบความสำเร็จและบางครั้งพวกเขาก็ล้มเหลว ก่อนที่ฉันจะทำการทดสอบฉันจะเขียนตัวเลขจาก 0.01 ถึง 0.99 เพื่อให้แน่ใจว่าการทดสอบจะสำเร็จ ฉันต้องการทราบว่าฉันปรับปรุงในการทำนายว่าการทดสอบของฉันจะสำเร็จหรือล้มเหลว มันจะดีถ้าฉันสามารถติดตามว่าฉันดีกว่าที่ทำนายว่าการทดสอบจะประสบความสำเร็จในวันจันทร์หรือวันศุกร์ หากความสามารถในการทำนายความสำเร็จในการทดสอบมีความสัมพันธ์กับตัวชี้วัดอื่นที่ฉันติดตามฉันต้องการทราบ นั่นทำให้ฉันมีหน้าที่เลือกเมตริกที่ถูกต้อง ใน Superforcasting Philip Tetlock เสนอให้ใช้คะแนน Brierในการวัดว่าผู้เชี่ยวชาญสอบเทียบได้ดีเพียงใด ตัวชี้วัดที่ได้รับการเสนอชื่อในวรรณคดีก็คือกฎการให้คะแนนลอการิทึม นอกจากนี้ยังมีผู้สมัครอื่น ๆ ฉันจะตัดสินใจได้อย่างไรว่าจะใช้เมตริกใด มีการโต้เถียงกันหรือไม่ที่จะสนับสนุนกฎการให้คะแนนหนึ่งกฎเหนือกฎอื่น ๆ ?

10 forecasting  decision-theory  calibration  scoring-rules 

ตัวอย่าง: ฉันมีประโยคในรายละเอียดงาน: "วิศวกรอาวุโสของ Java ในสหราชอาณาจักร" ฉันต้องการที่จะใช้รูปแบบการเรียนรู้ที่ลึกที่จะคาดการณ์ว่ามันเป็น 2 ประเภทและEnglish IT jobsถ้าฉันใช้รูปแบบการจำแนกแบบดั้งเดิมมันสามารถทำนายได้เพียง 1 ฉลากที่มีsoftmaxฟังก์ชั่นที่ชั้นสุดท้าย ดังนั้นฉันสามารถใช้โครงข่ายประสาทเทียม 2 แบบในการทำนาย "ใช่" / "ไม่" กับทั้งสองหมวดหมู่ แต่ถ้าเรามีหมวดหมู่มากขึ้นมันก็แพงเกินไป ดังนั้นเราจึงมีรูปแบบการเรียนรู้หรือการเรียนรู้ด้วยเครื่องเพื่อคาดการณ์ 2 หมวดหมู่ขึ้นไปพร้อมกันหรือไม่ "แก้ไข": ด้วย 3 ป้ายกำกับโดยวิธีดั้งเดิมมันจะถูกเข้ารหัสโดย [1,0,0] แต่ในกรณีของฉันมันจะถูกเข้ารหัสโดย [1,1,0] หรือ [1,1,1] ตัวอย่าง: หากเรามี 3 ป้ายกำกับและประโยคอาจเหมาะกับป้ายกำกับเหล่านี้ทั้งหมด ดังนั้นถ้าผลลัพธ์จากฟังก์ชัน softmax คือ [0.45, 0.35, 0.2] เราควรแบ่งมันออกเป็น 3 label หรือ 2 label หรืออาจเป็นหนึ่ง? ปัญหาหลักเมื่อเราทำคือ: …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

วิธีการทั่วไปในการแก้ปัญหาการจำแนกประเภทคือการระบุคลาสของแบบจำลองผู้สมัครแล้วทำการเลือกรูปแบบโดยใช้ขั้นตอนบางอย่างเช่นการตรวจสอบความถูกต้องข้าม โดยปกติคนหนึ่งเลือกรุ่นที่มีความถูกต้องสูงสุดหรือบางฟังก์ชั่นที่เกี่ยวข้องที่ข้อมูลปัญหาถอดรหัสเฉพาะเช่น\FβFβ\text{F}_\beta สมมติว่าเป้าหมายสุดท้ายคือการสร้างลักษณนามที่แม่นยำ (ซึ่งคำจำกัดความความถูกต้องอีกครั้งขึ้นอยู่กับปัญหา) ในสถานการณ์ที่ดีกว่าในการเลือกรูปแบบโดยใช้กฎการให้คะแนนที่เหมาะสมเมื่อเทียบกับสิ่งที่ไม่เหมาะสมเช่นความแม่นยำ ฯลฯ นอกจากนี้เราจะไม่สนใจปัญหาของความซับซ้อนของแบบจำลองและสมมติว่าเราพิจารณาทุกโมเดลที่มีโอกาสเท่ากัน ก่อนหน้านี้ฉันจะบอกว่าไม่เคย การจำแนกเป็นปัญหาง่ายกว่าการถดถอย [1], [2] และเราสามารถหาขอบเขตที่แคบกว่าสำหรับอดีตได้มากกว่าในภายหลัง ( ) นอกจากนี้ยังมีกรณีเมื่อพยายามที่จะถูกต้องตรงกับความน่าจะได้ผลในการที่ไม่ถูกต้องขอบเขตการตัดสินใจหรืออิง อย่างไรก็ตามจากการสนทนาที่นี่และรูปแบบการลงคะแนนของชุมชนเกี่ยวกับปัญหาดังกล่าวฉันได้ตั้งคำถามกับมุมมองนี้* * * *∗* Devroye, Luc ทฤษฎีความน่าจะเป็นของการจดจำรูปแบบ ฉบับ 31. สปริงเกอร์, 1996. มาตรา 6.7 Kearns, Michael J. และ Robert E. Schapire การเรียนรู้ที่ไม่มีการแจกแจงอย่างมีประสิทธิภาพเกี่ยวกับแนวคิดความน่าจะเป็น รากฐานของวิทยาศาสตร์คอมพิวเตอร์, 1990. การดำเนินการ, การประชุมวิชาการประจำปีครั้งที่ 31 IEEE, 1990 ( ∗ )(∗)(*)ข้อความนี้อาจจะเลอะเทอะเล็กน้อย ฉันหมายถึงเฉพาะที่ได้รับข้อมูลฉลากของรูปแบบด้วยและดูเหมือนจะง่ายต่อการประเมินขอบเขตการตัดสินใจมากกว่าการประมาณความน่าจะเป็นแบบมีเงื่อนไขอย่างแม่นยำS= { (x1,Y1) , …

9 machine-learning  model-selection  error  scoring-rules