สถิติและข้อมูลขนาดใหญ่

Adaboost เป็นวิธีการรวมกลุ่มที่รวมผู้เรียนที่อ่อนแอจำนวนมากเข้าด้วยกัน ตัวอย่างทั้งหมดของ adaboost ที่ฉันได้อ่านใช้ตอตัดสินใจ / ต้นไม้เป็นผู้เรียนที่อ่อนแอ ฉันสามารถใช้ผู้เรียนที่อ่อนแอต่างกันในอะดาโบสต์ ตัวอย่างเช่นวิธีการใช้ adaboost (โดยทั่วไปการส่งเสริม) เพื่อเพิ่มรูปแบบการถดถอยโลจิสติก? ความแตกต่างที่สำคัญอย่างหนึ่งของการจำแนกต้นไม้และการถดถอยโลจิสติกคือคลาสเอาต์พุตก่อนหน้า (-1,1) ในขณะที่เอาต์พุตการถดถอยโลจิสติกแสดงผล แนวคิดหนึ่งคือการเลือกฟีเจอร์ X ที่ดีที่สุดจากชุดของฟีเจอร์และรับขีด จำกัด (0.5?) เพื่อแปลงโพรบเป็นคลาสจากนั้นใช้การถดถอยโลจิสติกแบบถ่วงน้ำหนักเพื่อค้นหาฟีเจอร์ถัดไปเป็นต้น แต่ฉันคิดว่ามีอัลกอริทึมทั่วไปเพื่อเพิ่มผู้เรียนที่อ่อนแอแตกต่างกันไปกว่าการตัดสินใจผิดพลาด ฉันเชื่อว่า Logitboost เป็นคำตอบสำหรับคำถามของฉัน แต่ฉันพยายามอ่านบทความ "Additive Logistic Regression" และติดอยู่ตรงกลาง

11 logistic  adaboost 

ปิด คำถามนี้ต้องการรายละเอียดหรือความคมชัด ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ เพิ่มรายละเอียดและชี้แจงปัญหาโดยแก้ไขโพสต์นี้ ปิดให้บริการใน2 ปีที่ผ่านมา ฉันกำลังทำการบ้านที่อาจารย์ของฉันต้องการให้เราสร้างแบบจำลองการถดถอยที่แท้จริงจำลองตัวอย่างข้อมูลและเขาจะพยายามหารูปแบบการถดถอยที่แท้จริงของเราโดยใช้เทคนิคบางอย่างที่เราเรียนรู้ในชั้นเรียน เราก็ต้องทำเช่นเดียวกันกับชุดข้อมูลที่เขามอบให้เรา เขาบอกว่าเขาสามารถสร้างแบบจำลองที่แม่นยำสำหรับความพยายามในอดีตทั้งหมดเพื่อพยายามหลอกล่อเขา มีนักเรียนบางคนที่สร้างแบบจำลองบ้า ๆ บอ ๆ แต่เขาก็สามารถสร้างแบบจำลองที่เรียบง่ายขึ้นซึ่งก็เพียงพอแล้ว ฉันจะพัฒนารูปแบบที่ยุ่งยากให้เขาค้นหาได้อย่างไร ฉันไม่ต้องการที่จะถูกสุด ๆ ด้วยการทำ 4 เทอมกำลังสองการสังเกต 3 ครั้งและความแปรปรวนอันมหาศาล? ฉันจะสร้างชุดข้อมูลที่ไม่มีอันตรายซึ่งดูเหมือนว่าจะมีโมเดลเล็ก ๆ น้อย ๆ อยู่ข้างใต้ได้อย่างไร เขามีกฎ 3 ข้อที่ต้องปฏิบัติตาม: ชุดข้อมูลของคุณต้องมีตัวแปร "Y" หนึ่งตัวและตัวแปร 20 "X" ที่ระบุว่าเป็น "Y", "X1", ... , "X20" ตัวแปรตอบกลับของคุณต้องมาจากตัวแบบการถดถอยเชิงเส้นที่ตรงตาม: ที่และ21YYY ϵ ฉัน ∼ N ( 0 …

11 self-study  multiple-regression  estimation  linear-model 

สมมติว่าไฟล์ข้อมูลที่มี 80 ล้านไฟล์และเลขศูนย์ถูกสร้างแบบสุ่ม จากไฟล์นี้เราต้องการสร้างรายการจำนวนเต็มทศนิยมแบบสุ่ม นี่คือแผนที่จะทำการแปลงนี้ แบ่งตัวเลข 80 ล้านหลักเป็นกลุ่ม 4 หลัก แปลงเลขฐานสอง 4 หลักเป็นทศนิยม ยกเลิกค่าทศนิยมทั้งหมดที่มากกว่า 9 สิ่งนี้ควรส่งผลให้เกิดสตริงของจำนวนเต็มแบบสุ่มจาก 0-9 นี่คือความกังวล เลขฐานสอง 24 หลักที่ประกอบด้วยการจัดกลุ่ม 6 ตัวของเลขฐานสอง 4 หลักที่สอดคล้องกับค่า 10 ถึง 15 ประกอบด้วย 17 อันและ 7 ศูนย์เท่านั้น ความไม่สมดุลนี้จะส่งผลกระทบต่อการแจกแจงของเลขจำนวนเต็มคู่กับคี่หรือทำให้การสุ่มของสตริงสุดท้ายของเลขทศนิยมในทางใดทางหนึ่งหรือไม่? อัปเดต: จากคำตอบที่โพสต์ดูเหมือนว่าวิธีการที่ระบุข้างต้นเป็นเสียง ฉันเห็นด้วยกับข้อสรุปนั้น อย่างไรก็ตามฉันยังไม่เข้าใจว่าทำไมการลบมากกว่าสองเท่าของค่าศูนย์จากสตริงเลขฐานสองจึงไม่ทำให้ผลที่ออกมามีเลขคี่น้อยลง ฉันขอคำอธิบาย

11 monte-carlo  random-generation  randomness 

ฉันเคยเห็นบางจุดการใช้เรดอน - นิโคดีมาของการวัดความน่าจะเป็นหนึ่งโดยเทียบกับอีกประการหนึ่งที่โดดเด่นที่สุดใน Kullback-Leibler divergence ซึ่งเป็นอนุพันธ์ของการวัดความน่าจะเป็นของแบบจำลองสำหรับพารามิเตอร์โดยพลการเกี่ยวกับพารามิเตอร์จริง :θ 0θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} ที่ไหนเหล่านี้มีทั้งที่เป็นมาตรการในพื้นที่ของ datapoints เงื่อนไขเกี่ยวกับค่าพารามิเตอร์:theta)Pθ(D)=P(D|θ)Pθ(D)=P(D|θ)P_\theta(D)=P(D|\theta) การตีความของอนุพันธ์ Radon-Nikodym เช่นนี้ในการเบี่ยงเบน Kullback-Leibler คืออะไรหรือโดยทั่วไประหว่างความน่าจะเป็นสองมาตรการ?

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

คำถามนี้เป็นคำถามแรงบันดาลใจจากคำตอบ Martijn ของที่นี่ สมมติว่าเราเหมาะกับ GLM สำหรับหนึ่งพารามิเตอร์ตระกูลเช่นแบบทวินามหรือปัวซองและเป็นขั้นตอนที่น่าจะเป็นแบบเต็ม (ตรงข้ามกับ quasipoisson) จากนั้นความแปรปรวนเป็นฟังก์ชันของค่าเฉลี่ย ด้วยทวินาม:และ Poisson[X]var[X]=E[X]E[1−X]var[X]=E[X]E[1−X]\text{var}[X] = E[X]E[1-X]var[X]=E[X]var[X]=E[X]\text{var}[X] = E[X] ซึ่งแตกต่างจากการถดถอยเชิงเส้นเมื่อส่วนที่เหลือมีการแจกแจงปกติ, จำกัด การกระจายตัวอย่างที่แน่นอนของสัมประสิทธิ์เหล่านี้ไม่เป็นที่รู้จักมันเป็นชุดที่อาจซับซ้อนของผลลัพธ์และ covariates นอกจากนี้การใช้ประมาณการ GLM ของค่าเฉลี่ยที่นำมาใช้เป็นปลั๊กอินสำหรับประมาณการความแปรปรวนของผลที่ เช่นเดียวกับการถดถอยเชิงเส้นสัมประสิทธิ์มีการแจกแจงปกติแบบซีมโทติคและในการอนุมานตัวอย่าง จำกัด เราสามารถประมาณการกระจายตัวตัวอย่างด้วยเส้นโค้งปกติ คำถามของฉันคือ: เราได้อะไรจากการประมาณค่าการแจกแจงแบบ T กับการกระจายตัวตัวอย่างของสัมประสิทธิ์ในตัวอย่าง จำกัด หรือไม่? ในอีกด้านหนึ่งเรารู้ความแปรปรวน แต่เราไม่ทราบการกระจายที่แน่นอนดังนั้นการประมาณ T ดูเหมือนจะเป็นทางเลือกที่ผิดเมื่อตัวประมาณ bootstrap หรือ jackknife สามารถอธิบายความคลาดเคลื่อนเหล่านี้ได้อย่างเหมาะสม ในทางกลับกันบางทีความอนุรักษ์นิยมเล็กน้อยของการแจกแจงแบบทีเป็นที่นิยมในทางปฏิบัติ

11 regression  generalized-linear-model  inference  approximation  t-distribution 

เพื่อเป็นตัวอย่างลองสมมติว่าเรากำลังสร้างตัวประมาณอายุตามภาพของบุคคล ด้านล่างเรามีคนสองคนในชุดสูท แต่คนแรกอายุน้อยกว่าคนที่สองอย่างชัดเจน (ที่มา: tinytux.com ) มีคุณสมบัติมากมายที่บ่งบอกถึงสิ่งนี้เช่นโครงสร้างใบหน้า อย่างไรก็ตามคุณสมบัติที่บอกได้มากที่สุดคืออัตราส่วนของขนาดหัวต่อขนาดร่างกาย : (ที่มา: wikimedia.org ) สมมติว่าเราได้ฝึกการถดถอยของซีเอ็นเอ็นเพื่อทำนายอายุของบุคคล ในการทำนายอายุจำนวนมากที่ฉันได้ลองภาพข้างบนของเด็กดูเหมือนจะหลอกการคาดการณ์ในการคิดว่าเขาแก่กว่าเพราะเหมาะสมและน่าจะเป็นเพราะพวกเขาใช้ใบหน้าเป็นหลัก: ฉันสงสัยว่าสถาปัตยกรรมวานิลลาของซีเอ็นเอ็นจะมีอัตราส่วนที่ดีต่อร่างกายได้ดีแค่ไหน? เมื่อเปรียบเทียบกับ RCNN ระดับภูมิภาคซึ่งสามารถรับกล่องขอบเขตบนร่างกายและศีรษะวานิลลาซีเอ็นเอ็นจะทำงานแย่กว่านี้หรือไม่? ก่อนที่โลกจะแบนราบในวานิลลาซีเอ็นเอ็น (เช่นหลังจากการโน้มน้าวใจทั้งหมด) แต่ละเอาต์พุตมีเขตข้อมูลที่เปิดกว้างที่สอดคล้องกันซึ่งควรมีความรู้สึกของขนาด ฉันรู้ว่า RCNN ใช้ประโยชน์จากสิ่งนี้ได้เร็วขึ้นโดยการทำข้อเสนอกรอบขอบเขตในขั้นตอนนี้ดังนั้นตัวกรอง convolutional ก่อนหน้านี้จะทำการฝึกอบรมให้กับเครื่องชั่งทั้งหมดโดยอัตโนมัติ ดังนั้นฉันคิดว่า Vanilla CNN น่าจะสามารถอนุมานอัตราส่วนของหัวต่อขนาดลำตัวได้หรือไม่? ถูกต้องหรือไม่ ถ้าเป็นเช่นนั้นจะเป็นประโยชน์เพียงอย่างเดียวของการใช้กรอบ RCNN ที่เร็วขึ้นเพื่อใช้ประโยชน์จากความจริงที่ว่าอาจได้รับการฝึกฝนก่อนการตรวจจับคน

11 neural-networks  computer-vision 

ฉันกำลังดูสมุดบันทึกนี้และฉันรู้สึกสับสนกับคำสั่งนี้: เมื่อเราพูดถึงเรื่องปกติวิสัยสิ่งที่เราหมายถึงคือข้อมูลควรดูเหมือนการแจกแจงแบบปกติ สิ่งนี้มีความสำคัญเนื่องจากการทดสอบสถิติหลายอย่างขึ้นอยู่กับเรื่องนี้ (เช่นสถิติ t) ฉันไม่เข้าใจว่าทำไมสถิติแบบ T ต้องการข้อมูลเพื่อติดตามการแจกแจงแบบปกติ แท้จริงแล้ว Wikipedia พูดในสิ่งเดียวกัน: การแจกแจงแบบ t (หรือการแจกแจงแบบที) เป็นสมาชิกของตระกูลการแจกแจงความน่าจะเป็นแบบต่อเนื่องที่เกิดขึ้นเมื่อประมาณค่าเฉลี่ยของประชากรที่กระจายตัวแบบปกติ อย่างไรก็ตามฉันไม่เข้าใจว่าทำไมจึงจำเป็นต้องใช้สมมติฐานนี้ ไม่มีสิ่งใดในสูตรที่บ่งบอกว่าข้อมูลต้องเป็นไปตามการแจกแจงแบบปกติ: ฉันดูคำจำกัดความของมันเล็กน้อยแต่ฉันไม่เข้าใจว่าทำไมถึงมีความจำเป็น

11 mathematical-statistics  normal-distribution 

ในการตั้งค่าการถดถอยแบบไม่รวมตัวแปรเราพยายามทำแบบจำลอง y=Xβ+noisey=Xβ+noisey = X\beta +noise ที่เวกเตอร์ของการสังเกตและเมทริกซ์การออกแบบด้วยทำนาย การแก้ปัญหาคือ(Xy∈Rny∈Rny \in \mathbb{R}^nnnnX∈Rn×mX∈Rn×mX \in \mathbb{R}^{n \times m}mmmβ0=(XTX)−1Xyβ0=(XTX)−1Xy\beta_0 = (X^TX)^{-1}Xy ในการตั้งค่าการถดถอยหลายตัวแปรเราพยายามสร้างแบบจำลอง Y=Xβ+noiseY=Xβ+noiseY = X\beta +noise ที่เป็นเมทริกซ์ของการสังเกตและตัวแปรแฝงที่แตกต่างกันการแก้ปัญหาคือ(Xy∈Rn×py∈Rn×py \in \mathbb{R}^{n \times p}nnnpppβ0=(XTX)−1XYβ0=(XTX)−1XY\beta_0 = (X^TX)^{-1}XY คำถามของฉันเป็นอย่างไรที่แตกต่างจากการดำเนินการถดถอยเชิงเส้นที่แตกต่างกันอย่างไร ? ฉันอ่านที่นี่ว่าในกรณีหลังเราคำนึงถึงความสัมพันธ์ระหว่างตัวแปรตาม แต่ฉันไม่เห็นจากคณิตศาสตร์ppp

11 regression  multivariate-analysis  multivariate-regression 

ฉันมีการถดถอยสองอันของ Y และ X ระดับเดียวกันสามระดับโดยรวม n = 15 โดยที่ n = 5 ในแต่ละกลุ่มหรือระดับ X การถดถอยครั้งแรกถือว่า X เป็นหมวดหมู่โดยกำหนดตัวแปรตัวบ่งชี้ให้อยู่ในระดับ 2 และ 3 ที่มีระดับ หนึ่งเป็นข้อมูลอ้างอิง ตัวชี้วัด / หุ่นเป็นเช่น: X1 = 1 ถ้าระดับ = 2, 0 ถ้าอื่น ๆ X2 = 1 ถ้าระดับ = 3, 0 ถ้าอื่น ด้วยเหตุนี้โมเดลที่ติดตั้งของฉันจึงมีลักษณะดังนี้: y = b0 + b1 (x1) + …

11 regression  anova 

ฉันต้องการปรับปรุงความเข้าใจของฉันเกี่ยวกับเครือข่ายประสาทและผลประโยชน์ของพวกเขาเปรียบเทียบกับอัลกอริทึมการเรียนรู้ของเครื่องอื่น ๆ ความเข้าใจของฉันเป็นด้านล่างและคำถามของฉันคือ: คุณช่วยแก้ไขและเสริมความเข้าใจของฉันได้ไหม? :) ความเข้าใจของฉัน: (1) เครือข่ายประสาทเทียม = ฟังก์ชันที่ทำนายค่าเอาต์พุตจากค่าอินพุต ตามทฤษฎีบทการประมาณแบบสากล ( https://en.wikipedia.org/wiki/Universal_approximation_theorem ) คุณมักจะมีฟังก์ชั่นการทำนายใด ๆ (แม้ว่ามันจะทำงานได้ดี) โดยมีเซลล์ประสาทเพียงพอ (2) สิ่งนี้เป็นจริงสำหรับการถดถอยเชิงเส้นโดยใช้พหุนามของค่าอินพุตเป็นค่าอินพุตเพิ่มเติมเนื่องจากคุณสามารถประมาณ (เปรียบเทียบการขยายตัวของเทย์เลอร์) แต่ละฟังก์ชั่นได้ดีโดยใช้ชื่อพหุนาม (3) ซึ่งหมายความว่า (ในแง่ที่เกี่ยวกับผลลัพธ์ที่ดีที่สุดที่เป็นไปได้) วิธีการทั้งสองนั้นจะเทียบเท่ากัน (4) ดังนั้นความแตกต่างหลักของพวกเขาอยู่ที่วิธีการยืมตัวเองเพื่อการดำเนินการคำนวณที่ดีขึ้น กล่าวอีกนัยหนึ่งด้วยวิธีการใดที่คุณสามารถค้นหาได้โดยอิงตามตัวอย่างการฝึกอบรมให้ค่าที่ดีขึ้นเร็วขึ้นสำหรับพารามิเตอร์ที่กำหนดฟังก์ชันการทำนายในที่สุด ฉันยินดีต้อนรับความคิดความคิดเห็นและคำแนะนำเกี่ยวกับลิงก์หรือหนังสืออื่น ๆ เพื่อปรับปรุงความคิดของฉัน

11 regression  machine-learning 

นี่คือสิ่งที่ผมอ่านในหนังสือเอียน Goodfellow ของการเรียนรู้ลึก ในบริบทของเครือข่ายนิวรัล "การปรับค่าพารามิเตอร์ของพารามิเตอร์ L2 เป็นที่รู้กันทั่วไปว่าเป็นการลดน้ำหนักกลยุทธ์การทำให้เป็นมาตรฐานนี้ทำให้น้ำหนักใกล้เคียงกับแหล่งกำเนิด [... ] โดยทั่วไปเราสามารถทำให้ค่าพารามิเตอร์อยู่ใกล้กับจุดใด ๆ ในช่องว่าง "แต่มันเป็นเรื่องธรรมดามากที่จะทำให้พารามิเตอร์ของโมเดลเป็นศูนย์ (การเรียนรู้อย่างลึก Goodfellow และคณะ) ฉันแค่อยากรู้ ฉันเข้าใจว่าเพียงเพิ่มคำ normalizing ในฟังก์ชันต้นทุนของเราและด้วยการลดค่าใช้จ่ายทั้งหมดJJJเราสามารถส่งผลต่อพารามิเตอร์ของแบบจำลองให้มีขนาดเล็กลง: J(Θ,X,y)=L(Θ,X,y)+λ||w||22J(Θ,X,Y)=L(Θ,X,Y)+λ||W||22J(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) = L(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) + \lambda||\boldsymbol{w}||_{2}^{2} แต่เราจะใช้กลยุทธ์การทำให้เป็นมาตรฐานนี้ได้อย่างไรซึ่งจะนำพารามิเตอร์ไปสู่จุดใด ๆ (กล่าวว่าเราต้องการบรรทัดฐานมีแนวโน้มที่จะ 5)

11 machine-learning  neural-networks  deep-learning  regularization 

หากฉันมีตัวแปรสุ่มอิสระสองตัว X และ Y ความสัมพันธ์ระหว่าง X และ XY ของผลิตภัณฑ์คืออะไร ถ้าสิ่งนี้ไม่เป็นที่รู้จักฉันจะสนใจอย่างน้อยก็รู้ว่าเกิดอะไรขึ้นในกรณีที่เฉพาะเจาะจงของ X และ Y ที่เป็นเรื่องปกติโดยมีค่าเฉลี่ยเป็นศูนย์ถ้าแก้ได้ง่ายกว่า

11 correlation 

ฉันใช้ตัวกรองคาลมานในแบบมาตรฐานมาก ระบบจะแสดงโดยสมรัฐและสมการสังเกต{t}xt + 1= Fxเสื้อ+ vt + 1xเสื้อ+1=Fxเสื้อ+โวลต์เสื้อ+1x_{t+1}=Fx_{t}+v_{t+1}Yเสื้อ= Hxเสื้อ+ A zเสื้อ+ wเสื้อYเสื้อ=Hxเสื้อ+AZเสื้อ+Wเสื้อy_{t}=Hx_{t}+Az_{t}+w_{t} ตำราสอนว่าหลังจากใช้ตัวกรองคาลมานแล้วรับ "การคาดการณ์หนึ่งขั้นตอนล่วงหน้า" (หรือ "การประเมินที่กรองแล้ว") เราควรใช้พวกมันเพื่อคำนวณฟังก์ชันโอกาส:x^t | t - 1x^เสื้อ|เสื้อ-1\hat{x}_{t|t-1} ฉYเสื้อ| ผมt - 1, zเสื้อ( yเสื้อ| ผมt - 1, zเสื้อ) = det [ 2 π( HPt | t - 1H'+ R ) ]- 12ประสบการณ์{ - 12( yเสื้อ- ชx^t | …

11 likelihood  kalman-filter 

ฉันไม่ได้มีคำจำกัดความที่เป็นทางการของสเกลความแตกต่างขนาด แต่นี่คือสิ่งที่รู้เบื้องต้นเกี่ยวกับสถิติการเรียนรู้พูดเกี่ยวกับเรื่องนี้ในหน้า 217: มาตรฐานไม่น้อยกว่าค่าสัมประสิทธิ์สี่เหลี่ยม ... มีequivariant ขนาด : คูณโดยคงเพียงแค่นำไปสู่การปรับขนาดอย่างน้อยสี่เหลี่ยมประมาณการค่าสัมประสิทธิ์โดยปัจจัยของ CXjXjX_jccc1/c1/c1/c สำหรับความเรียบง่ายสมมติว่าโมเดลเชิงเส้นทั่วไปy=Xβ+ϵy=Xβ+ϵ\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilonโดยที่y∈RNy∈RN\mathbf{y} \in \mathbb{R}^N , XX\mathbf{X}คือเมทริกซ์N×(p+1)N×(p+1)N \times (p+1) (โดยที่p+1&lt;Np+1&lt;Np+1 < N ) พร้อมกับรายการทั้งหมดในRR\mathbb{R} , β∈Rp+1β∈Rp+1\boldsymbol\beta \in \mathbb{R}^{p+1}และϵϵ\boldsymbol\epsilonเป็นNNNเวกเตอร์มิติของตัวแปรสุ่มค่าจริงกับE[ϵ]=0N×1E[ϵ]=0N×1\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}1} จากการประมาณค่า OLS เรารู้ว่าถ้าXX\mathbf{X}มีอันดับเต็ม (คอลัมน์) β^X=(XTX)−1XTy.β^X=(XTX)−1XTy.\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.} สมมติว่าเราคูณคอลัมน์XX\mathbf{X} , พูดxkxk\mathbf{x}_kสำหรับk∈{1,2,…,p+1}k∈{1,2,…,p+1}k \in \{1, 2, \dots, p+1\}โดยคงc≠0c≠0c \neq …

11 least-squares  linear-model 

การทดสอบสมมติฐานจะคล้ายกับปัญหาการจำแนกประเภท ดังนั้นเราจึงมี 2 ป้ายกำกับที่เป็นไปได้สำหรับการสังเกต (เรื่อง) - ความผิดเทียบกับการไม่ผิด ปล่อยให้ผู้ที่ไม่มีความผิดเป็นสมมุติฐานว่าง หากเราดูปัญหาจากมุมมองการจัดหมวดหมู่เราจะฝึกอบรมลักษณนามซึ่งจะทำนายความน่าจะเป็นของเรื่องที่อยู่ในแต่ละชั้นเรียนทั้งสองได้รับข้อมูล จากนั้นเราจะเลือกคลาสที่มีความน่าจะเป็นสูงสุด ในกรณีนั้นความน่าจะเป็น 0.5 จะเป็นเกณฑ์ปกติ เราอาจแตกต่างกันไปตามเกณฑ์ในกรณีที่เรากำหนดค่าใช้จ่ายที่แตกต่างให้กับข้อผิดพลาดที่เป็นเท็จบวกกับลบ แต่ไม่ค่อยเราจะไปสุดโต่งเช่นการตั้งค่าเกณฑ์ที่ 0.05 คือกำหนดเรื่องให้กับ Class "ผิด" เฉพาะในกรณีที่น่าจะเป็น 0.95 หรือสูงกว่า แต่ถ้าฉันเข้าใจดี นี่คือสิ่งที่เรากำลังทำอยู่เป็นแบบฝึกหัดมาตรฐานเมื่อเรามองปัญหาเดียวกันกับปัญหาของการทดสอบสมมติฐาน ในกรณีหลังนี้เราจะไม่กำหนดป้ายกำกับ "ไม่ใช่ผู้กระทำผิด" - เทียบเท่ากับกำหนดป้ายกำกับ "ผู้กระทำผิด" - เฉพาะในกรณีที่ความเป็นไปได้ที่จะเป็น "ผู้กระทำผิด" น้อยกว่า 5% และบางทีนี่อาจสมเหตุสมผลถ้าเราต้องการหลีกเลี่ยงการลงโทษผู้บริสุทธิ์ แต่ทำไมกฎนี้ควรเหนือกว่าในโดเมนทั้งหมดและทุกกรณี การตัดสินใจว่าสมมติฐานใดที่จะนำมาใช้นั้นเทียบเท่ากับการกำหนดตัวประมาณความจริงที่ให้ไว้กับข้อมูล ในการประมาณค่าความน่าจะเป็นสูงสุดเรายอมรับสมมติฐานที่มีแนวโน้มที่จะได้รับข้อมูลมากขึ้น - ไม่จำเป็นว่าจะมีโอกาสมากกว่า ดูกราฟด้านล่าง: การใช้วิธีความเป็นไปได้สูงสุดเราจะสนับสนุนสมมติฐานทางเลือกในตัวอย่างนี้หากค่าของ Predictor สูงกว่า 3 เช่น 4 แม้ว่าความน่าจะเป็นที่ค่านี้จะได้รับมาจากสมมติฐานของ Null จะมีขนาดใหญ่กว่า …

11 probability  hypothesis-testing  classification  p-value