คำถามติดแท็ก bias

CrossValidated มีหลายคำถามเกี่ยวกับเวลาและวิธีการที่จะใช้การแก้ไขเหตุการณ์อคติที่หายากโดยพระบาทสมเด็จพระเจ้าอยู่หัวและเซง (2001) ฉันกำลังมองหาสิ่งที่แตกต่าง: การสาธิตแบบจำลองขั้นต่ำที่มีอคติอยู่ โดยเฉพาะอย่างยิ่งราชาและเซงรัฐ "... ในเหตุการณ์ที่หายากข้อมูลอคติในความน่าจะเป็นความหมายอย่างมีนัยสำคัญกับขนาดตัวอย่างเป็นพันและอยู่ในทิศทางที่สามารถคาดการณ์ได้: ความน่าจะเป็นของเหตุการณ์โดยประมาณนั้นเล็กเกินไป" นี่คือความพยายามของฉันในการจำลองอคติดังกล่าวใน R: # FUNCTIONS do.one.sim = function(p){ N = length(p) # Draw fake data based on probabilities p y = rbinom(N, 1, p) # Extract the fitted probability. # If p is constant, glm does y ~ 1, the intercept-only model. …

19 r  logistic  simulation  bias  rare-events 

เมื่อถูกคำว่า "อคติ" ประกาศเกียรติคุณหมายถึง ?E [ θ^- θ ]E[θ^-θ]\mathbb{E}[\hat{\theta}-\theta] เหตุผลที่ฉันกำลังคิดเกี่ยวกับเรื่องนี้ในตอนนี้ก็เพราะฉันดูเหมือนจะจำ Jaynes ในข้อความทฤษฎีความน่าจะเป็นของเขาวิจารณ์การใช้คำว่า "อคติ" ที่ใช้ในการอธิบายสูตรนี้และแนะนำทางเลือกอื่น จากทฤษฎีความน่าจะเป็นของเจย์เนส, ส่วนที่ 17.2 "เครื่องมือประมาณค่าที่เป็นกลาง:" เหตุใดออร์โธดอกซ์จึงให้ความสำคัญกับความลำเอียงที่พูดเกินจริงเช่นนั้น เราสงสัยว่าเหตุผลหลักคือพวกเขาติดกับดักทางจิตของการสร้างของพวกเขาเอง เมื่อเราเรียกปริมาณ 'bias' ซึ่งทำให้ดูเหมือนสิ่งเลวทรามต่ำช้าซึ่งเราต้องกำจัดค่าใช้จ่ายทั้งหมด ถ้ามันถูกเรียกแทน 'องค์ประกอบของความผิดพลาด orthogonal กับความแปรปรวน' ตามที่แนะนำโดยรูปแบบของพีทาโกรัส (17.2) มันจะชัดเจนว่าการมีส่วนร่วมของทั้งสองข้อผิดพลาดนั้นอยู่ในระดับที่เท่าเทียมกัน มันเป็นความเขลาที่จะลดค่าใช้จ่ายในการเพิ่มอีกอันหนึ่ง นี่เป็นเพียงราคาเดียวที่จ่ายสำหรับการเลือกคำศัพท์ทางเทคนิคที่มีภาระทางอารมณ์ ออร์ทอดอกซ์ตกอยู่ในข้อผิดพลาดทางยุทธวิธีนี้อย่างต่อเนื่อง( ⟨ บีตา⟩ - α )(⟨β⟩-α)(\langle\beta\rangle-\alpha)

18 terminology  bias  history 

ฉันกำลังทำงานในโครงการการเรียนรู้ของเครื่องด้วยข้อมูลที่มีอคติอยู่แล้ว (มาก) โดยการเลือกข้อมูล สมมติว่าคุณมีกฎฮาร์ดโค้ด คุณจะสร้างรูปแบบการเรียนรู้ของเครื่องเพื่อแทนที่ได้อย่างไรเมื่อข้อมูลทั้งหมดที่สามารถใช้ได้คือข้อมูลที่ถูกกรองโดยกฎเหล่านั้นแล้วหรือไม่ เพื่อให้สิ่งต่าง ๆ ชัดเจนฉันเดาว่าตัวอย่างที่ดีที่สุดคือการประเมินความเสี่ยงสินเชื่อ : งานคือการกรองลูกค้าทั้งหมดที่มีแนวโน้มที่จะล้มเหลวในการชำระเงิน ทีนี้ข้อมูลเดียว (ที่มีป้ายกำกับ) ที่คุณมีมาจากไคลเอนต์ที่ได้รับการยอมรับโดยชุดของกฎเพราะหลังจากยอมรับคุณจะเห็นว่ามีคนจ่ายหรือไม่ (เห็นได้ชัด) คุณไม่รู้ว่าชุดของกฎนั้นดีแค่ไหนและจะมีผลต่อการกระจายจ่ายที่จ่ายไปยังไม่จ่าย นอกจากนี้คุณมีข้อมูลที่ไม่มีป้ายกำกับจากลูกค้าที่ถูกปฏิเสธอีกครั้งเนื่องจากชุดของกฎ ดังนั้นคุณจึงไม่ทราบว่าจะเกิดอะไรขึ้นกับลูกค้าเหล่านั้นหากได้รับการยอมรับ เช่นหนึ่งในกฎอาจเป็น: "ถ้าอายุของลูกค้า <18 ปีแล้วไม่ยอมรับ" ตัวจําแนกไม่มีวิธีเรียนรู้วิธีจัดการกับไคลเอ็นต์ที่ถูกกรองโดยกฎเหล่านี้ ลักษณนามควรจะเรียนรู้รูปแบบที่นี่ได้อย่างไร การเพิกเฉยปัญหานี้จะนำไปสู่รูปแบบการเปิดเผยข้อมูลที่ไม่เคยพบมาก่อน โดยพื้นฐานแล้วฉันต้องการประมาณค่าของ f (x) เมื่อ x อยู่นอก [a, b] ที่นี่

18 machine-learning  classification  data-mining  bias  extrapolation 

ฉันกำลังทุกข์ทรมานจากความมืดมน ฉันได้นำเสนอภาพต่อไปนี้เพื่อแสดงการแลกเปลี่ยนความเอนเอียงอคติในบริบทของการถดถอยเชิงเส้น: ฉันสามารถเห็นได้ว่าไม่มีทั้งสองรุ่นที่เหมาะสม - "ง่าย" ไม่เห็นคุณค่าความซับซ้อนของความสัมพันธ์ XY และ "ซับซ้อน" เป็นเพียง overfitting โดยทั่วไปเรียนรู้ข้อมูลการฝึกอบรมด้วยหัวใจ อย่างไรก็ตามฉันล้มเหลวอย่างสิ้นเชิงที่จะเห็นอคติและความแปรปรวนในภาพทั้งสองนี้ มีคนแสดงให้ฉันดูได้ไหม ป.ล. : คำตอบสำหรับคำอธิบายที่เข้าใจง่ายของการแลกเปลี่ยนความเอนเอียง? ไม่ได้ช่วยฉันฉันจะดีใจถ้ามีคนให้วิธีการที่แตกต่างจากภาพด้านบน

18 regression  variance  bias 

คุณสามารถให้ตัวอย่างของตัวประมาณค่า MLE ของค่าเฉลี่ยที่มีอคติได้หรือไม่? ฉันไม่ได้มองหาตัวอย่างที่ทำให้ตัวประมาณค่า MLE โดยทั่วไปละเมิดเงื่อนไขปกติ ตัวอย่างทั้งหมดที่ฉันเห็นบนอินเทอร์เน็ตอ้างอิงถึงความแปรปรวนและฉันไม่สามารถหาสิ่งที่เกี่ยวข้องกับค่าเฉลี่ยได้ แก้ไข @MichaelHardy ให้ตัวอย่างที่เราได้รับการประเมินความลำเอียงของค่าเฉลี่ยของการกระจายชุดโดยใช้ MLE ภายใต้รูปแบบที่เสนอบางอย่าง อย่างไรก็ตาม https://en.wikipedia.org/wiki/Uniform_distribution_(continuous)#Estimation_of_midpoint แสดงให้เห็นว่า MLE เป็นตัวประมาณค่าเฉลี่ยขั้นต่ำที่เท่าเทียมกันอย่างชัดเจนภายใต้รูปแบบที่เสนออื่น ณ จุดนี้มันยังไม่ชัดเจนสำหรับฉันสิ่งที่ความหมายของการประเมิน MLE เป็นจริงนั้นขึ้นอยู่กับรูปแบบการตั้งสมมติฐานซึ่งต่างจากการพูดว่าตัวประมาณค่าเฉลี่ยตัวอย่างซึ่งเป็นแบบจำลองที่เป็นกลาง ในตอนท้ายฉันสนใจที่จะประเมินบางสิ่งเกี่ยวกับประชากรและไม่สนใจการประมาณค่าพารามิเตอร์ของแบบจำลองที่ตั้งสมมติฐาน แก้ไข 2 ในฐานะที่เป็น @ChristophHanck แสดงให้เห็นรูปแบบที่มีข้อมูลเพิ่มเติมแนะนำอคติ แต่ไม่ได้จัดการเพื่อลด MSE เรายังมีผลลัพธ์เพิ่มเติม: http://www.maths.manchester.ac.uk/~peterf/CSI_ch4_part1.pdf (p61) http://www.cs.tut.fi/~hehu/SSP/lecture6.pdf (ภาพนิ่ง 2) http: / /www.stats.ox.ac.uk/~marchini/bs2a/lecture4_4up.pdf (สไลด์ 5) "ถ้าผู้ประเมินที่เป็นกลางที่มีประสิทธิภาพมากที่สุด ˆθ ของθมีอยู่ (เช่น ˆθ นั้นไม่เอนเอียงและความแปรปรวนเท่ากับ CRLB) ดังนั้นวิธีการประมาณค่าสูงสุดจะทำให้เกิดขึ้น" "ยิ่งไปกว่านั้นถ้ามีตัวประมาณประสิทธิภาพอยู่ก็คือตัวประมาณค่า ML" …

17 maximum-likelihood  mean  bias 

ฉันมีคำถามเกี่ยวกับการละเว้นความเอนเอียงของตัวแปรในการถดถอยโลจิสติกส์และเชิงเส้น สมมติว่าฉันตัดตัวแปรบางตัวออกจากตัวแบบการถดถอยเชิงเส้น แกล้งทำเป็นว่าตัวแปรที่ละเว้นนั้นไม่สัมพันธ์กับตัวแปรที่รวมอยู่ในแบบจำลองของฉัน ตัวแปรที่ละเว้นเหล่านั้นไม่ได้ให้ค่าสัมประสิทธิ์ในแบบจำลองของฉัน แต่ในการถดถอยโลจิสติกฉันเพิ่งรู้ว่านี่ไม่เป็นความจริง ตัวแปรที่ถูกละเว้นจะมีอคติกับค่าสัมประสิทธิ์ของตัวแปรที่รวมแม้ว่าตัวแปรที่ละเว้นจะไม่สัมพันธ์กับตัวแปรที่รวมอยู่ ฉันพบบทความในหัวข้อนี้ แต่ฉันไม่สามารถทำหัวหรือก้อยได้ นี่คือกระดาษและสไลด์ PowerPointบางอัน อคตินั้นดูเหมือนจะเป็นศูนย์เสมอ มีใครอธิบายได้บ้างว่ามันทำงานอย่างไร?

17 regression  logistic  least-squares  bias 

ฉันพยายามที่จะเข้าใจการแลกเปลี่ยนอคติความแปรปรวนความสัมพันธ์ระหว่างอคติของตัวประมาณและอคติของตัวแบบและความสัมพันธ์ระหว่างความแปรปรวนของตัวประมาณและความแปรปรวนของตัวแบบ ฉันมาถึงข้อสรุปเหล่านี้: เรามีแนวโน้มที่จะทำให้ข้อมูลมีค่ามากเกินไปเมื่อเราละเลยอคติของตัวประมาณนั่นคือเมื่อเราตั้งเป้าหมายที่จะลดอคติของแบบจำลองให้น้อยที่สุดโดยละเลยความแปรปรวนของแบบจำลอง (กล่าวอีกนัยหนึ่งคือเรามุ่งที่จะลดความแปรปรวนของ ความเอนเอียงของตัวประมาณเช่นกัน) ในทางกลับกันเรามีแนวโน้มที่จะลดข้อมูลเมื่อเราเพิกเฉยความแปรปรวนของตัวประมาณนั่นคือเมื่อเรามุ่งที่จะลดความแปรปรวนของตัวแบบที่ละเลยความเอนเอียงของแบบจำลอง (กล่าวอีกนัยหนึ่งคือเรามุ่งที่จะลดอคติของ ตัวประมาณโดยไม่พิจารณาความแปรปรวนของตัวประมาณด้วย) ข้อสรุปของฉันถูกต้องหรือไม่?

15 regression  variance  bias  bias-variance-tradeoff 

นี้อ้างอิงคำถาม Galit Shmueli กระดาษ"ที่จะอธิบายหรือทำนาย" โดยเฉพาะอย่างยิ่งในหัวข้อ 1.5 "การอธิบายและการทำนายต่างกัน" ศาสตราจารย์ Shmueli เขียน: ในการอธิบายแบบจำลองการมุ่งเน้นไปที่การลดอคติเพื่อให้ได้การแสดงที่ถูกต้องที่สุดของทฤษฎีพื้นฐาน นี่ทำให้ฉันงงทุกครั้งที่ฉันอ่านกระดาษ การลดอคติในการประมาณการให้ความหมายที่ถูกต้องที่สุดในการแสดงถึงทฤษฎีพื้นฐานได้อย่างไร? ฉันได้ดูการพูดคุยของศาสตราจารย์ Shmueli ที่นี่ด้วยซึ่งจัดส่งที่ JMP Discovery Summit 2017 และเธอกล่าวว่า: ... สิ่งต่าง ๆ ที่เหมือนกับนางแบบหดตัวตระการตาคุณจะไม่มีวันได้เห็น เนื่องจากรูปแบบเหล่านั้นโดยการออกแบบแนะนำความเอนเอียงเพื่อลดอคติ / ความแปรปรวนโดยรวม นั่นเป็นเหตุผลที่พวกเขาจะไม่อยู่ที่นั่นมันไม่มีเหตุผลใด ๆ ที่จะทำเช่นนั้น ทำไมคุณต้องทำให้แบบจำลองของคุณลำเอียงโดยมีจุดประสงค์ นี่ไม่ใช่คำถามของฉันที่ชัดเจนเพียงแค่ปรับการอ้างสิทธิ์ที่ฉันไม่เข้าใจ หากทฤษฏีมีพารามิเตอร์มากมายและเรามีข้อมูลไม่เพียงพอที่จะประมาณค่าเหล่านั้นข้อผิดพลาดในการประมาณจะถูกควบคุมโดยความแปรปรวน เหตุใดจึงไม่เหมาะสมที่จะใช้ขั้นตอนการประเมินแบบเอนเอียงเช่นการถดถอยสัน (ส่งผลให้การประเมินแบบเอนเอียงของความแปรปรวนต่ำกว่า) ในสถานการณ์นี้

15 predictive-models  inference  bias  unbiased-estimator  explanatory-models 

คำถาม มันขึ้นอยู่กับว่าต้นไม้จะตื้นหรือลึก? หรือเราจะพูดสิ่งนี้โดยไม่คำนึงถึงความลึก / ระดับของต้นไม้? ทำไมอคติต่ำและความแปรปรวนสูง โปรดอธิบายโดยสังหรณ์ใจและเชิงคณิตศาสตร์

15 machine-learning  variance  covariance  cart  bias 

สมมติฐานพื้นฐานของการใช้แบบจำลองการถดถอยสำหรับการอนุมานคือ "ตัวทำนายที่เกี่ยวข้องทั้งหมด" ได้รวมอยู่ในสมการทำนาย เหตุผลก็คือความล้มเหลวในการรวมปัจจัยที่สำคัญในโลกแห่งความจริงนำไปสู่ค่าสัมประสิทธิ์ความเอนเอียงและการอนุมานที่ไม่ถูกต้อง แต่ในการปฏิบัติงานวิจัยฉันไม่เคยเห็นใครเลยรวมทั้งสิ่งที่คล้ายคลึงกับ "ตัวทำนายที่เกี่ยวข้องทั้งหมด" ปรากฏการณ์หลายอย่างมีสาเหตุสำคัญมากมายและมันคงเป็นเรื่องยากมากที่จะรวมพวกเขาทั้งหมดเข้าด้วยกัน ตัวอย่างนอกข้อมือคือการสร้างแบบจำลองภาวะซึมเศร้าเป็นผลลัพธ์: ไม่มีใครสร้างอะไรที่ใกล้เคียงกับแบบจำลองซึ่งรวมถึง "ตัวแปรที่เกี่ยวข้องทั้งหมด": เช่นประวัติผู้ปกครองลักษณะบุคลิกภาพการสนับสนุนทางสังคมรายได้ปฏิสัมพันธ์ของพวกเขา ฯลฯ ฯลฯ ... ยิ่งไปกว่านั้นการติดตั้งแบบจำลองที่ซับซ้อนเช่นนี้จะนำไปสู่การประมาณค่าที่ไม่เสถียรสูงเว้นแต่ว่ามีตัวอย่างขนาดใหญ่ คำถามของฉันง่ายมาก: สมมติฐาน / คำแนะนำในการ "รวมตัวทำนายที่เกี่ยวข้องทั้งหมด" เป็นเพียงแค่สิ่งที่เรา "พูด" แต่ไม่เคยหมายความว่าจริงหรือ? ถ้าไม่เช่นนั้นทำไมเราจึงให้คำแนะนำในการสร้างแบบจำลองจริง? และนี่หมายความว่าสัมประสิทธิ์ส่วนใหญ่อาจทำให้เข้าใจผิด? (เช่นการศึกษาปัจจัยบุคลิกภาพและภาวะซึมเศร้าที่ใช้ตัวทำนายหลายตัวเท่านั้น) พูดอีกอย่างคือปัญหาใหญ่แค่ไหนสำหรับข้อสรุปของวิทยาศาสตร์ของเรา?

15 regression  assumptions  bias  predictor  confounding 

ฉันอ่านซ้ำแล้วซ้ำอีกว่าการตรวจสอบความถูกต้องแบบ "ปล่อยให้ออกมาหนึ่งครั้ง" นั้นมีความแปรปรวนสูงเนื่องจากการทับซ้อนขนาดใหญ่ของการฝึกอบรม อย่างไรก็ตามฉันไม่เข้าใจว่าทำไมจึงเป็นเช่นนั้น: ประสิทธิภาพการตรวจสอบข้ามไม่ควรมีเสถียรภาพมาก (ความแปรปรวนต่ำ) เพราะชุดการฝึกอบรมเกือบเหมือนกันหรือไม่ หรือฉันมีความเข้าใจผิดเกี่ยวกับแนวคิดเรื่อง "ความแปรปรวน" โดยสิ้นเชิง? ฉันยังไม่เข้าใจอย่างชัดเจนว่า LOO สามารถเป็นกลางได้อย่างไร แต่มีความแปรปรวนสูง หากการประมาณค่า LOO เท่ากับค่าตัวประมาณที่แท้จริงในความคาดหมาย - จะมีความแปรปรวนสูงได้อย่างไร หมายเหตุ: ฉันรู้ว่ามีคำถามที่คล้ายกันที่นี่: เหตุใดความแปรปรวนการตรวจสอบความถูกต้องแบบข้ามครั้งต่อวัน (LOOCV) เกี่ยวกับการประมาณค่าเฉลี่ยสำหรับข้อผิดพลาดสูง อย่างไรก็ตามคนที่ตอบว่าต่อมาในความเห็นว่าแม้ upvotes เขาได้ตระหนักว่าคำตอบของเขาผิด

15 variance  cross-validation  bias 

ฉันมักจะดิ้นรนเพื่อให้ได้แก่นแท้ที่แท้จริงของปัญหาพารามิเตอร์โดยบังเอิญ ฉันอ่านหลายครั้งว่าตัวประมาณค่าผลกระทบคงที่ของโมเดลข้อมูลแผงไม่เชิงเส้นสามารถลำเอียงอย่างรุนแรงเพราะปัญหาพารามิเตอร์ "ที่รู้จักกันดี" เมื่อฉันขอคำอธิบายที่ชัดเจนของปัญหานี้คำตอบทั่วไปคือ: สมมติว่าข้อมูลพาเนลมีบุคคล N คนในช่วงเวลา T ถ้า T ได้รับการแก้ไขเนื่องจาก N ที่เพิ่มขึ้นการประมาณค่าโควาเรียตจะกลายเป็นอคติ สิ่งนี้เกิดขึ้นเนื่องจากจำนวนของพารามิเตอร์รบกวนเพิ่มขึ้นอย่างรวดเร็วเมื่อ N เพิ่มขึ้น ฉันจะขอบคุณมาก คำอธิบายที่แม่นยำยิ่งขึ้น แต่ก็ยังง่าย (ถ้าเป็นไปได้) และ / หรือตัวอย่างที่เป็นรูปธรรมที่ฉันสามารถออกกำลังด้วย R หรือ Stata

15 nonlinear-regression  fixed-effects-model  bias 

ตามบทช่วยสอนนี้เกี่ยวกับการเรียนรู้อย่างลึกซึ้งการลดน้ำหนัก (การทำให้เป็นมาตรฐาน) มักจะไม่นำมาใช้กับเงื่อนไขของอคติขทำไม ความสำคัญ (สัญชาตญาณ) ที่อยู่เบื้องหลังคืออะไร?

15 machine-learning  neural-networks  bias  regularization 

ให้เป็นค่าประมาณโอกาสสูงสุดของพารามิเตอร์จริงของบางรุ่น ขณะที่จำนวนของจุดข้อมูลเพิ่มขึ้นข้อผิดพลาดมักจะลดลงเป็นO (1 / \ sqrt n) การใช้ความไม่เท่าเทียมกันของสามเหลี่ยมและคุณสมบัติของการคาดหวังเป็นไปได้ที่จะแสดงให้เห็นว่าอัตราความผิดพลาดนี้หมายความว่าทั้ง "อคติ" \ lVert \ mathbb E \ hat \ theta - \ theta ^ * \ rVertและ "เบี่ยงเบน" \ lVert \ mathbb E \ hat \ theta - \ hat \ theta \ rVertลดลงที่Oเดียวกัน(1 / \ sqrt {n})θ^θ^\hat\theta ‖ θ - θ …

14 variance  estimation  maximum-likelihood  bias 

เพื่อนเป็นตัวแทนของลูกค้าเกี่ยวกับการอุทธรณ์หลังจากการพิจารณาคดีทางอาญาซึ่งปรากฏว่าการคัดเลือกคณะลูกขุนมีความลำเอียงทางเชื้อชาติ คณะลูกขุนประกอบด้วย 30 คนในกลุ่มเชื้อชาติ 4 กลุ่ม การฟ้องร้องใช้ความท้าทายแบบไม่ต้องลงแรงเพื่อกำจัดคนเหล่านี้ 10 คนออกจากกลุ่ม จำนวนคนและจำนวนความท้าทายที่เกิดขึ้นจริงในแต่ละกลุ่มเชื้อชาติตามลำดับ: A: 10, 1 B: 10, 4 C: 6, 4 D: 4, 1 total: 30 in pool, 10 challenges จำเลยก็มาจากเชื้อชาติกลุ่มซีและผู้ที่ตกเป็นเหยื่อจากกลุ่มเชื้อชาติและ D เพื่อความกังวลเบื้องต้นไม่ว่าจะเป็นกลุ่ม C มีมากกว่าที่ท้าทายและกลุ่ม A และ D ภายใต้การท้าทาย ถูกต้องตามกฎหมาย (IIUC; IANAL) การป้องกันไม่จำเป็นต้องพิสูจน์ความลำเอียงทางเชื้อชาติ แต่เพียงเพื่อแสดงให้เห็นว่าข้อมูลดูเหมือนจะบ่งบอกถึงความลำเอียงซึ่งทำให้ภาระในการฟ้องร้องอธิบายความท้าทายที่ไม่ใช่เชื้อชาติ การวิเคราะห์ต่อไปนี้ถูกต้องในแนวทางของมันหรือไม่? (ฉันคิดว่าการคำนวณนั้นใช้ได้): มี nCr (30,10) = 30,045,015 ชุดที่แตกต่างกันของสมาชิกพูล …

14 probability  statistical-significance  references  bias  combinatorics