จะทำการลบกรณีที่ถูกตั้งค่าสถานะเป็นค่าผิดปกติโดยซอฟต์แวร์ทางสถิติเมื่อทำการถดถอยหลายครั้งหรือไม่?

ฉันทำการวิเคราะห์การถดถอยหลายครั้งและฉันไม่แน่ใจว่าควรลบค่าผิดปกติในข้อมูลของฉันหรือไม่ ข้อมูลที่ฉันกังวลปรากฏเป็น "แวดวง" ในกล่องสี่เหลี่ยมของ SPSS อย่างไรก็ตามไม่มีเครื่องหมายดอกจัน (ซึ่งทำให้ฉันคิดว่าพวกเขาไม่ใช่ 'แย่') กรณีที่ฉันกังวลจะปรากฏภายใต้ตาราง "การวินิจฉัย casewise" ในผลลัพธ์ - ดังนั้นฉันควรลบกรณีเหล่านี้หรือไม่

การตั้งค่าสถานะผิดปกติไม่ใช่การตัดสินใจ (หรือในกรณีใด ๆ ที่ไม่จำเป็นต้องเป็นหนึ่ง) ได้รับแบบจำลองทางสถิติค่าผิดปกติมีความแม่นยำนิยามวัตถุประสงค์: พวกเขามีข้อสังเกตที่ไม่ปฏิบัติตามรูปแบบของเสียงส่วนใหญ่ของข้อมูล การสังเกตดังกล่าวจะต้องแยกจากกันเมื่อเริ่มการวิเคราะห์ใด ๆ เพียงเพราะระยะห่างจากข้อมูลจำนวนมากทำให้มั่นใจได้ว่าพวกเขาจะออกแรงดึงที่ไม่สมสัดส่วนบนแบบจำลองหลายตัวแปรใด ๆ ที่เหมาะสมโดยความเป็นไปได้สูงสุด

มันเป็นเรื่องสำคัญที่จะต้องชี้ให้เห็นว่าตัวแปรที่หลากหลายนั้นไม่สามารถตรวจพบได้อย่างน่าเชื่อถือโดยใช้สิ่งตกค้างจากรูปสี่เหลี่ยมจัตุรัสที่น้อยที่สุด (หรือแบบจำลองอื่นใดที่ประมาณโดย ML หรือฟังก์ชันการสูญเสียแบบนูนอื่น ๆ ) เพียงแค่ใส่ค่าผิดปกติหลายตัวแปรสามารถตรวจพบได้อย่างน่าเชื่อถือโดยใช้ส่วนที่เหลือของพวกเขาจากรูปแบบการติดตั้งโดยใช้ขั้นตอนการประเมินที่ไม่ไวต่อการถูกอิทธิพลจากพวกเขา

ความเชื่อที่ว่าคนนอกจะจำเป็นต้องโดดเด่นในแบบคลาสสิกจัดอันดับที่ไหนสักแห่งกับคนอื่นยากที่จะหักล้างข้อมูลเชิงสถิติเช่นการตีความค่า p เป็นการวัดหลักฐานหรือการอนุมานจากประชากรจากตัวอย่างลำเอียง ยกเว้นบางทีว่าอันนี้อาจแก่กว่ามาก: เกาส์เองแนะนำให้ใช้ตัวประมาณที่แข็งแกร่งเช่นค่ามัธยฐานและค่าบ้า (แทนที่จะเป็นค่าเฉลี่ยคลาสสิกและค่าเบี่ยงเบนมาตรฐาน) เพื่อประมาณค่าพารามิเตอร์ของการแจกแจงแบบปกติจากการสังเกตที่มีเสียงดัง เท่าที่ได้รับปัจจัยความมั่นคงของคนบ้า (1)

เพื่อให้เป็นตัวอย่างภาพง่ายขึ้นอยู่กับข้อมูลจริงพิจารณาน่าอับอายข้อมูล CYG ดาว เส้นสีแดงที่นี่แสดงให้เห็นถึงรูปสี่เหลี่ยมจัตุรัสที่น้อยที่สุดเส้นสีฟ้าที่พอดีที่ได้รับโดยใช้ชุดการถดถอยเชิงเส้นที่มีประสิทธิภาพ ความพอดีที่นี่คือ FastLTS (2) fit ซึ่งเป็นทางเลือกแทน LS fit ที่สามารถใช้ในการตรวจจับค่าผิดปกติ (เพราะใช้ขั้นตอนการประมาณค่าที่ทำให้มั่นใจได้ว่าอิทธิพลของการสังเกตใด ๆ ที่มีต่อค่าสัมประสิทธิ์โดยประมาณ) รหัส R ที่จะทำซ้ำคือ:

library(robustbase)
data(starsCYG)
plot(starsCYG)
lm.stars <- lm(log.light ~ log.Te, data = starsCYG)
abline(lm.stars$coef,col="red",lwd=2)
lts.stars <- ltsReg(log.light ~ log.Te, data = starsCYG)
abline(lts.stars$coef,col="blue",lwd=2)

ที่น่าสนใจการสำรวจรอบด้านซ้ายทั้งสี่ด้านนั้นไม่ได้มีสิ่งตกค้างที่ใหญ่ที่สุดในส่วนของ LS fit และ QQ plot ของส่วนที่เหลือของ LS fit (หรือเครื่องมือวินิจฉัยใด ๆ ที่ได้มาจากพวกมันเช่นระยะห่างของ Cook หรือ dfbeta) ล้มเหลวในการแสดงว่ามีปัญหาใด ๆ นี่เป็นเรื่องปกติ: ไม่จำเป็นต้องมีค่าผิดปกติเกินสองตัว (ไม่คำนึงถึงขนาดตัวอย่าง) เพื่อดึงค่าประมาณ LS ในลักษณะที่ค่าผิดปกติจะไม่โดดเด่นในพล็อตที่เหลือ นี้เรียกว่าผลกำบังและเป็นเอกสารที่ดี บางทีสิ่งเดียวที่น่าทึ่งเกี่ยวกับชุดข้อมูล CYGstars ก็คือมันเป็นแบบ bivariate (ดังนั้นเราสามารถใช้การตรวจสอบด้วยตาเปล่าเพื่อยืนยันผลของการฟิตร่างกาย) และมีคำอธิบายที่ดีว่าทำไมการสังเกตทั้งสี่ทางซ้ายจึงผิดปกติ

นี่คือ btw ข้อยกเว้นมากกว่ากฎ: ยกเว้นในการศึกษานำร่องขนาดเล็กที่เกี่ยวข้องกับกลุ่มตัวอย่างขนาดเล็กและตัวแปรน้อยและที่บุคคลที่ทำการวิเคราะห์ทางสถิติมีส่วนร่วมในกระบวนการเก็บข้อมูลฉันไม่เคยพบกรณีที่ความเชื่อเดิมเกี่ยวกับ ตัวตนของผู้ผิดเป็นจริงจริง นี่คือวิธีที่เงียบสงบง่ายต่อการตรวจสอบ ไม่ว่าจะมีการระบุค่าผิดปกติโดยใช้อัลกอริธึมการตรวจหาค่าผิดปกติหรือความรู้สึกของลำไส้ของผู้วิจัยหรือไม่ค่าผิดปกตินั้นเกิดจากการสังเกตแบบนิยามที่มีค่าผิดปกติ (หรือ 'ดึง') มากกว่าค่าสัมประสิทธิ์ กล่าวอีกนัยหนึ่งค่าผิดปกติคือการสังเกตซึ่งการลบออกจากตัวอย่างควรส่งผลกระทบอย่างรุนแรงกับ LS

แม้ว่าฉันจะไม่เคยมีประสบการณ์นี้มาก่อน แต่ก็มีบางกรณีที่มีการบันทึกไว้อย่างดีในวรรณคดีซึ่งการสังเกตที่ทำเครื่องหมายเป็นค่าผิดปกติโดยอัลกอริทึมการตรวจจับค่าผิดปกตินั้นพบว่าเป็นข้อผิดพลาดขั้นต้น ไม่ว่าในกรณีใดก็ตามไม่รับประกันทางวิทยาศาสตร์และฉลาดพอที่จะลบค่าผิดปกติหากพวกเขาสามารถเข้าใจหรืออธิบายได้ ถ้าการสังเกตการณ์ขนาดเล็กนั้นถูกลบออกไปจากตัวหลักของข้อมูลที่มันสามารถดึงผลลัพธ์ของกระบวนการทางสถิติได้ด้วยตัวมันเองก็เป็นเรื่องที่ฉลาด (และฉันอาจเพิ่มความเป็นธรรมชาติ) เพื่อแยกมันออกจากกันโดยไม่คำนึงว่า ไม่ใช่จุดข้อมูลเหล่านี้ที่จะต้องสงสัยในบริเวณอื่น

(1): ดู Stephen M. Stigler, ประวัติความเป็นมาของสถิติ: การวัดความไม่แน่นอนก่อนปี 1900

(2): การคำนวณการถดถอย LTS สำหรับชุดข้อมูลขนาดใหญ่ (2006) PJ Rousseeuw, K. van Driessen

(3): วิธีวิเคราะห์หลายตัวแปรที่มีความทนทานสูง (2008) Hubert M. , Rousseeuw PJ และ Van Aelst S. ที่มา: นักสถิติ วิทย์ เล่มที่ 23, 92-119

โดยทั่วไปฉันระมัดระวังในการลบ "ค่าผิดปกติ" การวิเคราะห์การถดถอยสามารถนำไปใช้ได้อย่างถูกต้องในการปรากฏตัวของข้อผิดพลาดที่ไม่ปกติกระจายข้อผิดพลาดที่แสดง heteroskedasticity หรือค่าของตัวทำนาย / ตัวแปรอิสระที่เป็น "ไกล" จากส่วนที่เหลือ ปัญหาที่แท้จริงของผู้ผิดคือพวกเขาไม่ทำตามตัวแบบเชิงเส้นที่จุดข้อมูลอื่น ๆ คุณจะรู้ได้อย่างไรว่านี่เป็นกรณี? คุณทำไม่ได้

หากมีสิ่งใดคุณไม่ต้องการค้นหาค่าของตัวแปรที่เป็นค่าผิดปกติ แต่คุณต้องการค้นหาค่าของเงินคงเหลือที่เป็นค่าผิดปกติแทน ดูจุดข้อมูลเหล่านี้ ตัวแปรของพวกเขาถูกบันทึกอย่างถูกต้องหรือไม่? มีเหตุผลใดที่พวกเขาจะไม่ปฏิบัติตามรูปแบบเดียวกันกับข้อมูลส่วนที่เหลือของคุณหรือไม่

แน่นอนเหตุผลที่การสังเกตเหล่านี้อาจปรากฏเป็นค่าผิดปกติ (ตามการวินิจฉัยส่วนที่เหลือ) อาจเป็นเพราะโมเดลของคุณผิด ฉันมีศาสตราจารย์คนหนึ่งที่ชอบพูดว่าถ้าเราทิ้งคนนอกเรายังเชื่อว่าดาวเคราะห์หมุนรอบดวงอาทิตย์ในวงกลมที่สมบูรณ์แบบ เคปเลอร์อาจโยนดาวอังคารออกไปและเรื่องราววงโคจรทรงกลมก็ดูดีทีเดียว ดาวอังคารให้ข้อมูลเชิงลึกที่สำคัญว่าแบบจำลองนี้ไม่ถูกต้องและเขาจะพลาดผลลัพธ์นี้หากเขาไม่สนใจดาวเคราะห์ดวงนั้น

คุณพูดถึงว่าการลบค่าผิดปกตินั้นจะไม่เปลี่ยนแปลงผลลัพธ์ของคุณอย่างมาก อาจเป็นเพราะคุณมีจำนวนการสังเกตที่น้อยมากที่คุณลบออกเมื่อเทียบกับตัวอย่างของคุณหรือมีความสอดคล้องกับแบบจำลองของคุณอย่างสมเหตุสมผล สิ่งนี้อาจชี้ให้เห็นว่าในขณะที่ตัวแปรเองอาจดูแตกต่างจากส่วนที่เหลือ แต่ส่วนที่เหลือจะไม่โดดเด่น ฉันจะปล่อยให้พวกเขาเข้าและไม่พยายามที่จะปรับการตัดสินใจของฉันที่จะลบบางจุดให้กับนักวิจารณ์ของฉัน

+1 ถึง @Charlie และ @PeterFlom; คุณได้รับข้อมูลที่ดีที่นั่น บางทีฉันสามารถมีส่วนร่วมเล็ก ๆ ที่นี่โดยการท้าทายหลักฐานของคำถาม Boxplotจะมัก (ซอฟต์แวร์สามารถแตกต่างกันและผมไม่ทราบว่าสิ่งที่จะทำ SPSS) จุดฉลากมากกว่า 1.5 เท่า Inter-Quartile ช่วงดังกล่าวข้างต้น (ด้านล่าง) ที่สาม (ตอนแรก) ควอไทล์เป็น 'ผิดปกติ' อย่างไรก็ตามเราสามารถถามความถี่ที่เราควรคาดหวังว่าจะพบจุดดังกล่าวอย่างน้อยหนึ่งจุดเมื่อเรารู้ว่าทุกจุดมาจากการกระจายแบบเดียวกัน การจำลองอย่างง่ายสามารถช่วยเราตอบคำถามนี้:

set.seed(999)                                     # this makes the sim reproducable

outVector = vector(length=10000)                  # to store the results
N = 100                                           # amount of data per sample

for(i in 1:10000){                                # repeating 10k times
  X = rnorm(N)                                    # draw normal sample
  bp = boxplot(X, plot=FALSE)                     # make boxplot
  outVector[i] = ifelse(length(bp$out)!=0, 1, 0)  # if there are 'outliers', 1, else 0
}

mean(outVector)                                   # the % of cases w/ >0 'outliers'
[1] 0.5209

สิ่งนี้แสดงให้เห็นว่าคะแนนดังกล่าวสามารถเกิดขึ้นได้ตามปกติ (> 50% ของเวลา) พร้อมตัวอย่างขนาด 100 แม้ว่าจะไม่มีอะไรผิดปกติก็ตาม ตามประโยคสุดท้ายที่บอกไว้ความน่าจะเป็นในการค้นหา 'ค่าผิดเพี้ยน' ผ่านกลยุทธ์ boxplot จะขึ้นอยู่กับขนาดตัวอย่าง:

   N    probability
  10    [1] 0.2030
  50    [1] 0.3639
 100    [1] 0.5209
 500    [1] 0.9526
1000    [1] 0.9974

มีกลยุทธ์อื่น ๆ สำหรับการระบุค่าผิดปกติโดยอัตโนมัติ แต่บางครั้งวิธีดังกล่าวจะทำให้คะแนนที่ถูกต้องเป็น 'ผิดพลาด' และบางครั้งอาจระบุค่าผิดพลาดที่แท้จริงเป็น 'คะแนนที่ถูกต้อง' (คุณสามารถคิดว่าสิ่งเหล่านี้เป็นข้อผิดพลาดประเภท I และ type II ) การคิดเกี่ยวกับปัญหานี้ (สำหรับสิ่งที่คุ้มค่า) คือการมุ่งเน้นไปที่ผลกระทบของการรวม / ไม่รวมประเด็นที่เป็นปัญหา หากเป้าหมายของคุณคือการทำนายคุณสามารถใช้การตรวจสอบความถูกต้องไขว้เพื่อกำหนดว่า / รวมคะแนนที่มีปัญหาเพิ่มรากค่าเฉลี่ยของข้อผิดพลาดกำลังสองของการทำนายหรือไม่ หากเป้าหมายของคุณคือคำอธิบายคุณสามารถดูdfBeta(กล่าวคือดูว่าค่าประมาณเบต้าของแบบจำลองของคุณเปลี่ยนไปโดยขึ้นอยู่กับว่าประเด็นนั้นมีอยู่หรือไม่) อีกมุมมองหนึ่ง (ที่ดีที่สุดคือเนื้อหา) คือการหลีกเลี่ยงการเลือกว่าควรจะโยนคะแนนผิดปกติหรือไม่และใช้การวิเคราะห์ที่มีประสิทธิภาพแทน

คุณควรดูที่เนื้อเรื่องของสิ่งที่เหลืออยู่ก่อน: พวกมันติดตามการกระจายตัวแบบปกติหรือไม่? พวกเขาแสดงสัญญาณของความแตกต่าง heteroskedasticity? ดูแปลงอื่น ๆ ด้วย (ฉันไม่ใช้ SPSS ดังนั้นไม่สามารถพูดได้อย่างแน่นอนว่าจะทำอย่างไรในโปรแกรมนั้นและไม่ได้ใช้ boxplots ที่คุณกำลังดูอยู่อย่างไรก็ตามมันยากที่จะจินตนาการว่าเครื่องหมายดอกจันแปลว่า "ไม่แย่" พวกเขาอาจหมายถึง ว่าสิ่งเหล่านี้เป็นจุดที่ผิดปกติอย่างมากโดยเกณฑ์บางอย่าง)

จากนั้นหากคุณมีค่าผิดปกติให้ดูที่พวกเขาและพยายามหาสาเหตุ

จากนั้นคุณสามารถลองถดถอยด้วยและไม่มีค่าผิดปกติ หากผลลัพธ์นั้นคล้ายคลึงกันชีวิตก็ดี รายงานผลเต็มรูปแบบด้วยเชิงอรรถ หากไม่เหมือนกันคุณควรอธิบายการถดถอยทั้งสอง