วิธีที่ดีที่สุดในการระบุค่าผิดปกติในข้อมูลหลายตัวแปรคืออะไร

สมมติว่าฉันมีชุดข้อมูลหลายตัวแปรขนาดใหญ่ที่มีตัวแปรอย่างน้อยสามตัว ฉันจะหาผู้ผิดได้อย่างไร Scatterplots แบบ Pairwise จะไม่ทำงานอย่างที่เป็นไปได้สำหรับค่าที่มีอยู่ใน 3 มิติที่ไม่ได้เป็นค่าที่เกินในพื้นที่ย่อย 2 มิติใด ๆ

ฉันไม่ได้คิดถึงปัญหาการถดถอย แต่เป็นข้อมูลหลายตัวแปรที่แท้จริง ดังนั้นคำตอบที่เกี่ยวข้องกับการถดถอยที่แข็งแกร่งหรือการใช้ประโยชน์จากการคำนวณนั้นไม่มีประโยชน์

ความเป็นไปได้อย่างหนึ่งคือการคำนวณคะแนนองค์ประกอบหลักและมองหาค่าที่ผิดเพี้ยนในการกระจาย bivariate ของสองคะแนนแรก นั่นจะรับประกันได้หรือไม่ มีแนวทางที่ดีกว่านี้ไหม?

มาดูแพ็คเกจmvoutlierซึ่งขึ้นอยู่กับระยะทาง mahalanobis ที่มีประสิทธิภาพตามคำแนะนำของ @drknexus

ฉันคิดว่าคำตอบของ Robin Girard จะใช้งานได้ดีสำหรับ 3 และ 4 มิติ แต่การสาปแช่งของมิติจะป้องกันไม่ให้ทำงานเกินกว่านั้น อย่างไรก็ตามข้อเสนอแนะของเขานำฉันไปสู่วิธีการที่เกี่ยวข้องซึ่งใช้การประเมินความหนาแน่นของเคอร์เนลที่ผ่านการตรวจสอบความถูกต้องกับคะแนนองค์ประกอบหลักสามรายการแรก จากนั้นชุดข้อมูลมิติสูงยังคงสามารถจัดการได้

โดยสรุปสำหรับ i = 1 ถึง n

1. คำนวณการประเมินความหนาแน่นของคะแนนองค์ประกอบหลักสามอันดับแรกที่ได้รับจากชุดข้อมูลที่ไม่มี Xi
2. คำนวณความน่าจะเป็นของ Xi สำหรับความหนาแน่นที่ประมาณไว้ในขั้นตอนที่ 1 เรียกว่า Li

จบสิ้น

จัดเรียง Li (สำหรับ i = 1, .. , n) และค่าผิดปกติคือค่าที่มีโอกาสต่ำกว่าเกณฑ์ ฉันไม่แน่ใจว่าสิ่งที่จะเป็นเกณฑ์ที่ดี - ฉันจะปล่อยให้ใครก็ตามที่เขียนบทความเกี่ยวกับเรื่องนี้! ความเป็นไปได้อย่างหนึ่งคือการทำ boxplot ของค่า log (Li) และดูว่ามีค่าใดที่ตรวจพบที่ปลายด้านลบ

คุณสามารถหาบทสรุปการสอนของวิธีการต่างๆที่มีอยู่ใน(1)

สำหรับบางคนการเปรียบเทียบตัวเลข --recent-- วิธีการต่างๆที่ระบุไว้มีคุณสามารถตรวจสอบ (2)และ(3)

มีการเปรียบเทียบเชิงตัวเลขจำนวนมาก (และละเอียดน้อยกว่า) จำนวนมากซึ่งมักพบในหนังสือ คุณจะพบหนึ่งรายการในหน้า 142-143 จาก (4)

โปรดทราบว่าวิธีการทั้งหมดที่กล่าวถึงในที่นี้มีการนำโอเพนซอร์ส R มาใช้ส่วนใหญ่ผ่าน แพ็คเกจrrcov

• (1) P. Rousseeuw และ M. Hubert (2013) ตัวประมาณค่าการสลายสูงของตำแหน่งหลายตัวแปรและกระจาย
• (2) M. Hubert, P. Rousseeuw, K. Vakili (2013) รูปร่างอคติของตัวประมาณความแปรปรวนร่วมที่แข็งแกร่ง: การศึกษาเชิงประจักษ์ เอกสารทางสถิติ
• (3) K. Vakili และ E. Schmitt (2014) การค้นหาค่าผิดปกติหลายตัวแปรด้วย FastPCS สถิติการคำนวณและการวิเคราะห์ข้อมูล
• (4) Maronna RA, Martin RD และ Yohai VJ (2006) สถิติที่แข็งแกร่ง: ทฤษฎีและวิธีการ ไวลีย์นิวยอร์ก

ฉันจะทำบางอย่าง "ออกจากการทดสอบอัลกอริทึม" (n คือจำนวนข้อมูล):

สำหรับ i = 1 ถึง n

1. คำนวณประมาณความหนาแน่นของชุดข้อมูลที่ได้รับโดยการขว้างปา$X_i$ออกไป (การประมาณความหนาแน่นนี้ควรทำกับสมมติฐานบางอย่างถ้ามิติสูงตัวอย่างเช่นสมมติฐาน Gaussian ที่การประเมินความหนาแน่นง่าย: หมายถึงและความแปรปรวนร่วม)
2. คำนวณความน่าจะเป็นของ$X_i$สำหรับความหนาแน่นประมาณในขั้นตอนที่ 1 เรียกว่าL_i$L_i$

จบสิ้น

จัดเรียง (สำหรับ i = 1, .. , n) และใช้ขั้นตอนการทดสอบสมมติฐานหลายข้อเพื่อบอกว่าข้อใดไม่ดี ...$L_i$

สิ่งนี้จะได้ผลถ้า n มีขนาดใหญ่พอ ... คุณยังสามารถใช้ "ปล่อยให้กลยุทธ์ k" ซึ่งจะมีความเกี่ยวข้องมากขึ้นเมื่อคุณมี "กลุ่ม" ของค่าผิดปกติ ...

คุณสามารถหาผู้สมัครรับ "ค่าผิดพลาด" ได้จากคะแนนสนับสนุนของรูปวงรีปริมาณต่ำสุด ( อัลกอริทึมที่มีประสิทธิภาพในการค้นหาจุดเหล่านี้ในมิติที่ค่อนข้างสูงทั้งที่ถูกสร้างขึ้นโดยประมาณและถูกประดิษฐ์ขึ้นในช่วงทศวรรษ 1970 เนื่องจากปัญหานี้เกี่ยวข้องกับคำถามในการออกแบบการทดลอง)

ฉันแนวทางใหม่ที่ผมเห็นก็คือโดยไอทีโจลิฟฟ์วิเคราะห์องค์ประกอบหลัก คุณเรียกใช้ PCA บนข้อมูลของคุณ (หมายเหตุ: PCA สามารถเป็นเครื่องมือสำรวจข้อมูลที่มีประโยชน์ในตัวของมันเอง) แต่แทนที่จะดูส่วนประกอบหลักสองสามตัวแรก (พีซี) คุณจะวางแผนพีซีสองสามตัวสุดท้าย พีซีเหล่านี้มีความสัมพันธ์เชิงเส้นตรงระหว่างตัวแปรของคุณโดยมีความแปรปรวนน้อยที่สุดเท่าที่จะเป็นไปได้ ดังนั้นพวกเขาจึงตรวจพบ "แน่นอน" หรือใกล้เคียงกับความสัมพันธ์หลายตัวแปรในข้อมูลของคุณ

พล็อตของคะแนนพีซีสำหรับพีซีล่าสุดจะแสดงค่าผิดปกติที่ไม่สามารถตรวจพบได้ง่ายโดยดูทีละตัวแปร ตัวอย่างหนึ่งสำหรับความสูงและน้ำหนัก - บางคนที่มีความสูง "สูงกว่าค่าเฉลี่ย" และ "ต่ำกว่าค่าเฉลี่ย" จะถูกตรวจพบโดยพีซีล่าสุดของความสูงและน้ำหนัก (สมมติว่าสิ่งเหล่านี้มีความสัมพันธ์เชิงบวก) แม้ว่าความสูงและน้ำหนักของพวกเขาจะไม่ใช่ " สุดขีด "รายบุคคล (เช่นคนที่มี 180 ซม. และ 60 กก.)

ฉันไม่เห็นใครพูดถึงฟังก์ชั่นที่มีอิทธิพลต่อ แรกที่ผมเห็นความคิดนี้ในหนังสือหลายตัวแปร Gnanadesikan ของ

ในมิติเดียวค่าผิดปกติอาจมีขนาดใหญ่มากหรือมีค่าน้อยมาก ในการวิเคราะห์หลายตัวแปรเป็นการสังเกตที่ลบออกจากข้อมูลจำนวนมาก แต่เราควรใช้การวัดแบบใดในการกำหนดสุดขีดสำหรับค่าผิดปกติ มีหลายทางเลือก ระยะทาง Mahalanobis เป็นเพียงหนึ่ง ฉันคิดว่าการมองหาสิ่งที่ผิดทุกประเภทนั้นไร้ประโยชน์และไม่ได้ผล ฉันจะถามว่าทำไมคุณถึงสนใจเรื่องนอกเรื่อง? ในการประเมินค่าเฉลี่ยพวกเขาสามารถมีอิทธิพลอย่างมากต่อการประมาณการนั้น ตัวประมาณที่แข็งแกร่งมีความทนทานและรองรับผู้ผิดปกติ แต่ไม่ได้ทำการทดสอบอย่างเป็นทางการ ตอนนี้ในการถดถอยค่าผิดปกติ - เช่นจุดยกระดับ - อาจมีผลขนาดใหญ่ต่อพารามิเตอร์ความชันในรูปแบบ ด้วยข้อมูล bivariate พวกเขาสามารถมีอิทธิพลต่อค่าสัมประสิทธิ์สหสัมพันธ์โดยประมาณและในสามมิติหรือมากกว่านั้นค่าสัมประสิทธิ์สหสัมพันธ์

ฟังก์ชั่นอิทธิพลได้รับการแนะนำโดย Hampel เป็นเครื่องมือในการประมาณค่าที่แข็งแกร่งและ Mallows เขียนกระดาษที่ไม่ได้เผยแพร่ที่ดีที่สนับสนุนการใช้งานของพวกเขา ฟังก์ชั่นอิทธิพลเป็นฟังก์ชั่นของจุดที่คุณอยู่ในพื้นที่ n- มิติและพารามิเตอร์ มันวัดความแตกต่างระหว่างการประมาณค่าพารามิเตอร์กับจุดในการคำนวณและกับจุดที่เหลือ แทนที่จะไปที่ปัญหาของการคำนวณค่าประมาณสองค่าและรับความแตกต่างบ่อยครั้งที่คุณสามารถหาสูตรได้ รูปทรงของอิทธิพลคงที่จะบอกทิศทางที่รุนแรงเมื่อเทียบกับการประมาณค่าพารามิเตอร์นี้และจากนั้นบอกให้คุณทราบว่าในพื้นที่ n-มิติเพื่อหาค่าที่อยู่นอก

สำหรับข้อมูลเพิ่มเติมคุณสามารถดูบทความของฉันในปี 1983 ในวารสาร American Journal of Mathematics and Management Sciences ที่มีชื่อว่า "ฟังก์ชันอิทธิพลและการประยุกต์ใช้กับการตรวจสอบข้อมูล" ในการตรวจสอบข้อมูลเราต้องการค้นหาค่าผิดปกติที่ส่งผลต่อการใช้ข้อมูลตามที่ตั้งใจไว้ ความรู้สึกของฉันคือคุณควรให้ความสนใจกับผู้ผิดที่ส่งผลกระทบต่อพารามิเตอร์ที่คุณสนใจในการประเมินและไม่สนใจคนอื่นที่ไม่สนใจ

มันอาจเป็นการทำงานเกินขีด จำกัด แต่คุณสามารถฝึกฝนป่าสุ่มที่ไม่มีผู้ดูแลได้บนข้อมูลและใช้การวัดความใกล้ชิดวัตถุเพื่อตรวจหาค่าผิดปกติ รายละเอียดเพิ่มเติมที่นี่

สำหรับขนาดปานกลางเช่น 3 จากนั้นเทคนิคการตรวจสอบความถูกต้องไขว้เขวของเคอร์เนลบางประเภทตามที่แนะนำในที่อื่น ๆ นั้นสมเหตุสมผลและเป็นสิ่งที่ดีที่สุดที่ฉันจะได้รับ

สำหรับมิติที่สูงกว่าฉันไม่แน่ใจว่าปัญหาจะแก้ไขได้; ดินแดนมันค่อนข้างตรงเข้าไปในดินแดน 'สาปแช่งของมิติ' ปัญหาคือฟังก์ชั่นระยะทางมีแนวโน้มที่จะรวมกันเป็นค่าที่มีขนาดใหญ่มากอย่างรวดเร็วในขณะที่คุณเพิ่มมิติข้อมูลรวมถึงระยะทางที่ได้จากการแจกแจง หากคุณกำหนดค่าผิดเป็น "จุดที่มีฟังก์ชั่นระยะทางที่ค่อนข้างใหญ่เมื่อเทียบกับที่อื่น" และฟังก์ชั่นระยะทางทั้งหมดของคุณเริ่มที่จะมาบรรจบกันเพราะคุณอยู่ในพื้นที่มิติสูงและคุณกำลังมีปัญหา .

หากไม่มีสมมุติฐานการกระจายแบบแยกส่วนที่จะทำให้คุณเปลี่ยนเป็นปัญหาการจำแนกความน่าจะเป็นหรืออย่างน้อยก็การหมุนที่ช่วยให้คุณแยกพื้นที่ของคุณออกเป็น "มิติเสียง" และ "มิติข้อมูล" ฉันคิดว่าเรขาคณิตของพื้นที่มิติสูง กำลังจะห้ามการระบุค่าผิดปกติง่าย ๆ หรืออย่างน้อยที่สุด

ฉันไม่แน่ใจว่าคุณหมายถึงอะไรเมื่อคุณพูดว่าคุณไม่ได้คิดถึงปัญหาการถดถอย แต่เป็น "ข้อมูลหลายตัวแปรที่แท้จริง" การตอบสนองเริ่มต้นของฉันคือการคำนวณระยะทาง Mahalanobis เนื่องจากไม่ต้องการให้คุณระบุ IV หรือ DV เฉพาะเจาะจง แต่ที่แกนกลาง (เท่าที่ฉันเข้าใจ) มันเกี่ยวข้องกับสถิติการใช้ประโยชน์

ฉันไม่ทราบว่ามีใครทำเช่นนี้ แต่โดยทั่วไปฉันต้องการลองลดขนาดเมื่อฉันมีปัญหาเช่นนี้ คุณอาจจะดูเป็นวิธีการเรียนรู้จากนานาหรือลดมิติที่ไม่ใช่เชิงเส้น

ตัวอย่างจะเป็นแผนที่ Kohonen การอ้างอิงที่ดีสำหรับ R คือ"ตนเองและซูเปอร์จัด Maps ใน R: แพคเกจ Kohonen"

คำตอบแรกของฉันคือถ้าคุณสามารถทำการถดถอยหลายตัวแปรบนข้อมูลได้แล้วให้ใช้ส่วนที่เหลือจากการถดถอยนั้นเพื่อหาค่าผิดปกติ (ฉันรู้ว่าคุณบอกว่ามันไม่ใช่ปัญหาการถดถอยดังนั้นนี่อาจช่วยคุณไม่ได้ขอโทษด้วย!)

ฉันกำลังคัดลอกบางส่วนจากคำถาม Stackoverflow ที่ฉันตอบไปก่อนหน้านี้ซึ่งมีตัวอย่างรหัสR

ก่อนอื่นเราจะสร้างข้อมูลบางส่วนแล้วทำให้เป็นมลภาวะ

> testout<-data.frame(X1=rnorm(50,mean=50,sd=10),X2=rnorm(50,mean=5,sd=1.5),Y=rnorm(50,mean=200,sd=25)) 
> #Taint the Data 
> testout$X1[10]<-5 
> testout$X2[10]<-5 
> testout$Y[10]<-530 

> testout 
         X1         X2        Y 
1  44.20043  1.5259458 169.3296 
2  40.46721  5.8437076 200.9038 
3  48.20571  3.8243373 189.4652 
4  60.09808  4.6609190 177.5159 
5  50.23627  2.6193455 210.4360 
6  43.50972  5.8212863 203.8361 
7  44.95626  7.8368405 236.5821 
8  66.14391  3.6828843 171.9624 
9  45.53040  4.8311616 187.0553 
10  5.00000  5.0000000 530.0000 
11 64.71719  6.4007245 164.8052 
12 54.43665  7.8695891 192.8824 
13 45.78278  4.9921489 182.2957 
14 49.59998  4.7716099 146.3090 
<snip> 
48 26.55487  5.8082497 189.7901 
49 45.28317  5.0219647 208.1318 
50 44.84145  3.6252663 251.5620 

บ่อยครั้งที่มีประโยชน์มากที่สุดในการตรวจสอบข้อมูลแบบกราฟิก (สมองของคุณดีกว่าที่จะสังเกตเห็นค่าผิดปกติได้ดีกว่าคณิตศาสตร์)

> #Use Boxplot to Review the Data 
> boxplot(testout$X1, ylab="X1") 
> boxplot(testout$X2, ylab="X2") 
> boxplot(testout$Y, ylab="Y") 

จากนั้นคุณสามารถใช้สถิติในการคำนวณค่าตัดสำคัญที่นี่โดยใช้การทดสอบลุนด์ (ดูลุนด์ RE 1975, "ตารางสำหรับการทดสอบโดยประมาณสำหรับค่าผิดปกติในโมเดลเชิงเส้น", เทเลเมทริกส์, ปี 17, หมายเลข 4, หน้า 473 -476. และเพรสคอตต์, 1975, "การทดสอบโดยประมาณสำหรับผู้ผิดปกติในโมเดลเชิงเส้น", เทคโนเมทริก, ปีที่ 17, หมายเลข 1, หน้า 129-132)

> #Alternative approach using Lund Test 
> lundcrit<-function(a, n, q) { 
+ # Calculates a Critical value for Outlier Test according to Lund 
+ # See Lund, R. E. 1975, "Tables for An Approximate Test for Outliers in Linear Models", Technometrics, vol. 17, no. 4, pp. 473-476. 
+ # and Prescott, P. 1975, "An Approximate Test for Outliers in Linear Models", Technometrics, vol. 17, no. 1, pp. 129-132. 
+ # a = alpha 
+ # n = Number of data elements 
+ # q = Number of independent Variables (including intercept) 
+ F<-qf(c(1-(a/n)),df1=1,df2=n-q-1,lower.tail=TRUE) 
+ crit<-((n-q)*F/(n-q-1+F))^0.5 
+ crit 
+ } 

> testoutlm<-lm(Y~X1+X2,data=testout) 

> testout$fitted<-fitted(testoutlm) 

> testout$residual<-residuals(testoutlm) 

> testout$standardresid<-rstandard(testoutlm) 

> n<-nrow(testout) 

> q<-length(testoutlm$coefficients) 

> crit<-lundcrit(0.1,n,q) 

> testout$Ynew<-ifelse(testout$standardresid>crit,NA,testout$Y) 

> testout 
         X1         X2        Y    newX1   fitted    residual standardresid 
1  44.20043  1.5259458 169.3296 44.20043 209.8467 -40.5171222  -1.009507695 
2  40.46721  5.8437076 200.9038 40.46721 231.9221 -31.0183107  -0.747624895 
3  48.20571  3.8243373 189.4652 48.20571 203.4786 -14.0134646  -0.335955648 
4  60.09808  4.6609190 177.5159 60.09808 169.6108   7.9050960   0.190908291 
5  50.23627  2.6193455 210.4360 50.23627 194.3285  16.1075799   0.391537883 
6  43.50972  5.8212863 203.8361 43.50972 222.6667 -18.8306252  -0.452070155 
7  44.95626  7.8368405 236.5821 44.95626 223.3287  13.2534226   0.326339981 
8  66.14391  3.6828843 171.9624 66.14391 148.8870  23.0754677   0.568829360 
9  45.53040  4.8311616 187.0553 45.53040 214.0832 -27.0279262  -0.646090667 
10  5.00000  5.0000000 530.0000       NA 337.0535 192.9465135   5.714275585 
11 64.71719  6.4007245 164.8052 64.71719 159.9911   4.8141018   0.118618011 
12 54.43665  7.8695891 192.8824 54.43665 194.7454  -1.8630426  -0.046004311 
13 45.78278  4.9921489 182.2957 45.78278 213.7223 -31.4266180  -0.751115595 
14 49.59998  4.7716099 146.3090 49.59998 201.6296 -55.3205552  -1.321042392 
15 45.07720  4.2355525 192.9041 45.07720 213.9655 -21.0613819  -0.504406009 
16 62.27717  7.1518606 186.6482 62.27717 169.2455  17.4027250   0.430262983 
17 48.50446  3.0712422 228.3253 48.50446 200.6938  27.6314695   0.667366651 
18 65.49983  5.4609713 184.8983 65.49983 155.2768  29.6214506   0.726319931 
19 44.38387  4.9305222 213.9378 44.38387 217.7981  -3.8603382  -0.092354925 
20 43.52883  8.3777627 203.5657 43.52883 228.9961 -25.4303732  -0.634725264 
<snip> 
49 45.28317  5.0219647 208.1318 45.28317 215.3075  -7.1756966  -0.171560291 
50 44.84145  3.6252663 251.5620 44.84145 213.1535  38.4084869   0.923804784 
       Ynew 
1  169.3296 
2  200.9038 
3  189.4652 
4  177.5159 
5  210.4360 
6  203.8361 
7  236.5821 
8  171.9624 
9  187.0553 
10       NA 
11 164.8052 
12 192.8824 
13 182.2957 
14 146.3090 
15 192.9041 
16 186.6482 
17 228.3253 
18 184.8983 
19 213.9378 
20 203.5657 
<snip> 
49 208.1318 
50 251.5620 

เห็นได้ชัดว่ามีการทดสอบอื่น ๆ ที่นอกเหนือจากการทดสอบลุนด์ (กรับส์สปริงถึงใจ) แต่ฉันไม่แน่ใจว่าจะเหมาะสำหรับข้อมูลหลายตัวแปร

หนึ่งในคำตอบข้างต้นสัมผัสในระยะทาง Mahalanobis .... อาจจะก้าวไปอีกขั้นและการคำนวณช่วงความมั่นใจไปพร้อม ๆ กันจะช่วยตรวจจับค่าผิดปกติ!