การตรวจสอบก่อนหน้านี้เกี่ยวกับการแจกแจงแบบเบ้

ภายใต้นิยามคลาสสิกของค่าผิดปกติเป็นจุดข้อมูลที่อยู่ด้านนอก 1.5 * IQR จากควอไทล์ชั้นบนหรือล่างมีการสันนิษฐานของการแจกแจงแบบไม่เอียง สำหรับการแจกแจงแบบเบ้ (เอกซ์โพเนนเชียลปัวซองเรขาคณิต ฯลฯ ) เป็นวิธีที่ดีที่สุดในการตรวจหาค่าผิดปกติโดยการวิเคราะห์การแปลงฟังก์ชันดั้งเดิมหรือไม่?

ตัวอย่างเช่นการแจกแจงแบบกระจายที่ควบคุมโดยการแจกแจงแบบเอ็กซ์โพเนนเชียลสามารถถูกแปลงด้วยฟังก์ชันบันทึก - ณ จุดไหนที่สามารถยอมรับค่าผิดปกติตามนิยาม IQR เดียวกันได้หรือไม่?

ภายใต้นิยามคลาสสิกของค่าผิดปกติเป็นจุดข้อมูลที่อยู่ด้านนอก 1.5 * IQR จากควอไทล์บนหรือล่าง

นี่เป็นกฎสำหรับการระบุจุดที่อยู่ด้านนอกของเคราในรูปแบบกล่อง Tukey ไม่ต้องสงสัยเลยว่าจะเรียกพวกมันว่าผิดบนพื้นฐานนี้ (เขาไม่จำเป็นต้องคำนึงถึงประเด็นที่อยู่นอกขีด จำกัด เหล่านั้นเป็นตัวผิด) สิ่งเหล่านี้ค่อนข้างจะเป็นจุดที่ - หากข้อมูลของคุณคาดว่ามาจากการแจกจ่ายที่ค่อนข้างคล้ายกับการแจกแจงแบบปกติ - อาจมีการตรวจสอบเพิ่มเติม (เช่นการตรวจสอบว่าคุณไม่ได้ทำการแปลงตัวเลขสองหลัก) อาจเป็นค่าผิดปกติที่อาจเกิดขึ้น ในฐานะที่เป็นนิคคอคส์ชี้ให้เห็นในความคิดเห็นภายใต้คำตอบนี้หางของคะแนนดังกล่าวจำนวนมากจะถูกนำมาเป็นตัวบ่งชี้ว่าการแสดงออกอีกครั้งอาจจะเหมาะสมกว่าการบ่งชี้ของความจำเป็นที่จะต้องพิจารณาจุดที่ผิด

มีข้อสันนิษฐานของการแจกแจงแบบไม่เอียง

ฉันสันนิษฐานโดย 'ไม่เอียง' คุณหมายถึงสมมาตร จากนั้นสมมติฐานก็เป็นมากกว่านั้น การกระจายแบบเทลด์หนัก แต่สมมาตรอาจมีหลายจุดนอกขอบเขตบนกฎนั้น

สำหรับการแจกแจงแบบเบ้ (เอกซ์โพเนนเชียลปัวซองเรขาคณิต ฯลฯ ) เป็นวิธีที่ดีที่สุดในการตรวจหาค่าผิดปกติโดยการวิเคราะห์การแปลงฟังก์ชันดั้งเดิมหรือไม่?

ขึ้นอยู่กับว่าสิ่งใดถือเป็นค่าผิดสำหรับวัตถุประสงค์ของคุณ ไม่มีคำจำกัดความเดียวที่เหมาะสมสำหรับแต่ละวัตถุประสงค์ - โดยทั่วไปคุณน่าจะทำสิ่งอื่น ๆ ได้ดีกว่า (พูด) เลือกคนผิดและละเว้นพวกเขา

สำหรับเลขชี้กำลังหรือรูปทรงเรขาคณิตคุณอาจทำการคำนวณแบบเดียวกันกับกล่องสี่เหลี่ยม แต่จะระบุเศษส่วนที่คล้ายกันในหางขวาเท่านั้น (คุณจะไม่มีจุดต่ำสุดที่ระบุไว้ในเลขชี้กำลังหรือเรขาคณิต) ... หรือคุณอาจทำอย่างอื่น$^{\dagger}$

$\dagger$ในตัวอย่างขนาดใหญ่กล่องเครื่องหมายมีคะแนนประมาณ 0.35% ของคะแนนที่ปลายแต่ละด้านหรือทั้งหมดประมาณ 0.7% สำหรับเลขชี้กำลังคุณอาจทำเครื่องหมายมัธยฐานหลาย ๆ ค่าตัวอย่างเช่น หากคุณต้องการติดแท็กคะแนนโดยรวมประมาณ 0.7% สำหรับเลขชี้กำลังจริงขอแนะนำให้ทำเครื่องหมายคะแนนเกินกว่าค่ามัธยฐานประมาณ 7.1 เท่า

คะแนนการทำเครื่องหมายที่สูงกว่า 7.1 เท่าค่ามัธยฐานของ n = 1,000 โดยทั่วไปจะมีค่าระหว่าง 0.4% ถึง 1.1% ของค่า:

ae <- rexp(1000)
table( ae > 7.1*median(ae) )

FALSE  TRUE 
  993     7 

ตัวอย่างเช่นการแจกแจงแบบกระจายที่ควบคุมโดยการแจกแจงแบบเอ็กซ์โพเนนเชียลสามารถถูกแปลงด้วยฟังก์ชันบันทึก - ณ จุดไหนที่สามารถยอมรับค่าผิดปกติตามนิยาม IQR เดียวกันได้หรือไม่?

ทั้งหมดขึ้นอยู่กับสิ่งที่คุณหมายถึงโดย "ยอมรับ" โปรดทราบว่า -

i) การกระจายตัวที่เกิดขึ้นนั้นไม่ได้มีความสมมาตร แต่จะเอียงไปทางซ้ายอย่างชัดเจน

ดังนั้นโดยปกติคุณจะทำเครื่องหมายเฉพาะจุดที่อยู่ทางซ้ายสุด (เช่นใกล้กับศูนย์ซึ่งคุณคาดว่าจะมีค่าเลขชี้กำลังอยู่แล้ว) แทนที่จะอยู่ด้านขวา (ซึ่งอาจเป็น "ค่าผิดปกติ") เว้นแต่ว่าเป็นค่าจริงสุดขีด

ii) ความเหมาะสมของกฎดังกล่าวจะขึ้นอยู่กับสิ่งที่คุณทำ

หากคุณกังวลเกี่ยวกับค่าแปลก ๆ ที่มีผลต่อการอนุมานของคุณโดยทั่วไปคุณน่าจะใช้วิธีการที่มีประสิทธิภาพมากกว่าการระบุค่าผิดปกติ

หากคุณต้องการใช้กฎตามปกติสำหรับการแปลงเลขชี้กำลังหรือข้อมูลปัวซองอย่างน้อยฉันก็ขอแนะนำให้นำไปใช้กับสแควร์รูทสำหรับปัวซอง (ตราบใดที่ค่าเฉลี่ยไม่น้อยเกินไป มันควรจะเป็นปกติธรรมดา ๆ ) และกับคิวบ์รูทหรือแม้แต่รูทที่สี่สำหรับเลขชี้กำลัง (และบางทีอาจเป็นโดยการขยายเรขาคณิต)$^{\ddagger}$

$\ddagger$หรือบางที , ในขณะที่Anscombe เปลี่ยน$\sqrt{X+\frac{3}{8}}$

สำหรับเลขชี้กำลังในตัวอย่างขนาดใหญ่วิธีคิวบ์รูทจะมีแนวโน้มที่จะทำเครื่องหมายจุดเฉพาะที่หางส่วนบน (ที่อัตราเดียวกับที่ทำเครื่องหมายไว้ที่หางส่วนบนสำหรับปกติ) และวิธีที่สี่ทำเครื่องหมายจุดในหางทั้งสอง (เพิ่มที่หางล่างเล็กน้อยรวมอยู่ที่ประมาณ 40% ของอัตราปกติ) ในความเป็นไปได้รูทคิวบ์นั้นมีเหตุผลสำหรับฉันมากกว่าอีกสองอัน แต่ฉันไม่จำเป็นต้องแนะนำให้ใช้นี่เป็นกฎที่ยากและรวดเร็ว

ฉันจะตอบคำถามของคุณในลำดับตรงกันข้ามที่คุณถามพวกเขาเพื่อให้การแสดงออกที่เกิดขึ้นจากที่เฉพาะเจาะจงกับทั่วไป

ก่อนอื่นให้เราพิจารณาสถานการณ์ที่คุณสามารถสันนิษฐานได้ว่ายกเว้นค่าใช้จ่ายส่วนน้อยค่าใช้จ่ายส่วนใหญ่ของข้อมูลของคุณสามารถอธิบายได้อย่างดีจากการแจกแจงที่รู้จัก (ในกรณีของคุณคือเลขชี้กำลัง

ถ้ามี pdf:$x$

$$p_X(x)=\sigma^{-1}\mbox{exp}\left(\frac{-(x-\theta)}{\sigma}\right),\;x>0;\sigma>0$$

$x$$\theta=0$

ตัวประมาณ MLE ปกติของพารามิเตอร์คือ [0, p 506]:

$$\hat{\theta}=\min_i x_i$$

และ

$$\hat{\sigma}=\mbox{ave}_ix_i-\min_i x_i$$

นี่คือตัวอย่างในR:

n<-100
theta<-1
sigma<-2
set.seed(123) #for reproducibility
x<-rexp(n,rate=1/sigma)+theta
mean(x)-min(x)

MLE ของมี\≈ $\sigma$$\approx2.08$

น่าเสียดายที่ MLE ประมาณว่ามีความอ่อนไหวต่อการมีค่าผิดปกติ ตัวอย่างเช่นหากฉันทำให้ตัวอย่างเสียหายโดยแทนที่ 20% ของโดย : - x $x_i$$-x_i$

m<-floor(0.2*n)
y<-x
y[1:m]<--y[1:m]
mean(y)-min(y)

MLE ของขึ้นอยู่กับตัวอย่างที่เสียหายอยู่ในขณะนี้ (!) เป็นตัวอย่างที่สองถ้าฉันทำให้ตัวอย่างเสียหายโดยแทนที่ 20% ของด้วย (พูดว่าทศนิยมตำแหน่งหายไปโดยไม่ตั้งใจ):≈ 11.12 x ฉัน 100 x $\sigma$$\approx11.12$$x_i$$100x_i$

m<-floor(0.2*n)
z<-x
z[1:m]<-100*z[1:m]
mean(z)-min(z)

MLE ของจากตัวอย่างที่เสียหายนี้ที่สองคือตอนนี้ (!)≈ $\sigma$$\approx54$

อีกทางเลือกหนึ่งสำหรับ MLE แบบดิบคือ (a) ค้นหาค่าผิดปกติโดยใช้กฎการระบุค่าผิดปกติที่มีประสิทธิภาพ (b) ตั้งค่าไว้เป็นข้อมูลปลอมและ (c) คำนวณ MLE ในส่วนที่ไม่ใช่ของปลอมตัวอย่าง

ที่รู้จักกันดีที่สุดของกฎการระบุค่าผิดพลาดที่แข็งแกร่งเหล่านี้คือกฎการ med / mad ที่เสนอโดย Hampel [3] ซึ่งอ้างถึง Gauss (ฉันแสดงกฎนี้ที่นี่ ) ในกฎการแพทย์ / บ้าเกณฑ์การปฏิเสธขึ้นอยู่กับข้อสันนิษฐานที่ว่าการสังเกตของแท้ในตัวอย่างของคุณนั้นมีค่าประมาณโดยการแจกแจงแบบปกติ

แน่นอนถ้าคุณมีข้อมูลเพิ่มเติม (เช่นรู้ว่าการกระจายของการสังเกตของแท้นั้นดีพอ ๆ กับการแจกแจงแบบปัวซองในตัวอย่างนี้ ) ไม่มีสิ่งใดที่จะป้องกันไม่ให้คุณเปลี่ยนข้อมูลของคุณและใช้กฎการปฏิเสธก่อนหน้าพื้นฐาน med / mad) แต่สิ่งนี้ทำให้ฉันรู้สึกอึดอัดใจที่จะแปลงข้อมูลเพื่อรักษาสิ่งที่เป็นกฎเฉพาะกิจ

ดูเหมือนว่าฉันจะมีเหตุผลมากขึ้นในการรักษาข้อมูล แต่ปรับกฎการปฏิเสธ จากนั้นคุณจะยังคงใช้ขั้นตอน 3 ขั้นตอนที่ฉันอธิบายในลิงก์แรกด้านบน แต่ด้วยเกณฑ์การปฏิเสธที่ปรับให้เข้ากับการกระจายคุณสงสัยว่าส่วนที่ดีของข้อมูลนั้นมี ด้านล่างนี้ฉันกำหนดกฎการปฏิเสธในสถานการณ์ที่การสังเกตของแท้นั้นเหมาะสมกับการแจกแจงแบบเอ็กซ์โปเนนเชียล ในกรณีนี้คุณสามารถสร้างเกณฑ์การปฏิเสธที่ดีโดยใช้กฎต่อไปนี้:

1) ประมาณโดยใช้ [1]:$\theta$

$$\hat{\theta}'=\mbox{med}_ix_i-3.476\mbox{Qn}(x)\ln2$$

Qn เป็นค่าประมาณการกระจายที่แข็งแกร่งซึ่งไม่ได้มุ่งไปที่ข้อมูลสมมาตร มันถูกนำมาใช้อย่างกว้างขวางตัวอย่างเช่นใน R แพคเกจฐานที่สมบูรณ์ สำหรับข้อมูลการแจกแจงเอ็กซ์ Qn จะถูกคูณด้วยปัจจัยความสอดคล้องของดูรายละเอียดเพิ่มเติม [1]$\approx3.476$

2) ปฏิเสธการทำตัวเป็นข้อสังเกตุทั้งหมดนอก [2, p 188]

$$[\hat{\theta}',9(1+2/n)\mbox{med}_ix_i+\hat{\theta}']$$

(ปัจจัย 9 ในกฎข้างต้นได้รับเป็น 7.1 ในคำตอบของ Glen_b ข้างต้น แต่ใช้การตัดที่สูงกว่าปัจจัย (1 + 2 / n) เป็นปัจจัยการแก้ไขตัวอย่างขนาดเล็กที่ได้รับจากการจำลองใน [2] สำหรับขนาดตัวอย่างที่มีขนาดใหญ่พอจะเท่ากับ 1)

3) ใช้ MLE กับข้อมูลที่ไม่ปลอมเพื่อประมาณการ :$\sigma$

$$\hat{\sigma}'=\mbox{ave}_{i\in H}x_i-\mbox{min}_{i\in H}x_i$$

ที่\}$H=\{i:\hat{\theta}'\leq x_i \leq 9(1+2/n)\mbox{med}_ix_i+\hat{\theta}'\}$

ใช้กฎนี้กับตัวอย่างก่อนหน้าคุณจะได้รับ:

library(robustbase)
theta<-median(x)-Qn(x,constant=3.476)*log(2)
clean<-which(x>=theta & x<=9*(1+2/n)*median(x)+theta)
mean(x[clean])-min(x[clean])

การประมาณการที่แข็งแกร่งของคือตอนนี้ (ใกล้เคียงกับค่า MLE มากเมื่อข้อมูลสะอาด) ในตัวอย่างที่สอง:≈ $\sigma$$\approx2.05$

theta<-median(y)-Qn(y,constant=3.476)*log(2)
clean<-which(y>=theta & y<=9*(1+2/n)*median(y)+theta)
mean(y[clean])-min(y[clean])

การประมาณการที่แข็งแกร่งของ คือตอนนี้ (ใกล้เคียงกับค่าที่เราจะได้รับโดยไม่มีค่าผิดปกติ)≈ $\sigma$$\approx2.2$

ในตัวอย่างที่สาม:

theta<-median(z)-Qn(z,constant=3.476)*log(2)
clean<-which(z>=theta & z<=9*(1+2/n)*median(z)+theta)
mean(z[clean])-min(z[clean])

การประมาณการที่แข็งแกร่งของ คือตอนนี้ (ใกล้เคียงกับค่าที่เราจะได้รับโดยไม่มีค่าผิดปกติ)≈ $\sigma$$\approx2.2$

ข้อดีข้างหนึ่งของวิธีนี้คือมันให้เซตย่อยของดัชนีของการสังเกตผู้ต้องสงสัยซึ่งควรตั้งอยู่ห่างจากข้อมูลที่เหลืออาจจะถูกศึกษาว่าเป็นวัตถุที่น่าสนใจในสิทธิของตนเอง (สมาชิกของ )$\{i:i\notin H\}$

ทีนี้สำหรับกรณีทั่วไปที่คุณไม่มีการกระจายตัวของผู้สมัครที่ดีเพื่อให้พอดีกับข้อสังเกตของคุณเป็นจำนวนมากโดยไม่ทราบว่าการกระจายแบบสมมาตรจะไม่เกิดขึ้นคุณสามารถใช้ boxplot ที่ปรับแล้วได้ [4] นี่เป็นลักษณะทั่วไปของ boxplot ที่คำนึงถึงการวัดความเบ้ของข้อมูลของคุณ (ไม่ใช่พารามิเตอร์และมีประสิทธิภาพสูงกว่า) (เพื่อที่ว่าเมื่อข้อมูลจำนวนมากสมมาตรจะยุบลงไปที่ boxplot ปกติ) นอกจากนี้คุณยังสามารถตรวจสอบนี้คำตอบสำหรับภาพประกอบ

• [0] Johnson NL, Kotz S. , Balakrishnan N. (1994) Univariate Distributions อย่างต่อเนื่อง, Volume 1, 2nd Edition
• [1] Rousseeuw PJ และ Croux C. (1993) ทางเลือกสู่ Median Absolute Deviation วารสารสมาคมสถิติอเมริกัน 88, หมายเลข 424, pp. 1273--1283
• [2] JK Patel, CH Kapadia และ DB Owen, Dekker (1976) คู่มือการแจกแจงเชิงสถิติ
• [3] Hampel (1974) เส้นโค้งอิทธิพลและบทบาทในการประมาณค่าที่แข็งแกร่ง วารสารสมาคมสถิติอเมริกัน 69, No. 346 (มิ.ย. , 1974), pp. 383-393
• [4] Vandervieren, E. , Hubert, M. (2004) "พล็อตบ็อกซ์ที่ปรับสำหรับการแจกแจงแบบเบ้" สถิติการคำนวณและการวิเคราะห์ข้อมูลเล่มที่ 52 ฉบับที่ 12, 15 สิงหาคม 2008, หน้า 5186–5201

ก่อนอื่นฉันจะถามความหมายคลาสสิกหรืออย่างอื่น "นอก" เป็นจุดที่น่าแปลกใจ การใช้กฎเฉพาะใด ๆ (แม้สำหรับการแจกแจงแบบสมมาตร) เป็นความคิดที่มีข้อบกพร่องโดยเฉพาะอย่างยิ่งทุกวันนี้เมื่อมีชุดข้อมูลขนาดใหญ่จำนวนมาก ในชุดข้อมูลของ (สังเกต) หนึ่งล้านการสังเกต (ไม่ใช่ทั้งหมดที่ใหญ่ในบางสาขา) จะมีหลายกรณีที่เกินขีด จำกัด IQR 1.5 ที่คุณอ้างถึงแม้ว่าการแจกแจงเป็นเรื่องปกติอย่างสมบูรณ์

ประการที่สองฉันขอแนะนำให้ค้นหาค่าผิดปกติจากข้อมูลต้นฉบับ มันจะใช้งานง่ายกว่า ตัวอย่างเช่นด้วยข้อมูลรายได้เป็นเรื่องปกติที่จะบันทึก แต่ที่นี่ฉันก็จะมองหาค่าผิดปกติในระดับเดิม (ดอลลาร์หรือยูโรหรืออะไรก็ตาม) เพราะเรามีความรู้สึกที่ดีกว่าสำหรับตัวเลขดังกล่าว (ถ้าคุณใช้บันทึกฉันขอแนะนำล็อกฐาน 10 อย่างน้อยสำหรับการตรวจหาค่าผิดปกติเพราะอย่างน้อยก็ใช้งานง่าย)

ประการที่สามเมื่อมองหาค่าผิดปกติระวังการหลอกลวง

ในที่สุดฉันกำลังค้นคว้าอัลกอริทึม "การค้นหาไปข้างหน้า" ที่เสนอโดย Atkinson และ Riani สำหรับข้อมูลและปัญหาต่างๆ สิ่งนี้ดูมีแนวโน้มมาก