วิธีลบค่าผิดปกติออกจากชุดข้อมูล

ฉันมีข้อมูลหลายตัวแปรเกี่ยวกับความงามเทียบกับวัย อายุมีตั้งแต่ 20-40 ช่วง 2 (20, 22, 24 .... 40) และสำหรับการบันทึกข้อมูลแต่ละครั้งจะได้รับอายุและคะแนนความงามตั้งแต่ 1-5 เมื่อฉันทำบ็อกซ์พล็อตของข้อมูลนี้ (อายุในแกน X, การให้คะแนนความงามในแกน Y) มีค่าผิดปกติบางอย่างที่พล็อตอยู่นอกหนวดของแต่ละกล่อง

ฉันต้องการลบค่าผิดปกติเหล่านี้ออกจากกรอบข้อมูล แต่ฉันไม่แน่ใจว่า R คำนวณค่าผิดปกติสำหรับพล็อตกล่องอย่างไร ด้านล่างนี้คือตัวอย่างลักษณะข้อมูลของฉัน

ตกลงคุณควรใช้สิ่งนี้กับชุดข้อมูลของคุณ อย่าแทนที่และบันทึกมิฉะนั้นคุณจะทำลายข้อมูลของคุณ! และคุณไม่ควร (เกือบ) ลบค่าผิดปกติออกจากข้อมูลของคุณ:

remove_outliers <- function(x, na.rm = TRUE, ...) {
  qnt <- quantile(x, probs=c(.25, .75), na.rm = na.rm, ...)
  H <- 1.5 * IQR(x, na.rm = na.rm)
  y <- x
  y[x < (qnt[1] - H)] <- NA
  y[x > (qnt[2] + H)] <- NA
  y
}

หากต้องการดูการใช้งานจริง:

set.seed(1)
x <- rnorm(100)
x <- c(-10, x, 10)
y <- remove_outliers(x)
## png()
par(mfrow = c(1, 2))
boxplot(x)
boxplot(y)
## dev.off()

และอีกครั้งที่คุณไม่ควรทำสิ่งนี้ด้วยตัวคุณเองค่าผิดปกติควรจะเป็น! =)

แก้ไข:ฉันเพิ่มna.rm = TRUEเป็นค่าเริ่มต้น

EDIT2:quantileฟังก์ชันที่ถูกลบออกเพิ่มการห้อยลงมาจึงทำให้ฟังก์ชันเร็วขึ้น! =)

ไม่มีใครโพสต์คำตอบที่ง่ายที่สุด:

x[!x %in% boxplot.stats(x)$out]

ดูสิ่งนี้ได้ที่http://www.r-statistics.com/2011/01/how-to-label-all-the-outliers-in-a-boxplot/

ใช้outline = FALSEเป็นตัวเลือกเมื่อคุณทำ boxplot (อ่านวิธีใช้!)

> m <- c(rnorm(10),5,10)
> bp <- boxplot(m, outline = FALSE)

ฟังก์ชัน boxplot จะส่งคืนค่าที่ใช้ในการลงจุด (ซึ่งจริงแล้ว bxp ():

bstats <- boxplot(count ~ spray, data = InsectSprays, col = "lightgray") 
#need to "waste" this plot
bstats$out <- NULL
bstats$group <- NULL
bxp(bstats)  # this will plot without any outlier points

ฉันไม่ได้ตั้งใจที่จะตอบคำถามที่เจาะจงเพราะฉันคิดว่าเป็นการทุจริตต่อหน้าที่ทางสถิติเพื่อลบ "ค่าผิดปกติ" ฉันคิดว่าเป็นวิธีปฏิบัติที่ยอมรับได้ที่จะไม่วางพล็อตไว้ในบ็อกซ์พล็อต แต่การลบออกเพียงเพราะค่าเบี่ยงเบนมาตรฐานเกินจำนวนหรือความกว้างระหว่างควอร์ไทล์บางส่วนเป็นการบิดเบือนบันทึกเชิงสังเกตอย่างเป็นระบบและไม่ถูกต้องตามหลักวิทยาศาสตร์

ฉันค้นหาแพ็คเกจที่เกี่ยวข้องกับการลบค่าผิดปกติและพบแพ็คเกจนี้ (เรียกว่า "ค่าผิดปกติ"!): https://cran.r-project.org/web/packages/outliers/outliers.pdf
หากคุณทำผ่าน ดูวิธีต่างๆในการลบค่าผิดปกติและฉันพบว่าrm.outlierวิธีที่สะดวกที่สุดในการใช้และตามที่ระบุไว้ในลิงก์ด้านบน: "หากตรวจพบค่าผิดปกติและยืนยันโดยการทดสอบทางสถิติฟังก์ชันนี้สามารถลบหรือแทนที่ด้วยค่าเฉลี่ยตัวอย่างหรือค่ามัธยฐาน" และนี่คือส่วนการใช้งานจากแหล่งเดียวกัน:
" การใช้งาน

rm.outlier(x, fill = FALSE, median = FALSE, opposite = FALSE)

อาร์กิวเมนต์
x ชุดข้อมูลมักเป็นเวกเตอร์ ถ้าอาร์กิวเมนต์เป็น dataframe ค่าผิดปกติจะถูกลบออกจากแต่ละคอลัมน์โดย sapply พฤติกรรมเดียวกันนี้ถูกนำไปใช้โดยใช้เมื่อกำหนดเมทริกซ์
เติม หากตั้งค่าเป็น TRUE ค่ามัธยฐานหรือค่าเฉลี่ยจะถูกวางไว้แทนค่าผิดปกติ มิฉะนั้นค่าผิดปกติจะถูกลบออกไป
มัธยฐาน หากตั้งค่าเป็น TRUE ค่ามัธยฐานจะถูกใช้แทนค่าเฉลี่ยในการแทนที่ค่าผิดปกติ ตรงข้ามถ้าตั้งค่าเป็น TRUE จะให้ค่าตรงกันข้าม (หากค่าที่ใหญ่ที่สุดมีความแตกต่างสูงสุดจากค่าเฉลี่ยจะให้น้อยที่สุดและในทางกลับกัน) "

x<-quantile(retentiondata$sum_dec_incr,c(0.01,0.99))
data_clean <- data[data$attribute >=x[1] & data$attribute<=x[2],]

ฉันพบว่าสิ่งนี้ง่ายมากที่จะลบค่าผิดปกติ ในตัวอย่างข้างต้นฉันแค่แยกค่าแอตทริบิวต์ 2 เปอร์เซ็นไทล์ถึง 98 เปอร์เซ็นไทล์

จะไม่:

z <- df[df$x > quantile(df$x, .25) - 1.5*IQR(df$x) & 
        df$x < quantile(df$x, .75) + 1.5*IQR(df$x), ] #rows

ทำงานนี้ให้สำเร็จได้อย่างง่ายดาย?

การเพิ่มข้อเสนอแนะของ @sefarkas และการใช้ quantile เป็นตัวตัดหนึ่งสามารถสำรวจตัวเลือกต่อไปนี้:

newdata <- subset(mydata,!(mydata$var > quantile(mydata$var, probs=c(.01, .99))[2] | mydata$var < quantile(mydata$var, probs=c(.01, .99))[1]) ) 

การดำเนินการนี้จะลบคะแนนที่เกินกว่าจำนวนที่ 99 ควรใช้ความระมัดระวังเช่นเดียวกับที่ aL3Xa พูดเกี่ยวกับการรักษาค่าผิดปกติ ควรลบออกเพื่อรับมุมมองแบบอนุรักษ์นิยมทางเลือกของข้อมูลเท่านั้น

1 วิธีที่ทำได้คือ

my.NEW.data.frame <- my.data.frame[-boxplot.stats(my.data.frame$my.column)$out, ]

หรือ

my.high.value <- which(my.data.frame$age > 200 | my.data.frame$age < 0) 
my.NEW.data.frame <- my.data.frame[-my.high.value, ]

ค่าผิดปกติค่อนข้างคล้ายกับจุดสูงสุดดังนั้นเครื่องตรวจจับจุดสูงสุดจึงมีประโยชน์ในการระบุค่าผิดปกติ วิธีการที่อธิบายไว้ที่นี่มีประสิทธิภาพค่อนข้างดีเมื่อใช้คะแนน z ภาพเคลื่อนไหวส่วนหนึ่งลงไปในหน้าแสดงวิธีการส่งสัญญาณเกี่ยวกับค่าผิดปกติหรือจุดสูงสุด

Peaks ไม่เหมือนกับค่าผิดปกติเสมอไป แต่มักจะคล้ายกัน

ตัวอย่างแสดงที่นี่: ชุดข้อมูลนี้อ่านจากเซ็นเซอร์ผ่านการสื่อสารแบบอนุกรม ข้อผิดพลาดในการสื่อสารแบบอนุกรมเป็นครั้งคราวข้อผิดพลาดของเซ็นเซอร์หรือทั้งสองอย่างนำไปสู่จุดข้อมูลที่ผิดพลาดซ้ำ ๆ อย่างชัดเจน ไม่มีค่าทางสถิติในประเด็นเหล่านี้ เนื้อหาเหล่านี้ไม่ใช่สิ่งผิดปกติ แต่เป็นข้อผิดพลาด เครื่องตรวจจับจุดสูงสุด z-score สามารถส่งสัญญาณไปยังจุดข้อมูลปลอมและสร้างชุดข้อมูลผลลัพธ์ที่สะอาด:

ลองทำตามนี้ ป้อนตัวแปรของคุณในฟังก์ชันและบันทึก o / p ในตัวแปรซึ่งจะมีค่าผิดปกติที่ถูกลบออก

outliers<-function(variable){
    iqr<-IQR(variable)
    q1<-as.numeric(quantile(variable,0.25))
    q3<-as.numeric(quantile(variable,0.75))
    mild_low<-q1-(1.5*iqr)
    mild_high<-q3+(1.5*iqr)
    new_variable<-variable[variable>mild_low & variable<mild_high]
    return(new_variable)
}