มันเป็นการโกงที่จะปล่อยค่าผิดปกติตาม boxplot ของ Mean Absolute Error เพื่อปรับปรุงตัวแบบการถดถอยหรือไม่

ฉันมีแบบจำลองการทำนายทดสอบด้วยวิธีการสี่วิธีดังที่คุณเห็นในรูปแบบกล่องด้านล่าง แอตทริบิวต์ที่ตัวแบบทำนายนั้นอยู่ในช่วง 0-8

คุณอาจสังเกตเห็นว่ามีค่าผิดปกติที่มีขอบบนหนึ่งค่าและค่าผิดปกติที่ต่ำกว่าสามค่าที่ระบุโดยวิธีการทั้งหมด ฉันสงสัยว่าเหมาะสมที่จะลบอินสแตนซ์เหล่านี้ออกจากข้อมูลหรือไม่ หรือนี่เป็นการโกงเพื่อปรับปรุงตัวแบบการทำนาย?

มันเป็นมักจะโกงข้อสังเกตลบในการปรับปรุงรูปแบบการถดถอย คุณควรทิ้งการสังเกตก็ต่อเมื่อคุณคิดว่าแท้จริงแล้วสิ่งเหล่านี้เป็นค่าผิดปกติ

ตัวอย่างเช่นคุณมีอนุกรมเวลาจากจอภาพอัตราการเต้นหัวใจที่เชื่อมต่อกับนาฬิกาอัจฉริยะของคุณ หากคุณดูที่ซีรีส์เป็นเรื่องง่ายที่จะเห็นว่าจะมีการสังเกตที่ผิดพลาดด้วยการอ่านเช่น 300bps สิ่งเหล่านี้ควรถูกลบออก แต่ไม่ใช่เพราะคุณต้องการปรับปรุงแบบจำลอง (สิ่งที่มันหมายถึง) ข้อผิดพลาดในการอ่านซึ่งไม่เกี่ยวข้องกับอัตราการเต้นของหัวใจของคุณ

สิ่งหนึ่งที่ต้องระวังคือความสัมพันธ์ของข้อผิดพลาดกับข้อมูล ในตัวอย่างของฉันอาจเป็นที่ถกเถียงกันอยู่ว่าคุณมีข้อผิดพลาดเมื่อเครื่องวัดอัตราการเต้นของหัวใจถูกแทนที่ในระหว่างการออกกำลังกายเช่นวิ่งหรือกระโดด ซึ่งจะทำให้เกิดข้อผิดพลาดเหล่านี้สัมพันธ์กับอัตราฮาร์ต ในกรณีนี้จะต้องระมัดระวังในการลบค่าผิดพลาดและข้อผิดพลาดเหล่านี้เนื่องจากไม่สุ่ม

ฉันจะให้เป็นตัวอย่างที่สร้างขึ้นจากเมื่อจะไม่ลบค่าผิดปกติ สมมติว่าคุณวัดการเคลื่อนที่ของน้ำหนักในฤดูใบไม้ผลิ หากน้ำหนักมีขนาดเล็กเมื่อเทียบกับความแข็งแรงของน้ำหนักคุณจะสังเกตได้ว่ากฎของ Hookeนั้นทำงานได้ดีมาก: ที่Fคือแรง, k - สัมประสิทธิ์แรงตึงและΔ xคือตำแหน่งของน้ำหนัก .

ตอนนี้ถ้าคุณวางน้ำหนักที่หนักมากหรือแทนที่น้ำหนักมากเกินไปคุณจะเริ่มเห็นการเบี่ยงเบน: ที่การกระจัดที่มีขนาดใหญ่พอการเคลื่อนที่จะดูเหมือนเบี่ยงเบนจากโมเดลเชิงเส้น ดังนั้นคุณอาจถูกล่อลวงให้ลบค่าผิดปกติเพื่อปรับปรุงตัวแบบเชิงเส้น นี่ไม่ใช่ความคิดที่ดีเพราะโมเดลนี้ทำงานได้ไม่ดีนักเนื่องจากกฎของฮุคนั้นถูกต้องโดยประมาณ$\Delta x$

อัปเดตในกรณีของคุณฉันขอแนะนำให้ดึงจุดข้อมูลเหล่านั้นและมองดูให้ใกล้ยิ่งขึ้น มันอาจจะเป็นความล้มเหลวของเครื่องมือในห้องปฏิบัติการ? รบกวนจากภายนอก? ข้อบกพร่องตัวอย่าง? เป็นต้น

ต่อไปพยายามระบุว่าค่าความแปรปรวนของค่าผิดปกติเหล่านี้อาจสัมพันธ์กับสิ่งที่คุณวัดได้ในตัวอย่างที่ฉันให้หรือไม่ หากมีความสัมพันธ์กันก็ไม่มีวิธีง่าย ๆ ที่จะไปเกี่ยวกับเรื่องนี้ หากไม่มีความสัมพันธ์กันคุณสามารถลบค่าผิดปกติได้

ฉันต้องการโพสต์สิ่งนี้เป็นความคิดเห็นต่อคำตอบอื่น แต่มันยาวเกินไปที่จะตอบ

เมื่อฉันดูโมเดลของคุณมันไม่จำเป็นต้องมีกลุ่มใหญ่กลุ่มหนึ่งและมีค่าผิดปกติบางอย่าง ในความคิดของฉันมันมี 1 กลุ่มขนาดกลาง (1 ถึง -1) แล้ว 6 กลุ่มเล็ก ๆ แต่ละกลุ่มพบระหว่าง 2 จำนวนเต็ม คุณสามารถเห็นได้อย่างชัดเจนว่าเมื่อถึงจำนวนเต็มจะมีการสังเกตที่ความถี่เหล่านั้นน้อยลง จุดพิเศษเพียงอย่างเดียวคือ 0 ซึ่งไม่มีข้อสังเกตที่น่าสังเกต

ในความคิดของฉันมันคุ้มค่าที่จะอธิบายว่าทำไมการกระจายนี้แพร่กระจายแบบนี้:

• เหตุใดการแจกแจงที่นับการสังเกตเหล่านี้จึงลดลงเป็นจำนวนเต็ม?
• ทำไมจำนวนการสังเกตนี้ลดลงไม่เกิดขึ้นที่ 0
• มีอะไรพิเศษเกี่ยวกับค่าผิดปกติเหล่านี้ว่าเป็นค่าผิดปกติหรือไม่

เมื่อวัดการกระทำของมนุษย์ที่ไม่ต่อเนื่องคุณจะมีค่าผิดปกติ เป็นเรื่องที่น่าสนใจที่จะเห็นว่าทำไมคนผิดเหล่านั้นไม่พอดีกับแบบจำลองของคุณและวิธีที่พวกเขาสามารถนำไปใช้เพื่อปรับปรุงการทำซ้ำแบบจำลองในอนาคตของคุณได้

มีข้อดีข้อเสียในการลบค่าผิดปกติและสร้างแบบจำลองสำหรับ "รูปแบบปกติ" เท่านั้น

• ข้อดี: ประสิทธิภาพของโมเดลดีกว่า ปรีชาคือว่ามันยากมากที่จะใช้ ONE model ในการจับทั้ง "pattern ปกติ" และ "outlier pattern" ดังนั้นเราจึงลบค่าผิดปกติและพูดว่าเราสร้างแบบจำลองสำหรับ "รูปแบบปกติ" เท่านั้น

• ข้อด้อย: เราจะไม่สามารถคาดการณ์ค่าผิดปกติได้ กล่าวอีกนัยหนึ่งคือสมมติว่าเราวางโมเดลของเราในการผลิตจะมีการคาดการณ์ที่ขาดหายไป

ฉันอยากจะแนะนำให้ลบค่าผิดปกติและสร้างแบบจำลองและหากเป็นไปได้ลองสร้างแบบแยกต่างหากสำหรับค่าเริ่มต้นเท่านั้น

สำหรับคำว่า "การโกง" หากคุณกำลังเขียนบทความและทำรายการอย่างชัดเจนว่าคุณจะกำหนดและลบค่าผิดปกติอย่างไรและการปรับปรุงที่กล่าวถึงนั้นเป็นข้อมูลที่สะอาดเท่านั้น มันไม่ได้โกง

ฉันเชื่อว่ามีเหตุผลเท่านั้นที่จะลบค่าผิดปกติเมื่อมีเหตุผลเชิงคุณภาพที่ชัดเจนในการทำเช่นนั้น จากนี้ฉันหมายความว่ามีข้อมูลที่ตัวแปรอื่นที่ไม่ได้อยู่ในรูปแบบจะส่งผลกระทบต่อการสังเกตนอก จากนั้นหนึ่งมีตัวเลือกในการลบ outlier หรือเพิ่มตัวแปรเพิ่มเติม

ฉันพบว่าเมื่อฉันมีข้อสังเกตที่เกินขอบเขตในชุดข้อมูลของฉันโดยการศึกษาเพื่อพิจารณาว่าเหตุใดค่าที่มีอยู่จึงเรียนรู้เพิ่มเติมเกี่ยวกับข้อมูลของฉันและตัวแบบอื่น ๆ ที่เป็นไปได้ที่ต้องพิจารณา

ฉันไม่เชื่อด้วยซ้ำว่าพวกเขาเป็น "คนผิด" คุณอาจต้องการสร้างพล็อตความน่าจะเป็นแบบปกติ พวกเขาเป็นข้อมูลหรือส่วนที่เหลือจากการติดตั้งแบบจำลองหรือไม่?