สาเหตุที่แท้จริงของปัญหาความไม่สมดุลของชนชั้นคืออะไร?

ฉันได้คิดมากเกี่ยวกับ "ปัญหาความไม่สมดุลในชั้นเรียน" ในการเรียนรู้ของเครื่องจักร / สถิติเมื่อเร็ว ๆ นี้และฉันรู้สึกลึกลงไปในความรู้สึกที่ฉันไม่เข้าใจว่าเกิดอะไรขึ้น

ก่อนอื่นให้ฉันกำหนด (หรือพยายาม) กำหนดคำของฉัน:

ปัญหาระดับความไม่สมดุลในเครื่อง / การเรียนรู้ทางสถิติคือการสังเกตว่าบางจำแนกไบนารี (*) ขั้นตอนวิธีการทำงานได้ไม่ดีเมื่อสัดส่วนของ 0 เรียน 1 ชั้นเรียนเป็นเบ้มาก

ดังนั้นในข้างต้นตัวอย่างเช่นถ้ามีหนึ่งร้อย$0$ชั้นเรียนสำหรับทุกเดียว$1$ชั้นผมจะบอกว่าความไม่สมดุลของระดับคือ$1$ที่จะ$100$หรือ$1\%$ %

งบส่วนใหญ่ของปัญหาที่ฉันได้เห็นขาดสิ่งที่ฉันคิดว่าเป็นคุณสมบัติที่เพียงพอ (สิ่งที่รูปแบบการต่อสู้ปัญหาไม่สมดุลคือปัญหา) และนี่คือแหล่งที่มาของความสับสนของฉัน

การสำรวจข้อความมาตรฐานในการเรียนรู้ของเครื่อง / สถิติกลับมีน้อย:

• องค์ประกอบของสถิติเอนและรู้เบื้องต้นเกี่ยวกับการเรียนรู้ทางสถิติไม่ได้มี "ชั้นไม่สมดุล" ในดัชนี

• การเรียนรู้ของเครื่องสำหรับ Predictive Data Analyticsยังไม่มี "คลาสที่ไม่สมดุล" ในดัชนี

• เมอร์ฟี่เครื่องเรียนรู้: การน่าจะเป็นมุมมองที่ ไม่มี "ระดับความไม่สมดุล * ในดัชนีอ้างอิงไปยังส่วนบนของ SVM ที่ผมพบว่าความคิดเห็นยั่วเย้าดังต่อไปนี้.

  มันเป็นเรื่องที่ควรค่าแก่การจดจำว่าปัญหาทั้งหมดเหล่านี้และการวิเคราะห์พฤติกรรมที่ได้รับการเสนอเพื่อแก้ไขปัญหาเหล่านี้เกิดขึ้นโดยพื้นฐานเพราะ SVM ไม่ได้สร้างแบบจำลองความไม่แน่นอนในการใช้ความน่าจะเป็นดังนั้นคะแนนเอาท์พุท

ความคิดเห็นนี้ไม่พูดที่หลอกลวงกับสัญชาตญาณและประสบการณ์ของฉัน: ที่งานก่อนหน้าของฉันเราเป็นประจำจะพอดีกับการถดถอยโลจิสติกและการไล่ระดับสีได้แรงหนุนรุ่นต้นไม้ (เพื่อลดทวินามบันทึก-โอกาส) ข้อมูลที่ไม่สมดุล (ในลำดับที่$1\%$ความไม่สมดุลของระดับ) ไม่มี ปัญหาที่ชัดเจนในประสิทธิภาพ

ฉันได้อ่าน (บางแห่ง) ว่าการจำแนกต้นไม้ตามตัวแบบ (ต้นไม้เองและป่าสุ่ม) ยังประสบปัญหาความไม่สมดุลในชั้นเรียนด้วย สิ่งนี้ทำให้น้ำขุ่นมัวไปเล็กน้อยต้นไม้กลับมาด้วยความน่าจะเป็น: บันทึกการลงคะแนนสำหรับกลุ่มเป้าหมายในแต่ละขั้วของต้นไม้

ดังนั้นเพื่อสรุปสิ่งที่ฉันตามมาจริงๆคือความเข้าใจในแนวคิดของกองกำลังที่นำไปสู่ปัญหาความไม่สมดุลในชั้นเรียน (ถ้ามี)

• มันเป็นสิ่งที่เราทำเพื่อตัวเราเองด้วยอัลกอริทึมที่เลือกไม่ดีและเกณฑ์การจัดหมวดหมู่เริ่มต้นขี้เกียจ?
• มันจะหายไปหรือไม่ถ้าเราเหมาะสมกับตัวแบบความน่าจะเป็นที่จะทำให้เกณฑ์การให้คะแนนเหมาะสมที่สุด? สิ่งที่กล่าวมาแตกต่างกันเป็นสาเหตุของการเลือกฟังก์ชั่นการสูญเสียที่ไม่ดีเช่นการประเมินพลังการทำนายของแบบจำลองตามกฎการจำแนกประเภทอย่างหนักและความแม่นยำโดยรวมหรือไม่?
• ถ้าเป็นเช่นนั้นโมเดลที่ไม่เพิ่มประสิทธิภาพกฎการให้คะแนนที่เหมาะสมนั้นไร้ประโยชน์ (หรืออย่างน้อยก็มีประโยชน์น้อยกว่า)?

(*) โดยการจัดหมวดหมู่ฉันหมายถึงรูปแบบทางสถิติใด ๆ ที่เหมาะสมกับข้อมูลการตอบสนองแบบไบนารี ฉันไม่ได้สมมติว่าเป้าหมายของฉันเป็นการมอบหมายอย่างหนักให้กับชั้นเรียนหนึ่งหรือชั้นเรียนอื่นแม้ว่ามันอาจจะเป็น

ข้อความจากสารานุกรมการเรียนรู้ของเครื่อง ( https://cling.csd.uwo.ca/papers/cost_sensitive.pdf ) อธิบายอย่างเป็นประโยชน์อธิบายว่าสิ่งที่เรียกว่า "ปัญหาความไม่สมดุลในชั้นเรียน" นั้นเป็นที่เข้าใจกันดีกว่าว่าเป็นปัญหาสามประการ:

 (1) assuming that an accuracy metric is appropriate when it is not

 (2) assuming that the test distribution matches the training 
     distribution when it does not

 (3) assuming that you have enough minority class data when you do not

ผู้เขียนอธิบาย:

ชุดข้อมูลความไม่สมดุลของคลาสเกิดขึ้นในหลาย ๆ แอปพลิเคชันในโลกแห่งความเป็นจริงซึ่งการแจกแจงคลาสของข้อมูลมีความไม่สมดุลสูง อีกครั้งโดยไม่สูญเสียความเห็นชอบเราคิดว่าคนกลุ่มน้อยหรือกลุ่มหายากเป็นชนชั้นบวกและชนชั้นส่วนใหญ่เป็นชนชั้นด้านลบ บ่อยครั้งที่ชนกลุ่มน้อยมีขนาดเล็กมากเช่น 1% ของชุดข้อมูล หากเราใช้ตัวแยกประเภทแบบดั้งเดิม (ไม่คำนึงถึงต้นทุน) ส่วนใหญ่บนชุดข้อมูลพวกเขาจะมีแนวโน้มที่จะทำนายทุกอย่างว่าเป็นลบ (คลาสส่วนใหญ่) สิ่งนี้มักถูกมองว่าเป็นปัญหาในการเรียนรู้จากชุดข้อมูลที่มีความไม่สมดุลสูง

อย่างไรก็ตามตามที่ระบุไว้โดย (Provost, 2000) มักมีการตั้งสมมติฐานพื้นฐานสองข้อในตัวแยกประเภทแบบไม่คำนึงถึงต้นทุนแบบดั้งเดิม ประการแรกคือเป้าหมายของตัวจําแนกประเภทคือการเพิ่มความแม่นยำสูงสุด (หรือลดอัตราความผิดพลาดให้น้อยที่สุด); ที่สองคือการกระจายคลาสของชุดข้อมูลการฝึกอบรมและการทดสอบเหมือนกัน ภายใต้สมมติฐานทั้งสองนี้การคาดการณ์ทุกอย่างว่าเป็นผลลบสำหรับชุดข้อมูลที่มีความไม่สมดุลสูงมักเป็นสิ่งที่ถูกต้อง (Drummond and Holte, 2005) แสดงให้เห็นว่าโดยปกติแล้วมันเป็นเรื่องยากมากที่จะมีประสิทธิภาพสูงกว่าตัวจําแนกอย่างง่าย ๆ

ดังนั้นปัญหาระดับที่ไม่สมดุลจะมีความหมายก็ต่อเมื่อสมมติฐานหนึ่งหรือทั้งสองข้อข้างต้นไม่เป็นความจริง นั่นคือถ้าค่าใช้จ่ายของข้อผิดพลาดประเภทต่าง ๆ (ค่าลบบวกและค่าลบเท็จในการจำแนกไบนารี) ไม่เหมือนกันหรือถ้าการแจกแจงคลาสในข้อมูลทดสอบแตกต่างจากข้อมูลการฝึกอบรม กรณีแรกสามารถจัดการได้อย่างมีประสิทธิภาพโดยใช้วิธีการในการเรียนรู้ meta-learning

ในกรณีที่ค่าใช้จ่ายในการจำแนกประเภทไม่เท่ากันมันมักจะมีราคาแพงกว่าในการจำแนกประเภทชนกลุ่มน้อย (บวก) เข้าสู่ชั้นเรียนส่วนใหญ่ (เชิงลบ) มากกว่าตัวอย่างส่วนใหญ่ในชั้นเรียนชนกลุ่มน้อย ลบ) นั่นคือ FN> FP ดังนั้นเมื่อใช้ค่าของ FN และ FP วิธีการเรียนรู้แบบ meta-learning ที่หลากหลายสามารถนำมาใช้เพื่อแก้ปัญหาความไม่สมดุลในชั้นเรียน (Ling and Li, 1998; Japkowicz and Stephen, 2002) หากไม่ทราบค่าของ FN และ FP อย่างชัดเจนสามารถกำหนด FN และ FP ให้เป็นสัดส่วนกับ p (-): p (+) (Japkowicz และ Stephen, 2002)

ในกรณีที่ชุดข้อมูลการฝึกอบรมและชุดทดสอบแตกต่างกัน (ตัวอย่างเช่นหากข้อมูลการฝึกอบรมมีความไม่สมดุลสูง แต่ข้อมูลทดสอบมีความสมดุลมากกว่า) วิธีการที่ชัดเจนคือการสุ่มตัวอย่างข้อมูลการฝึกอบรมว่าการกระจายคลาสนั้นเหมือนกัน ข้อมูลการทดสอบ (โดยการสุ่มตัวอย่างกลุ่มชนกลุ่มน้อยและ / หรือขีดล่างกลุ่มเสียงส่วนใหญ่) (Provost, 2000)

โปรดทราบว่าบางครั้งจำนวนตัวอย่างของชนกลุ่มน้อยมีน้อยเกินไปที่ตัวแยกประเภทจะเรียนรู้อย่างเพียงพอ นี่เป็นปัญหาของข้อมูลการฝึกอบรมไม่เพียงพอ (เล็ก) แตกต่างจากชุดข้อมูลที่ไม่สมดุล

ดังนั้นตามที่ Murphy บอกไว้ไม่มีอะไรที่เป็นปัญหาโดยเนื้อแท้เกี่ยวกับการใช้คลาสที่ไม่สมดุลหากคุณหลีกเลี่ยงข้อผิดพลาดทั้งสามนี้ แบบจำลองที่ให้ความน่าจะเป็นหลังทำให้ง่ายต่อการหลีกเลี่ยงข้อผิดพลาด (1) มากกว่าแบบแยกแยะเช่น SVM เพราะช่วยให้คุณสามารถแยกข้อสรุปออกจากการตัดสินใจ (ดูหัวข้อ 1.5.4 การอนุมานและการตัดสินใจสำหรับการอภิปรายเพิ่มเติมในประเด็นสุดท้าย)

หวังว่าจะช่วย

อะไรก็ตามที่เกี่ยวข้องกับการปรับให้เหมาะสมเพื่อลดฟังก์ชั่นการสูญเสียให้น้อยที่สุดถ้านูนออกมาอย่างเพียงพอให้วิธีแก้ปัญหาที่เป็นระดับต่ำสุดของฟังก์ชั่นการสูญเสียนั้น ฉันพูดว่า 'พอใช้นูน' เนื่องจากเครือข่ายที่ลึกไม่ได้อยู่ในทั้งนูน แต่ให้การปฏิบัติขั้นต่ำที่สมเหตุสมผลพร้อมทางเลือกอย่างระมัดระวังเกี่ยวกับอัตราการเรียนรู้ ฯลฯ

ดังนั้นพฤติกรรมของแบบจำลองดังกล่าวจึงถูกกำหนดโดยสิ่งที่เราใส่ในฟังก์ชั่นการสูญเสีย

$F$

$F$$G$$b$$F$$F$$b$$G$

$b$$G$

$F$$G$$G^*$

ตอนนี้สมมติว่าเรามีฟังก์ชั่นการสูญเสียซึ่งก็คือ:

$I_c$$1$$c$$0$$y_i$$i$$g(x_i)$$i$

$99*0.9 = 89.1$$99*0.1=9.9$$1 * 0.9=0.9$$1 * 0.1=0.1$ตัวอย่างไม่ถูกต้อง การสูญเสียที่คาดหวังจะเป็น:

$\mathcal{L} = (9.9 + 0.1)/100 = 0.1$

ตอนนี้ให้ดูที่แบบจำลอง $G$ where the threshold is set such that class A is systematically chosen. Now, for every 99 examples of A, all 99 will be correct. Zero loss. But each example of B will be systematically not chosen, giving a loss of $1/100$, so the expected loss over the training set will be:

$\mathcal{L} = 0.01$

Ten times lower than the loss when setting the threshold such as to assign equal recall and precision to each class.

Therefore, the loss function will drive model $G$ to choose a threshold which chooses A with higher probability than class B, driving up the recall for class A, but lowering that for class B. The resulting model no longer matches what we might hope, no longer matches our ideal model $G^*$.

To correct the model, we'd need to for example modify the loss function such that getting B wrong costs a lot more than getting A wrong. Then this will modify the loss function to have a minimum closer to the earlier ideal model $G^*$, which assigned equal precision/recall to each class.

Alternatively, we can modify the dataset by cloning every B example 99 times, which will also cause the loss function to no longer have a minimum at a position different from our earlier ideal threshold.

Note that one-class classifiers don't have an imbalance problem as they look at each class independently from all other classes and they can cope with "not-classes" by just not modeling them. (They may have a problem with too small sample size, of course).

Many problems that would be more appropriately modeled by one-class classifiers lead to ill-defined models when dicriminative approaches are used, of which "class imbalance problems" are one symptom.

As an example, consider some product that can be good to be sold or not. Such a situation is usually characterized by

class         | "good"                        | "not good"
--------------+-------------------------------+------------------------------------------
sample size   | large                         | small
              |                               |
feature space | single, well-delimited region | many possibilities of *something* wrong 
              |                               | (possibly well-defined sub-groups of
              |                               |    particular fault reasons/mechanisms) 
              |                               | => not a well defined region, 
              |                               | spread over large parts of feature space
              |                               |
future cases  | can be expected to end up     | may show up *anywhere* 
              | inside modeled region         | (except in good region)

Thus, class "good" is well-defined while class "not-good" is ill-defined. If such a situation is modeled by a discriminative classifier, we have a two-fold "imbalance problem": not only has the "not-good" class small sample size, it also has even lower sample density (fewer samples spread out over a larger part of the feature space).

This type of "class imbalance problem" will vanish when the task is modeled as one-class recognition of the well-defined "good" class.