การแยกความแตกต่างระหว่างสองกลุ่มในสถิติและการเรียนรู้ของเครื่อง: การทดสอบสมมติฐานเทียบกับการจำแนกและการทำคลัสเตอร์

สมมติว่าฉันมีกลุ่มข้อมูลสองกลุ่มระบุว่า A และ B (แต่ละกลุ่มประกอบด้วยตัวอย่าง 200 ตัวอย่างและคุณสมบัติ 1) และฉันต้องการทราบว่าพวกเขาแตกต่างกันหรือไม่ ฉันทำได้:

• a) ทำการทดสอบทางสถิติ (เช่น t-test) เพื่อดูว่ามีความแตกต่างทางสถิติหรือไม่

• b) ใช้การเรียนรู้ของเครื่องควบคุม (เช่นการสนับสนุนตัวจําแนกเวกเตอร์หรือลักษณนามฟอเรสต์แบบสุ่ม) ฉันสามารถฝึกอบรมสิ่งนี้ในส่วนของข้อมูลของฉันและตรวจสอบในส่วนที่เหลือ หากอัลกอริทึมการเรียนรู้ของเครื่องจำแนกส่วนที่เหลืออย่างถูกต้องหลังจากนั้นฉันสามารถมั่นใจได้ว่าตัวอย่างจะแตกต่างกัน

• c) ใช้อัลกอริทึมที่ไม่มีผู้ดูแล (เช่น K-Means) และปล่อยให้มันแบ่งข้อมูลทั้งหมดออกเป็นสองตัวอย่าง ฉันสามารถตรวจสอบว่าตัวอย่างที่พบทั้งสองนี้เห็นด้วยกับฉลากของฉัน A และ B หรือไม่

คำถามของฉันคือ:

1. วิธีที่แตกต่างกันสามวิธีนี้ทับซ้อนกัน / พิเศษอย่างไร
2. b) และ c) มีประโยชน์สำหรับข้อโต้แย้งทางวิทยาศาสตร์หรือไม่?
3. ฉันจะได้รับ“ นัยสำคัญ” สำหรับความแตกต่างระหว่างตัวอย่าง A และ B จากวิธีการ b) และ c) อย่างไร
4. จะเกิดอะไรขึ้นถ้าข้อมูลมีคุณสมบัติหลายอย่างมากกว่า 1 คุณสมบัติ
5. จะเกิดอะไรขึ้นถ้าพวกเขามีตัวอย่างจำนวนแตกต่างกันเช่น 100 กับ 300

เป็นคำถามที่ดีมาก อะไรก็ตามที่สามารถทำได้ดีหรือไม่ดีมีประโยชน์หรือไม่ขึ้นอยู่กับว่าเป้าหมายของคุณคืออะไร (และอาจขึ้นอยู่กับสถานการณ์ของคุณ) ส่วนใหญ่วิธีการเหล่านี้ได้รับการออกแบบมาเพื่อตอบสนองเป้าหมายที่แตกต่างกัน

• $t$$t$
• ตัวแยกประเภทในการเรียนรู้ของเครื่องเช่น SVM ได้รับการออกแบบมาเพื่อจำแนกรูปแบบที่เป็นของหนึ่งในชั้นเรียนที่เป็นที่รู้จัก สถานการณ์โดยทั่วไปคือคุณมีอินสแตนซ์ที่รู้จักบ้างและคุณต้องการฝึกการใช้ลักษณนามเพื่อให้สามารถจำแนกประเภทที่แม่นยำที่สุดในอนาคตเมื่อคุณจะมีรูปแบบอื่นที่ไม่ทราบคลาสจริง การเน้นที่นี่อยู่ที่ความแม่นยำของตัวอย่าง ; คุณไม่ได้ทดสอบสมมติฐานใด ๆ แน่นอนว่าคุณหวังว่าการแจกแจงตัวแปร / คุณสมบัติของตัวทำนายจะแตกต่างกันไปในแต่ละคลาสเพราะไม่เช่นนั้นจะไม่มีความช่วยเหลือในการจำแนกประเภทในอนาคต แต่คุณไม่ได้พยายามประเมินความเชื่อของคุณว่าค่าเฉลี่ยของ Y แตกต่างกันด้วย X X ในอนาคตเมื่อทราบว่า Y
• อัลกอริทึมการเรียนรู้ที่ไม่ได้รับการสนับสนุนเช่นการจัดกลุ่มได้รับการออกแบบมาเพื่อตรวจจับหรือกำหนดโครงสร้างในชุดข้อมูล มีสาเหตุหลายประการที่คุณอาจต้องการทำเช่นนี้ บางครั้งคุณอาจคาดหวังว่ามีการจัดกลุ่มที่เป็นจริงแฝงอยู่ในชุดข้อมูลและต้องการดูว่าผลลัพธ์ของการจัดกลุ่มจะดูสมเหตุสมผลและใช้งานได้ตามวัตถุประสงค์ของคุณหรือไม่ ในกรณีอื่น ๆ คุณอาจต้องการกำหนดโครงสร้างบนชุดข้อมูลเพื่อเปิดใช้งานการลดข้อมูล ไม่ว่าจะด้วยวิธีใดคุณไม่พยายามทดสอบสมมติฐานเกี่ยวกับสิ่งใด ๆ และคุณไม่สามารถคาดเดาสิ่งใด ๆ ได้อย่างถูกต้องในอนาคต

เมื่อคำนึงถึงสิ่งนี้แล้วให้ตอบคำถามของคุณ:

1. วิธีการทั้งสามนั้นแตกต่างกันโดยพื้นฐานในเป้าหมายที่ให้บริการ
2. b และ c อาจเป็นประโยชน์ในข้อโต้แย้งทางวิทยาศาสตร์มันขึ้นอยู่กับลักษณะของข้อโต้แย้งในคำถาม การวิจัยทางวิทยาศาสตร์ที่พบมากที่สุดนั้นมีศูนย์กลางอยู่ที่การทดสอบสมมติฐาน อย่างไรก็ตามการสร้างแบบจำลองที่สามารถคาดการณ์ได้หรือการตรวจจับแบบแฝงแฝงก็เป็นไปได้ด้วยเช่นกันเป้าหมายที่ถูกกฎหมาย
3. โดยทั่วไปแล้วคุณจะไม่พยายามรับ 'นัยสำคัญ' จากวิธีการ b หรือ c
4. สมมติว่าคุณสมบัติเป็นหมวดหมู่ตามธรรมชาติ (ซึ่งฉันรวบรวมเป็นสิ่งที่คุณมีอยู่ในใจ) คุณยังสามารถทดสอบสมมติฐานโดยใช้ ANOVA แบบแฟคทอเรียล ในการเรียนรู้เครื่องมีหัวข้อย่อยสำหรับการจัดหมวดหมู่หลายป้าย นอกจากนี้ยังมีวิธีการสำหรับการเป็นสมาชิกหลาย / กลุ่มที่ทับซ้อนกัน แต่สิ่งเหล่านี้เป็นเรื่องธรรมดาน้อยกว่าและเป็นปัญหาที่เวิ้งว้างน้อยลง สำหรับภาพรวมของหัวข้อให้ดู Krumpleman, CS (2010) การทำคลัสเตอร์ที่ซ้อนทับกัน วิทยานิพนธ์, UT Austin, วิศวกรรมไฟฟ้าและคอมพิวเตอร์ ( pdf )
5. โดยทั่วไปแล้ววิธีการทั้งสามประเภทมีความยากลำบากมากขึ้นเนื่องจากจำนวนผู้ป่วยในแต่ละหมวดหมู่แตกต่างกัน

ไม่ไปยังการจัดกลุ่มที่อยู่เพราะมันได้รับการแก้ไขในคำตอบอื่น ๆ แต่:

โดยทั่วไปปัญหาของการทดสอบว่าตัวอย่างสองกลุ่มมีความหมายที่แตกต่างกันเป็นที่รู้จักกันสองตัวอย่างทดสอบ

$t$$p$

มันอาจจะเป็นเรื่องง่ายที่จะคิดเกี่ยวกับบางส่วนของปัญหาเหล่านี้ถ้าคุณสร้างการทดสอบสองตัวอย่างจากลักษณนามเช่นตามที่เสนอเร็ว ๆ นี้โดยโลเปซลาปาซและ Oquab (2017) ขั้นตอนดังต่อไปนี้:

• $X$$Y$$X_\text{train}$$X_\text{test}$$Y_\text{train}$$Y_\text{test}$
• $X_\text{train}$$Y_\text{train}$
• $X_\text{test}$$Y_\text{test}$
• $\hat p$$p = \tfrac12$$p \ne \tfrac12$$p \ne \tfrac12$

โดยการตรวจสอบลักษณนามที่เรียนรู้คุณอาจตีความความแตกต่างระหว่างการแจกแจงแบบกึ่งความหมายได้ โดยการเปลี่ยนตระกูลของตัวจําแนกที่คุณพิจารณาแล้วคุณสามารถช่วยชี้นำการทดสอบเพื่อค้นหาความแตกต่างบางประเภท

โปรดทราบว่าสิ่งสำคัญคือการแยกการทดสอบรถไฟ: มิฉะนั้นตัวแยกประเภทที่เพิ่งจดจำอินพุตของมันจะมีความสามารถจำแนกได้อย่างสมบูรณ์แบบเสมอ การเพิ่มส่วนของคะแนนในชุดการฝึกอบรมจะช่วยให้คุณมีข้อมูลมากขึ้นในการเรียนรู้ลักษณนามที่ดี แต่มีโอกาสน้อยลงที่จะแน่ใจได้ว่าความแม่นยำในการจัดหมวดหมู่นั้นแตกต่างจากโอกาสจริง ๆ การแลกเปลี่ยนนี้เป็นสิ่งที่จะแตกต่างกันไปตามปัญหาและครอบครัวตัวจําแนกและยังไม่เข้าใจ

Lopez-Paz และ Oquab แสดงให้เห็นถึงประสิทธิภาพที่ดีของวิธีการนี้เกี่ยวกับปัญหาเล็กน้อย Ramdas และคณะ (2016)นอกจากนี้ยังแสดงให้เห็นว่าในทางทฤษฎีวิธีการที่เกี่ยวข้องอย่างใกล้ชิดคืออัตราที่ดีที่สุดสำหรับปัญหาง่าย ๆ ที่เฉพาะเจาะจง สิ่งที่ "ถูกต้อง" ในการตั้งค่านี้เป็นส่วนหนึ่งของการวิจัยเชิงรุก แต่อย่างน้อยวิธีการนี้มีเหตุผลอย่างเหมาะสมในหลาย ๆ สถานการณ์หากคุณต้องการความยืดหยุ่นและการตีความที่มากกว่าเพียงแค่ใช้การทดสอบมาตรฐานนอกชั้นวาง

มีเพียงวิธีการ (a) เพื่อจุดประสงค์ในการทดสอบสมมติฐาน

ในกรณีของการใช้อัลกอริทึมการเรียนรู้ของเครื่องภายใต้การดูแล (b) พวกเขาไม่สามารถพิสูจน์หรือพิสูจน์สมมติฐานเกี่ยวกับความไม่พอใจของกลุ่มได้ หากอัลกอริทึมการเรียนรู้ของเครื่องไม่จำแนกกลุ่มอย่างถูกต้องอาจเกิดขึ้นเพราะคุณใช้อัลกอริทึม "ผิด" สำหรับปัญหาของคุณหรือคุณไม่ได้ปรับจูนพอ ฯลฯ ในอีกทางหนึ่งคุณอาจ "ทรมาน" ข้อมูล "สุ่ม" โดยสิ้นเชิง เพียงพอที่จะสร้างรูปแบบการ overfitting ที่ทำให้การทำนายที่ดี อีกปัญหาหนึ่งคือเมื่อใดและอย่างไรที่คุณจะรู้ว่าอัลกอริทึมสร้างการคาดการณ์ "ดี"? คุณแทบจะไม่เคยตั้งเป้าหมายที่ความถูกต้องของการจำแนกประเภท 100% ดังนั้นเมื่อใดที่คุณจะรู้ว่าผลลัพธ์การจำแนกประเภทนั้นพิสูจน์อะไร

อัลกอริธึมการจัดกลุ่ม (c) ไม่ได้ออกแบบมาสำหรับการเรียนรู้แบบมีผู้สอน พวกเขาไม่ได้ตั้งเป้าหมายที่จะสร้างป้ายกำกับขึ้นใหม่ แต่เพื่อจัดกลุ่มข้อมูลของคุณในแง่ของความคล้ายคลึงกัน ตอนนี้ผลลัพธ์ขึ้นอยู่กับอัลกอริทึมที่คุณใช้และความคล้ายคลึงกันที่คุณกำลังค้นหา ข้อมูลของคุณอาจมีความคล้ายคลึงกันต่างกันคุณอาจต้องการหาความแตกต่างระหว่างเด็กผู้ชายและเด็กผู้หญิง แต่อัลกอริทึมอาจค้นหากลุ่มเด็กยากจนและคนรวยหรือเป็นคนฉลาดและฉลาดน้อยกว่ามือขวาและมือซ้ายเป็นต้นไม่พบ การจัดกลุ่มที่คุณตั้งใจไม่ได้พิสูจน์ว่าการจัดกลุ่มไม่สมเหตุสมผล แต่เฉพาะเมื่อพบการจัดกลุ่มอื่น ๆ ที่ "มีความหมาย" เช่นในกรณีก่อนหน้าผลลัพธ์อาจขึ้นอยู่กับอัลกอริทึมที่ใช้และพารามิเตอร์ มันจะชุดคุณถ้าหนึ่งในสิบอัลกอริทึม / การตั้งค่าพบ "ของคุณ" ป้าย? เกิดอะไรขึ้นถ้ามันเป็นหนึ่งในหนึ่งร้อย คุณจะค้นหาก่อนที่จะหยุดนานแค่ไหน? โปรดสังเกตว่าเมื่อใช้การเรียนรู้ของเครื่องในกรณีส่วนใหญ่คุณจะไม่หยุดหลังจากใช้อัลกอริทึมเดียวที่มีการตั้งค่าเริ่มต้นและผลลัพธ์อาจขึ้นอยู่กับขั้นตอนที่คุณใช้

1. ก) ตอบคำถามของคุณว่าการกระจายนั้นแตกต่างกันหรือไม่ แต่จะแยกแยะได้อย่างไร b) จะค้นหาคุณค่าที่ดีที่สุดเพื่อแยกความแตกต่างระหว่างการแจกแจงสองแบบ c) จะทำงานหากการแจกแจงสองรายการมีคุณสมบัติเฉพาะบางอย่าง ตัวอย่างเช่นมันจะทำงานกับการแจกแจงแบบปกติ แต่ไม่ได้มีการแจกแจงโมดัลบางสองอันเพราะวิธีการนี้สามารถแยกความแตกต่างของสองโหมดในกลุ่มเดียวกันแทนที่จะเป็นสองกลุ่มที่แตกต่างกัน

2. c) ไม่มีประโยชน์สำหรับข้อโต้แย้งทางวิทยาศาสตร์เพราะการแจกแจงโมดัลสองครั้ง b) สามารถใช้เพื่อแยกความแตกต่างของการแจกแจงสองแบบเพราะคุณสามารถคำนวณความสำคัญ (ดู 3. ) แม้ว่าฉันจะไม่เคยเจอมัน

3. โดย bootstrapping คุณคำนวณรูปแบบตามกลุ่มย่อยแบบสุ่ม 1,000 ครั้ง คุณได้รับคะแนนตัวอย่างเช่นผลรวมขั้นต่ำของข้อผิดพลาดอัลฟ่าและเบต้า คุณเรียงลำดับคะแนนจากน้อยไปมาก เพื่อความมั่นใจ 5% คุณเลือกมูลค่าที่ 950 หากค่านี้ต่ำกว่า 50% (สำหรับจำนวนคะแนนที่เท่ากันสำหรับกลุ่ม A และ B) ดังนั้นด้วยความมั่นใจ 95% คุณสามารถเพิกเฉยต่อสมมติฐานว่างได้ว่าการแจกแจงนั้นเหมือนกัน ปัญหาคือว่าถ้าการแจกแจงเป็นปกติทั้งคู่มีค่าเฉลี่ยเท่ากัน แต่มีการแปรผันที่แตกต่างกันคุณจะไม่สามารถเข้าใจได้ว่ามันต่างจากเทคนิค ML ในอีกทางหนึ่งคุณจะพบการทดสอบความแปรปรวนที่จะสามารถแยกความแตกต่างของการแจกแจงสองแบบ และอาจเป็นวิธีอื่นที่อยู่รอบ ๆ ML นั้นจะแข็งแกร่งกว่าการทดสอบทางสถิติและสามารถจำแนกความแตกต่างได้

4. เมื่อคุณมีฟีเจอร์เดียวใน ML คุณต้องค้นหาค่าเดียวเท่านั้นเพื่อแยกความแตกต่าง ด้วยสองคุณสมบัติเส้นขอบสามารถเป็นไซนัสและในพื้นที่หลายมิติมันอาจจะแปลกจริง ๆ ดังนั้นจะเป็นการยากที่จะหาเส้นขอบที่ถูกต้อง ในขณะที่คุณสมบัติเพิ่มเติมนำข้อมูลเพิ่มเติม ดังนั้นโดยทั่วไปแล้วจะอนุญาตให้แยกความแตกต่างของการแจกแจงทั้งสองได้ง่ายขึ้น หากตัวแปรทั้งสองมีการกระจายตามปกติแล้วชายแดนเป็นเส้น

5. ตัวอย่างขนาดเล็กสามารถทำงานได้ไม่ปกติเนื่องจากไม่สามารถนำทฤษฎีบทข้อ จำกัด กลางมาใช้ได้ ตัวอย่างที่ใหญ่กว่าเริ่มทำงานปกติมากขึ้นเนื่องจากทฤษฎีบทขีด จำกัด กลางเริ่มทำงาน ตัวอย่างเช่นค่าเฉลี่ยของทั้งสองกลุ่มจะกระจายเกือบปกติหากกลุ่มตัวอย่างมีขนาดใหญ่พอ แต่โดยทั่วไปแล้วจะไม่ใช่ 100 vs 300 แต่เป็น 10 ข้อสังเกตจาก 1,000 ข้อสังเกต ดังนั้นตามเว็บไซต์นี้การทดสอบ t สำหรับความแตกต่างของค่าเฉลี่ยจะทำงานโดยไม่คำนึงถึงการกระจายถ้าจำนวนการสังเกตมีขนาดใหญ่กว่า 40 และไม่มีค่าผิดปกติ

การทดสอบทางสถิติใช้สำหรับการอนุมานจากข้อมูลซึ่งจะบอกคุณว่าสิ่งต่าง ๆ เกี่ยวข้องกันอย่างไร ผลที่ได้คือสิ่งที่มีความหมายในโลกแห่งความจริง เช่นการสูบบุหรี่สัมพันธ์กับมะเร็งปอดทั้งในแง่ของทิศทางและขนาด มันยังไม่บอกคุณว่าทำไมสิ่งต่าง ๆ เกิดขึ้น เพื่อที่จะตอบว่าทำไมสิ่งต่าง ๆ จึงเกิดขึ้นเราจำเป็นต้องพิจารณาถึงความสัมพันธ์กับตัวแปรอื่น ๆ และทำการปรับเปลี่ยนที่เหมาะสม (ดู Pearl, J. (2003) CAUSALITY: MODELS REASONING และ INFERENCE

การเรียนรู้ภายใต้การดูแลนั้นใช้สำหรับการคาดการณ์มันจะบอกคุณว่าจะเกิดอะไรขึ้น เช่นจากสถานะการสูบบุหรี่ของบุคคลเราสามารถทำนายได้ว่าเขา / เธอจะเป็นมะเร็งปอดหรือไม่ ในกรณีง่าย ๆ มันยังบอกคุณว่า "อย่างไร" โดยดูที่การตัดสถานะการสูบบุหรี่ที่ระบุโดยอัลกอริทึม แต่รูปแบบที่ซับซ้อนมากขึ้นนั้นยากที่จะตีความหรือตีความยาก (เรียนรู้อย่างลึกซึ้ง / ส่งเสริมด้วยคุณสมบัติมากมาย)

การเรียนรู้ที่ไม่ได้สำรองมักใช้ในการอำนวยความสะดวกทั้งสองอย่างข้างต้น

• สำหรับการทดสอบทางสถิติโดยการค้นพบกลุ่มย่อยที่ไม่ทราบพื้นฐานของข้อมูล (การจัดกลุ่ม) เราสามารถอนุมานถึงความแตกต่างในการเชื่อมโยงระหว่างตัวแปร เช่นการสูบบุหรี่เพิ่มโอกาสที่จะเป็นมะเร็งปอดสำหรับกลุ่มย่อย A แต่ไม่ใช่กลุ่มย่อย B
• สำหรับการเรียนรู้ภายใต้การดูแลเราสามารถสร้างคุณสมบัติใหม่เพื่อปรับปรุงความแม่นยำและความแม่นยำในการทำนาย เช่นโดยการระบุกลุ่มย่อย (การจัดกลุ่ม) หรือการรวมกันของคุณสมบัติ (การลดขนาด) ที่เกี่ยวข้องกับอัตราต่อรองของการเป็นมะเร็งปอด

เมื่อจำนวนคุณสมบัติ / ตัวแปรเพิ่มขึ้นความแตกต่างระหว่างการทดสอบทางสถิติและการเรียนรู้แบบมีผู้สอนจะยิ่งมากขึ้น การทดสอบทางสถิติอาจไม่ได้รับประโยชน์จากสิ่งนี้มันขึ้นอยู่กับว่าคุณต้องการทำการอนุมานสาเหตุโดยการควบคุมปัจจัยอื่น ๆ หรือการระบุความแตกต่างในสมาคมที่กล่าวถึงข้างต้น การเรียนรู้ภายใต้การดูแลจะทำงานได้ดีขึ้นหากคุณลักษณะเกี่ยวข้องและจะกลายเป็นเหมือนกล่องดำมากขึ้น

เมื่อจำนวนตัวอย่างเพิ่มขึ้นเราสามารถรับผลลัพธ์ที่แม่นยำยิ่งขึ้นสำหรับการทดสอบทางสถิติผลลัพธ์ที่แม่นยำยิ่งขึ้นสำหรับการเรียนรู้แบบมีผู้สอนและผลลัพธ์ที่มีประสิทธิภาพมากขึ้นสำหรับการเรียนรู้ที่ไม่ได้รับการดูแล แต่สิ่งนี้ขึ้นอยู่กับคุณภาพของข้อมูล ข้อมูลคุณภาพต่ำอาจทำให้มีอคติหรือเสียงรบกวนกับผลลัพธ์

บางครั้งเราต้องการทราบว่า "อย่างไร" และ "ทำไม" เพื่อแจ้งการดำเนินการแทรกแซงเช่นการระบุว่าการสูบบุหรี่เป็นสาเหตุของโรคมะเร็งปอดสามารถกำหนดนโยบายเพื่อจัดการกับสิ่งนั้นได้ บางครั้งเราต้องการทราบว่า "อะไร" เพื่อแจ้งการตัดสินใจเช่นการค้นหาว่าใครมีแนวโน้มที่จะเป็นมะเร็งปอดและให้การรักษาเบื้องต้น มีฉบับพิเศษที่เผยแพร่ทางวิทยาศาสตร์เกี่ยวกับการทำนายและขีด จำกัด ( http://science.sciencemag.org/content/355/6324/468)) “ ความสำเร็จดูเหมือนจะประสบความสำเร็จมากที่สุดอย่างต่อเนื่องเมื่อคำถามถูกจัดการในความพยายามของสหสาขาวิชาที่เข้าร่วมความเข้าใจของมนุษย์เกี่ยวกับบริบทด้วยความสามารถของอัลกอริทึมในการจัดการเทราไบต์ของข้อมูล” ในความคิดของฉัน เราควรรวบรวมข้อมูล / ฟีเจอร์ใดตั้งแต่แรก ในอีกทางหนึ่งการเรียนรู้แบบมีผู้สอนสามารถช่วยสร้างสมมติฐานโดยแจ้งตัวแปรใดบ้าง