กำลังตรวจสอบความแตกต่างระหว่างประชากร

บอกว่าเรามีตัวอย่างจากประชากรสองกลุ่ม A: และA Bสมมติว่าประชากรเหล่านี้ทำจากบุคคลและเราเลือกที่จะอธิบายบุคคลในแง่ของคุณสมบัติ คุณสมบัติบางอย่างเหล่านี้มีการจัดหมวดหมู่ (เช่นพวกเขาขับรถไปทำงานหรือไม่) และบางส่วนเป็นตัวเลข (เช่นความสูง) ขอเรียกคุณสมบัติเหล่านี้:X_n เรารวบรวมคุณลักษณะเหล่านี้หลายร้อยรายการ (เช่น n = 200) สมมติว่าใช้งานง่ายโดยไม่มีข้อผิดพลาดหรือเสียงรบกวนในทุกคน$X_1 \ldots X_n$

เราตั้งสมมติฐานว่าประชากรสองคนนั้นแตกต่างกัน เป้าหมายของเราคือการตอบคำถามสองข้อต่อไปนี้:

1. จริง ๆ แล้วพวกเขาแตกต่างกันอย่างมีนัยสำคัญ?
2. อะไรคือความแตกต่างระหว่างพวกเขา?

วิธีการเช่นต้นไม้ตัดสินใจ (เช่นป่าสุ่ม) และการวิเคราะห์การถดถอยเชิงเส้นสามารถช่วยได้ ตัวอย่างเช่นเราสามารถดูความสำคัญของคุณลักษณะในป่าสุ่มหรือสัมประสิทธิ์ที่เหมาะสมในการถดถอยเชิงเส้นเพื่อทำความเข้าใจกับสิ่งที่อาจแยกแยะกลุ่มเหล่านี้และสำรวจความสัมพันธ์ระหว่างคุณลักษณะและประชากร

ก่อนที่ฉันจะไปตามเส้นทางนี้ฉันต้องการเข้าใจตัวเลือกของฉันที่นี่สิ่งที่ดีและทันสมัยกับการปฏิบัติที่ไม่ดี โปรดทราบว่าเป้าหมายของฉันไม่ใช่การคาดการณ์ต่อการทดสอบและการค้นหาความแตกต่างที่สำคัญระหว่างกลุ่ม

อะไรคือหลักการในการแก้ไขปัญหานี้

ต่อไปนี้เป็นข้อกังวลของฉัน:

• วิธีการเช่นการวิเคราะห์การถดถอยเชิงเส้นอาจไม่ตอบอย่างเต็มที่ (2) ใช่ไหม? เช่นความพอดีสามารถช่วยค้นหาความแตกต่างบางอย่าง แต่ไม่ใช่ความแตกต่างที่สำคัญทั้งหมด ตัวอย่างเช่นความหลากหลายหลายระดับอาจทำให้เราไม่สามารถค้นหาคุณลักษณะทั้งหมดที่แตกต่างกันในแต่ละกลุ่ม (อย่างน้อยก็ในรูปแบบเดียว) ด้วยเหตุผลเดียวกันฉันคาดหวังว่า ANOVA จะไม่สามารถให้คำตอบเต็ม (2) ได้เช่นกัน

• ยังไม่ชัดเจนว่าวิธีการคาดการณ์จะตอบได้อย่างไร (1) ตัวอย่างเช่นฟังก์ชั่นการสูญเสียการจำแนกประเภท / การทำนายใดที่เราควรลด และเราจะทดสอบได้อย่างไรว่ากลุ่มแตกต่างกันอย่างมีนัยสำคัญเมื่อเรามีความเหมาะสมหรือไม่? ในที่สุดฉันกังวลว่าคำตอบที่ฉันได้รับ (1) อาจขึ้นอยู่กับชุดการจำแนกประเภทเฉพาะที่ฉันใช้

ลองคิดปัญหาดังนี้

พูดว่าและเป็นตัวแปรเลขฐานสองสำหรับประชากร:หมายถึงประชากรแรกหมายถึงประชากรที่สอง สมมติฐานว่างสามารถแสดงได้หลายวิธีที่เทียบเท่า:$X=(X_1,X_2,..X_n)$$Y$$Y=0$$Y=1$

• $H_0$ : ประชากรเหมือนกัน
• $H_0$ : การแจกแจงกำหนดเหมือนกับการแจกแจงให้$X$$Y=0$$X$$Y=1$
• $H_0$ :และเป็นอิสระ$X$$Y$
• $H_0$ : สำหรับฟังก์ชั่นใด ๆเป็น ,และเป็นอิสระ$f$$\{0,1\}$$f(X)$$Y$

ฉันไม่รู้อะไรเกี่ยวกับป่าสุ่ม แต่พวกเขาอาจคิดว่าเป็นตัวทำนายที่มีวัตถุประสงค์เพื่อหลีกเลี่ยงการปรับตัวให้เข้าที่เกินไป ถ้าเราทำให้พวกมันค่อนข้างสมบูรณ์แบบ: มันเป็นสิ่งที่สามารถตรวจจับความสัมพันธ์ระหว่างกับคุณสมบัติใด ๆโดยไม่ต้องปรับให้เหมาะสม$Y$$X$

เป็นไปได้ที่จะลองทำบางสิ่งตามสิ่งนี้ แยกชุดข้อมูลต้นฉบับออกเป็นชุดฝึกอบรมและชุดทดสอบ แล้ว:

• ฝึกป่าสุ่มที่ทำนายจากในชุดฝึกซ้อม$f$$Y$$X$
• ทำแบบทดสอบอิสระแบบไคสแควร์ (โดยมีความเสี่ยง ) ระหว่างและในชุดทดสอบ$\alpha$$f(X)$$Y$

การทดสอบนี้ค่อนข้างอนุรักษ์นิยม หากสุ่มฟอเรสต์เป็นวิธีการที่แย่ที่สุดการส่งออกที่แย่ที่สุดมันจะปฏิเสธด้วยความน่าจะเป็นน้อยกว่าอย่างไรก็ตาม (เมื่อเป็นจริง) ความกระชับมากเกินไปจะไม่เป็นปัญหาเพราะเราใช้ชุดทดสอบและชุดฝึกอบรม อย่างไรก็ตามพลังของการทดสอบโดยตรงขึ้นอยู่กับความฉลาดของวิธีการป่าสุ่ม (หรือตัวทำนายใด ๆ ที่ใช้)$f(X)$$H_0$$\alpha$$H_0$

โปรดทราบว่าคุณสามารถใช้พยากรณ์ที่เป็นไปได้หลายอย่างเช่นธรรมดาถดถอยโลจิสติเก่าก่อนแล้วการถดถอยโลจิสติกที่มีคุณสมบัติข้ามบางส่วนแล้วต้นไม้ตัดสินใจไม่กี่แล้วป่าสุ่ม ... แต่ถ้าคุณทำเช่นนั้นคุณควรปรับไปที่หมายเลข ของการทดสอบเพื่อหลีกเลี่ยง "การค้นพบที่ผิดพลาด" ดู: การปรับอัลฟ่าสำหรับการทดสอบหลายครั้ง$\alpha$

คุณไม่ได้บอกคุณสมบัติที่มีอยู่ในข้อมูล น้อยมากใหญ่โต? เราสามารถสมมติว่ามันเป็นคุณสมบัติที่เหมือนกันระหว่างประชากรทั้งหมดที่วัดได้ด้วยเครื่องมือวิธีการและรังสีเดียวกัน ถ้าไม่เช่นนั้นคุณมีปัญหาที่ใหญ่กว่าซึ่งรูปแบบการวัดข้อผิดพลาดในตัวแปรอาจทำงานได้

@benoitsanchez ดูเหมือนจะตอบคำถาม # 1)

Wrt # 2) ฉันไม่แน่ใจว่า RFs สามารถช่วยได้ โดยการใช้แบบจำลองที่เป็นทางการมากขึ้นเช่น ANOVA แบบทางเดียวที่นำไปใช้กับคุณลักษณะหนึ่งครั้งการทดสอบความแตกต่างระหว่างประชากรสำหรับคุณลักษณะสามารถพัฒนาได้ โดยการสรุปผลลัพธ์ของการทดสอบเหล่านั้นตามขนาดของการทดสอบรวมถึงความสำคัญของมันโปรไฟล์ที่เป็นคำอธิบายเกี่ยวกับความแตกต่างของประชากรที่มีต่อคุณลักษณะต่างๆ นี่เป็นโซลูชั่นเฉพาะกิจและเป็นที่ยอมรับซึ่งอาจไม่เข้มงวดเพียงพอสำหรับรสนิยมความชอบและการฝึกอบรมของคุณ

การเขียนโน้ตแบบลาเท็กซ์ไม่ดีเลยให้ฉันอธิบายวิธีการทดสอบเหล่านี้ได้ผล: ขั้นแรกสร้างแมโครลูปบางชนิดที่ส่งผ่านคุณสมบัติทั้งหมดผ่านครั้งละหนึ่งฟีเจอร์ ด้วยการวนซ้ำของแต่ละลูปคุณลักษณะใหม่จะกลายเป็นเป้าหมายหรือ DV พร้อมXซึ่งประกอบด้วยตัวแปรดัมมี่สำหรับประชากรรวมถึงตัวแปรควบคุมใด ๆ ที่เหมาะสม ตรวจสอบให้แน่ใจว่ามีการใช้ตัวควบคุมเดียวกันสำหรับแต่ละคุณลักษณะรวมถึงข้อมูลอ้างอิงนั้นเหมือนกันสำหรับ ANOVAs ทั้งหมดโดยขจัดความผันแปรที่เกิดจากความผันผวนของตัวอย่างข้อมูล จำกัด รวมค่าการทดสอบ F สำหรับตัวแปรดัมมี่สำหรับแต่ละคุณสมบัติ สิ่งนี้จะให้ตัวชี้วัดมาตรฐานที่เปิดใช้งานการเปรียบเทียบคุณลักษณะต่างๆ การทดสอบ F เป็นสิ่งที่ดีกว่าที่จะติดตั้งbetasตั้งแต่betasไม่ได้มาตรฐานถูกแสดงในหน่วยและมาตรฐานของแต่ละคุณสมบัติ

ความคิดเห็นสุดท้ายของคุณ "ฉันกังวลว่าคำตอบที่ฉันได้รับ (1) อาจขึ้นอยู่กับชุดการจำแนกประเภท / แบบจำลองการถดถอยเฉพาะที่ฉันใช้" เป็นจริงเสมอ คำตอบมีแนวโน้มที่จะแตกต่างกันไปตามฟังก์ชั่นของรุ่นที่ใช้ นอกจากนี้ยังเป็นการแสดงออกของอาการป่วยไข้ที่พบบ่อยในหมู่นักสถิติเชิงทฤษฎีและฝึกอบรมที่มีความรุนแรงซึ่งไม่สบายใจหรือมีปัญหาในการยอมรับธรรมชาติที่ไม่ได้กำหนดไว้ของการสร้างแบบจำลองทางสถิติประยุกต์ ยาแก้พิษที่ดีเยี่ยมสำหรับอาการเหล่านี้เป็น Efron และหนังสือเล่มล่าสุดของ Hastie คอมพิวเตอร์อายุสถิติอนุมาน พวกเขานำแบบจำลองทางสถิติเข้ามาในวันที่ 21 C, อายุของวิทยาศาสตร์ข้อมูลและการเรียนรู้ของเครื่องให้ตรงไปตรงมาโดยยอมรับซ้ำใกล้เคียงกับธรรมชาติแก้ปัญหาของทุกคนตัวแบบที่มีคำผิดพลาด เราไม่จำเป็นต้องเป็นชาวเบเซียนเพื่อรับรู้ความจริงที่มีอยู่ในการสังเกตนี้ ของพวกเขาคือมุมมองที่สดชื่นที่แตกต่างจากระดับที่เข้มงวดของการปฏิบัติทางสถิติแบบคลาสสิก, 20 c ซึ่งขว้างขึ้นมือเมื่อเช่นเมทริกซ์ข้ามผลิตภัณฑ์จะไม่กลับหัวและ / หรือสมมติฐานแบบอวดบางอย่าง