เท็กซัสนักแม่นปืนเข้าใจผิดในการวิเคราะห์ข้อมูลเชิงสำรวจ

ฉันได้อ่านนี้บทความในธรรมชาติซึ่งชักนำบางส่วนมีการอธิบายในบริบทของการวิเคราะห์ข้อมูล ฉันสังเกตเห็นว่าการเข้าใจผิดของนักแม่นปืนเท็กซัสเป็นเรื่องยากโดยเฉพาะอย่างยิ่งที่จะหลีกเลี่ยง:

กับดักความรู้ความเข้าใจที่รอในระหว่างการวิเคราะห์ข้อมูลนั้นแสดงโดยนักแม่นปืนชาวเท็กซัส: นักแม่นปืนที่ไร้ฝีมือที่ยิงกระสุนแบบสุ่มที่ด้านข้างของยุ้งฉางดึงเป้าหมายรอบกลุ่มหลุมกระสุนที่ใหญ่ที่สุดและภาคภูมิใจที่ ความสำเร็จของเขา

เห็นได้ชัดว่าเป้าของเขาเป็นสิ่งที่น่าหัวเราะ แต่การเข้าใจผิดนั้นไม่ชัดเจนนักสำหรับนักพนันที่เชื่อใน 'มือร้อน' เมื่อพวกเขามีชัยชนะหรือผู้ที่เห็นความสำคัญเหนือธรรมชาติเมื่อมีลอตเตอรี่วาดขึ้นมาเป็นตัวเลขคี่

ไม่ชัดเจนนักวิจัย “ คุณเพิ่งได้รับการสนับสนุนจากข้อมูลแล้วคิดว่านี่คือเส้นทางที่จะลงไป” Pashler กล่าว “ คุณไม่ทราบว่าคุณมี 27 ตัวเลือกที่แตกต่างกันและคุณเลือกตัวเลือกที่ให้ผลลัพธ์ที่น่าพอใจหรือน่าสนใจที่สุดและตอนนี้คุณกำลังมีส่วนร่วมในสิ่งที่ไม่ใช่การแสดงข้อมูลที่เป็นกลาง ”

ฉันคิดว่างานสำรวจเป็นเรื่องธรรมดาและบ่อยครั้งที่สมมติฐานถูกสร้างขึ้นบนพื้นฐานของการวิเคราะห์ มีวิธีการทั้งหมด ( EDA ) ที่อุทิศให้กับกระบวนการนี้:

John Tukey สนับสนุนการวิเคราะห์ข้อมูลเชิงสำรวจเพื่อสนับสนุนนักสถิติในการสำรวจข้อมูลและกำหนดสมมติฐานที่อาจนำไปสู่การรวบรวมข้อมูลและการทดลองใหม่ ๆ

ดูเหมือนว่ากระบวนการสำรวจใด ๆ ที่ดำเนินการโดยไม่มีสมมติฐานล่วงหน้ามีแนวโน้มที่จะสร้างสมมติฐานปลอม

ขอให้สังเกตว่าคำอธิบายของ EDA new data collection and experimentsข้างต้นจริงพูดคุยเกี่ยวกับ ฉันเข้าใจว่าหลังจากรวบรวมข้อมูลใหม่แล้วการวิเคราะห์ข้อมูลยืนยัน (CDA) นั้นเหมาะสม อย่างไรก็ตามฉันไม่คิดว่าความแตกต่างนี้ชัดเจนมากและถึงแม้ว่าการแยก EDA และ CDA จะเหมาะสมที่สุดแน่นอนว่ามีบางสถานการณ์ที่ไม่สามารถทำได้ ฉันจะไปไกลเท่าที่จะบอกว่าการแยกนี้อย่างเคร่งครัดเป็นเรื่องแปลกและผู้ปฏิบัติงานส่วนใหญ่ไม่สมัครรับกระบวนทัศน์ EDA เลย

ดังนั้นคำถามของฉันคือ: EDA (หรือกระบวนการที่ไม่เป็นทางการในการสำรวจข้อมูล) ทำให้มีแนวโน้มที่จะล้มเหลวมากขึ้นสำหรับการเข้าใจผิดที่นักแม่นปืนของเท็กซัส

ถ้ามีคนดูบทบาทของ EDA อย่างเคร่งครัดว่าเป็นการสร้างสมมุติฐานก็จะไม่มีการใช้ความผิดพลาดของนักแม่นปืน อย่างไรก็ตามมันเป็นสิ่งสำคัญมากที่การทดลองยืนยันที่ตามมามีความเป็นอิสระแน่นอน นักวิจัยหลายคนพยายามที่จะ "กระทบยอดแตกต่าง" กับสิ่งต่าง ๆ เช่นการวิเคราะห์แบบรวมการวิเคราะห์เมตาและวิธีเบย์ ซึ่งหมายความว่าอย่างน้อยบางส่วนของหลักฐานที่นำเสนอในการวิเคราะห์รวมถึง "วงกลมรอบรูกระสุนแบบสุ่ม"

สิ่งนี้แสดงมุมมองเชิงลบของการวิเคราะห์ข้อมูลเชิงสำรวจ ในขณะที่ข้อโต้แย้งนั้นไม่ถูกต้องมันก็พูดว่า "จะมีอะไรผิดพลาดเกิดขึ้นเมื่อฉันใช้เครื่องมือที่สำคัญอย่างยิ่งในลักษณะที่ผิด"

การยอมรับค่า p ที่ไม่ได้ปรับปรุงจากวิธี EDA จะนำไปสู่อัตราความผิดพลาดประเภท I ที่สูงเกินจริง แต่ฉันคิดว่า Tukey จะไม่มีความสุขกับใครก็ตามที่ทำสิ่งนี้ จุดของ EDA ไม่ได้เป็นการสรุปที่ชัดเจนเกี่ยวกับความสัมพันธ์ในข้อมูล แต่เพื่อค้นหาความสัมพันธ์ที่เป็นไปได้ใหม่ในข้อมูลเพื่อติดตาม

การออกจากขั้นตอนนี้ในกระบวนการทางวิทยาศาสตร์ที่มีขนาดใหญ่ขึ้นนั้นเป็นหลักวิทยาศาสตร์ที่ทำให้เกิดเอ็นร้อยหวายเพื่อที่จะไม่สามารถหาแง่มุมใหม่ที่น่าสนใจของข้อมูลของเรา เคยลองอนุมานด้วยเหตุผลว่าการแสดงออกของชุดยีนจะมีผลต่อการอยู่รอดของเซลล์หรือไม่ คำแนะนำ: มันไม่ง่ายนัก (หนึ่งในมุขตลกที่เราชื่นชอบในหมู่นักชีวสารสนเทศศาสตร์ในที่ทำงานของฉันคือเมื่อนักฟิสิกส์ถามว่า "ทำไมคุณไม่ลองจำลองคุณสมบัติทางกายภาพของการปฏิสัมพันธ์ของยีนที่แตกต่างกัน?

โดยส่วนตัวแล้วฉันคิดว่าความสับสนเกี่ยวกับสิ่งนี้สามารถนำไปสู่ความก้าวหน้าทางวิทยาศาสตร์ที่ช้าลง ฉันรู้นักวิจัยที่ไม่ใช่เชิงสถิติมากเกินไปที่จะระบุว่าพวกเขาไม่ต้องการทำขั้นตอน EDA เกี่ยวกับข้อมูลเบื้องต้นเพราะพวกเขา "รู้ว่า EDA อาจไม่ดี"

สรุปได้ว่าเป็นเรื่องจริงที่การใช้วิธี EDA และปฏิบัติต่อพวกเขาเป็นวิธีการวิเคราะห์ข้อมูลที่ยืนยันแล้วจะนำไปสู่ผลลัพธ์ที่ไม่ถูกต้อง อย่างไรก็ตามการขาดการใช้งานที่เหมาะสมของ EDA สามารถนำไปสู่ผลลัพธ์เกือบจะไม่มี

ดูเหมือนว่ากระบวนการสำรวจใด ๆ ที่ดำเนินการโดยไม่มีสมมติฐานล่วงหน้ามีแนวโน้มที่จะสร้างสมมติฐานปลอม

ฉันจะใช้ถ้อยแถลงนี้และแสดงความแตกต่างเล็กน้อย: การเลือกสมมติฐานเพื่อทดสอบโดยอาศัยข้อมูลจะทำลายการทดสอบหากไม่มีการใช้สมมติฐานว่างที่ถูกต้อง บทความของ The Nature of the Thrust นั้นเป็นเรื่องง่ายที่นักวิเคราะห์จะไม่สนใจการเปรียบเทียบหลาย ๆ อย่างที่พวกเขาทำโดยปริยายระหว่างการสำรวจ

คำพูดของธรรมชาติ Andrew Gelman แต่ไม่ได้พูดถึงบทความของเขากับ Eric Loken เกี่ยวกับหัวข้อนี้ ข้อความที่ตัดตอนมา:

เมื่อการวิพากษ์วิจารณ์การเปรียบเทียบหลายครั้งเกิดขึ้นเกี่ยวกับเอกสารที่เราพูดถึงที่นี่นักวิจัยไม่ตอบว่าพวกเขาเลือกรายละเอียดทั้งหมดของการประมวลผลข้อมูลและการวิเคราะห์ข้อมูลล่วงหน้า แต่พวกเขาอ้างว่าพวกเขาเลือกเพียงการวิเคราะห์หนึ่งสำหรับข้อมูลเฉพาะที่พวกเขาเห็น ใช้งานง่ายเนื่องจากการป้องกันนี้อาจดูเหมือนว่ามันไม่ได้อยู่ที่ความกังวลพื้นฐานบ่อยของการเปรียบเทียบหลาย ๆ

อื่น ๆ :

ไม่ใช่ว่านักวิจัยทำการเปรียบเทียบที่แตกต่างกันหลายร้อยคนและเลือกสิ่งที่มีนัยสำคัญทางสถิติ แต่พวกเขาเริ่มต้นด้วยแนวคิดที่ค่อนข้างจะเกิดขึ้นในใจของพวกเขาในสิ่งที่การเปรียบเทียบเพื่อดำเนินการและพวกเขาปรับแต่งความคิดนั้นในแง่ของข้อมูล พวกเขาเห็นลวดลายเป็นสีแดงและชมพูและพวกเขารวมสีเข้าด้วยกัน

ชัดถ้อยชัดคำ:

มีการทำแผนที่แบบหนึ่งต่อหลายคนจากสมมติฐานทางวิทยาศาสตร์ถึงสถิติ

และอีกหนึ่งข้อเน้นของฉัน:

ในทุกกรณีที่เราได้กล่าวถึงการวิเคราะห์ที่ตีพิมพ์มีเรื่องราวที่สอดคล้องกับสมมติฐานทางวิทยาศาสตร์ที่เป็นแรงบันดาลใจให้ทำงานแต่รูปแบบข้อมูลอื่น ๆ (ซึ่งทำให้ขนาดตัวอย่างสามารถเกิดขึ้นได้ง่ายโดยบังเอิญ) ตามธรรมชาติ การวิเคราะห์ข้อมูลที่แตกต่างกัน (ตัวอย่างเช่นการมุ่งเน้นที่ผลหลักมากกว่าการโต้ตอบหรือตัวเลือกย่อยของข้อมูลที่แตกต่างกันเพื่อเปรียบเทียบ) ซึ่งเท่าเทียมกันอาจถูกนำมาใช้เพื่อสนับสนุนสมมติฐานการวิจัย ผลที่ได้ยังคงเป็นเช่นที่เราได้เขียนไว้ที่อื่นเครื่องเรียงลำดับสำหรับการผลิตและเผยแพร่รูปแบบการสุ่ม

ในระยะสั้นไม่ใช่ว่า EDA นำไปสู่ ​​"สมมติฐานปลอม"; มันคือการทดสอบสมมติฐานด้วยชุดข้อมูลเดียวกันที่กระตุ้นให้สมมติฐานสามารถนำไปสู่ข้อสรุปปลอม

หากคุณสนใจที่จะเอาชนะสิ่งกีดขวางนี้ Gelman มีบทความอีกฉบับที่ระบุว่าปัญหาเหล่านี้หายไปในกรอบ Bayesian และกระดาษที่มีการอ้างอิง Loken "การจำลองแบบสิ่งพิมพ์ล่วงหน้า" ตามที่อธิบายไว้ในส่วนแรกของบทความนี้

เกือบตามคำนิยามแล้วแน่นอนว่า EDA โดยไม่มี CDA ดึงดูดนักแม่นปืนเท็กซัส

$p$$p$

เพียงเพื่อเพิ่มคำตอบที่ยอดเยี่ยมแล้ว: มีพื้นกลางระหว่าง CDA เต็มรูปแบบและเพียงแค่ยอมรับผล EDA ของคุณที่มูลค่า เมื่อคุณพบคุณลักษณะที่น่าสนใจ (หรือสมมติฐาน) ที่เป็นไปได้แล้วคุณสามารถรับรู้ถึงความทนทานของมันโดยการทำ cross-validation (CV) หรือการจำลองการบูต หากการค้นพบของคุณขึ้นอยู่กับการสังเกตที่สำคัญเพียงไม่กี่ข้อ CV หรือ Bootstrap จะแสดงว่าตัวอย่างการพับ (CV) หรือ boostrap จำนวนมากไม่สามารถทำซ้ำคุณลักษณะที่สังเกตได้

นี่ไม่ใช่วิธีที่เข้าใจผิดได้ แต่เป็นการตรวจสอบระดับกลางที่ดีก่อนที่จะใช้ CDA เต็มรูปแบบ (หรือตั้งใจถือ "ชุดการตรวจสอบความถูกต้อง" จากกลุ่มข้อมูลเริ่มต้นของคุณ)

เกณฑ์ที่เข้มงวดที่สุดสำหรับการเลือกรูปแบบข้อมูลคือระดับที่ใกล้เคียงกับความซับซ้อนของข้อมูล Kolmogorov ซึ่งก็คือระดับที่มันบีบอัดข้อมูลแบบไม่สูญเสียข้อมูล ในทางทฤษฎีแล้วสิ่งนี้สามารถเกิดจากการวิเคราะห์ข้อมูลเชิงสำรวจเพียงอย่างเดียว

ดู "การแยกสาเหตุโดยวิธีสร้างแบบจำลองเชิงอัลกอริทึม "