สถิติทางนิติเวช: Benford และอื่น ๆ

มีวิธีการอะไรในการตรวจจับการฉ้อโกงความผิดปกติความผิดพลาด ฯลฯ ในงานทางวิทยาศาสตร์ที่ผลิตโดยบุคคลที่สาม (ฉันถูกกระตุ้นให้ถามเรื่องนี้จากเรื่องMarc Hauserเมื่อเร็วๆนี้) โดยปกติแล้วสำหรับการเลือกตั้งและการฉ้อโกงทางบัญชีกฎหมายของ Benford ได้ถูกอ้างถึง ผมไม่แน่ใจว่าวิธีการนี้สามารถนำไปใช้เช่นกรณีมาร์คฮาวเซอร์เพราะกฎหมายของ Benford ต้องใช้หมายเลขที่จะเข้าสู่ระบบประมาณเครื่องแบบ

ตัวอย่างที่เป็นรูปธรรมสมมุติว่ากระดาษอ้างถึงค่า p สำหรับการทดสอบทางสถิติจำนวนมาก ใครคนหนึ่งสามารถเปลี่ยนสิ่งเหล่านี้ให้มีความสม่ำเสมอจากนั้นจึงใช้กฎของ Benford? ดูเหมือนว่าจะมีปัญหาทุกอย่างเกี่ยวกับวิธีการนี้ ( เช่นสมมติฐานว่างบางอย่างอาจผิดกฎหมายรหัสสถิติอาจให้ค่า p ซึ่งมีค่าประมาณที่ถูกต้องเท่านั้นการทดสอบอาจให้ค่า p-uniform ภายใต้ null asymptotically, ฯลฯ )

เป็นคำถามที่ดี!

ในบริบททางวิทยาศาสตร์มีการรายงานปัญหาและพฤติกรรมที่เป็นปัญหาหลายประเภท:

• การฉ้อโกง : ฉันต้องการนิยามการฉ้อโกงเป็นความตั้งใจโดยเจตนาในส่วนของผู้แต่งหรือนักวิเคราะห์เพื่อบิดเบือนความจริงของผลลัพธ์และในกรณีที่การบิดเบือนความจริงมีลักษณะร้ายแรงพอสมควร ตัวอย่างหลักคือการสร้างข้อมูลดิบหรือสถิติสรุปที่สมบูรณ์
• ข้อผิดพลาด : นักวิเคราะห์ข้อมูลสามารถสร้างข้อผิดพลาดได้หลายขั้นตอนของการวิเคราะห์ข้อมูลจากการป้อนข้อมูลการจัดการข้อมูลการวิเคราะห์การรายงานและการตีความ
• พฤติกรรมที่ไม่เหมาะสม : มีพฤติกรรมที่ไม่เหมาะสมหลายรูปแบบ โดยทั่วไปสามารถสรุปได้โดยการวางแนวซึ่งพยายามยืนยันตำแหน่งเฉพาะแทนที่จะค้นหาความจริง

ตัวอย่างทั่วไปของพฤติกรรมที่ไม่เหมาะสม ได้แก่ :

• การตรวจสอบชุดของตัวแปรตามที่เป็นไปได้และรายงานเฉพาะตัวแปรที่มีนัยสำคัญทางสถิติ
• ไม่พูดถึงการละเมิดสมมติฐานที่สำคัญ
• การดำเนินการจัดการข้อมูลและขั้นตอนการลบออกโดยไม่ต้องพูดถึงโดยเฉพาะอย่างยิ่งเมื่อขั้นตอนเหล่านี้ไม่เหมาะสมและเลือกอย่างหมดจดเพื่อให้ผลลัพธ์ดูดีขึ้น
• นำเสนอแบบจำลองเป็นการยืนยันซึ่งเป็นการสำรวจจริง
• ละเว้นผลลัพธ์ที่สำคัญที่ขัดแย้งกับอาร์กิวเมนต์ที่ต้องการ
• การเลือกการทดสอบทางสถิติ แต่เพียงผู้เดียวบนพื้นฐานที่ทำให้ผลลัพธ์ดูดีขึ้น
• ใช้ชุดการศึกษาที่ขับเคลื่อนด้วยห้าหรือสิบชุดซึ่งมีเพียงงานเดียวเท่านั้นที่มีนัยสำคัญทางสถิติ (อาจจะเป็นที่ p = .04)

โดยทั่วไปแล้วฉันตั้งสมมติฐานว่าความสามารถนั้นเกี่ยวข้องกับพฤติกรรมที่เป็นปัญหาทั้งสามรูปแบบ นักวิจัยที่ไม่เข้าใจวิธีการทำวิทยาศาสตร์ที่ดี แต่ไม่ต้องการประสบความสำเร็จจะมีแรงจูงใจที่มากขึ้นในการบิดเบือนผลลัพธ์ของพวกเขาอย่างผิด ๆ และมีแนวโน้มน้อยกว่าที่จะเคารพหลักการของการวิเคราะห์ข้อมูลทางจริยธรรม

ความแตกต่างดังกล่าวมีผลกระทบในการตรวจจับพฤติกรรมที่มีปัญหา ตัวอย่างเช่นหากคุณจัดการแยกแยะว่าชุดของผลลัพธ์ที่รายงานนั้นไม่ถูกต้องจะต้องตรวจสอบให้แน่ใจว่าผลลัพธ์นั้นเกิดจากการทุจริตข้อผิดพลาดหรือพฤติกรรมที่ไม่เหมาะสม นอกจากนี้ฉันคิดว่าพฤติกรรมที่ไม่เหมาะสมหลายรูปแบบนั้นเป็นเรื่องธรรมดามากกว่าการฉ้อโกง

เกี่ยวกับการตรวจจับพฤติกรรมที่มีปัญหาฉันคิดว่ามันเป็นทักษะส่วนใหญ่ที่มาจากประสบการณ์การทำงานกับข้อมูลการทำงานกับหัวข้อและการทำงานกับนักวิจัย. ประสบการณ์ทั้งหมดเหล่านี้เสริมสร้างความคาดหวังของคุณเกี่ยวกับข้อมูลที่ควรมีลักษณะอย่างไร ดังนั้นการเบี่ยงเบนที่สำคัญจากความคาดหวังเริ่มกระบวนการค้นหาคำอธิบาย ประสบการณ์กับนักวิจัยช่วยให้คุณเข้าใจถึงพฤติกรรมที่ไม่เหมาะสมซึ่งเป็นเรื่องธรรมดา ในการรวมกันนี้นำไปสู่การสร้างสมมติฐาน ตัวอย่างเช่นถ้าฉันอ่านบทความในวารสารและฉันรู้สึกประหลาดใจกับผลลัพธ์ที่ได้การศึกษาก็ไม่ได้ผลและธรรมชาติของการเขียนแสดงให้เห็นว่าผู้เขียนตั้งจุดเป็นจุดเริ่มต้นฉันสร้างสมมติฐานที่ผลลัพธ์อาจไม่ควร ที่เชื่อถือ.

ทรัพยากรอื่น ๆ

• สถิติโรเบิร์ตพี. Abelson เป็นอาร์กิวเมนต์ที่มีหลักการมีบท "ในความสงสัย Fishiness"

จริงๆแล้วกฎของเบ็นฟอร์ดเป็นวิธีที่ทรงพลังอย่างไม่น่าเชื่อ นี่เป็นเพราะการแจกแจงความถี่แรกของ Benford นั้นใช้ได้กับชุดข้อมูลทุกประเภทที่เกิดขึ้นในโลกแห่งความเป็นจริงหรือในธรรมชาติ

คุณมีสิทธิ์ที่จะใช้กฎหมายของ Benford ในบางสถานการณ์เท่านั้น คุณบอกว่าข้อมูลจะต้องมีการกระจายบันทึกที่สม่ำเสมอ เทคนิคนี้ถูกต้องอย่างแน่นอน แต่คุณสามารถอธิบายความต้องการได้อย่างง่ายและผ่อนปรนมาก สิ่งที่คุณต้องมีคือช่วงของชุดข้อมูลมีขนาดอย่างน้อยหนึ่งลำดับ สมมุติว่าจาก 1 ถึง 9 หรือ 10 ถึง 99 หรือ 100 ถึง 999 ถ้ามันข้ามสองคำสั่งของขนาดคุณอยู่ในธุรกิจ และกฎของเบ็นฟอร์ดน่าจะมีประโยชน์ทีเดียว

ความสวยงามของกฎของเบ็นฟอร์ดคือช่วยให้คุณ จำกัด การสอบสวนของคุณให้แคบลงอย่างรวดเร็วในข้อมูลที่กองอยู่ คุณมองหาความผิดปกติที่ความถี่ของตัวเลขตัวแรกนั้นแตกต่างจากความถี่ของ Benford มาก เมื่อคุณสังเกตเห็นว่ามีสอง 6s หลายตัวคุณใช้กฎของ Benford เพื่อมุ่งเน้นที่ 6s แต่ตอนนี้คุณนำตัวเลขสองหลักแรกไปใช้ (60, 61, 62, 63, ฯลฯ ... ) ทีนี้คุณอาจพบว่ามี 63s มากขึ้นแล้วสิ่งที่ Benford แนะนำ (คุณจะทำเช่นนั้นโดยคำนวณความถี่ของ Benford: log (1 + 1/63) ที่ให้ค่าใกล้เคียงกับ 0%) ดังนั้นคุณใช้ Benford กับตัวเลขสามตัวแรก ตามเวลาที่คุณพบว่ามี 632s มากเกินไป (หรืออะไรก็ตามโดยการคำนวณความถี่ของ Benford: log (1 + 1/632)) เกินกว่าที่คุณคาดหวัง ไม่ใช่ความผิดปกติทั้งหมดที่เป็นการฉ้อโกง แต่,

หากชุดข้อมูลที่ Marc Hauser จัดการนั้นเป็นข้อมูลที่ไม่มีข้อ จำกัด ตามธรรมชาติโดยมีช่วงที่เกี่ยวข้องที่กว้างพอกฎหมายของ Benford จะเป็นเครื่องมือวินิจฉัยที่ดีทีเดียว ฉันแน่ใจว่ามีเครื่องมือการวินิจฉัยที่ดีอื่น ๆ ที่ตรวจจับรูปแบบที่ไม่น่าเป็นไปได้และโดยการรวมเข้ากับกฎของ Benford คุณอาจตรวจสอบเรื่อง Marc Hauser ได้อย่างมีประสิทธิภาพมากที่สุด

ฉันอธิบายกฏของ Benford มากขึ้นในงานนำเสนอสั้น ๆ ที่คุณสามารถดูได้ที่นี่: http://www.slideshare.net/gaetanlion/benfords-law-4669483