พวกเราพูดเกินจริงถึงความสำคัญของสมมติฐานแบบจำลองและการประเมินผลในยุคที่การวิเคราะห์มักจะดำเนินการโดยฆราวาส

บรรทัดล่างยิ่งฉันเรียนรู้เกี่ยวกับสถิติมากเท่าไหร่ฉันก็ยิ่งเชื่อถือเอกสารที่ตีพิมพ์น้อยลงในสาขาของฉัน ฉันแค่เชื่อว่านักวิจัยไม่ได้ทำสถิติของพวกเขาดีพอ

ฉันเป็นคนธรรมดาดังนั้นต้องพูด ฉันได้รับการฝึกฝนด้านชีววิทยา แต่ไม่มีการศึกษาอย่างเป็นทางการในสถิติหรือคณิตศาสตร์ ฉันสนุกกับ R และมักจะพยายามอ่าน (และเข้าใจ ... ) รากฐานทางทฤษฎีบางอย่างของวิธีการที่ฉันใช้เมื่อทำการวิจัย ไม่แปลกใจเลยถ้าคนส่วนใหญ่ที่ทำการวิเคราะห์ในวันนี้ไม่ได้รับการฝึกฝนอย่างเป็นทางการ ฉันตีพิมพ์ต้นฉบับประมาณ 20 ฉบับซึ่งบางฉบับได้รับการยอมรับโดยวารสารและนักสถิติที่มีชื่อเสียงมักมีส่วนเกี่ยวข้องในกระบวนการตรวจทานอยู่บ่อยครั้ง การวิเคราะห์โดยทั่วไปของฉันรวมถึงการวิเคราะห์ความอยู่รอดการถดถอยเชิงเส้นการถดถอยแบบโลจิสติก ผู้ตรวจทานไม่เคยถามเกี่ยวกับสมมติฐานของแบบจำลองความเหมาะสมหรือการประเมินผล

ดังนั้นฉันไม่เคยใส่ใจมากเกินไปเกี่ยวกับสมมติฐานแบบจำลองความพอดีและการประเมินผล ฉันเริ่มต้นด้วยสมมติฐานดำเนินการถดถอยแล้วนำเสนอผลลัพธ์ ในบางกรณีผมทำให้ความพยายามในการประเมินสิ่งเหล่านี้ แต่ฉันมักจะจบลงด้วย " ดีที่มันไม่ได้ปฏิบัติตามสมมติฐานทั้งหมด แต่ผมเชื่อว่าผล (" ความรู้เรื่อง ") และพวกเขาจะเป็นไปได้ดังนั้นจึงเป็นเรื่องที่ดี " และ เมื่อปรึกษานักสถิติพวกเขาดูเหมือนจะเห็นด้วยเสมอ

ตอนนี้ฉันได้พูดคุยกับนักสถิติคนอื่น ๆ และผู้ที่ไม่ใช่นักสถิติ (นักเคมีแพทย์และนักชีววิทยา) ที่ทำการวิเคราะห์ตัวเอง ดูเหมือนว่าผู้คนไม่ได้ใส่ใจมากเกินไปเกี่ยวกับสมมติฐานและการประเมินที่เป็นทางการ แต่ที่นี่ในประวัติย่อมีผู้คนมากมายถามเกี่ยวกับสิ่งที่เหลือแบบจำลองวิธีการประเมินค่าลักษณะเฉพาะเวกเตอร์และรายการดำเนินต่อไป ให้ฉันใช้วิธีนี้เมื่อ lme4 เตือนเกี่ยวกับค่าลักษณะเฉพาะขนาดใหญ่ฉันสงสัยจริงๆว่าผู้ใช้จำนวนมากสนใจที่จะจัดการกับ ...

มันคุ้มค่ากับความพยายามพิเศษหรือไม่? เป็นไปได้หรือไม่ที่ผลลัพธ์ส่วนใหญ่ที่เผยแพร่ทั้งหมดไม่เคารพสมมติฐานเหล่านี้และอาจไม่ได้ประเมินด้วยซ้ำ นี่อาจเป็นปัญหาที่เพิ่มขึ้นเนื่องจากฐานข้อมูลมีขนาดใหญ่ขึ้นทุกวันและมีความคิดว่ายิ่งข้อมูลมีขนาดใหญ่ขึ้นความสำคัญน้อยกว่าก็คือสมมติฐานและการประเมินผล

ฉันอาจจะผิดอย่างแน่นอน แต่นี่คือวิธีที่ฉันได้รับรู้นี้

อัปเดต: การอ้างอิงที่ยืมมาจาก StasK (ด้านล่าง): http://www.nature.com/news/science-joins-push-to-screen-statistics-in-papers-1.15509

ฉันได้รับการฝึกฝนในฐานะนักสถิติไม่ใช่นักชีววิทยาหรือแพทย์ แต่ฉันทำการวิจัยทางการแพทย์บ้างเล็กน้อย (ทำงานกับนักชีววิทยาและแพทย์) ในส่วนของการวิจัยของฉันฉันได้เรียนรู้เกี่ยวกับการรักษาโรคที่แตกต่างกันหลายอย่าง นี่หมายความว่าหากเพื่อนถามฉันเกี่ยวกับโรคที่ฉันได้วิจัยว่าฉันสามารถเขียนใบสั่งยาสำหรับยาที่ฉันรู้ว่าใช้กันทั่วไปสำหรับโรคนั้นได้หรือไม่? หากฉันต้องทำสิ่งนี้ (ฉันไม่ทำ) ดังนั้นในหลายกรณีอาจเป็นไปได้ที่จะตกลง (เนื่องจากแพทย์เพิ่งจะสั่งยาชนิดเดียวกัน) แต่ก็มีความเป็นไปได้ที่พวกเขาจะมีอาการแพ้ / ยา ปฏิสัมพันธ์ / อื่น ๆ ที่แพทย์จะถามเกี่ยวกับว่าฉันไม่ได้และจบลงด้วยการก่อให้เกิดอันตรายมากกว่าดี

หากคุณกำลังทำสถิติโดยไม่เข้าใจสิ่งที่คุณกำลังสมมติและสิ่งที่อาจผิดไป (หรือปรึกษากับนักสถิติตามวิธีที่จะมองหาสิ่งเหล่านี้) จากนั้นคุณกำลังฝึกการทุจริตต่อหน้าที่ทางสถิติ เวลาส่วนใหญ่มันอาจจะโอเค แต่สิ่งที่เกี่ยวกับโอกาสที่สมมติฐานที่สำคัญไม่ได้ถือ แต่คุณเพียงแค่เพิกเฉย?

ฉันทำงานกับแพทย์บางคนที่มีความสามารถทางสถิติอย่างสมเหตุสมผลและสามารถทำการวิเคราะห์ของตัวเองได้มาก แต่พวกเขาจะยังคงวิ่งผ่านฉัน บ่อยครั้งที่ฉันยืนยันว่าพวกเขาทำสิ่งที่ถูกต้องและพวกเขาสามารถทำการวิเคราะห์ตัวเอง (และพวกเขามักจะขอบคุณสำหรับการยืนยัน) แต่บางครั้งพวกเขาจะทำสิ่งที่ซับซ้อนมากขึ้นและเมื่อฉันพูดถึงวิธีที่ดีกว่าพวกเขามักจะทำการวิเคราะห์ ฉันหรือทีมของฉันหรืออย่างน้อยก็พาฉันเข้ามามีบทบาทอย่างแข็งขันมากขึ้น

ดังนั้นคำตอบของฉันสำหรับคำถามไตเติ้ลของคุณคือ "ไม่" เราไม่ได้พูดเกินจริง แต่เราควรจะเน้นบางสิ่งมากขึ้นเพื่อให้ฆราวาสมีแนวโน้มที่จะตรวจสอบขั้นตอน / ผลลัพธ์ของพวกเขาด้วยสถิติอย่างน้อยสองครั้ง

แก้ไข

นี่คือส่วนเพิ่มเติมตามความคิดเห็นของอดัมด้านล่าง (จะยาวไปอีกเล็กน้อยสำหรับความคิดเห็นอื่น)

อดัมขอบคุณสำหรับความคิดเห็นของคุณ คำตอบสั้น ๆ คือ "ฉันไม่รู้" ฉันคิดว่าความคืบหน้ากำลังดำเนินการในการปรับปรุงคุณภาพทางสถิติของบทความ แต่สิ่งต่าง ๆ ได้ดำเนินไปอย่างรวดเร็วในหลาย ๆ ด้านซึ่งจะใช้เวลาสักครู่ในการติดตามและรับรองคุณภาพ ส่วนหนึ่งของการแก้ปัญหาคือการมุ่งเน้นไปที่สมมติฐานและผลที่ตามมาของการละเมิดในหลักสูตรสถิติเบื้องต้น นี่เป็นแนวโน้มที่จะเกิดขึ้นเมื่อมีการสอนในชั้นเรียนโดยนักสถิติ แต่จำเป็นต้องเกิดขึ้นในทุกชั้นเรียน

วารสารบางเล่มทำงานได้ดีขึ้น แต่ฉันต้องการเห็นนักวิจารณ์ทางสถิติที่เฉพาะเจาะจงกลายเป็นมาตรฐาน มีบทความไม่กี่ปีที่ผ่านมา (ขออภัยไม่มีการอ้างอิงที่มีประโยชน์ แต่เป็นใน JAMA หรือวารสารการแพทย์นิวอิงแลนด์) ที่แสดงความน่าจะเป็นที่สูงขึ้นของการเผยแพร่ (แม้ว่าจะไม่แตกต่างกันมากเท่าที่ควร จะ) ใน JAMA หรือ NEJM หากนักชีวสถิติหรือนักระบาดวิทยาเป็นหนึ่งในผู้เขียนร่วม

บทความที่น่าสนใจที่ออกมาเมื่อไม่นานมานี้คือ: http://www.nature.com/news/statistics-p-values-are-just-the-tip-of-the-iceberg-1.17412ซึ่งกล่าวถึงปัญหาเดียวกัน

ทีนี้ใช่ข้อสมมติฐานสำคัญ - ถ้าพวกเขาไม่สำคัญเลยเราไม่จำเป็นต้องสร้างมันขึ้นมาใช่ไหม?

คำถามคือพวกเขาสำคัญขนาดไหน - สิ่งนี้แตกต่างกันไปตามขั้นตอนและสมมติฐานและสิ่งที่คุณต้องการอ้างสิทธิ์เกี่ยวกับผลลัพธ์ของคุณ (และวิธีที่ผู้ชมของคุณยอมรับได้ว่าจะมีการประมาณ

ดังนั้นสำหรับตัวอย่างของสถานการณ์ที่การสันนิษฐานเป็นสิ่งสำคัญให้พิจารณาข้อสันนิษฐานทั่วไปในการทดสอบความแปรปรวนแบบ F แม้การเปลี่ยนแปลงเล็กน้อยในการกระจายตัวอาจมีผลกระทบอย่างมากต่อคุณสมบัติ (ระดับนัยสำคัญที่แท้จริงและอำนาจ) ของกระบวนการ หากคุณอ้างว่าคุณกำลังทำการทดสอบที่ระดับ 5% เมื่ออยู่ในระดับ 28% คุณรู้สึกว่าทำสิ่งเดียวกันกับโกหกเกี่ยวกับวิธีการทดสอบของคุณ หากคุณไม่คิดว่าปัญหาทางสถิตินั้นสำคัญให้ทำการโต้แย้งที่ไม่ต้องพึ่งพา ในทางกลับกันหากคุณต้องการใช้ข้อมูลทางสถิติเป็นการสนับสนุนคุณจะไม่สามารถแสดงการสนับสนุนนั้นผิด

ในกรณีอื่น ๆ สมมติฐานพิเศษอาจมีความสำคัญน้อยกว่ามาก หากคุณประเมินค่าสัมประสิทธิ์ในการถดถอยเชิงเส้นและคุณไม่สนใจว่ามันมีนัยสำคัญทางสถิติและคุณไม่สนใจประสิทธิภาพก็ไม่จำเป็นว่าจะต้องมีการสันนิษฐาน homoskedasticity หรือไม่ แต่ถ้าคุณต้องการบอกว่ามันมีนัยสำคัญทางสถิติหรือแสดงช่วงความมั่นใจใช่แน่นอนมันอาจสำคัญ

ในขณะที่ Glen_b ให้คำตอบที่ดีฉันต้องการเพิ่มสักสองสามเซนต์

สิ่งหนึ่งที่ต้องพิจารณาคือว่าคุณต้องการได้รับความจริงทางวิทยาศาสตร์หรือไม่ซึ่งจะต้องขัดเกลาผลลัพธ์ของคุณและหารายละเอียดทั้งหมดว่าแนวทางของคุณสามารถป้องกันได้หรือไม่และการตีพิมพ์ใน "อืมมไม่มีใครตรวจสอบค่านิยมเหล่านี้ โหมด. กล่าวอีกนัยหนึ่งคุณต้องถามความรู้สึกผิดชอบชั่วดีในวิชาชีพของคุณว่าคุณทำผลงานได้ดีที่สุดหรือไม่ การอ้างถึงความรู้ทางสถิติต่ำและการปฏิบัติทางสถิติที่เข้มงวดในระเบียบวินัยของคุณไม่ได้สร้างข้อโต้แย้งที่น่าเชื่อถือ ผู้ตรวจสอบมักจะให้ความช่วยเหลือครึ่งหนึ่งได้ดีที่สุดหากพวกเขามาจากระเบียบวินัยเดียวกันกับมาตรฐานหละหลวมแม้ว่าร้านค้าชั้นนำบางแห่งจะมีโครงการริเริ่มที่ชัดเจนเพื่อนำความเชี่ยวชาญทางสถิติมาสู่กระบวนการตรวจสอบ

แต่ถึงแม้ว่าคุณจะเป็นตัวแบ่งส่วนข้อมูลแบบ "ตี - หรือ - พินาศ" แบบเหยียดหยามการพิจารณาอื่น ๆ นั้นก็คือความปลอดภัยของชื่อเสียงงานวิจัยของคุณ หากแบบจำลองของคุณล้มเหลวและคุณไม่รู้ตัวคุณกำลังเสี่ยงต่อการถูกโต้แย้งโดยผู้ที่สามารถเข้ามาและขับขวานเข้าไปในรอยแตกของการตรวจสอบแบบจำลองด้วยเครื่องมือที่ละเอียดกว่า ได้รับความเป็นไปได้ที่ดูเหมือนจะต่ำในขณะที่ชุมชนวิทยาศาสตร์แม้จะมีข้อกำหนดทางปรัชญาของการมีชื่อเสียงและความสามารถในการทำซ้ำ แต่ไม่ค่อยมีส่วนร่วมในความพยายามที่จะทำซ้ำการวิจัยของคนอื่น (ฉันมีส่วนร่วมในการเขียนเอกสารสองฉบับที่เริ่มต้นด้วย "โอ้พระเจ้าของฉันพวกเขาจริง ๆเขียนว่า?" และนำเสนอบทวิจารณ์และการปรับแต่งของวิธีการทางสถิติกึ่ง peer-reviewed ตีพิมพ์.) อย่างไรก็ตามความล้มเหลวของการวิเคราะห์ทางสถิติเมื่อสัมผัสมักจะทำให้กระเด็นขนาดใหญ่และที่ไม่พึงประสงค์

ธรรมชาติของการละเมิดสมมติฐานสามารถเป็นเบาะแสที่สำคัญสำหรับการวิจัยในอนาคต ตัวอย่างเช่นการละเมิดข้อสมมติฐานเกี่ยวกับสัดส่วนความเป็นอันตรายในการวิเคราะห์การรอดชีวิตของ Cox อาจเกิดจากตัวแปรที่มีผลกระทบอย่างมากต่อการอยู่รอดระยะสั้น แต่มีผลเพียงเล็กน้อยในระยะยาว นั่นคือข้อมูลที่ไม่คาดคิด แต่สำคัญซึ่งคุณสามารถรับได้โดยการตรวจสอบความถูกต้องของข้อสมมติฐานของคุณในการทดสอบทางสถิติ

ดังนั้นคุณต้องทำด้วยตัวคุณเองไม่ใช่แค่ในวรรณคดีซึ่งเป็นความเสียหายที่อาจเกิดขึ้นหากคุณไม่ทดสอบสมมติฐานพื้นฐาน เมื่อวารสารคุณภาพสูงเริ่มต้องการการตรวจสอบทางสถิติที่ซับซ้อนยิ่งขึ้นคุณจะพบว่าตัวเองถูกเรียกให้ทำบ่อยขึ้น คุณไม่ต้องการที่จะอยู่ในตำแหน่งที่ผู้ตรวจสอบทางสถิติที่ต้องการการทดสอบทำลายสิ่งที่คุณคิดว่าเป็นประเด็นสำคัญในรายงานของคุณ

ฉันจะตอบจากมุมมองระดับกลาง ฉันไม่ใช่นักสถิติฉันเป็นนักเคมี อย่างไรก็ตามฉันใช้เวลา 10 ปีที่เชี่ยวชาญด้านเคมี = การวิเคราะห์ข้อมูลเชิงสถิติสำหรับข้อมูลที่เกี่ยวข้องกับเคมี

ฉันแค่เชื่อว่านักวิจัยไม่ได้ทำสถิติของพวกเขาดีพอ

นั่นอาจเป็นกรณี

เวอร์ชั่นสั้น:

ตอนนี้เกี่ยวกับสมมติฐาน IMHO สถานการณ์ที่นี่ต่างกันเกินไปที่จะจัดการกับมันในแถลงการณ์เดียว การทำความเข้าใจกับสิ่งที่จำเป็นต้องมีการสันนิษฐานและในทางที่มีแนวโน้มว่าจะถูกละเมิดโดยแอพพลิเคชั่นนั้นมีความจำเป็นเพื่อตัดสินว่าการละเมิดนั้นไม่เป็นอันตรายหรือสำคัญ และสิ่งนี้ต้องการทั้งสถิติรวมถึงความรู้เกี่ยวกับแอปพลิเคชัน
ในฐานะที่เป็นผู้ประกอบการที่เผชิญกับสมมติฐานที่ไม่สามารถบรรลุได้อย่างไรก็ตามฉันต้องการสิ่งอื่นเช่นกัน: ฉันต้องการมี "แนวป้องกันอันดับสอง" ที่เช่นอนุญาตให้ฉันตัดสินว่าการละเมิดนั้นก่อให้เกิดปัญหาจริงหรือไม่เป็นอันตรายหรือไม่

รุ่นยาว:

• จากมุมมองของภาคปฏิบัติสมมติฐานทั่วไปบางข้อแทบไม่เคยพบกันมาก่อน บางครั้งฉันสามารถกำหนดสมมติฐานที่สมเหตุสมผลเกี่ยวกับข้อมูล แต่บ่อยครั้งที่ปัญหาจะซับซ้อนมากจากมุมมองทางสถิติที่ยังไม่ทราบวิธีแก้ปัญหา โดยตอนนี้ฉันเชื่อว่าการทำวิทยาศาสตร์หมายความว่าคุณจะตีกรอบของสิ่งที่เป็นที่รู้จักไม่เพียง แต่ในวินัยของคุณ แต่อาจอยู่ในสาขาอื่น ๆ (ที่นี่: สถิติประยุกต์)

• มีสถานการณ์อื่น ๆ ที่ทราบว่าการละเมิดบางอย่างมักจะไม่เป็นอันตราย - เช่นความแปรปรวนแบบหลายตัวแปรที่มีความแปรปรวนร่วมเท่ากันสำหรับ LDA นั้นจำเป็นต้องแสดงให้เห็นว่า LDA นั้นดีที่สุด แต่เป็นที่รู้กันดีว่าการฉายตามฮิวริสติก สมมติฐานไม่เป็นไปตาม และการละเมิดใดที่มีแนวโน้มที่จะก่อให้เกิดปัญหา: เป็นที่ทราบกันดีว่าการกระจายอย่างหนักในการฝึกนำไปสู่ปัญหากับ LDA ในทางปฏิบัติ
  แต่น่าเสียดายที่ความรู้ดังกล่าวทำให้การเขียนย่อของกระดาษเป็นเรื่องย่อดังนั้นผู้อ่านจึงไม่สงสัยเลยว่าผู้เขียนตัดสินใจเลือกรูปแบบของพวกเขาหรือไม่หลังจากพิจารณาคุณสมบัติของแอพพลิเคชั่นเช่นเดียวกับแบบจำลอง พวกเขาเจอกัน

• บางครั้งแนวทางการปฏิบัติ (ฮิวริสติก) วิวัฒนาการที่กลายเป็นประโยชน์อย่างมากจากมุมมองของภาคปฏิบัติแม้ว่ามันจะใช้เวลาหลายสิบปีจนกว่าจะเข้าใจคุณสมบัติทางสถิติของพวกเขา (ฉันคิดถึง PLS)

• อีกสิ่งหนึ่งที่เกิดขึ้น (และควรเกิดขึ้นมากกว่านี้) คือการติดตามผลที่เป็นไปได้ของการละเมิด (วัด) ซึ่งช่วยให้ตัดสินใจได้ว่ามีปัญหาหรือไม่ สำหรับแอปพลิเคชั่นบางทีฉันไม่สนใจว่าตัวแบบของฉันจะดีที่สุดตราบใดที่มันยังดีพอ
  ในวิชาเคมีเรามีความสำคัญอย่างมากต่อการทำนาย และสิ่งนี้ให้การหลบหนีที่ดีมากในกรณีที่ไม่ตรงตามสมมติฐานการสร้างแบบจำลอง: ไม่ว่าเราจะตั้งสมมติฐานว่าแบบจำลองนั้นทำงานได้ดีหรือไม่ จากมุมมองของผู้ปฏิบัติงานฉันจะบอกว่าคุณได้รับอนุญาตให้ทำสิ่งที่คุณต้องการระหว่างการสร้างแบบจำลองถ้าคุณทำและรายงานการตรวจสอบความถูกต้องทันสมัย
  สำหรับการวิเคราะห์ทางเคมีของข้อมูลสเปกโทรสโกปีเราอยู่ในจุดที่เราไม่ได้ดูสิ่งตกค้างเพราะเรารู้ว่าแบบจำลองนั้นมีความเหมาะสมมากเกินไป แต่เรามองไปที่ประสิทธิภาพของข้อมูลการทดสอบ (และความแตกต่างของข้อมูลการฝึกอบรมทำนายประสิทธิภาพ)

• มีสถานการณ์อื่น ๆ ที่ในขณะที่เราไม่สามารถคาดการณ์ได้อย่างแม่นยำว่าการละเมิดข้อใดที่นำไปสู่การแยกแยะโมเดล แต่เราสามารถวัดผลที่ตามมาจากการละเมิดข้อตกลงที่ร้ายแรง
  ตัวอย่างถัดไป: ข้อมูลการศึกษาที่ฉันจัดการโดยทั่วไปคือคำสั่งที่มีขนาดต่ำกว่าขนาดตัวอย่างที่กฎกติกาหัวแม่มือแนะนำสำหรับกรณีต่อการเปลี่ยนแปลง (เพื่อรับประกันการประมาณที่เสถียร) แต่โดยทั่วไปแล้วหนังสือสถิติจะไม่สนใจสิ่งที่ต้องทำในทางปฏิบัติหากข้อสันนิษฐานนี้ไม่สามารถทำได้ หรือวิธีวัดว่าจริง ๆ แล้วคุณกำลังมีปัญหาในส่วนนี้ แต่: คำถามดังกล่าวได้รับการปฏิบัติในสาขาวิชาที่มีการประยุกต์ใช้มากกว่า ปรากฎว่ามันมักจะง่ายต่อการวัดความมั่นคงของแบบจำลองโดยตรงหรืออย่างน้อยก็ว่าการคาดการณ์ของคุณจะไม่เสถียรหรือไม่ (อ่านที่นี่ใน CV เกี่ยวกับการตรวจสอบความถูกต้องของตัวอย่าง และมีวิธีการทำให้แบบจำลองที่ไม่เสถียรเสถียร (เช่นการใส่ถุง)

• เป็นตัวอย่างของ "แนวป้องกันที่ 2" พิจารณาการตรวจสอบการสุ่มใหม่ ข้อสันนิษฐานที่ธรรมดาและแข็งแกร่งที่สุดคือตัวแบบตัวแทนเสมือนทั้งหมดนั้นเทียบเท่ากับตัวแบบที่ผ่านการฝึกอบรมในชุดข้อมูลทั้งหมด หากสมมติฐานนี้ถูกละเมิดเราจะได้รับอคติในแง่ร้ายที่มีชื่อเสียง บรรทัดที่ 2 คืออย่างน้อยโมเดลตัวแทนจะเทียบเท่ากันดังนั้นเราจึงสามารถรวมผลลัพธ์การทดสอบได้

สุดท้าย แต่ไม่น้อย, ฉันต้องการที่จะส่งเสริมให้ "นักวิทยาศาสตร์ของลูกค้า" และสถิติที่จะพูดมากขึ้นกับแต่ละอื่น ๆ การวิเคราะห์ข้อมูลเชิงสถิติ IMHO ไม่ใช่สิ่งที่สามารถทำได้ในแบบทางเดียว เมื่อถึงจุดหนึ่งแต่ละด้านจะต้องได้รับความรู้ด้านอื่น ๆ บางครั้งฉันก็ช่วย "แปล" ระหว่างนักสถิติและนักเคมีและนักชีววิทยา นักสถิติสามารถรู้ได้ว่าตัวแบบต้องการการทำให้เป็นมาตรฐาน แต่ในการเลือกพูดระหว่าง LASSO กับสันเขาพวกเขาจำเป็นต้องรู้คุณสมบัติของข้อมูลที่มีเพียงนักเคมีนักฟิสิกส์หรือนักชีววิทยาเท่านั้นที่รู้

เนื่องจาก CV มีประชากรโดยนักสถิติและผู้ที่มีความอยากรู้อยากเห็นเกี่ยวกับสถิติฉันไม่แปลกใจกับคำตอบทั้งหมดที่เน้นความจำเป็นในการเข้าใจสมมติฐาน ฉันยังเห็นด้วยกับคำตอบเหล่านี้ในหลักการ

อย่างไรก็ตามเมื่อคำนึงถึงแรงกดดันในการเผยแพร่และมาตรฐานที่ต่ำสำหรับความสมบูรณ์ทางสถิติในปัจจุบันฉันต้องบอกว่าคำตอบเหล่านี้ไร้เดียงสาทีเดียว เราสามารถบอกผู้คนได้ว่าพวกเขาควรทำอะไรตลอดทั้งวัน (เช่นตรวจสอบสมมติฐานของคุณ) แต่สิ่งที่พวกเขาจะทำนั้นขึ้นอยู่กับแรงจูงใจของสถาบันเพียงอย่างเดียว OP เองระบุว่าเขาจัดการเพื่อเผยแพร่บทความ 20 รายการโดยไม่เข้าใจสมมติฐานของตัวแบบ จากประสบการณ์ของฉันฉันไม่คิดว่าจะเชื่อ

ดังนั้นฉันต้องการเล่นผู้สนับสนุนของปีศาจตอบคำถามของ OP โดยตรง นี่ไม่ใช่คำตอบที่ส่งเสริม "การปฏิบัติที่ดี" แต่มันเป็นสิ่งหนึ่งที่สะท้อนให้เห็นว่าสิ่งต่าง ๆ ได้รับการฝึกฝนด้วยคำใบ้

มันคุ้มค่ากับความพยายามพิเศษหรือไม่?

ไม่ถ้าเป้าหมายคือการเผยแพร่มันไม่คุ้มค่าที่จะใช้เวลาทำความเข้าใจกับโมเดล เพียงทำตามรูปแบบที่แพร่หลายในวรรณคดี ด้วยวิธีนี้ 1) บทความของคุณจะผ่านการตรวจสอบได้ง่ายขึ้นและ 2) ความเสี่ยงของการถูก "ไร้ความสามารถทางสถิติ" มีขนาดเล็กเนื่องจากการเปิดเผยคุณหมายถึงการเปิดเผยฟิลด์ทั้งหมดรวมถึงผู้อาวุโสจำนวนมาก

เป็นไปได้หรือไม่ที่ผลลัพธ์ส่วนใหญ่ที่เผยแพร่ทั้งหมดไม่เคารพสมมติฐานเหล่านี้และอาจไม่ได้ประเมินด้วยซ้ำ นี่อาจเป็นปัญหาที่เพิ่มขึ้นเนื่องจากฐานข้อมูลมีขนาดใหญ่ขึ้นทุกวันและมีความคิดว่ายิ่งข้อมูลมีขนาดใหญ่ขึ้นความสำคัญน้อยกว่าก็คือสมมติฐานและการประเมินผล

ใช่เป็นไปได้ว่าผลลัพธ์ที่เผยแพร่ส่วนใหญ่ไม่เป็นความจริง ยิ่งฉันมีส่วนร่วมในการวิจัยจริงมากเท่าไหร่ฉันก็ยิ่งคิดว่ามันเป็นไปได้

คำตอบสั้น ๆ คือ "ไม่" วิธีการทางสถิติได้รับการพัฒนาภายใต้ชุดของสมมติฐานที่ควรพบเพื่อให้ผลลัพธ์มีความถูกต้อง มันก็มีเหตุผลแล้วถ้าหากสมมติฐานไม่เป็นไปตามผลลัพธ์ที่ได้อาจไม่ถูกต้อง แน่นอนประมาณการบางอย่างอาจยังคงแข็งแกร่งแม้จะมีการละเมิดสมมติฐานแบบจำลอง ตัวอย่างเช่น log multinomial ดูเหมือนจะทำงานได้ดีแม้จะมีการละเมิดสมมติฐาน IIA (ดูวิทยานิพนธ์ของ Kropko [2011] ในการอ้างอิงด้านล่าง)

ในฐานะนักวิทยาศาสตร์เรามีภาระผูกพันที่จะต้องแน่ใจว่าผลลัพธ์ที่เราออกมานั้นมีความถูกต้องแม้ว่าผู้คนในสาขานี้จะไม่สนใจว่าข้อสันนิษฐานนั้นจะเกิดขึ้นก็ตาม เนื่องจากวิทยาศาสตร์ถูกสร้างขึ้นบนสมมติฐานที่ว่านักวิทยาศาสตร์จะทำสิ่งที่ถูกต้องในการแสวงหาข้อเท็จจริง เราเชื่อว่าเพื่อนร่วมงานของเราตรวจสอบงานของพวกเขาก่อนส่งออกไปยังวารสาร เราเชื่อว่าผู้ตัดสินจะตรวจทานต้นฉบับก่อนที่จะเผยแพร่ เราถือว่าที่ทั้งนักวิจัยและผู้ตัดสินรู้ว่าพวกเขากำลังทำอะไรอยู่เพื่อให้ผลลัพธ์ในเอกสารที่ตีพิมพ์ในวารสารที่ผ่านการตรวจสอบโดยเพื่อนสามารถเชื่อถือได้ เรารู้ว่าสิ่งนี้ไม่เป็นความจริงเสมอไปในโลกแห่งความเป็นจริงโดยพิจารณาจากบทความในวรรณคดีจำนวนมากที่คุณส่ายหัวและส่ายตาไปกับผลที่ได้รับจากเชอร์รี่ในวารสารที่น่านับถือ (" Jamaตีพิมพ์บทความนี้ ! ")

ไม่เลยความสำคัญไม่สามารถเกินเลยไปได้โดยเฉพาะอย่างยิ่งเมื่อมีคนไว้วางใจคุณ - ผู้เชี่ยวชาญ - ทำสิ่งที่คุณต้องทำ อย่างน้อยที่สุดคุณสามารถพูดคุยเกี่ยวกับการละเมิดเหล่านี้ในส่วน "ข้อ จำกัด " ของเอกสารของคุณเพื่อช่วยให้ผู้คนตีความความถูกต้องของผลลัพธ์ของคุณ

การอ้างอิง

Kropko, J. 2011. แนวทางใหม่ในการแยกทางเลือกและระเบียบวิธีแบบตัดขวางของอนุกรมเวลาสำหรับการวิจัยทางการเมือง (วิทยานิพนธ์) UNC-Chapel Hill, Chapel Hill, NC.

หากคุณต้องการสถิติขั้นสูงมากเป็นไปได้มากที่สุดเนื่องจากข้อมูลของคุณยุ่งเหยิงซึ่งเป็นกรณีที่สังคมศาสตร์ส่วนใหญ่ไม่พูดถึงจิตวิทยา ในสาขาที่คุณมีข้อมูลที่ดีคุณต้องมีสถิติน้อยมาก ฟิสิกส์เป็นตัวอย่างที่ดีมาก

พิจารณาข้อความนี้จากกาลิเลโอในการทดลองการเร่งความเร็วด้วยแรงโน้มถ่วงที่โด่งดัง

ชิ้นส่วนที่ทำด้วยไม้หรือเศษไม้ที่มีความยาวประมาณ 12 ศอกกว้างครึ่งศอกและมีความกว้างสามนิ้ว บนขอบของมันถูกตัดช่องกว้างมากกว่าหนึ่งนิ้วในความกว้าง; การทำร่องนี้ให้ตรงเรียบเนียนและขัดมันและวางมันไว้ด้วยแผ่นหนังและก็ราบรื่นและขัดเงาที่สุดเท่าที่จะทำได้เรากลิ้งลูกบอลสีบรอนซ์ที่แข็งเรียบและกลมมาก เมื่อวางกระดานนี้ในตำแหน่งที่ลาดชันโดยการยกปลายด้านหนึ่งบางส่วนหนึ่งหรือสองศอกเหนืออีกด้านหนึ่งเราก็กลิ้งลูกบอลดังที่ฉันเพิ่งพูดไปตามช่องสัญญาณสังเกตในลักษณะที่จะอธิบายในปัจจุบันเวลาที่ต้องการ เพื่อให้โคตร เราทำการทดลองนี้ซ้ำหลายครั้งเพื่อวัดเวลาด้วยความแม่นยำเช่นการเบี่ยงเบนระหว่างการสังเกตสองครั้งไม่เกินหนึ่งในสิบของจังหวะการเต้นของชีพจร หลังจากทำการดำเนินการนี้และมั่นใจในความน่าเชื่อถือของตนเองแล้วตอนนี้เราได้กลิ้งลูกบอลไปเพียงหนึ่งในสี่ของความยาวของช่อง; และเมื่อวัดเวลาการสืบเชื้อสายของมันแล้วเราพบว่ามันแม่นยำครึ่งหนึ่งของอดีต ต่อไปเราลองใช้ระยะทางอื่นเปรียบเทียบเวลาสำหรับความยาวทั้งหมดกับครึ่งหรือสองในสามหรือสามในสี่หรือสำหรับเศษส่วนใด ๆ ในการทดลองดังกล่าวทำซ้ำเต็มร้อยครั้งเรามักพบว่าช่องว่างที่เคลื่อนที่ข้ามกันเป็นสี่เหลี่ยมกำลังสองและนี่เป็นความจริงสำหรับความโน้มเอียงทั้งหมดของระนาบคือของช่องซึ่งเรารีด ลูกบอล. นอกจากนี้เรายังสังเกตเห็นว่าเวลาของการสืบเชื้อสายสำหรับความโน้มเอียงที่แตกต่างกันของระนาบนั้นมีความแม่นยำต่ออัตราส่วนที่ซึ่งเราจะเห็นในภายหลัง

สำหรับการวัดเวลาเราใช้เรือน้ำขนาดใหญ่วางในตำแหน่งที่ยกระดับ ที่ด้านล่างของเรือลำนี้ถูกบัดกรีท่อขนาดเล็กให้น้ำเจ็ทบาง ๆ ที่เราเก็บรวบรวมในแก้วเล็ก ๆ ในช่วงเวลาของการสืบเชื้อสายแต่ละไม่ว่าจะเป็นความยาวทั้งหมดของช่องหรือส่วนหนึ่งของความยาว; น้ำที่เก็บรวบรวมได้จึงถูกชั่งน้ำหนักหลังจากการสืบเชื้อสายแต่ละครั้ง ความแตกต่างและอัตราส่วนของน้ำหนักเหล่านี้ทำให้เรามีความแตกต่างและอัตราส่วนครั้งนี้และมีความถูกต้องดังกล่าวว่าแม้ว่าการดำเนินการซ้ำหลาย ๆ ครั้งไม่มีความแตกต่างที่เห็นได้ในผลลัพธ์

จดบันทึกข้อความที่เน้นโดยฉัน นี่คือข้อมูลที่ดี มันมาจากการทดลองที่วางแผนไว้อย่างดีบนพื้นฐานของทฤษฎีที่ดี คุณไม่จำเป็นต้องใช้สถิติเพื่อแยกสิ่งที่คุณสนใจไม่มีข้อมูลในขณะนั้นไม่มีคอมพิวเตอร์ ผลลัพธ์หรือไม่ ความสัมพันธ์ขั้นพื้นฐานที่สวยงามซึ่งยังคงอยู่และสามารถทดสอบที่บ้านโดยนักเรียนชั้นประถมศึกษาปีที่ 6

ฉันขโมยอ้างจากหน้านี้น่ากลัว

$\chi^2$

คำถามนี้ดูเหมือนจะเป็นกรณีของความซื่อสัตย์มืออาชีพ

ปัญหาน่าจะเป็นเช่นนั้น: (a) การประเมินเชิงวิเคราะห์ทางสถิติไม่เพียงพอโดยบุคคลทั่วไปหรือ (b) กรณีของความรู้ทั่วไปไม่เพียงพอที่จะระบุข้อผิดพลาดทางสถิติ (เช่นข้อผิดพลาดประเภท 2)

ฉันรู้เพียงพอเกี่ยวกับขอบเขตความเชี่ยวชาญของฉันเพื่อขอข้อมูลจากผู้เชี่ยวชาญเมื่อฉันใกล้ถึงขอบเขตของความเชี่ยวชาญนั้น ฉันเคยเห็นผู้คนใช้สิ่งต่าง ๆ เช่นการทดสอบ F (และ R-squared ใน Excel) โดยไม่มีความรู้เพียงพอ

จากประสบการณ์ของฉันระบบการศึกษาในความกระตือรือร้นของเราที่จะส่งเสริมสถิติได้ทำให้เครื่องมือและความเสี่ยง / ข้อ จำกัด ต่ำลง นี่เป็นเรื่องธรรมดาที่คนอื่นเคยมีประสบการณ์และจะอธิบายสถานการณ์หรือไม่