ใช้แบบจำลองสมการโครงสร้างเพื่อวิเคราะห์การศึกษาเชิงสังเกตในจิตวิทยาหรือไม่

ฉันสังเกตเห็นปัญหานี้มากขึ้นในการตั้งค่าการให้คำปรึกษาทางสถิติและฉันก็กระตือรือร้นที่จะรับความคิดของคุณ

บริบท

ฉันมักจะพูดคุยกับนักศึกษาวิจัยที่ได้ทำการศึกษาโดยประมาณดังนี้:

• การศึกษาแบบสังเกต
• ขนาดตัวอย่างอาจเป็น 100, 200, 300, ฯลฯ
• มีการวัดระดับจิตวิทยาหลายครั้ง (เช่นอาจวิตกกังวลซึมเศร้าบุคลิกภาพทัศนคติมาตราส่วนทางคลินิกอื่น ๆ อาจเป็นความฉลาด ฯลฯ )

นักวิจัยได้อ่านวรรณกรรมที่เกี่ยวข้องและมีความคิดบางอย่างเกี่ยวกับกระบวนการสาเหตุที่เป็นไปได้ บ่อยครั้งที่จะมีแนวคิดทั่วไปของตัวแปรในสิ่งที่มาจากบรรพบุรุษตัวแปรกระบวนการและตัวแปรผลลัพธ์ พวกเขายังเคยได้ยินด้วยว่าการสร้างแบบจำลองสมการเชิงโครงสร้างนั้นเหมาะสมกว่าสำหรับการทดสอบแบบจำลองโดยรวมของความสัมพันธ์ระหว่างชุดของตัวแปรที่พวกเขากำลังศึกษาอยู่

คำถาม

• ภายใต้เงื่อนไขใดที่คุณคิดว่าการสร้างแบบจำลองสมการเชิงโครงสร้างเป็นเทคนิคที่เหมาะสมสำหรับการวิเคราะห์การศึกษาดังกล่าว
• หากคุณไม่แนะนำการสร้างแบบจำลองสมการเชิงโครงสร้างคุณจะแนะนำเทคนิคทางเลือกใด?
• คุณมีคำแนะนำอะไรให้กับนักวิจัยที่พิจารณาการใช้แบบจำลองสมการโครงสร้างในกรณีเช่นนี้?

การปฏิเสธความรับผิดชอบของฉัน : ฉันรู้ว่าคำถามนี้ได้หยุดชั่วคราวบางครั้ง แต่ดูเหมือนว่าจะเป็นสิ่งที่สำคัญและเป็นหนึ่งที่คุณตั้งใจที่จะกระตุ้นการตอบสนองหลาย ๆ ฉันเป็นนักจิตวิทยาสังคมและจากเสียงของมันอาจจะค่อนข้างสบายใจกับการออกแบบเช่นนี้มากกว่าเฮนริก (แม้ว่าความกังวลของเขาเกี่ยวกับการตีความเชิงสาเหตุนั้นถูกต้องตามกฎหมายทั้งหมด)

SEM อยู่ภายใต้เงื่อนไขอะไรเทคนิคการวิเคราะห์ข้อมูลที่เหมาะสม?

สำหรับฉันแล้วคำถามนี้จริง ๆ แล้วได้คำถามย่อยสองคำถามที่แตกต่างกัน:

1. ทำไมต้องใช้ SEM ตั้งแต่แรก
2. หากนักวิจัยตัดสินใจใช้ SEM ข้อกำหนดเกี่ยวกับข้อมูลสำหรับการใช้ SEM คืออะไร

ทำไมต้องใช้ SEM ตั้งแต่แรก

SEM เป็นวิธีการวิเคราะห์ข้อมูลที่ซับซ้อนกว่าและซับซ้อนกว่าดังนั้นจึงเข้าถึงได้น้อยกว่าวิธีอื่น ๆ แบบจำลองเชิงเส้นทั่วไป (เช่น ANOVAs, สหสัมพันธ์, การถดถอย, และส่วนขยาย ฯลฯ ) ทุกสิ่งที่คุณนึกออกเกี่ยวกับวิธีการเหล่านั้นคุณสามารถทำได้กับ SEM

ดังนั้นฉันคิดว่าผู้ใช้ควรเป็นคนแรกที่ควรประเมินว่าทำไมพวกเขาจึงถูกบังคับให้ใช้ SEM ตั้งแต่แรก เพื่อให้แน่ใจว่า SEM ให้ประโยชน์ที่ทรงพลังแก่ผู้ใช้ แต่ฉันได้ตรวจสอบเอกสารที่ไม่ได้ใช้ประโยชน์เหล่านี้และผลิตภัณฑ์สุดท้ายคือส่วนการวิเคราะห์ข้อมูลในกระดาษที่ยากยิ่งขึ้นสำหรับผู้อ่านทั่วไปที่จะเข้าใจ . เป็นเพียงแค่ไม่คุ้มค่าปัญหา - สำหรับนักวิจัยหรือผู้อ่าน - ถ้าประโยชน์ของ SEM กับวิธีการวิเคราะห์ข้อมูลอื่น ๆ จะไม่ถูกเก็บเกี่ยว

ดังนั้นสิ่งที่ฉันเห็นเป็นประโยชน์หลักของวิธีการ SEM? สิ่งที่สำคัญในความคิดของฉันคือ:

(1) การสร้างแบบจำลองตัวแปรแฝง : SEM ช่วยให้ผู้ใช้สามารถตรวจสอบความสัมพันธ์ของโครงสร้าง (ความแปรปรวน, ความแปรปรวนร่วม / สหสัมพันธ์, การถดถอย, ความแตกต่างของค่าเฉลี่ยกลุ่ม) ในบรรดาตัวแปรแฝงที่ไม่ได้สังเกตซึ่งเป็นความแปรปรวนร่วม วัดนักเรียนของคุณอาจใช้)

จุดขายขนาดใหญ่สำหรับการวิเคราะห์ตัวแปรแฝง (เช่นความวิตกกังวลแฝง) เทียบกับคะแนนที่สังเกตได้ของการสร้าง (เช่นค่าเฉลี่ยของรายการความวิตกกังวล) คือตัวแปรแฝงไม่มีข้อผิดพลาด - ตัวแปรแฝงเกิดจากความแปรปรวนร่วมที่ใช้ร่วมกัน และความผิดพลาดนั้นถูกทำให้เป็นทฤษฎีโดยไม่มีโควารี สิ่งนี้แปลว่ากำลังทางสถิติที่เพิ่มขึ้นเนื่องจากผู้ใช้ไม่ต้องกังวลเกี่ยวกับการวัดที่ไม่น่าเชื่อถืออีกต่อไปซึ่งกระทบกับเอฟเฟกต์ที่พวกเขาพยายามทำแบบจำลอง

อีกเหตุผลที่ควรพิจารณาใช้ SEM ในบางกรณีเป็นวิธีที่มีโครงสร้างที่ถูกต้องมากกว่าในการทดสอบทฤษฎีของเราเกี่ยวกับสิ่งก่อสร้าง ตัวอย่างเช่นถ้านักเรียนของคุณใช้ความวิตกกังวลที่แตกต่างกันสามวิธีมันจะเป็นการดีกว่าหรือไม่ที่จะเข้าใจสาเหตุ / ผลของสิ่งที่มาตรการทั้งสามมีเหมือนกันนั่นคือความวิตกกังวลในกรอบ SEM แทนที่จะเป็นเอกสิทธิ์ใด ๆ วัดหนึ่งโดยเฉพาะอย่างยิ่งเป็นตัวชี้วัดของความวิตกกังวล?

(2) การสร้างแบบจำลองหลายตัวแปรขึ้นอยู่กับ: แม้ว่าบางคนจะไม่ใช้ SEM ในการสร้างแบบจำลองตัวแปรแฝง แต่ก็ยังคงมีประโยชน์มากในฐานะที่เป็นกรอบสำหรับการวิเคราะห์ตัวแปรผลลัพธ์หลายรายการพร้อมกันในรูปแบบเดียว ตัวอย่างเช่นนักเรียนของคุณอาจสนใจที่จะสำรวจว่าตัวทำนายเดียวกันเชื่อมโยงกับผลลัพธ์ทางคลินิกที่เกี่ยวข้องหลายประการ (เช่นความวิตกกังวลความซึมเศร้าความเหงาความภาคภูมิใจในตนเอง ฯลฯ ) เหตุใดจึงเรียกใช้รุ่นที่แยกกันสี่แบบ (เพิ่มอัตราความผิดพลาด Type I) เมื่อคุณสามารถเรียกใช้รุ่นเดียวสำหรับผลลัพธ์ทั้งสี่ที่คุณสนใจ นี่คือเหตุผลที่จะใช้ SEM เมื่อจัดการกับข้อมูลบางประเภทที่ผู้ตอบแบบพึ่งพาหลายคนอาจให้ผลการคาดการณ์และการตอบสนองผล (เช่นข้อมูล dyadic ดู Kenny, Kashy และ Cook, 2006,

(3) การสร้างแบบจำลองสมมติฐานแทนที่จะทำให้พวกเขา : ด้วยวิธีการอื่น ๆ ในการวิเคราะห์ข้อมูล (เช่น ANOVA, สหสัมพันธ์, การถดถอย) เราทำข้อสมมติฐานเกี่ยวกับคุณสมบัติของข้อมูลที่เรากำลังทำอยู่ - เช่นความเป็นเนื้อเดียวกันของ ความแปรปรวน / homoskedasticity SEM (มักจะรวมกับวิธีการตัวแปรแฝง) ช่วยให้ผู้ใช้แบบจำลองพารามิเตอร์ความแปรปรวนพร้อมกันพร้อมกับวิธีการและ / หรือความสัมพันธ์ / เส้นทางการถดถอย ซึ่งหมายความว่าผู้ใช้สามารถเริ่มต้นสร้างทฤษฎีเกี่ยวกับและทดสอบสมมติฐานเกี่ยวกับความแปรปรวนนอกเหนือจากค่าเฉลี่ยความแตกต่าง / ความแปรปรวนร่วมแทนที่จะเพียงแค่รักษาความแปรปรวนเป็นข้อสมมติฐานที่น่ารำคาญ

สมมติฐานที่ทดสอบได้อีกข้อหนึ่งเมื่อเปรียบเทียบระดับค่าเฉลี่ยของกลุ่มในตัวแปรบางตัวคือว่าตัวแปรนั้นหมายถึงสิ่งเดียวกันกับแต่ละกลุ่มหรือที่เรียกว่าการวัดค่าคงที่ในวรรณคดี SEM (ดู Vandenberg & Lance, 2000) เพื่อทบทวนกระบวนการนี้ ) ถ้าเป็นเช่นนั้นการเปรียบเทียบระดับค่าเฉลี่ยของตัวแปรนั้นจะถูกต้อง แต่ถ้ากลุ่มมีความเข้าใจที่แตกต่างกันอย่างมีนัยสำคัญในสิ่งที่เป็นสิ่งที่เปรียบเทียบระดับเฉลี่ยระหว่างกลุ่มที่น่าสงสัย เราทำสมมติฐานนี้โดยเฉพาะตลอดเวลาในการวิจัยโดยใช้การเปรียบเทียบกลุ่ม

และจากนั้นก็มีการสันนิษฐานว่าเมื่อคุณเฉลี่ยหรือรวมคะแนนรายการ (เช่นในการวัดความวิตกกังวล) เพื่อสร้างดัชนีรวมว่าแต่ละรายการเป็นการวัดที่ดีเท่า ๆ กันของโครงสร้างพื้นฐาน (เพราะแต่ละรายการมีน้ำหนักเท่ากันใน เฉลี่ย / ข้อสรุป) SEM กำจัดสมมติฐานนี้เมื่อใช้ตัวแปรแฝงด้วยการประเมินค่าการโหลดปัจจัยที่แตกต่างกัน (ความสัมพันธ์ระหว่างรายการและตัวแปรแฝง) สำหรับแต่ละรายการ

สุดท้ายข้อสมมติฐานอื่น ๆ เกี่ยวกับข้อมูล (เช่นปกติ) แม้ว่าจะยังคงมีความสำคัญสำหรับ SEM สามารถจัดการได้ (e..g ผ่านการใช้ตัวประมาณค่า "แข็งแกร่ง" ดู Finney & DiStefano, 2008) เมื่อข้อมูลไม่สามารถตอบสนองได้ เกณฑ์บางอย่าง (ระดับความเบ้ต่ำและความโด่ง)

(4) การระบุข้อ จำกัด ของแบบจำลอง: เหตุผลใหญ่สุดท้ายในความคิดของฉันในการพิจารณาใช้ SEM นั้นเป็นเพราะมันง่ายในการทดสอบสมมติฐานเฉพาะที่คุณอาจมีเกี่ยวกับแบบจำลองข้อมูลของคุณโดยบังคับ ("บังคับ" ในแง่ SEM) เส้นทางบางอย่างในแบบจำลองของคุณ เพื่อรับค่าเฉพาะและตรวจสอบว่ามีผลกระทบอย่างไรกับโมเดลของคุณกับข้อมูลของคุณ ตัวอย่างบางส่วน ได้แก่ : (A) บังคับให้เส้นทางการถดถอยเป็นศูนย์เพื่อทดสอบว่าจำเป็นหรือไม่ในโมเดล (B) ที่มีเส้นทางการถดถอยหลายครั้งจะมีขนาดเท่ากัน (เช่นความแข็งแกร่งของการเชื่อมโยงสำหรับผู้ทำนายบางคนเท่ากับความวิตกกังวลและความซึมเศร้าหรือไม่); (C) จำกัด พารามิเตอร์การวัดที่จำเป็นในการประเมินค่าความแปรปรวนของการวัด (อธิบายไว้ข้างต้น); (D) บังคับให้เส้นทางการถดถอยมีความแข็งแกร่งเท่ากันระหว่างสองกลุ่ม

ข้อกำหนดเกี่ยวกับข้อมูลสำหรับ SEM มีอะไรบ้าง

ข้อกำหนดเกี่ยวกับข้อมูลสำหรับ SEM นั้นค่อนข้างเรียบง่าย คุณต้องการขนาดตัวอย่างที่เพียงพอและเพื่อให้ข้อมูลของคุณเป็นไปตามสมมติฐานของตัวประมาณโมเดลที่คุณเลือก (ความเป็นไปได้สูงสุดเป็นเรื่องปกติ)

เป็นการยากที่จะให้คำแนะนำแบบขนาดเดียวเหมาะกับทุกคนสำหรับขนาดตัวอย่าง จากการจำลองที่ตรงไปตรงมา Little (2013) แนะนำว่าสำหรับแบบจำลองที่ง่ายมากการสังเกต 100-150 อาจเพียงพอ แต่ความต้องการขนาดตัวอย่างจะเพิ่มขึ้นเมื่อแบบจำลองมีความซับซ้อนมากขึ้นและ / หรือความน่าเชื่อถือ / ความถูกต้องของตัวแปรที่ใช้ใน แบบจำลองลดลง หากความซับซ้อนของแบบจำลองเป็นเรื่องที่น่ากังวลคุณสามารถพิจารณาการแยกวิเคราะห์ตัวบ่งชี้ของตัวแปรแฝงของคุณ แต่ไม่ใช่ทั้งหมดที่มาพร้อมกับวิธีการนี้ (Little, Cunningham, Shahar, & Widaman, 2002) แต่โดยทั่วไปแล้วทุกอย่างเท่าเทียมกันตัวอย่างที่ใหญ่กว่า (ฉันพยายามอย่างน้อย 200 ขั้นต่ำในการวิจัยของฉัน) จะดีกว่า

สำหรับการประชุมตามสมมติฐานของตัวประมาณที่เลือกมักจะเป็นเรื่องง่ายที่จะประเมิน (เช่นดูความเบ้และค่าเคิร์ตซีสสำหรับตัวประมาณความน่าจะเป็นสูงสุด) และแม้ว่าข้อมูลจะออกจากคุณสมบัติที่สันนิษฐานงานวิจัยก็สามารถพิจารณาการใช้ตัวประมาณค่า "ที่มีประสิทธิภาพ" (Finney & DiStefano, 2008) หรือตัวประมาณที่ใช้ข้อมูลประเภทอื่น สแควร์)

ทางเลือกใน SEM สำหรับการวิเคราะห์ข้อมูล?

หากนักวิจัยจะไม่ใช้ประโยชน์จากผลประโยชน์ที่ได้รับจากวิธี SEM ที่ฉันได้เน้นไว้ข้างต้นฉันขอแนะนำให้ใช้การวิเคราะห์เฉพาะนั้นในเวอร์ชันที่ตรงไปข้างหน้าและเข้าถึงได้มากขึ้น (e .. g, t - การทดสอบ ANOVAs การวิเคราะห์สหสัมพันธ์แบบจำลองการถดถอย [รวมถึงสื่อกลางการกลั่นกรองและแบบจำลองกระบวนการตามเงื่อนไข]) ผู้อ่านมีความคุ้นเคยกับพวกเขามากขึ้นและจะทำให้พวกเขาเข้าใจได้ง่ายขึ้น มันไม่คุ้มค่าที่ผู้อ่านจะสับสนกับข้อ จำกัด ของ SEM หากคุณใช้ SEM เป็นหลักในลักษณะเดียวกับวิธีการวิเคราะห์ที่ง่ายกว่า

คำแนะนำสำหรับนักวิจัยที่พิจารณาการใช้ SEM?

สำหรับผู้ที่เพิ่งเริ่มใช้ SEM:

1. รับข้อความรากฐาน SEM ที่ครอบคลุมและเข้าถึงได้ง่าย ฉันชอบ Beaujean (2014), Brown (2015; รุ่นก่อนหน้านั้นก็แข็งเช่นกัน) และ Little (2013; บทนำโดยรวมที่ดีแม้ว่ามันจะเน้นเฉพาะรุ่นยาวตามมาทีหลัง)
2. เรียนรู้วิธีใช้lavaanแพ็คเกจสำหรับR(Rosseel, 2012) มันเป็นเรื่องง่ายเหมือนที่จะได้รับไวยากรณ์ของ SEM ฟังก์ชั่นนั้นกว้างพอสำหรับความต้องการ SEM ของผู้คนจำนวนมาก (แน่นอนสำหรับผู้เริ่มต้น) และฟรี หนังสือ Beaujean นำเสนอการแนะนำ SEM และlavaanแพ็คเกจ
3. ปรึกษา / ใช้ CrossValidated และ StacksOverflow เป็นประจำ สิ่งที่คาดไม่ถึงอาจเกิดขึ้นได้เมื่อปรับรุ่น SEM และมีโอกาสหลายอย่างที่แปลก ๆ ที่คุณอาจเคยได้รับการอธิบายและแก้ไขปัญหาในกอง
4. เมื่อ Herik ชี้ให้เห็นว่าเพียงเพราะคุณกำลังระบุรูปแบบที่มีความสัมพันธ์เชิงสาเหตุก็ไม่ได้หมายความว่า SEM จะช่วยสร้างเวรกรรมในการศึกษาแบบข้ามส่วน / ไม่ใช่การทดลอง นอกจากนี้การพิจารณาใช้ SEM ในการวิเคราะห์ข้อมูลจากการออกแบบตามยาวและ / หรือการออกแบบเชิงทดลอง

และสำหรับผู้ที่เริ่มใช้ SEM:

1. ในบางครั้งคุณอาจถูกล่อลวงให้ระบุเศษซากที่มีความสัมพันธ์โดยเจตนาในความพยายามที่จะปรับปรุงแบบจำลองของคุณ อย่า อย่างน้อยก็ไม่ต้องมีนิรนัยที่ดีเหตุผล บ่อยกว่าไม่ตัวอย่างที่มีขนาดใหญ่ขึ้นหรือแบบจำลองที่ง่ายกว่าคือการรักษา
2. หลีกเลี่ยงการใช้วิธีการระบุตัวแปรของตัวระบุสำหรับตัวแปรแฝง (เช่นการแก้ไขตัวประกอบแรกที่โหลดเป็น 1) เป็นสิทธิพิเศษที่ตัวบ่งชี้เป็นตัวบ่งชี้ "มาตรฐานทองคำ" ของตัวแปรแฝงของคุณเมื่อในกรณีส่วนใหญ่ไม่มีเหตุผลที่จะถือว่าเป็นกรณีนี้ โปรดทราบว่านี่เป็นการตั้งค่าเริ่มต้นสำหรับโปรแกรมส่วนใหญ่

อ้างอิง

Beaujean, AA (2014) การสร้างแบบจำลองตัวแปรแฝงด้วย R: คู่มือแบบทีละขั้นตอนคู่มือขั้นตอนโดยขั้นตอน New York, NY: เลดจ์

บราวน์, TA (2015) การวิเคราะห์ปัจจัยเชิงยืนยันสำหรับนักวิจัยประยุกต์ (ฉบับที่ 2) นิวยอร์กนิวยอร์ก: Guilford กด

Finney, SJ, & DiStefano, C. (2008) ข้อมูลที่ไม่ปกติและเด็ดขาดในการสร้างแบบจำลองสมการโครงสร้าง ใน GR Hancock & RD Mueller (บรรณาธิการ) การสร้างแบบจำลองสมการโครงสร้าง: หลักสูตรที่สอง (หน้า 269-314) การเผยแพร่ข้อมูลอายุ

Kenny, DA, Kashy, DA, & Cook, WL (2006) การวิเคราะห์ข้อมูลไดยาดิค นิวยอร์กนิวยอร์ก: Guilford กด

เล็กน้อย, TD (2013) การสร้างแบบจำลองสมการโครงสร้างตามยาวระยะยาวการสร้างแบบจำลองสมการโครงสร้างนิวยอร์กนิวยอร์ก: Guilford กด

เล็กน้อย, TD, คันนิงแฮม, Shahar, G. , & Widaman, KF (2002) ในการจัดส่งพัสดุไปรษณีย์หรือไม่เป็นพัสดุ: สำรวจคำถามชั่งน้ำหนักข้อดี สมการโครงสร้างการสร้างแบบจำลอง , 9 , 151-173

Rosseel, Y. (2012) lavaan: แพ็คเกจ R สำหรับการสร้างแบบจำลองสมการโครงสร้าง วารสารซอฟต์แวร์เชิงสถิติ , 48 (2), 1-36

Vandenberg, RJ, & Lance, CE (2000) การทบทวนและการสังเคราะห์วรรณคดีค่าคงที่การวัด: ข้อเสนอแนะการปฏิบัติและข้อเสนอแนะสำหรับนักวิจัยองค์กร ระเบียบวิธีวิจัยองค์กร , 3 , 4-70

ข้อจำกัดความรับผิดชอบ: ฉันถือว่าตัวเองเป็นนักจิตวิทยา Experemtal โดยเน้นการทดลอง ด้วยเหตุนี้ฉันจึงรู้สึกไม่สบายใจกับการออกแบบเช่นนี้

เพื่อตอบคำถามแรกและข้อที่สองของคุณ: ฉันคิดว่าการออกแบบเช่นนี้ SEM หรือขึ้นอยู่กับจำนวนของตัวแปรที่เกี่ยวข้องการวิเคราะห์การไกล่เกลี่ยหรือการกลั่นกรองเป็นวิธีธรรมชาติของการจัดการกับข้อมูล ฉันไม่มีความคิดที่ดีจะแนะนำอะไรอีก

สำหรับคำถามที่สามของคุณ: ฉันคิดว่าข้อดีหลักของการออกแบบเช่นนี้คือข้อเสียเปรียบหลัก คือว่าคุณ (ให้ตัวแปรเพียงพอ) จะพบผลลัพธ์ที่สำคัญ คำถามคือคุณตีความผลลัพธ์เหล่านี้อย่างไร

นั่นคือคุณสามารถดูสมมติฐานจำนวนมาก (บางส่วนได้รับแรงบันดาลใจจากวรรณกรรมที่เกี่ยวข้องน้อยกว่า) ซึ่งคุณอาจจะพบสิ่งที่สำคัญ (ไม่ใช่ในความหมายที่แท้จริงของการปฏิเสธ SEM) ที่จะสามารถคาดเดาได้ในทางจิตวิทยา ดังนั้นคำแนะนำของฉันสำหรับทุกคนที่ทำเช่นนี้จะเป็นสองเท่า:

1. เน้นปัญหาด้วยการตีความสาเหตุของการออกแบบเหล่านี้ ฉันไม่ได้เป็นผู้เชี่ยวชาญในเรื่องนี้ แต่รู้ว่าการออกแบบตัดขวางอย่างสมบูรณ์นั้นแทบจะไม่สามารถตีความสาเหตุได้โดยไม่ขึ้นอยู่กับความเป็นไปได้ที่จะฟัง การออกแบบขั้นสูงเพิ่มเติมเช่นการออกแบบ pnael ข้ามสิ่งหรือสิ่งนี้เป็นสิ่งจำเป็นสำหรับ interpetations เชิงสาเหตุ ฉันคิดว่างานของ Shadish, Cook & Campbell (หรืออย่างน้อยก็บางส่วน) เป็นแหล่งข้อมูลที่ดีสำหรับการอภิปรายเพิ่มเติมในหัวข้อเหล่านี้
2. เน้นความรับผิดชอบส่วนบุคคลและจริยธรรมทางวิทยาศาสตร์ หากคุณเห็นว่าแนวคิดเริ่มต้นของคุณไม่ได้รับการสนับสนุนจากข้อมูลมันเป็นขั้นตอนต่อไปในการตรวจสอบข้อมูลเพิ่มเติม อย่างไรก็ตามคุณจะต้องไม่พึ่งพาHARKing (สมมติฐานหลังจากผลลัพธ์เป็นที่รู้จัก; Kerr, 1998 , ดูMaxwell, 2004 ด้วย ) นั่นคือคุณควรเน้นว่ามีเส้นบาง ๆ ระหว่างการปรับสมมติฐานของคุณอย่างสมเหตุสมผลเนื่องจากข้อมูลและการเก็บเชอร์รี่ให้ผลลัพธ์ที่สำคัญ