ติดตามผล: ในแบบผสมภายในระหว่างการวางแผน ANOVA ประมาณ SEs หรือ SE จริง

ขณะนี้ฉันกำลังเขียนบทความและสะดุดกับคำถามนี้เมื่อวานนี้ซึ่งทำให้ฉันตั้งคำถามเดียวกันกับตัวเอง มันจะดีกว่าหรือไม่ที่จะให้กราฟกับข้อผิดพลาดมาตรฐานจริงจากข้อมูลหรือประมาณจาก ANOVA ของฉัน
เนื่องจากคำถามจากเมื่อวานค่อนข้างไม่เจาะจงและของฉันค่อนข้างเจาะจงฉันคิดว่ามันเหมาะสมที่จะถามคำถามติดตามนี้

รายละเอียด:
ฉันได้ทำการทดลองในโดเมนจิตวิทยาเกี่ยวกับความรู้ความเข้าใจ (การใช้เหตุผลเชิงเงื่อนไข) เปรียบเทียบสองกลุ่ม (คำแนะนำแบบอุปนัยและนิรนัยคือการยักย้ายระหว่างอาสาสมัคร) กับการแก้ไขภายในสองวิชา (ประเภทปัญหาและเนื้อหาของปัญหาแต่ละรายการด้วย สองระดับปัจจัย)

ผลลัพธ์มีลักษณะเช่นนี้ (แผงด้านซ้ายที่มีการประมาณค่า SE จาก ANOVA เอาท์พุท, แผงด้านขวาที่มีการประมาณค่า SE จากข้อมูล):
โปรดสังเกตว่าบรรทัดที่แตกต่างกันแสดงถึงกลุ่มที่แตกต่างกันสองกลุ่ม (เช่น การปรับเปลี่ยนวิชาจะถูกพล็อตบนแกน x (เช่นระดับปัจจัย 2x2)

ในข้อความที่ฉันให้ผลลัพธ์ตามความต้องการของ ANOVA และแม้แต่การเปรียบเทียบที่วางแผนไว้สำหรับการโต้ตอบข้ามที่สำคัญตรงกลาง SE อยู่ที่นั่นเพื่อให้คำแนะนำผู้อ่านเกี่ยวกับความแปรปรวนของข้อมูล ฉันชอบ SEs มากกว่าส่วนเบี่ยงเบนมาตรฐานและช่วงความเชื่อมั่นเนื่องจากไม่ใช่เรื่องธรรมดาที่จะพล็อต SD และมีปัญหาที่รุนแรงเมื่อเปรียบเทียบ CIs ภายในและระหว่างวิชา จากพวกเขา).

หากต้องการทำซ้ำคำถามของฉัน: จะดีกว่าที่จะวางแผน SEs ที่ประเมินจาก ANOVA หรือฉันควรจะแปลง SEs ที่ประเมินจากข้อมูลดิบ?

ปรับปรุง:
ฉันคิดว่าฉันควรจะชัดเจนขึ้นเล็กน้อยในสิ่งที่ SEs โดยประมาณ ANOVA Output ใน SPSS ให้ฉันestimated marginal meansด้วย SEs และ CIs ที่สอดคล้องกัน นี่คือสิ่งที่พล็อตในกราฟด้านซ้าย เท่าที่ฉันเข้าใจสิ่งนี้พวกเขาควรจะเป็นเอกสารความปลอดภัยของสารตกค้าง แต่เมื่อบันทึกส่วนที่เหลือ SD ของพวกเขาไม่ได้อยู่ใกล้ SEs โดยประมาณ ดังนั้นคำถามรอง (อาจมีเฉพาะ SPSS) คือ:
SEs เหล่านี้คืออะไร

อัปเดต 2:ในที่สุดฉันก็สามารถเขียนฟังก์ชั่น R ซึ่งควรจะสามารถสร้างพล็อตได้ในที่สุดฉันก็ชอบมัน (ดูคำตอบที่ฉันยอมรับ) ด้วยตัวของมันเอง หากใครมีเวลาฉันจะขอบคุณจริง ๆ ถ้าคุณสามารถดูได้ นี่ไง

ผลที่ตามมาจากคำตอบที่สร้างแรงบันดาลใจและการอภิปรายคำถามของฉันฉันสร้างแผนการต่อไปนี้ซึ่งไม่ขึ้นอยู่กับพารามิเตอร์ที่ใช้แบบจำลองใด ๆ แต่นำเสนอข้อมูลพื้นฐาน

เหตุผลก็คือไม่ขึ้นอยู่กับว่าฉันเลือกข้อผิดพลาดมาตรฐานแบบใดข้อผิดพลาดมาตรฐานคือพารามิเตอร์ที่ใช้โมเดล ดังนั้นทำไมไม่นำเสนอข้อมูลพื้นฐานและจึงส่งข้อมูลเพิ่มเติมหรือไม่

นอกจากนี้หากเลือก SE จาก ANOVA จะเกิดปัญหาสองประการสำหรับปัญหาเฉพาะของฉัน
ครั้งแรก (อย่างน้อยสำหรับฉัน) มันก็ไม่ชัดเจนว่าสิ่งที่ SEs จากSPSSANOVA เอาท์พุทเป็นจริง ( ดูการอภิปรายนี้ในความคิดเห็น ) พวกเขาเกี่ยวข้องกับ MSE แต่อย่างใดฉันไม่รู้
ประการที่สองพวกเขามีเหตุผลก็ต่อเมื่อตรงตามสมมติฐานที่ตั้งไว้ อย่างไรก็ตามจากแผนการต่อไปนี้แสดงให้เห็นว่ามีการละเมิดสมมติฐานของความสม่ำเสมอของความแปรปรวนอย่างชัดเจน

แปลงที่มี boxplots:

พล็อตที่มีจุดข้อมูลทั้งหมด:

โปรดทราบว่าทั้งสองกลุ่มจะถูกเคลื่อนไปทางซ้ายหรือขวาเล็กน้อย: การอนุมานไปทางซ้ายการอุปนัยทางด้านขวา วิธีการยังคงถูกพล็อตเป็นสีดำและข้อมูลหรือกล่องแปลงในพื้นหลังเป็นสีเทา ความแตกต่างระหว่างแปลงทางด้านซ้ายและด้านขวาคือถ้าวิธีการจัดสรรเช่นเดียวกับจุดหรือ boxplots หรือถ้าพวกเขาจะถูกนำเสนอจากส่วนกลาง
ขออภัยคุณภาพกราฟและป้ายกำกับแกน x ที่ขาดหายไป

คำถามที่ยังเหลืออยู่คือประเด็นใดที่เลือกได้ในขณะนี้ ฉันต้องคิดเรื่องนี้และถามผู้เขียนคนอื่นจากบทความของเรา แต่ตอนนี้ฉันชอบ "คะแนนที่มีค่าเฉลี่ย" และฉันก็ยังคงสนใจในความคิดเห็น

ปรับปรุง:หลังจากการเขียนโปรแกรมบางอย่างในที่สุดฉันก็สามารถที่จะเขียนฟังก์ชั่น R เพื่อสร้างพล็อตเช่นคะแนนที่มีความหมายโดยอัตโนมัติ ลองดู (และส่งความคิดเห็น) !

คุณจะไม่พบแถบข้อผิดพลาดที่สมเหตุสมผลเพียงจุดเดียวสำหรับจุดประสงค์เชิงอนุมานด้วยการออกแบบการทดลองประเภทนี้ นี่เป็นปัญหาเก่าที่ไม่มีวิธีแก้ปัญหาที่ชัดเจน

ดูเหมือนว่าเป็นไปไม่ได้เลยที่คุณจะประมาณ SE ของคุณไว้ที่นี่ มีข้อผิดพลาดสองประเภทหลักในการออกแบบดังกล่าวระหว่างและภายในข้อผิดพลาด S พวกเขามักจะแตกต่างจากคนอื่นและไม่เทียบเท่า ไม่มีแถบข้อผิดพลาดเพียงอันเดียวที่ดีในการแสดงข้อมูลของคุณ

อาจมีคนแย้งว่า raw SEs หรือ SDs จากข้อมูลนั้นสำคัญที่สุดในเชิงพรรณนามากกว่าการอนุมาน พวกเขาบอกเกี่ยวกับคุณภาพของการประมาณแนวโน้มกลาง (SE) หรือความแปรปรวนของข้อมูล (SD) อย่างไรก็ตามถึงอย่างนั้นมันก็ค่อนข้างไม่ตรงไปตรงมาเพราะสิ่งที่คุณกำลังทดสอบและตรวจวัดภายใน S ไม่ใช่ค่าดิบ แต่เป็นผลกระทบของตัวแปรภายใน S ดังนั้นการรายงานความแปรปรวนของค่าดิบอาจไม่มีความหมายหรือทำให้เข้าใจผิดเกี่ยวกับผลกระทบเอส

โดยทั่วไปฉันรับรองไม่มีแถบข้อผิดพลาดในกราฟดังกล่าวและกราฟลักษณะพิเศษที่อยู่ติดกันซึ่งระบุความแปรปรวนของผลกระทบ หนึ่งอาจมี CI ของบนกราฟที่เหมาะสมอย่างสมบูรณ์ ดู Masson & Loftus (2003) สำหรับตัวอย่างของกราฟเอฟเฟกต์ เพียงกำจัดแถบข้อผิดพลาด ((ไร้ประโยชน์โดยสิ้นเชิง) ไปรอบ ๆ ค่าเฉลี่ยที่แสดงและใช้แถบข้อผิดพลาดที่มีผลกระทบ

สำหรับการศึกษาของคุณฉันจะทำซ้ำข้อมูลเป็นแบบ 2 x 2 x 2 มันคือ (2-panel 2x2) แล้วพล็อตกราฟที่อยู่ติดกันทันทีพร้อมช่วงความเชื่อมั่นของความถูกต้องความน่าเชื่อถือคำสั่งและเอฟเฟกต์ปฏิสัมพันธ์ ใส่ SD และ SE สำหรับกลุ่มคำสั่งในตารางหรือในข้อความ

(กำลังรอการตอบสนองการวิเคราะห์ผลผสม);)

UPDATE: ตกลงหลังจากแก้ไขมันชัดเจนสิ่งเดียวที่คุณต้องการคือ SE ที่จะใช้เพื่อแสดงคุณภาพของการประมาณค่า ในกรณีนั้นใช้ค่ารุ่นของคุณ ค่าทั้งสองนั้นขึ้นอยู่กับโมเดลและไม่มีค่า 'จริง' ในตัวอย่างของคุณ ใช้โมเดลจากโมเดลที่คุณใช้กับข้อมูลของคุณ แต่ให้แน่ใจว่าคุณเตือนผู้อ่านในคำบรรยายภาพว่า SEs เหล่านี้ไม่มีคุณค่าที่เป็นนัยใด ๆ สำหรับผลกระทบ S หรือการโต้ตอบของคุณ

UPDATE2: มองย้อนกลับไปที่ข้อมูลที่คุณนำเสนอ ... ที่ดูน่าสงสัยว่าเป็นเปอร์เซ็นต์ที่ไม่ควรวิเคราะห์ด้วย ANOVA ในครั้งแรก ไม่ว่าจะเป็นหรือไม่ก็ตามเป็นตัวแปรที่มีค่าสูงสุดที่ 100 และลดความแปรปรวนที่ปลายสุดดังนั้นจึงไม่ควรวิเคราะห์ด้วย ANOVA ฉันชอบแปลง rm.plot ของคุณเป็นอย่างมาก ฉันยังคงถูกล่อลวงให้ทำแปลงระหว่างเงื่อนไขแสดงข้อมูลดิบและภายในเงื่อนไขที่แสดงข้อมูลที่มีความแปรปรวนระหว่าง S ออก

ดูเหมือนว่าเป็นการทดลองที่ดีมากเลยขอแสดงความยินดีด้วย!

ฉันเห็นด้วยกับ John Christie เป็นแบบผสม แต่หากสามารถระบุอย่างเหมาะสมในการออกแบบ ANOVA (& มีความสมดุล) ฉันไม่เห็นว่าทำไมจึงไม่สามารถกำหนดสูตรได้ สองปัจจัยภายในและ 1 ปัจจัยระหว่างตัวแบบ แต่ปัจจัยระหว่างตัวแบบ (อุปนัย / นิรนัย) ปฏิสัมพันธ์อย่างชัดเจน (แก้ไข) ผลกระทบภายในวิชา ฉันถือว่าค่าเฉลี่ยของพล็อตมาจาก ANOVA model (LHS) ดังนั้นรูปแบบจึงถูกระบุอย่างถูกต้อง ทำได้ดีมาก - นี่ไม่ใช่เรื่องไร้สาระ!

บางจุด: 1) "ข้อผิดพลาด" โดยประมาณ "กับ" จริง "" เป็นขั้วคู่ที่ผิดพลาด ทั้งสองถือว่าเป็นโมเดลพื้นฐานและทำการประมาณบนพื้นฐานนั้น หากแบบจำลองมีเหตุผลฉันจะโต้แย้งว่าเป็นการดีกว่าที่จะใช้การประมาณแบบจำลอง (ขึ้นอยู่กับการรวมกลุ่มของตัวอย่างขนาดใหญ่) แต่ตามที่เจมส์กล่าวถึงข้อผิดพลาดนั้นแตกต่างกันไปตามการเปรียบเทียบที่คุณทำดังนั้นจึงไม่มีความเป็นไปได้ที่จะนำเสนอ

2) ฉันต้องการเห็นพล็อตบ็อกซ์หรือจุดข้อมูลแต่ละจุดที่ถูกพล็อต (หากมีไม่มากเกินไป) บางทีอาจมีการกระวนกระวายใจไปด้านข้าง

http://en.wikipedia.org/wiki/Box_plot

3) ถ้าคุณต้องพล็อตการประมาณความคลาดเคลื่อนของค่าเฉลี่ยอย่าพล็อต SDs เพราะเป็นการประมาณค่าเบี่ยงเบนมาตรฐานของตัวอย่างและเกี่ยวข้องกับความแปรปรวนของประชากรไม่ใช่การเปรียบเทียบค่าเฉลี่ยทางสถิติ โดยทั่วไปแล้วควรวางแผนช่วงความเชื่อมั่น 95% แทนที่จะเป็น SE แต่ไม่ใช่ในกรณีนี้ (ดูที่ 1 และจุดของ John)

4) ปัญหาหนึ่งของข้อมูลนี้ที่เกี่ยวข้องกับฉันคือข้อสันนิษฐานของความแปรปรวนแบบเดียวกันอาจถูกละเมิดเนื่องจากข้อมูล "MP Valid and Plausible" นั้นถูก จำกัด อย่างชัดเจนโดยข้อ จำกัด 100% โดยเฉพาะอย่างยิ่งสำหรับคนที่มีปัญหาเชิงอนุมาน ฉันคิดในใจว่าปัญหานี้สำคัญขนาดไหน การย้ายไปที่ logit เอฟเฟกต์ (ความน่าจะเป็นทวินาม) น่าจะเป็นทางออกที่ดี แต่ก็เป็นการยากที่จะถาม มันอาจเป็นการดีที่สุดที่จะให้ผู้อื่นตอบ

เมื่อเร็ว ๆ นี้ฉันใช้การวิเคราะห์แบบผสมและในการพยายามพัฒนาวิธีการวิเคราะห์ข้อมูลภาพฉันใช้ bootstrapping ( ดูคำอธิบายของฉันที่นี่ ) ซึ่งให้ช่วงความมั่นใจที่ไม่หวั่นไหวต่อปัญหาภายใน - กับ - ระหว่าง ของ CIs ทั่วไป

นอกจากนี้ฉันจะหลีกเลี่ยงการแมปตัวแปรหลายตัวกับสุนทรียศาสตร์ภาพเดียวกันที่คุณทำในกราฟด้านบน คุณมี 3 ตัวแปร (MP / AC, ถูกต้อง / ไม่ถูกต้อง, น่าเชื่อถือ / ไม่น่าเชื่อ) ที่แมปกับแกน x ซึ่งทำให้ยากต่อการแยกวิเคราะห์การออกแบบและรูปแบบ ฉันขอแนะนำให้ทำแผนที่แทนพูดว่า MP / AC กับแกน x, ใช้ได้ / ไม่ถูกต้องกับคอลัมน์ facet และเป็นไปได้ / เป็นไปไม่ได้กับแถว facet ลองใช้ ggplot2 ใน R เพื่อให้สามารถทำสิ่งนี้ได้อย่างง่ายดายเช่น:

library(ggplot2)
ggplot(
    data = my_data
    , mapping = aes(
        y = mean_endorsement
        , x = mp_ac
        , linetype = deductive_inductive
        , shape = deductive_inductive
)+
geom_point()+
geom_line()+
facet_grid(
    plausible_implausible ~ valid_invalid
)