ต้องมีคุณสมบัติตรงตามเกณฑ์ใดบ้างเพื่อสรุปว่า 'เอฟเฟกต์ฝ้า' เกิดขึ้นได้อย่างไร

ตามสารานุกรม SAGE ของวิธีการวิจัยทางสังคมศาสตร์ ...

[a] เอฟเฟ็กต์เพดานเกิดขึ้นเมื่อการวัดมีขีด จำกัด สูงสุดที่ชัดเจนสำหรับการตอบสนองที่อาจเกิดขึ้นและความเข้มข้นของผู้เข้าร่วมจำนวนมากจะทำคะแนนที่หรือใกล้เคียงกับขีด จำกัด นี้ การลดทอนขนาดเป็นปัญหาที่เกิดขึ้นเมื่อใดก็ตามที่มีข้อ จำกัด ในลักษณะนี้ ... ตัวอย่างเช่นผลกระทบเพดานอาจเกิดขึ้นกับการวัดทัศนคติซึ่งคะแนนสูงบ่งบอกถึงทัศนคติที่ดีและการตอบสนองสูงสุดไม่สามารถประเมินผลในเชิงบวกได้มากที่สุด ... ทางออกที่ดีที่สุดในการแก้ไขปัญหาของผลกระทบเพดานคือการทดสอบนำร่องซึ่งจะช่วยให้ปัญหาที่จะระบุในช่วงต้น หากพบเอฟเฟกต์เพดาน[และ] การวัดผลลัพธ์คือประสิทธิภาพของงานงานนั้นสามารถทำได้ยากขึ้นเพื่อเพิ่มช่วงของการตอบสนองที่เป็นไปได้ ¹ [เน้นเพิ่ม]

ดูเหมือนว่าจะมีจำนวนมากของคำแนะนำและคำถาม ( และที่นี่ ) การจัดการกับข้อมูลการวิเคราะห์ซึ่งแสดงให้เห็นผลกระทบเพดานคล้ายกับที่อธิบายไว้ในใบเสนอราคาดังกล่าวข้างต้น

คำถามของฉันอาจเรียบง่ายหรือไร้เดียงสา แต่ใครจะตรวจพบว่ามีเอฟเฟกต์เพดานติดอยู่ในข้อมูลได้อย่างไร กล่าวโดยเฉพาะว่าการทดสอบทางไซโครเมทถูกสร้างขึ้นและสงสัยว่าจะนำไปสู่เอฟเฟกต์เพดาน (การตรวจด้วยสายตาเท่านั้น) จากนั้นการทดสอบนั้นจะได้รับการแก้ไขเพื่อให้ได้ค่าที่มากขึ้น จะแสดงให้เห็นอย่างไรว่าการทดสอบที่ปรับปรุงแล้วได้ลบผลกระทบบนเพดานออกจากข้อมูลที่สร้างขึ้น? มีการทดสอบซึ่งแสดงให้เห็นว่ามีผลกระทบเพดานในชุดข้อมูลแต่ไม่มีผลกระทบเพดานในชุดข้อมูลข ?

วิธีการที่ไร้เดียงสาของฉันคือการตรวจสอบการกระจายเบ้และถ้ามันไม่เบ้สรุปได้ว่าไม่มีเอฟเฟกต์เพดาน มันง่ายเกินไปใช่ไหม?

แก้ไข

หากต้องการเพิ่มตัวอย่างที่เป็นรูปธรรมมากขึ้นฉันพูดว่าฉันพัฒนาเครื่องมือที่ใช้วัดคุณลักษณะแฝงxซึ่งเพิ่มขึ้นตามอายุ แต่ในที่สุดก็ถึงระดับและเริ่มลดลงเมื่ออายุมากขึ้น ฉันสร้างเวอร์ชันแรกซึ่งมีช่วง 1-14 ทำการนำร่องบางส่วนและพบว่าดูเหมือนว่าอาจมีเอฟเฟกต์เพดาน (จำนวนการตอบสนองที่มากหรือใกล้ 14 มากที่สุด .. ฉันสรุปได้เพียงแค่โดย ดูข้อมูล แต่ทำไมมีวิธีใดที่เข้มงวดในการสนับสนุนการอ้างสิทธิ์นั้น

จากนั้นฉันทบทวนการวัดเพื่อให้มีช่วง 1–20 และรวบรวมข้อมูลเพิ่มเติม ฉันเห็นว่าแนวโน้มตรงกับความคาดหวังของฉันมากขึ้น แต่ฉันจะรู้ได้อย่างไรว่าช่วงการวัดมีขนาดใหญ่พอ ฉันจำเป็นต้องแก้ไขอีกครั้งหรือไม่ ดูเหมือนว่าจะใช้ได้ แต่มีวิธีทดสอบเพื่อยืนยันความสงสัยของฉันหรือไม่

ฉันต้องการทราบว่าฉันสามารถตรวจจับเอฟเฟกต์ฝ้าเพดานนี้ได้อย่างไรในข้อมูลแทนที่จะมองมัน กราฟแสดงข้อมูลจริงไม่ใช่เชิงทฤษฎี การขยายช่วงของเครื่องมือสร้างการกระจายข้อมูลที่ดีขึ้น แต่เพียงพอหรือไม่ ฉันจะทดสอบได้อย่างไร

¹ Hessling, R. , Traxel, N. , & Schmidt, T. (2004) ผลกระทบเพดาน ไมเคิลเอสลูอิสเบ็คเอ Bryman และทิม Futing เหลียว (Eds.), ปราชญ์สารานุกรมสังคมศาสตร์ระเบียบวิธีวิจัย (หน้า 107) Thousand Oaks, CA: ปราชญ์สิ่งพิมพ์, Inc. ดอย: 10.4135 / 9781412950589.n102

ก่อนอื่นฉันอยากจะบอกว่ากราฟทั้งสองแสดงหลักฐานที่ชัดเจนให้ฉันเห็นว่ามีเอฟเฟกต์เพดาน ฉันจะพยายามวัดผลกระทบนั้นได้อย่างไรแทนที่จะมองด้วยสายตาจะสังเกตได้ว่าตราบใดที่การสังเกตการณ์ที่ไม่น่าสนใจอยู่ใกล้กับขีด จำกัด บนของช่วงของเครื่องมือ โดยทั่วไปแล้วการพูดเอฟเฟกต์ฝ้าจะมีอยู่ตราบใดที่มีส่วนที่ไม่สำคัญของผู้ทำการทดสอบที่ได้คะแนนสูงสุดในการทดสอบ

อย่างไรก็ตามที่กล่าวว่าเทคโนโลยีการวิเคราะห์ทดสอบมีความก้าวหน้ามานานเนื่องจากเราจำเป็นต้องตีความคะแนนโดยตรงบนตราสารตามคะแนนที่ถูกต้อง ตอนนี้เราสามารถใช้ทฤษฎีการตอบสนองรายการเพื่อประเมินพารามิเตอร์รายการของแต่ละรายการและใช้รายการเหล่านั้นเพื่อระบุความสามารถของหัวเรื่อง แน่นอนว่ายังคงมีผลกระทบที่เพดานในการทดสอบถ้าเราทำให้การทดสอบง่ายเกินไป อย่างไรก็ตามเนื่องจากพลังของทฤษฎีการตอบสนองข้อเราควรจะสามารถใส่ความยากลำบากในระดับสูงได้อย่างน้อยสองสามรายการเพื่อป้องกัน แต่เพียงส่วนเล็กน้อยของประชากรที่กระทบเพดาน

ขอบคุณสำหรับคำถาม มันน่าสนใจอย่างมาก!

ฉันเดาว่าวิธีที่หยาบและพร้อมจะวัดความแปรปรวนเมื่อขนาดเพิ่มขึ้น หากสิ่งนี้แสดงให้เห็นว่ามีการลดลงนี่ก็เป็นหลักฐานสำหรับเอฟเฟกต์ฝ้าเพดานและหากไม่มีเอฟเฟกต์เพดาน คุณสามารถทำให้พล็อตความแปรปรวนเป็นเนื้อเดียวกันได้ การทดสอบของ Levene อาจเป็นประโยชน์ในการพิจารณาว่าความแปรปรวนจะแตกต่างกันไปตามจุดต่าง ๆ ในระดับหรือไม่

ปัญหาที่สำคัญในการตัดสินใจว่าการจัดกลุ่มรอบจุดสูงสุดหรือจุดต่ำสุดเกิดจากผลกระทบของเพดาน / พื้นคือว่าค่าของกรณีจริง ๆ แล้ว "แสดง" ค่า เมื่อผลกระทบเพดาน / พื้นเกิดขึ้นบางกรณีแม้จะสมมติว่ามีค่าสูงสุดหรือต่ำสุดจริง ๆ แล้วสูง / ต่ำกว่าค่าสูงสุดหรือต่ำสุด (จินตนาการผู้ใหญ่และเด็กทั้งสองเสร็จสิ้นการทดสอบทางคณิตศาสตร์ที่ง่ายมากที่อ้างว่าวัด ความสามารถทางคณิตศาสตร์ของคน ๆ หนึ่งและทั้งคู่ได้คะแนน 100%) ที่นี่ข้อมูลจะถูกตรวจสอบ

สถานการณ์อื่นเป็นไปได้เช่นกันเมื่อเราใช้เครื่องชั่งที่มีขอบเขตเช่นมาตราส่วนคล้าย Likert ซึ่งมีขีด จำกัด บนและล่างโดยธรรมชาติ เป็นไปได้อย่างยิ่งว่าผู้ที่ทำคะแนนได้สูงสุดย่อมมีค่าที่คะแนนและไม่มีความแตกต่าง (เช่นตัวอย่างคณิตศาสตร์ด้านบน) มีอยู่ในบรรดาผู้ที่ทำคะแนนสูงสุด ในกรณีเช่นนี้ข้อมูลจะถูกตัดทอนที่ขีด จำกัด ซึ่งไม่ถูกเซ็นเซอร์

จากเหตุผลข้างต้นฉันคิดว่าหนึ่งควรคิดขั้นตอนเพื่อให้พอดีกับชุดข้อมูลใด ๆ ที่ได้รับกับการตัดข้อมูลและการตรวจสอบข้อมูล หากแบบจำลองการเซ็นเซอร์เหมาะสมกับข้อมูลมากที่สุดฉันคิดว่าใครคนหนึ่งอาจสรุปได้ว่ามีเอฟเฟกต์เพดาน / พื้นอยู่