มีการเพิ่มตัวเลือกการตอบกลับลำดับที่ 6 (“ ฉันไม่รู้”) ในระดับ Likert 5 จุด ข้อมูลสูญหายหรือไม่


16

ฉันต้องการความช่วยเหลือเล็กน้อยในการกู้ข้อมูลจากแบบสอบถาม

เพื่อนร่วมงานคนหนึ่งของฉันใช้แบบสอบถาม แต่ไม่ตั้งใจแทนที่จะใช้มาตราส่วน Likert ดั้งเดิม 5 จุด (ไม่เห็นด้วยอย่างยิ่งที่เห็นด้วยอย่างยิ่ง) เขาใส่คำตอบที่ 6 ลงในมาตราส่วน และเพื่อทำให้เรื่องแย่ลงตัวเลือกการตอบกลับข้อที่ 6 คือ…“ ฉันไม่รู้”

ปัญหาคือสัดส่วนใหญ่ของผู้ตอบแบบสอบถามที่เลือก“ ฉันไม่รู้” ณ จุดหนึ่งหรืออีกจุดหนึ่ง หากพวกเขามีเปอร์เซ็นต์ที่สมเหตุสมผลฉันจะแยกพวกเขาออกจากฐานข้อมูล อย่างไรก็ตามแกนหลักของการวิจัยวางอยู่บนโมเดลเชิงความคิดและไม่รวมเร็กคอร์ดจำนวนมากดังนั้นจะสร้างปัญหาให้กับโมเดล

ใครช่วยชี้ทางฉันให้ถูกทางที่นี่? มี 'แนวปฏิบัติที่ดี' หรือฉันสามารถทำสิ่งใดเพื่อใช้ (แปลงแปลง ฯลฯ ) คำตอบที่ "ฉันไม่รู้" หรือไม่?

นอกจากนี้หากฉันทำการปรับเปลี่ยนข้อมูลที่เป็นปัญหา (เช่นถ้าฉันแปลงการตอบสนอง "ฉันไม่รู้" โดยการทดแทนการใส่ความ ฯลฯ ) สิ่งที่ 'ปฏิเสธ', 'คำเตือน', คำอธิบายประกอบ ฉันควรใช้

ฉันรู้ว่ามันเป็นช็อตที่ยาวนาน แต่ฉันยอมรับว่านอกจากคำตอบที่ได้รับแล้วฉันยังสงสัยว่าการปฏิบัติที่ตกลงกันไว้คืออะไร (ถ้ามี) ในกรณีประเภทนี้

PS: ฉันรู้ว่ามันฟังดูเป็นเด็ก แต่ไม่ 'เพื่อนร่วมงาน' ไม่ใช่ฉัน :)


22
ลองนึกภาพเพื่อนร่วมงานของคุณไม่ได้รวมหมวดหมู่ฉันไม่รู้ บุคคลเหล่านั้นจะตอบอะไร บางทีพวกเขาอาจทำเครื่องหมายหมวดหมู่สุ่มบางอย่างบางทีพวกเขาอาจปล่อยให้มันว่างเปล่า ตอนนี้คุณรู้ว่าตัวแปรของคุณมีปัญหาและตัดสินใจอย่างมีข้อมูล เมื่อมองจากมุมมองนี้เพื่อนร่วมงานของคุณก็ชอบ
Maarten Buis

เท่าที่เกาหัวของฉันไปเขาทำฉันชอบจริง ๆ ... คุณถูกต้องเกี่ยวกับการสุ่มของการตอบสนองและนี่อาจเป็นวิธีการใส่ร้ายอย่างไรก็ตามฉันสงสัยว่ามีอะไรดี การปฏิบัติหรืออย่างน้อยก็มีประสบการณ์ที่คล้ายกัน
ปรับปรุง

4
ฉันพบแบบสอบถามที่ไม่มีตัวเลือก" ฉันไม่รู้ " ที่น่าผิดหวังโดยเฉพาะอย่างยิ่ง (โดยเฉพาะเมื่อคุณไม่สามารถส่งโดยไม่เลือกอะไร) สมมติว่าคุณส่งคำถามเช่น " คุณสมบัติใหม่ในจรวดอวกาศนั้นเป็นการปรับปรุง " และจากนั้นคุณถูกบังคับให้เป็นกลางอย่างดีที่สุดบางคนสามารถตีความแบบสำรวจประเภทนั้นและสรุป "เราได้ถาม 1,000 ผู้คนและ 100% ไม่สนใจ ... "ในขณะที่ในทางปฏิบัติคุณลักษณะนั้นอาจเป็นข้อผิดพลาดที่สมบูรณ์สำหรับผู้ที่ใช้งาน ในกรณีเหล่านั้นมันเกือบจะรู้สึกเหมือนการรับรองเงียบสำหรับสิ่งที่ฉันไม่ได้ใช้
บรูโน่

3
ต้องมีความชัดเจนมากขึ้นถ้ารูปแบบสันนิษฐานว่าขนาด 5 จุดสามารถแสดงความคิดเห็นของผู้ตอบแบบสอบถามแล้วข้อมูลของคุณพิสูจน์ให้เห็นว่ารูปแบบคือไม่เพียงพอ หากมันถูกต้องคุณจะมีจำนวน "ฉันไม่รู้" เพราะคนจะสามารถตอบ 1-5 ได้ ดังนั้นข้อมูลนี้ "จะสร้างปัญหาให้กับโมเดล" เช่นวงโคจรของดาวพุธสร้างปัญหาให้กับฟิสิกส์ของนิวตัน ฉันคิดว่าทางออกเดียวของคุณคือถ้าจุดกึ่งกลางคือ "ไม่เห็นด้วยหรือไม่เห็นด้วย" และคุณสามารถสร้างกรณีที่ "ฉันไม่รู้" ซ้ำซ้อนด้วยความหมายเดียวกันเช่นนี้
Steve Jessop

สวัสดี @SteveJessop ในทางทฤษฎี / ในหลักการคุณถูกต้องเกี่ยวกับจำนวนของคำตอบ DK ที่บ่งบอกถึงปัญหาของแบบสอบถาม (ไม่ใช่แบบจำลองคุณคิดแบบจำลองไม่ใช่ CFA สำหรับขนาด แต่เป็นการถดถอย สำหรับตัวแปรหลายตัวรวมถึงสเกล) ก็ยังค่อนข้างแข็งแกร่งที่จะเรียกว่าไม่เพียงพอ ฉันจะทำการวิเคราะห์ขนาดและดูและเป็นจริงจำนวนเฉือนของคำตอบ DK อาจพิสูจน์ปัญหา อย่างไรก็ตามพวกเขายังอาจหมายความว่าผู้ตอบไม่รู้สึกอยากตอบ (โดยบังเอิญคำตอบ DK ส่วนใหญ่มาจากกลุ่มนักเรียนหลังการสอบ ... )
ปรับปรุง

คำตอบ:


28

เหตุใดจึงต้องบังคับให้มีการสอบเทียบกับสิ่งที่ไม่เป็นจริง อย่างที่มาร์ตินกล่าวว่านี่ไม่ใช่การสูญเสียข้อมูล แต่เป็นการได้รับข้อมูล หากเม็ดยาวิเศษที่คุณกำลังมองหาอยู่นั่นหมายความว่ามีข้อสันนิษฐานบางประการเกี่ยวกับประชากรของคุณที่ทำขึ้นมาเช่นความลำเอียงที่เป็นที่นิยมของฉลากหนึ่งโดยเฉพาะแม้ว่าผู้ใช้จะพูดว่า "ฉันไม่รู้"

ฉันเข้าใจความคับข้องใจของคุณอย่างสิ้นเชิง แต่วิธีการที่เหมาะสมในการแก้ไขปัญหาคือการปรับเปลี่ยนรูปแบบให้เหมาะกับความต้องการของคุณตามข้อมูลที่มีอยู่จริงไม่ใช่วิธีอื่น ๆ (แก้ไขข้อมูล)


สวัสดี Hatim ฉันไม่เชื่อว่าเป็นไปได้ที่จะแก้ไขโมเดล มาตราส่วนเป็นอันดับและถือว่าเป็นตัวเลือกที่สมเหตุสมผลและชัดเจนในขณะที่คำตอบที่ 6 "ฉันไม่รู้" สามารถตีความได้หลายวิธี อาจหมายความว่า "ฉันไม่เคยพบสถานการณ์นี้ / ฉันจำไม่ได้" มันอาจหมายถึงตัวเลือก 'ตัวกลาง' บางประเภท การตีความ / การตั้งสมมุติฐานใด ๆ ในนามของฉันจะไม่น่าเชื่อและไม่มีมูลความจริง คำตอบของ Maarten เรียกว่า 'ได้รับ' ข้อมูลซึ่งฉันคิดว่าสามารถใช้การใส่ความ 'สุ่ม' แบบเฉพาะเจาะจงได้ แต่นี่ไม่ใช่สิ่งที่คุณพูด - "แก้ไขแบบจำลอง"
ปรับปรุง

ความต่อเนื่อง ... อย่างไรก็ตามถึงแม้ว่าฉันและฉันยังคงถูกล่อลวงให้มองเพิ่มเติมเข้าไปในการใส่ร้าย 'สุ่ม' ดังกล่าวจำนวนมากของคำตอบ "ฉันไม่รู้" ทำให้ฉันกลัวว่าความสัมพันธ์ที่แท้จริง (จริง) ระหว่างตัวแปรจะเป็น การเปลี่ยนแปลง
ปรับปรุง

8
+1 ฉันรู้ว่ามันอึดอัด แต่คุณ [OP] มีตัวเลือกระหว่างการค้นหาชุดข้อมูลอื่นหากคุณต้องการทดสอบรูปแบบนั้นหรือปรับเปลี่ยนการวิเคราะห์ตามแผน คุณได้ถามคำถามเพื่อหวังคำตอบที่แตกต่างกัน แต่ในมุมมองของฉันไม่มีสิ่งใดที่สามารถป้องกันได้ หากฉันเป็นผู้ตอบแบบสอบถามเช่นนั้นฉันจะรู้สึกขุ่นเคืองกับความผิดเพี้ยนและขาดความไว้วางใจในการพยายามปฏิบัติต่อสิ่งที่ไม่รู้ ในความเป็นจริงในฐานะผู้บริโภคเป็นครั้งคราวของการวิจัยทางสังคมฉันก็ไม่มั่นใจเช่นกัน
Nick Cox

1
คุณมีสิทธิ์ตามธรรมชาติที่สิ่งนี้เคยเกิดขึ้นมาแล้วหลายต่อหลายครั้ง นั่นเป็นเหตุผลที่ผู้ที่มีประสบการณ์โครงการที่เบี่ยงเบนหรือซับซ้อนจากปัญหาที่ไม่คาดคิดสามารถพูดได้ดังนั้นการวิเคราะห์จะแตกต่างกันและกระดาษจะไม่เป็นไปตามจินตนาการ หรือแม้แต่บางครั้งโครงการก็ไม่ได้ผลดังนั้นจึงไปได้ (ถ้าอย่างใดคุณอยู่ภายใต้การสอนหรือการบังคับให้ทำตามที่โชคร้ายโดยเฉพาะอย่างยิ่ง แต่มันไม่ส่งผลกระทบต่อคำแนะนำของฉันเกี่ยวกับวิธีการคิดเกี่ยวกับมัน.)
นิคค็อกซ์

8
@ user2836366 ฉันไม่เข้าใจคำยืนยันของคุณว่าไม่สามารถแก้ไขโมเดลได้ แน่นอน "ไม่ทราบ" ไม่ได้เป็นส่วนหนึ่งของชุดคำตอบที่รวบรวม แต่นั่นคือทั้งหมดที่จุด; "ไม่ทราบ" หมายความว่าด้วยเหตุผลใดก็ตาม (รวมถึงรู้จริงรู้) บุคคลนั้นไม่ได้เลือกคำตอบตามลำดับอย่างใดอย่างหนึ่ง ดังนั้นหนึ่งการปรับเปลี่ยนดังกล่าวคือคุณสามารถมีแบบจำลองสำหรับกระบวนการนั้น (เลือก "ไม่ทราบ" เทียบกับ "เลือกหนึ่งในตัวเลือกอื่น") แล้วแบบจำลองปกติสำหรับเคสในหมวดที่สอง แบบจำลองดังกล่าวอาจจะค่อนข้างคล้ายกับรุ่นที่มีอุปสรรค์หรือรุ่นที่มีค่าเป็นศูนย์
Glen_b

10

หากนี่เป็นแบบสอบถามมาตรฐานที่ได้รับการตรวจสอบความถูกต้องอย่างอิสระคุณไม่สามารถอ้างได้ว่าแบบสอบถามใหม่นั้นมีความเทียบเท่าและข้อมูลไม่สามารถเปรียบเทียบกันได้อีกต่อไป คุณสามารถลองตรวจสอบและตรวจสอบแบบสอบถามในการทดลองแยกกัน (ใช้เวลามากและใช้ความพยายามมากโดยเฉพาะถ้าคุณต้องการแสดงความสามารถเปรียบเทียบกับรุ่นเก่า) หรือยอมรับว่าคุณกำลังเผชิญกับหลักฐานที่มีคุณภาพต่ำกว่า จากแบบสอบถามที่ไม่ผ่านการตรวจสอบ)

เมื่อคุณใช้ข้อมูลของคุณคุณจะต้องพิจารณาการเปลี่ยนแปลง เมื่อเผชิญกับคำถามเกี่ยวกับทัศนคติผู้คนไม่ได้ให้คำตอบที่ "เป็นกลางจริง" อย่างใดพวกเขาให้คำตอบที่พวกเขารู้สึกว่าเป็นจริง - และสิ่งนี้ได้รับอิทธิพลอย่างแน่นอนจากตัวเลือกคำตอบที่มี ในระดับและความรู้ที่พวกเขามีเกี่ยวกับเรื่อง (มีอคติที่รู้จักซึ่งทำงานแตกต่างกันบางครั้งในทิศทางที่แตกต่างกัน (!) ขึ้นอยู่กับว่าผู้เข้าร่วมมีความรู้มากหรือน้อยเกี่ยวกับเรื่อง)

ดังนั้นหากเรากำลังจัดการกับ quesitonnaire ที่จัดตั้งขึ้นคุณมีตัวเลือกที่ดีสำหรับการเปรียบเทียบระหว่างรุ่นแบบสอบถามของคุณกับแบบดั้งเดิม หากต้นฉบับสันนิษฐานว่าผู้คนรู้ว่าพวกเขากำลังเลือกอะไรและมันกลับกลายเป็นว่าพวกเขาไม่ได้คุณสามารถพูดคุยกันว่าแบบเก่านั้นตั้งอยู่บนสมมติฐานที่ผิดอย่างไรและผลที่ตามมาคืออะไร โปรดทราบว่านี่คือการค้นพบ "ด้าน" ซึ่งทำให้คำถามการวิจัยใหม่ที่ดี แต่นำคุณออกไปจากเดิมและแสดงให้เห็นว่าการตอบคำถามต้นฉบับนั้นยากกว่าที่คิดไว้มากดังนั้นมันจึงทวีคูณการทำงานของคุณ

หากคุณไม่ได้จัดการกับแบบสอบถามที่สร้างขึ้นคุณสามารถทำตามขั้นตอนและทำท่าว่าแบบสอบถามเฉพาะกิจของคุณได้รับการวางแผนในลักษณะนั้นและประเมินผลลัพธ์ตามนั้น อีกครั้งอาจหมายความว่าผลลัพธ์ที่คุณคาดหวังไม่สามารถหาได้ด้วยวิธีนี้ แต่นี่ก็เป็นสิ่งสำคัญที่ต้องรู้

เพื่อความเข้าใจที่ดีว่าคำตอบและตัวเลือกมีอิทธิพลต่อวิธีการตอบแบบสอบถามอย่างไรฉันขอแนะนำให้อ่าน "จิตวิทยาการตอบแบบสอบถามของ Tourangeau et al. มันเป็นการอ่านที่ยอดเยี่ยมสำหรับทุกคนที่เคยสร้างแบบสอบถาม


2

หากคุณถามว่ามีเด็กกี่คนที่ให้กำเนิดผู้ตอบคำถาม "ศูนย์" และ "ไม่เกี่ยวข้อง" จะไม่ได้หมายความอย่างเดียวกันเพราะผู้ชายไม่สามารถให้กำเนิด

สำหรับบริบทบางอย่างการเทียบเคียง "ฉันไม่รู้" กับการตอบสนองที่เป็นกลางอาจเป็นความผิดพลาดทางแนวคิดเช่นเดียวกัน

ที่จริงแล้วคุณมีคำถามสองข้อ: a dichotomous "คุณมีความคิดเห็นหรือไม่?" และลำดับที่ "มันคืออะไร" เช่นเดียวกับข้างบนคุณมีนัย "คุณเป็นผู้หญิงหรือไม่" เกินคำถามที่ชัดเจนของคุณ

แน่นอนคุณสามารถแนะนำสมมติฐานบางอย่าง (บางครั้งถูกต้องบางครั้งก็เพื่อความสะดวกบางครั้งถูกบังคับ) เพื่อให้คุณสามารถสร้างแบบจำลองบางอย่าง แต่ฉันไม่เห็นกลยุทธ์ที่สามารถนำไปใช้ได้ในระดับสากลโดยไม่ต้องเข้าสู่ขอบเขตเฉพาะของปรากฏการณ์ของคุณ

ในฐานะที่เป็นจุดสุดท้ายที่จะคิดว่ามันจะไม่มีเหตุผลที่จะลองและอนุมานกับประชากรชายอะไรจากคำตอบดกของผู้หญิง


2

ภาวะที่กลืนไม่เข้าคายไม่ออกว่าควรรวมหรือไม่ตัวเลือกตอบไม่ทราบในแบบสอบถามที่ประกอบด้วยมาตราส่วนการจัดอันดับประเภท Likert เป็นนิรันดร์ บ่อยครั้งเมื่อรายการถามเกี่ยวกับความเห็น DK จะรวมอยู่เพราะไม่มีความเห็นเป็นสถานะที่สำคัญของตัวเองและตัวเลือกที่คาดหวังโดยผู้ตอบแบบสอบถาม ในสินค้าที่มีลักษณะส่วนบุคคลที่ผู้คนกำหนดคุณภาพให้กับตัวเลือก DK เป้าหมายมักจะถูกทิ้งเพราะผู้ตอบแบบสอบถามโดยปกติคาดว่าจะสามารถประเมินขอบเขตความสัมพันธ์ของคุณลักษณะ (เช่นผู้ตอบถูกเห็นว่ามีคุณสมบัติ) และเมื่อเขาพบความยากลำบากเป็นครั้งคราวเขาได้รับอนุญาต (ตามคำสั่ง) ให้ข้ามรายการนั้น ในสินค้าที่มีลักษณะส่วนบุคคลที่ผู้คนอธิบายเป้าหมาย (รายการพฤติกรรม) DK (หรือไม่ '

@Hatim ในคำตอบของเขา @Maarten และผู้แสดงความคิดเห็นคนอื่น ๆ ของคำถาม OP ได้แสดงให้เห็นอย่างสมเหตุสมผลว่าคำตอบ DK จำนวนมากที่สังเกตเห็นในการศึกษาปัจจุบันบ่งชี้ถึงปัญหา (ความถูกต้องของเนื้อหาหรือความกล้าหาญของใบหน้า) ในรายการ ไม่สอดคล้องกับแบบสอบถามที่พวกเขาสั่ง

แต่คุณไม่สามารถบอกเรื่องราวได้ในที่สุดการตีความของสิ่งกีดขวางนั้นเกิดขึ้นกับคุณ (เว้นแต่คุณจะกล่าวถึงเรื่องนี้ในการสืบสวนแยก) หนึ่งสามารถเรียกร้องเช่นว่าการรวมตัวเลือก DK กับ likerts ในแบบสอบถามนั้น (พูดว่ามันเป็นสินค้าคงคลังตามคำบรรยายลักษณะ) ทำหน้าที่ไม่ดีไม่ดี มันไม่ได้ให้ข้อมูลแก่คุณ (ซึ่งผู้แสดงความเห็นพูดอย่างนั้นit proves that the [rating] model is inadequate) แต่เบี่ยงเบนความสนใจ / ล่อลวงผู้ตอบ ไม่ว่าจะเป็นการตัดสินใจโดยการให้คะแนนที่แนะนำโดย schema ลักษณะทางปัญญาโดยปริยาย แต่การเห็นตัวเลือกการระบายความร้อนนั้นทำให้สคีมาไม่ดีและทำให้ถอนตัวได้อย่างรวดเร็ว

หากคุณยอมรับความเสี่ยงของคุณ แต่ทำไมไม่ - เรื่องที่ฟุ้งซ่านหรือขี้เกียจง่าย ๆ คือคนที่มีศักยภาพการมองย้อนกลับที่ถูกต้อง แต่มีแนวโน้มที่จะแตกต่างกันเล็กน้อย - นั่นคือเขาจะเรียกคนธรรมดาธรรมดาdas ManแทนErlebnis , schema - จากนั้นคุณอาจเก็งกำไร การตอบสนองที่ขาดหายไปของเขานั้นอยู่ที่ค่าเฉลี่ยของกลุ่มตัวอย่างหรือของประชากรสำหรับรายการนั้น ถ้าเป็นเช่นนั้นทำไมไม่ลองใช้การแทนที่คำตอบที่หายไป หรือคุณอาจใช้การใส่ EM หรือการถดถอย (+ เสียง) เพื่อพิจารณาความสัมพันธ์

เมื่อต้องการทำซ้ำ: การตัดสินใจใส่ข้อมูลเป็นไปได้ แต่มีความเสี่ยงและไม่น่าเป็นไปได้ที่จะให้ข้อมูลที่ขาดหายไปจำนวนมากเพื่อเรียกคืนข้อมูลที่ขาดหายไป ดังที่ @rumtscho กล่าวว่าแน่นอนว่าแบบสอบถามใหม่ที่มี DK ไม่เทียบเท่ากับต้นฉบับดั้งเดิมที่ไม่มี DK และไม่มีการเปรียบเทียบข้อมูลอีกต่อไป

นี่เป็นการคาดเดา แต่ก่อนอื่นคุณควรพยายามตรวจสอบรูปแบบที่หายไป ใครคือวิชาที่เลือก DK? พวกเขารวมกันเป็นกลุ่มย่อยหรือไม่? แตกต่างกันอย่างไรในส่วนที่เหลือของรายการจากตัวอย่างย่อย "ตกลง" ซอฟต์แวร์บางตัวมีแพ็คเกจการวิเคราะห์ที่ขาดหายไป จากนั้นคุณสามารถตัดสินใจได้ว่าจะลดผู้คนทั้งหมดหรือบางส่วนหรือเพื่อใส่ร้ายหรือวิเคราะห์พวกเขาเป็นตัวอย่างย่อยแยกกัน

ป.ล. ยังทราบว่าผู้ตอบแบบสอบถามเป็น "โง่" พวกเขามักจะผสมกับระดับคะแนน ตัวอย่างเช่นหากจุด DK ถูกวางไว้ใกล้กับขั้วหนึ่งของมาตราส่วนก็มักจะสับสนโดยไม่ตั้งใจกับขั้วนั้น ฉันไม่ได้ล้อเล่น.


สวัสดี @ttnphns เอาล่ะคำตอบของคุณยาวเกินไปที่จะตอบทีละจุด (ฉันได้ให้ความเห็นเกี่ยวกับคำตอบอื่น ๆ เกี่ยวกับประเด็นที่คุณยกมาแล้ว) พูดตามตรงฉันจะต้องอ่านมันอีกสองสามครั้ง อย่างไรก็ตามมันพูดถึงทุกสิ่งที่ฉันต้องการ
ปรับปรุง

0

ตอนนี้คุณมีผู้ตอบแบบสอบถามเลือกด้วยตนเองว่ามีความเห็นในเรื่องนี้ สิ่งที่คุณสรุปได้จะเป็นเพียงเกี่ยวกับคนเหล่านั้น นี่อาจเป็นเรื่องปกติเนื่องจากการสำรวจผู้ที่ไม่ทราบว่ามีประโยชน์น้อยกว่า


2
ขำขัน แต่มองโลกในแง่ร้ายเกินไป คนเหล่านั้นเสนอข้อโต้แย้งในสิ่งที่สามารถทำได้ไม่ควรไม่ควรทำและเป็นข้อโต้แย้งที่ควรชั่งน้ำหนัก คำตอบเดียวกันสามารถให้ในหัวข้อใด ๆ ที่นี่ แต่คนที่ไม่พูดไม่ต้องพูด
Nick Cox
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.