มันถูกต้องหรือไม่ในการวิเคราะห์ข้อมูลการตรวจจับสัญญาณโดยไม่ใช้ตัวชี้วัดที่ได้มาจากทฤษฎีการตรวจจับสัญญาณ?

โดยทั่วไปแล้วการทดสอบการตรวจจับสัญญาณจะนำเสนอผู้สังเกตการณ์ (หรือระบบการวินิจฉัย) ด้วยสัญญาณหรือไม่ใช่สัญญาณและผู้สังเกตการณ์จะถูกขอให้รายงานว่าพวกเขาคิดว่ารายการที่นำเสนอนั้นเป็นสัญญาณหรือไม่ใช่สัญญาณ การทดลองดังกล่าวให้ผลข้อมูลที่เติมเมทริกซ์ 2x2:

ทฤษฎีการตรวจจับสัญญาณหมายถึงข้อมูลดังกล่าวที่แสดงถึงสถานการณ์ที่การตัดสินใจ "สัญญาณ / ไม่ใช่สัญญาณ" ขึ้นอยู่กับความต่อเนื่องของสัญญาณ - สัญญาณซึ่งการทดลองสัญญาณโดยทั่วไปมีค่าสูงกว่าการทดลองที่ไม่ใช่สัญญาณและผู้สังเกตการณ์เพียงอย่างเดียว เลือกค่าเกณฑ์ด้านบนซึ่งพวกเขาจะรายงาน "สัญญาณ":

ในแผนภาพด้านบนการแจกแจงสีเขียวและสีแดงหมายถึงการแจกแจง "สัญญาณ" และ "ไม่ใช่สัญญาณ" ตามลำดับและเส้นสีเทาแสดงถึงเกณฑ์ที่เลือกโดยผู้สังเกตการณ์ที่กำหนด ทางด้านขวาของเส้นสีเทาพื้นที่ใต้เส้นโค้งสีเขียวหมายถึงจำนวนที่พบและพื้นที่ใต้เส้นโค้งสีแดงแสดงถึงสัญญาณเตือนที่ผิด ทางด้านซ้ายของเส้นสีเทาพื้นที่ใต้เส้นโค้งสีเขียวจะชดเชยการพลาดและพื้นที่ใต้เส้นโค้งสีแดงแสดงถึงการปฏิเสธที่ถูกต้อง

ตามที่คาดการณ์ไว้ตามโมเดลนี้สัดส่วนของการตอบสนองที่ตกอยู่ในแต่ละเซลล์ของตาราง 2x2 ด้านบนนั้นพิจารณาจาก:

1. สัดส่วนสัมพัทธ์ของการทดลองสุ่มตัวอย่างจากการแจกแจงสีเขียวและสีแดง (อัตราฐาน)
2. เกณฑ์ที่ผู้สังเกตการณ์เลือกไว้
3. การแยกระหว่างการแจกแจง
4. ความแปรปรวนของการแจกแจงแต่ละครั้ง
5. การออกจากความเสมอภาคของความแปรปรวนระหว่างการแจกแจงใด ๆ
6. รูปร่างของการแจกแจงแต่ละแบบ (ทั้งคู่เป็นแบบเกาส์เหนือ)

บ่อยครั้งที่การประเมินอิทธิพลของ # 5 และ # 6 สามารถประเมินได้โดยการให้ผู้สังเกตการณ์ทำการตัดสินใจในระดับเกณฑ์ที่แตกต่างกันจำนวนหนึ่งดังนั้นเราจะไม่สนใจสิ่งนั้นในตอนนี้ นอกจากนี้ # 3 และ # 4 เท่านั้นที่สมเหตุสมผลเมื่อเทียบกับอีกคนหนึ่ง (เช่นขนาดของการแยกที่สัมพันธ์กับความแปรปรวนของการแจกแจงเป็นเท่าใด) สรุปโดยการวัด "discriminability" (หรือที่เรียกว่า d ') ดังนั้นทฤษฎีการตรวจจับสัญญาณจึงให้การประมาณค่าคุณสมบัติสองอย่างจากข้อมูลการตรวจจับสัญญาณ: เกณฑ์และความสามารถจำแนกได้

อย่างไรก็ตามฉันมักสังเกตว่ารายงานการวิจัย (โดยเฉพาะจากสาขาการแพทย์) ล้มเหลวในการใช้กรอบการตรวจจับสัญญาณและพยายามวิเคราะห์ปริมาณเช่น "ค่าคาดการณ์เชิงบวก", "ค่าคาดการณ์เชิงลบ", "ความไวเชิงลบ" และ "ความเฉพาะเจาะจง" "ซึ่งทั้งหมดเป็นตัวแทนของค่าส่วนต่างที่แตกต่างจากตาราง 2x2 ด้านบน ( ดูที่นี่สำหรับการทำอย่างละเอียด )

คุณสมบัติส่วนเพิ่มเหล่านี้มีประโยชน์อะไรบ้าง? ความชอบของฉันคือการไม่สนใจพวกเขาอย่างสมบูรณ์เพราะพวกเขาทำให้สับสนกับอิทธิพลที่เป็นอิสระทางทฤษฎีของเกณฑ์และการแบ่งแยก แต่บางทีฉันก็อาจขาดจินตนาการในการพิจารณาผลประโยชน์ของพวกเขา

อิทธิพลเชิงทำนายเชิงบวก (PPV) ไม่ได้เป็นมาตรการที่ดีไม่เพียงเพราะมัน จำกัด กลไกทั้งสองอย่าง (discriminability และ bias การตอบสนอง) แต่ยังเป็นเพราะอัตราพื้นฐานของรายการ มันจะดีกว่าที่จะใช้ความน่าจะเป็นหลังเช่น P (สัญญาณ | "ใช่") ซึ่งบัญชีสำหรับอัตราฐานรายการ:

$P(signal|yes) = \frac{P(signal)P(Hit)}{P(signal)P(Hit)+P(noise)P(False Alarm)}$

แต่ ... อะไรดีล่ะ? มันมีประโยชน์สำหรับการปรับเกณฑ์การตอบสนองเพื่อเพิ่ม / ลดความน่าจะเป็นของผลลัพธ์ที่เฉพาะเจาะจง ดังนั้นจึงเป็นส่วนเสริมในการวัดความอ่อนไหวและการตอบสนองในแง่ที่ช่วยสรุปผลการเปลี่ยนแปลงในการตอบสนอง

คำแนะนำ: ถ้าคุณติดกับเมทริกซ์ผลลัพธ์ 2x2 ซึ่งโดยทั่วไปจะอนุญาตให้คุณรับค่าความไวเช่น d 'เท่านั้นไม่ต้องกังวลกับ SDT และเพียงแค่ใช้สัญญาณเตือนฮิต - เท็จ มาตรการทั้งสอง (d 'และ (HF)) มีความสัมพันธ์กับ. 96 (ไม่ว่านักทฤษฎีการตรวจจับ BS จะเกิดขึ้น)

หวังว่านี่จะช่วยเชียร์

คุณกำลังเปรียบเทียบ "ความน่าจะเป็นที่ผลการทดสอบเป็นบวกนั้นถูกต้องอย่างไรเมื่อได้รับความชุกและเกณฑ์การทดสอบที่เป็นที่รู้จัก" ด้วย "ความไวและอคติของระบบที่ไม่รู้จักกับสัญญาณต่าง ๆ ของประเภทนี้คืออะไร"

ฉันว่าทั้งสองใช้ทฤษฎีคล้ายกันบ้าง แต่มีวัตถุประสงค์ที่แตกต่างกันมาก กับเกณฑ์การทดสอบทางการแพทย์ที่ไม่เกี่ยวข้อง มันสามารถตั้งค่าเป็นที่รู้จักในหลายกรณี ดังนั้นการกำหนดเกณฑ์การทดสอบจึงไม่มีประโยชน์หลังจากนั้น ทฤษฎีการตรวจจับสัญญาณที่ดีที่สุดสำหรับระบบที่ไม่ทราบเกณฑ์ นอกจากนี้ความชุกหรือสัญญาณมีแนวโน้มที่จะเป็นค่าคงที่ (และมักจะน้อยมาก) ด้วย SDT คุณมักจะหาค่าเฉลี่ยในการสร้างสัญญาณที่หลากหลายในสถานการณ์ที่ซับซ้อนมาก ๆ เมื่อทั้งเกณฑ์และสัญญาณคงที่ปริมาณที่ทราบสามารถ SDT บอกอะไรคุณได้ที่น่าสนใจ? ดูเหมือนว่าความซับซ้อนทางคณิตศาสตร์จำนวนมากจะจัดการกับปัญหาที่ง่ายกว่าเดิม

นี่อาจเป็นการทำให้เข้าใจง่ายเกินไป แต่ความจำเพาะและความไวเป็นมาตรการของประสิทธิภาพและใช้เมื่อไม่มีความรู้อย่างเป็นกลางเกี่ยวกับลักษณะของสัญญาณ ฉันหมายถึงความหนาแน่นของคุณเทียบกับพล็อตความแรงสมมติว่ามีตัวแปรหนึ่งตัวที่บอกปริมาณความหนาแน่น สำหรับข้อมูลที่มีมิติสูงมากหรือไม่มีที่สิ้นสุดมิติและไม่มีทฤษฎีที่เข้มงวดและพิสูจน์ได้ของกลไกการสร้างสัญญาณการเลือกตัวแปรนั้นไม่สำคัญ คำถามที่เกิดขึ้นคือเหตุผลว่าทำไมหลังจากเลือกตัวแปรดังกล่าวเป็นคุณสมบัติทางสถิติของมันเช่นค่าเฉลี่ยและความแปรปรวนของสัญญาณและไม่ใช่สัญญาณที่ไม่ได้วัดปริมาณ ในหลายกรณีตัวแปรอาจไม่ใช่แค่ปกติปัวซองหรือกระจายตัวอย่าง มันอาจจะไม่ใช่แบบพารามิเตอร์ซึ่งในกรณีนี้ปริมาณการแยกเป็นความแตกต่างหมายถึงความแปรปรวน ฯลฯ ไม่สมเหตุสมผล นอกจากนี้ยังมีวรรณกรรมจำนวนมากในสาขาชีวการแพทย์ที่มุ่งเน้นการใช้งานและ ROC ความจำเพาะความไว ฯลฯ สามารถใช้เป็นเกณฑ์วัตถุประสงค์สำหรับการเปรียบเทียบวิธีการในแง่ของลักษณะที่ จำกัด ของปัญหาและโดยทั่วไปนั่นคือทั้งหมดที่ ต้องระบุ. บางครั้งผู้คนอาจไม่สนใจที่จะอธิบายพูดว่าการกระจายตัวแบบ log-gamma ที่ไม่ต่อเนื่องของอัตราส่วนอัตราส่วนของยีน 1 เทียบกับยีน 2 transcripti จำนวนมากในผู้ป่วยที่เป็นโรค vs ควบคุม แต่สิ่งที่สำคัญเพียงอย่างเดียวคือ ฟีโนไทป์หรือความน่าจะเป็นของโรคจะอธิบาย สามารถใช้เป็นเกณฑ์วัตถุประสงค์สำหรับการเปรียบเทียบวิธีการในแง่ของลักษณะที่ จำกัด ของปัญหาและโดยทั่วไปนั่นคือทั้งหมดที่จำเป็น บางครั้งผู้คนอาจไม่สนใจที่จะอธิบายพูดว่าการกระจายตัวแบบ log-gamma ที่ไม่ต่อเนื่องของอัตราส่วนอัตราส่วนของยีน 1 เทียบกับยีน 2 transcripti จำนวนมากในผู้ป่วยที่เป็นโรค vs ควบคุม แต่สิ่งที่สำคัญเพียงอย่างเดียวคือ ฟีโนไทป์หรือความน่าจะเป็นของโรคจะอธิบาย สามารถใช้เป็นเกณฑ์วัตถุประสงค์สำหรับการเปรียบเทียบวิธีการในแง่ของลักษณะที่ จำกัด ของปัญหาและโดยทั่วไปนั่นคือทั้งหมดที่จำเป็น บางครั้งผู้คนอาจไม่สนใจที่จะอธิบายพูดว่าการกระจายตัวแบบ log-gamma ที่ไม่ต่อเนื่องของอัตราส่วนอัตราส่วนของยีน 1 เทียบกับยีน 2 transcripti จำนวนมากในผู้ป่วยที่เป็นโรค vs ควบคุม แต่สิ่งที่สำคัญเพียงอย่างเดียวคือ ฟีโนไทป์หรือความน่าจะเป็นของโรคจะอธิบาย