ข้อมูลที่ถูกตรวจสอบอย่างถูกต้องคืออะไร?

ฉันได้อ่านคำอธิบายที่แตกต่างของข้อมูลเซ็นเซอร์:

A) ตามที่อธิบายไว้ในหัวข้อนี้ข้อมูลที่ไม่มีเงื่อนไขด้านล่างหรือสูงกว่าเกณฑ์ที่กำหนดจะถูกเซ็นเซอร์ ข้อมูลที่ไม่มีเงื่อนไขหมายถึงข้อมูลสูงกว่าหรือต่ำกว่าเกณฑ์ที่กำหนด แต่เราไม่ทราบค่าที่แน่นอน ข้อมูลจะถูกทำเครื่องหมายที่ค่าต่ำสุดหรือสูงกว่าเกณฑ์ในตัวแบบการถดถอย มันตรงกับคำอธิบายในงานนำเสนอนี้ซึ่งฉันพบว่าชัดเจนมาก (สไลด์ที่ 2 ในหน้าแรก) กล่าวอีกนัยหนึ่งว่า$Y$ถูก จำกัด ด้วยค่าต่ำสุดค่าสูงสุดหรือทั้งคู่เพราะเราไม่ทราบค่าจริงนอกช่วงนั้น

B) เพื่อนบอกผมว่าเราสามารถใช้รูปแบบข้อมูลเซ็นเซอร์บางส่วนที่ไม่รู้จัก $Y$สังเกตให้เรามีอย่างน้อยข้อมูลบางอย่างเกี่ยวกับการ จำกัด ไม่รู้จัก$Y_i$ผลลัพธ์ ตัวอย่างเช่นเราต้องการประเมินราคาสุดท้ายสำหรับการประมูลแบบเงียบและแบบเปิดโดยพิจารณาจากเกณฑ์เชิงคุณภาพ (ประเภทของสินค้า, ประเทศ, ความมั่งคั่งของผู้เสนอราคาเป็นต้น) ในขณะที่การประมูลแบบเปิดเราทราบราคาสุดท้ายทั้งหมด$Y_i$สำหรับการประมูลแบบเงียบเรารู้เพียงแค่การประมูลครั้งแรก (พูด $ 1,000) แต่ไม่ใช่ราคาสุดท้าย ฉันบอกว่าในกรณีนี้ข้อมูลถูกเซ็นเซอร์จากด้านบนและควรใช้โมเดลการถดถอยแบบเซ็นเซอร์

C) ในที่สุดก็มีความหมายที่กำหนดโดยWikipediaที่$Y$หายไปโดยสิ้นเชิง แต่มีตัวทำนาย ฉันไม่แน่ใจว่าตัวอย่างนี้แตกต่างจากข้อมูลที่ถูกตัดทอนอย่างไร

ดังนั้นข้อมูลที่ถูกเซ็นเซอร์คืออะไร?

พิจารณาข้อมูลต่อไปนี้เกี่ยวกับผลลัพธ์และ covariate x :$y$$x$

user y       x   
1    10      2 
2   (-∞,5]   3 
3   [4,+∞)   5   
4   [8,9]    7
5     .      .

สำหรับผู้ใช้ 1 เรามีข้อมูลที่สมบูรณ์ สำหรับคนอื่น ๆ เรามีข้อมูลที่ไม่สมบูรณ์ ผู้ใช้ 2, 3 และ 4 ถูกเซ็นเซอร์ทั้งหมด: ผลลัพธ์ที่สอดคล้องกับค่าที่ทราบของ covariate จะไม่ถูกตรวจพบหรือไม่ได้รับการสังเกตอย่างแน่นอน (ซ้าย - ขวา - และตรวจสอบช่วงเวลา) บางครั้งสิ่งนี้เป็นสิ่งที่ต้องคำนึงถึงเรื่องความเป็นส่วนตัวในการออกแบบแบบสำรวจ ในเวลาอื่นมันเกิดขึ้นด้วยเหตุผลอื่น ตัวอย่างเช่นเราไม่ได้สังเกตค่าแรงต่ำกว่าค่าแรงขั้นต่ำหรือความต้องการตั๋วคอนเสิร์ตที่สูงกว่าความจุที่เกิดขึ้นจริง

ผู้ใช้ 5 ถูกตัดทอน: ผลลัพธ์และ covariate หายไป สิ่งนี้มักจะเกิดขึ้นเพราะเรารวบรวมข้อมูลเฉพาะคนที่ทำอะไรบางอย่าง ตัวอย่างเช่นเราสำรวจเฉพาะคนที่ซื้อของบางอย่าง ( ) ดังนั้นเราจึงยกเว้นผู้ที่มีy = 0พร้อมกับx s ของพวกเขา เราอาจไม่มีแถวสำหรับข้อมูลผู้ใช้ประเภทนี้ถึงแม้ว่าเรารู้ว่ามีอยู่เพราะเรารู้กฎที่ใช้ในการสร้างตัวอย่างของเรา อีกตัวอย่างหนึ่งคือการตัดโดยไม่ตั้งใจ : เราจะสังเกตเฉพาะข้อเสนอค่าจ้างสำหรับผู้ที่อยู่ในกำลังงานเนื่องจากเราคิดว่าข้อเสนอค่าจ้างเป็นค่าจ้างเมื่อคุณทำงาน การตัดปลายนั้นไม่สำคัญเนื่องจากไม่ได้ขึ้นอยู่กับ$y>0$$y=0$$x$$y$แต่ในตัวแปรอื่น

กล่าวโดยย่อการตัดจะแสดงถึงการสูญเสียข้อมูลที่มากกว่าการเซ็นเซอร์ (คะแนน A & B) "ความหาย" ทั้งสองประเภทนี้เป็นระบบ

การทำงานกับข้อมูลประเภทนี้มักเกี่ยวข้องกับการตั้งสมมติฐานการกระจายที่ดีเกี่ยวกับข้อผิดพลาดและการแก้ไขโอกาสในการพิจารณาสิ่งนี้ วิธีกึ่งพาราเมตริกที่ยืดหยุ่นมากขึ้นก็เป็นไปได้เช่นกัน นี่คือนัยในจุด B ของคุณ

ฉันจะเสนอ "ตัวอย่างข้อมูลจะถูกตรวจสอบหากมีการสังเกตการณ์เกิดขึ้นหรือประกอบไปด้วยค่าที่มากที่สุดของตัวอย่าง แต่คุณค่าที่แท้จริงของพวกมันอยู่นอกช่วงตัวอย่างที่สังเกต" แต่นี่เป็นสิ่งที่หลอกลวงอย่างตรงไปตรงมา

ดังนั้นก่อนอื่นเรามาคุยกันว่าเราจะสรุปได้อย่างไรว่าชุดข้อมูลนั้นถูกเซ็นเซอร์ซึ่งจะนำเราไปสู่การอภิปรายกรณีที่นำเสนอในคำถาม

สมมติว่าเราจะได้รับชุดข้อมูลต่อไปนี้จากที่ไม่ต่อเนื่องตัวแปรสุ่มซึ่งสิ่งเดียวที่เรารู้ก็คือว่ามันไม่ใช่เชิงลบ:$X$

เราสามารถพูดได้หรือไม่ว่าชุดข้อมูลนั้นถูกเซ็นเซอร์? เรามีสิทธิ์ที่จะคิดว่ามันอาจจะเป็น แต่ก็ไม่จำเป็นว่า:

1) อาจจะมีช่วง{ 0 , 1 , 2 }และกระจาย{ 0.1 , 0.1 , 0.8 } หากเป็นกรณีนี้ปรากฏว่าไม่มีการเซ็นเซอร์ที่นี่เพียงตัวอย่าง "ที่คาดการณ์ไว้" จากตัวแปรสุ่มที่มีการสนับสนุนที่มีขอบเขตและการกระจายที่ไม่สมดุล $X$$\{0,1,2\}$$\{0.1,0.1,0.8\}$

2) แต่มันอาจจะเป็นกรณีที่มีช่วง{ 0 , 1 , . . , 9 }กับการกระจายความน่าจะเป็นเครื่องแบบ{ 0.1 , 0.1 , . .0 .1 }ซึ่งในกรณีนี้ตัวอย่างข้อมูลของเราจะถูกเซ็นเซอร์มากที่สุด $X$$\{0,1,...,9\}$$\{0.1,0.1,...0.1\}$

เราจะบอกได้อย่างไร เราไม่สามารถยกเว้นว่าเรามีความรู้หรือข้อมูลก่อนหน้านี้ซึ่งจะช่วยให้เราสามารถโต้แย้งในกรณีหนึ่งหรืออีกกรณีหนึ่ง คำถามสามข้อที่นำเสนอในคำถามแสดงถึงความรู้ก่อนหน้านี้ถึงผลของการเซ็นเซอร์หรือไม่? มาดูกัน:

กรณี A)อธิบายสถานการณ์ที่การสังเกตการณ์บางอย่างเรามีเพียงข้อมูลเชิงคุณภาพเช่น "ใหญ่มาก", "เล็กมาก" ฯลฯ ซึ่งทำให้เราสามารถกำหนดค่าการสังเกตให้มากที่สุด โปรดทราบว่าเพียงแค่ไม่ได้รู้ว่ามูลค่าที่เกิดขึ้นจริงนั้นไม่ได้เป็นเพียงการกำหนดค่าที่สูงที่สุด ดังนั้นเราต้องมีข้อมูลบางอย่างเกี่ยวกับผลกระทบที่เกิดขึ้นจากการสังเกตเหล่านี้ค่าของมันนั้นสูงกว่าหรือต่ำกว่าค่าที่สังเกตได้ทั้งหมด ในกรณีนี้ช่วงที่แท้จริงของตัวแปรสุ่มไม่เป็นที่รู้จัก แต่ข้อมูลเชิงคุณภาพของเราอนุญาตให้เราสร้างตัวอย่างที่ถูกเซ็นเซอร์ (เป็นการอภิปรายอีกครั้งว่าทำไมเราไม่เพียงแค่วางข้อสังเกตที่เราไม่ได้มีมูลค่าที่เกิดขึ้นจริง )

กรณี B)คือไม่ได้กรณีที่มีการตัดทอนถ้าผมเข้าใจอย่างถูกต้อง แต่เป็นกรณีตัวอย่างที่ปนเปื้อน: เบื้องต้นข้อมูลของเราบอกเราว่าค่าสูงสุดของตัวแปรสุ่มไม่เกิน (พูดเนื่องจากกฎหมายทางกายภาพหรือ กฎหมายสังคม - ใช้นี่คือข้อมูลคะแนนจากระบบการให้เกรดที่ใช้เฉพาะค่า1 , 2 , 3 ) แต่เราได้สังเกตเห็นยังมูลค่า4และความคุ้มค่า5 สิ่งนี้จะเป็นอย่างไร ความผิดพลาดในการบันทึกข้อมูล แต่ในกรณีเช่นนี้เราไม่ทราบแน่ชัดว่า4และ5ควรเป็น3ทั้งหมด$3$$1,2,3$$4$$5$$4$$5$$3$(ที่จริงแล้วเมื่อดูที่แป้นพิมพ์ด้านข้างของคอมพิวเตอร์มีแนวโน้มว่าของนั้นคือ1และ5ของคือ2 !) โดย "การแก้ไข" ไม่ว่าจะด้วยวิธีใดก็ตามเราจะไม่ทำให้เป็นเซ็นเซอร์เนื่องจากตัวแปรสุ่มไม่ควรอยู่ในช่วงที่บันทึกไว้ตั้งแต่แรก (ดังนั้นจึงไม่มีความน่าจะเป็นจริงที่กำหนดให้กับค่า4และ5 ) $4$$1$$5$$2$$4$$5$

กรณี C)หมายถึงตัวอย่างร่วมซึ่งเรามีตัวแปรตามและตัวทำนาย ที่นี่เราอาจมีตัวอย่างที่ค่าของตัวแปรตามมีความเข้มข้นที่หนึ่งหรือทั้งสองขั้วเนื่องจากโครงสร้างของปรากฏการณ์ภายใต้การศึกษา: ในตัวอย่างปกติ "ชั่วโมงทำงาน" คนว่างงานไม่ทำงาน แต่พวกเขาจะมี ทำงานแล้ว (คิดอย่างรอบคอบ: กรณีนี้จริง ๆ แล้วอยู่ภายใต้ "คำจำกัดความ" เชิงพรรณนาในตอนต้นของคำตอบนี้หรือไม่) ดังนั้นรวมไว้ในการถดถอยด้วยชั่วโมงที่บันทึก "ศูนย์" สร้างอคติ สำหรับจำนวนที่มากสุด ๆ จำนวนชั่วโมงทำงานที่มากที่สุดอาจเป็นที่ถกเถียงกันเพื่อให้สามารถเข้าถึงได้พูด$16$/ วันและอาจมีพนักงานที่เต็มใจทำงานหลายอย่างเพื่อรับเงิน แต่กรอบกฎหมายไม่อนุญาตดังนั้นเราจึงไม่ปฏิบัติตาม "ชั่วโมงทำงาน" ดังกล่าว ที่นี่เราพยายามที่จะประเมิน " ฟังก์ชั่นการจัดหาแรงงานที่ตั้งใจ " - และมันเกี่ยวกับตัวแปรนี้ที่ตัวอย่างมีลักษณะเป็นเซ็นเซอร์
แต่ถ้าเราประกาศว่าสิ่งที่เราต้องการจะทำคือการประเมิน "ฟังก์ชั่นการจัดหาแรงงานเนื่องจากปรากฏการณ์การว่างงานและกรอบกฎหมาย" ตัวอย่างจะไม่ถูกตรวจสอบเนื่องจากมันจะสะท้อนถึงผลกระทบของทั้งสองด้านสิ่งที่เราต้องการ มันจะทำ

ดังนั้นเราจะเห็นว่าลักษณะของตัวอย่างข้อมูลที่เป็นเซ็นเซอร์
) ที่ได้มาจากสถานการณ์ที่แตกต่างกันและ
ข) ต้องดูแลบาง
-let เพียงอย่างเดียวจริงที่ว่ามันสามารถจะสับสนกับกรณีของการตัด

สำหรับผมการตัดทอนหมายความว่าเราจะสังเกตเห็นบางส่วนของข้อมูลเกี่ยวกับการสังเกตฉัน สิ่งที่ผมหมายถึงนี้ก็คือว่าแทนที่จะสังเกตZ ฉัน = Z ฉันเราสังเกตZ ฉัน ∈ ฉันที่ฉันเป็นสำนึกของฉันซึ่งเป็นอนุภาคบางสุ่มของพื้นที่ตัวอย่าง เราอาจจะคิดว่าครั้งแรกที่เราเลือกพาร์ติชันฉันของพื้นที่ตัวอย่างZแล้วZ ฉันถูกสร้างขึ้นและเรารายงานฉัน ∈ ฉันดังกล่าวว่า$Z_i$$Z_i = z_i$$Z_i \in a_i$$a_i$$A_i$$\mathcal A_i$$\mathcal Z$$Z_i$$A_i \in \mathcal A_i$$Z_i \in A_i$$I(Z_i \in A)$$A \in \mathcal A_i$$Z_i$$\mathcal A_i$$Z_i$

$[Z_i \mid Z_i \in a_i]$$Z_i$$Z_i = (X_i, Y_i)$$Y_i$$a_i = \{x\} \times \mathcal Y$ where $\mathcal Y$ is the sample space of $Y$ and say $Z_i$ is missing if $a_i = \mathcal Z$. When one says "$Z_i$ is censored", if they are following my definition, what they usually mean is "$Z_i$ is censored, but is not missing".

It's important to distinguish censored versus truncated as well as missing data.

Censoring applies specifically to the issue of survival analysis and time-to-event outcomes wherein the event at hand is assumed to have occurred at some time past the point at which you stopped observing that individual. An example is men-who-have-sex-with-men (MSM) and the risk of incident HIV in a prospective study who move and cease contact with study coordinators.

Truncation applies to a continuous variable that evaluates to a specific point at which the actual value is known to be either greater than or less than that point. An example is the monitoring of subjects with HIV and the development of full blown AIDS, CD4 cell counts falling below 300 are evaluated to the lower-limit-of-detection 300.

Lastly, missing data are data that have actual values that are not observed in any sense. Censored data are not missing time-to-event data nor are they truncated.

1. Censored: This is a term used to indicate that the period of observation was cut off before the event of interest occurred. So ''censored data'' indicate that the period of a particular event as not or never occurred