ปริมาณที่ควรเพิ่มลงไปใน x เพื่อหลีกเลี่ยงการบันทึกเป็นศูนย์?

ฉันวิเคราะห์ข้อมูลของฉันแล้ว ตอนนี้ฉันต้องการดูการวิเคราะห์ของฉันหลังจากจดบันทึกตัวแปรทั้งหมด ตัวแปรหลายตัวมีค่าศูนย์จำนวนมาก ดังนั้นฉันจะเพิ่มจำนวนเล็กน้อยเพื่อหลีกเลี่ยงการบันทึกของศูนย์

จนถึงตอนนี้ฉันได้เพิ่ม 10 ^ -10 โดยไม่มีเหตุผลใด ๆ จริง ๆ เพียงเพราะฉันรู้สึกว่าการเพิ่มจำนวนน้อยมากจะแนะนำให้ลดผลกระทบของปริมาณที่ฉันเลือกโดยพลการ แต่ตัวแปรบางตัวมีค่าศูนย์เป็นส่วนใหญ่ดังนั้นเมื่อบันทึกไว้ส่วนใหญ่ -23.02 ช่วงของช่วงตัวแปรของฉันคือ 1.33-8819.21 และความถี่ของเลขศูนย์ก็แตกต่างกันเช่นกัน ดังนั้นตัวเลือกส่วนตัวของฉัน "ปริมาณน้อย" จึงมีผลต่อตัวแปรต่างกันมาก เป็นที่ชัดเจนแล้วว่า 10 ^ -10 เป็นตัวเลือกที่ไม่สามารถยอมรับได้อย่างสมบูรณ์เนื่องจากความแปรปรวนส่วนใหญ่ในตัวแปรทั้งหมดนั้นมาจาก "ปริมาณเล็กน้อย" โดยพลการ

ฉันสงสัยว่าอะไรจะเป็นวิธีที่ถูกต้องมากขึ้นในการทำเช่นนี้

อาจจะดีกว่าถ้าเราหาปริมาณจากตัวแปรแต่ละตัวจากการกระจายตัว มีแนวทางใดบ้างเกี่ยวกับ "ปริมาณเล็กน้อย" ที่ควรได้รับ

การวิเคราะห์ของฉันส่วนใหญ่เป็นรูปแบบค็อกซ์ที่เรียบง่ายกับตัวแปรและอายุ / เพศเป็น IV ตัวแปรคือความเข้มข้นของไขมันในเลือดต่าง ๆ ซึ่งมักมีค่าสัมประสิทธิ์การเปลี่ยนแปลงค่อนข้างมาก

แก้ไข : การเพิ่มค่าที่ไม่เป็นศูนย์ที่เล็กที่สุดของตัวแปรดูเหมือนจะเป็นประโยชน์สำหรับข้อมูลของฉัน แต่อาจจะมีวิธีแก้ปัญหาทั่วไปใช่ไหม

แก้ไข 2 : เนื่องจากศูนย์เพียงระบุความเข้มข้นต่ำกว่าขีด จำกัด การตรวจจับอาจตั้งค่าให้เป็น (ขีด จำกัด การตรวจจับ) / 2 จะเหมาะสมหรือไม่

เนื่องจากศูนย์แสดงเพียงความเข้มข้นต่ำกว่าขีด จำกัด การตรวจจับอาจตั้งค่าให้เป็น (ขีด จำกัด การตรวจจับ) / 2 อาจเหมาะสม

ฉันเพิ่งพิมพ์ว่าสิ่งที่อยู่ในใจของฉันในกรณีที่การบันทึก (บ่อย) ทำให้รู้สึกและ 0 อาจเกิดขึ้นมีความเข้มข้นเมื่อคุณแก้ไขครั้งที่สอง อย่างที่คุณพูดสำหรับความเข้มข้นที่วัดได้ 0 หมายถึง "ฉันไม่สามารถวัดความเข้มข้นต่ำนั้นได้"

หมายเหตุด้านข้าง: คุณหมายถึง LOQ แทนที่จะเป็น LOD หรือไม่?

$\frac{1}{2}$

• $\frac{1}{2}\mathrm{LOQ}$
  
  
  $\frac{1}{2}\mathrm{LOQ}$

• อย่างไรก็ตามหากค่าที่วัดได้เดิมมีอยู่นั่นอาจช่วยให้คาดเดาได้ดีขึ้น ท้ายที่สุด LOQ มักจะหมายความว่าข้อผิดพลาดสัมพัทธ์คือ 10% ด้านล่างการวัดยังคงมีข้อมูลอยู่ แต่ข้อผิดพลาดสัมพัทธ์จะมีขนาดใหญ่มาก
  
  (สีน้ำเงิน: LOD, สีแดง: LOQ)

• อีกทางเลือกหนึ่งคือยกเว้นการวัดเหล่านี้ นั่นอาจเป็นเหตุผล
  เช่นคิดว่าเส้นโค้งการสอบเทียบ ในทางปฏิบัติคุณมักจะสังเกตเห็นรูปร่าง sigmoid: สำหรับ c ต่ำ, สัญญาณ≈คงที่, พฤติกรรมเชิงเส้นตรงกลาง, จากนั้นตรวจจับความอิ่มตัว
  ในสถานการณ์ดังกล่าวคุณอาจต้องการ จำกัด ตัวเองในการแถลงเกี่ยวกับความเข้มข้นที่ชัดเจนในช่วงเชิงเส้นเนื่องจากทั้งกระบวนการด้านล่างและด้านบนมีผลต่อผลลัพธ์อย่างมาก
  ตรวจสอบให้แน่ใจว่าคุณอธิบายว่าข้อมูลถูกเลือกในลักษณะนั้นและสาเหตุ

แก้ไข: อะไรที่สมเหตุสมผลหรือเป็นที่ยอมรับขึ้นอยู่กับปัญหานั้น ๆ หวังว่าเรากำลังพูดถึงที่นี่เกี่ยวกับส่วนเล็ก ๆ ของข้อมูลที่ไม่มีผลต่อการวิเคราะห์

อาจเป็นการตรวจสอบที่รวดเร็วและสกปรกคือใช้การวิเคราะห์ข้อมูลของคุณโดยมีและไม่รวมข้อมูลใด ๆ (หรือการรักษาที่คุณเสนอ) และดูว่ามีการเปลี่ยนแปลงอะไรบ้างหรือไม่

หากคุณเห็นการเปลี่ยนแปลงแน่นอนว่าคุณกำลังมีปัญหา อย่างไรก็ตามจากมุมมองทางเคมีเชิงวิเคราะห์ฉันจะบอกว่าปัญหาของคุณไม่ได้อยู่ที่วิธีการที่คุณใช้ในการจัดการกับข้อมูล แต่ปัญหาพื้นฐานคือว่าวิธีการวิเคราะห์ (หรือช่วงการทำงาน) นั้นไม่เหมาะสมสำหรับ ปัญหาที่อยู่ในมือ แน่นอนว่ามีโซนที่วิธีการทางสถิติที่ดีกว่าสามารถช่วยให้คุณประหยัดเวลาได้ แต่ท้ายที่สุดการประมาณ "ขยะมูลฝอย, ขยะ" มักจะมีวิธีการที่น่าสนใจมากกว่า

ใบเสนอราคาสำหรับหัวข้อ:

• นักสถิติเคยบอกฉันว่า:

  ปัญหาของคุณ (นักเคมี / นักสเปกโทรสโกปี) คือปัญหาของคุณนั้นยากมากจนไม่สามารถแก้ไขได้หรือง่ายจนไม่มีความสนุกในการแก้

• ฟิชเชอร์เกี่ยวกับสถิติหลังการตายของการทดลอง

ข้อมูลความเข้มข้นของสารเคมีมักจะมีศูนย์ แต่สิ่งเหล่านี้ไม่ได้เป็นตัวแทนของค่าศูนย์ : พวกเขาเป็นรหัสที่แตกต่างกัน (และสับสน) เป็นตัวแทนของทั้งสองnondetects (วัดที่ระบุมีระดับสูงของโอกาสที่วิเคราะห์ไม่ได้อยู่) และ "ไม่มีเงื่อนไข" ค่า (การวัดตรวจพบ analyte แต่ไม่สามารถสร้างค่าตัวเลขที่เชื่อถือได้) ลองเรียก "NDs" เหล่านี้ดูสิ

โดยทั่วไปจะมีข้อ จำกัด ที่เกี่ยวข้องกับ ND ที่รู้จักกันในชื่อ "ขีด จำกัด การตรวจจับ" "ขีด จำกัด ปริมาณ" หรือ ("สุจริตมาก)" ขีด จำกัด การรายงาน "เนื่องจากห้องปฏิบัติการเลือกที่จะไม่ให้ค่าตัวเลข (บ่อยครั้งสำหรับกฎหมาย เหตุผล) เกี่ยวกับสิ่งที่เรารู้เกี่ยวกับ ND คือค่าจริงอาจมีค่าน้อยกว่าขีด จำกัด ที่เกี่ยวข้อง: เกือบจะ (แต่ไม่มาก) รูปแบบของการเซ็นเซอร์ด้านซ้าย$1.33$$0$$1.33$$0.5$$0.1$

มีการทำวิจัยอย่างกว้างขวางในช่วง 30 ปีที่ผ่านมาเกี่ยวกับวิธีที่ดีที่สุดในการสรุปและประเมินชุดข้อมูลดังกล่าว Dennis Helsel ตีพิมพ์หนังสือเกี่ยวกับเรื่องนี้Nondetects and Data Analysis (Wiley, 2005) สอนหลักสูตรและเปิดตัวRแพคเกจตามเทคนิคที่เขาโปรดปราน เว็บไซต์ของเขาครอบคลุม

ฟิลด์นี้เต็มไปด้วยข้อผิดพลาดและความเข้าใจผิด Helsel ตรงไปตรงมาเกี่ยวกับเรื่องนี้: ในหน้าแรกของบทที่ 1 ของหนังสือที่เขาเขียน

... วิธีการที่ใช้กันมากที่สุดในการศึกษาด้านสิ่งแวดล้อมในปัจจุบันการทดแทนครึ่งหนึ่งของขีด จำกัด การตรวจจับไม่ใช่วิธีการที่สมเหตุสมผลในการตีความข้อมูลที่ถูกเซ็นเซอร์

แล้วจะทำอย่างไรดี? ตัวเลือกต่าง ๆ รวมถึงการเพิกเฉยคำแนะนำที่ดีนี้การใช้วิธีการบางอย่างในหนังสือของ Helsel และการใช้วิธีการอื่น ถูกต้องหนังสือไม่ครอบคลุมและมีทางเลือกที่ถูกต้องอยู่ การเพิ่มค่าคงที่ให้กับค่าทั้งหมดในชุดข้อมูล ("การเริ่มต้น" พวกเขา) เป็นหนึ่ง แต่พิจารณา:

• $1$$1$$1$

• $0$

  เครื่องมือที่ยอดเยี่ยมสำหรับการกำหนดค่าเริ่มต้นคือพล็อตความน่าจะเป็น lognormal: นอกเหนือจาก NDs ข้อมูลควรจะเป็นเส้นตรง

• คอลเลกชันของ NDs ยังสามารถอธิบายได้ด้วยการกระจายที่เรียกว่า "เดลต้า lognormal" นี่คือส่วนผสมของมวลจุดและ lognormal

ดังที่เห็นได้ชัดในฮิสโทแกรมต่อไปนี้ของค่าที่จำลองการแจกแจงแบบเซ็นเซอร์และเดลต้าจะไม่เหมือนกัน วิธีการเดลต้ามีประโยชน์มากที่สุดสำหรับตัวแปรอธิบายในการถดถอย: คุณสามารถสร้างตัวแปร "จำลอง" เพื่อระบุ ND ใช้ลอการิทึมของค่าที่ตรวจพบ (หรือแปลงให้เป็นตามที่ต้องการ) และไม่ต้องกังวลเกี่ยวกับค่าทดแทนสำหรับ NDs .

ในฮิสโทแกรมเหล่านี้ค่าศูนย์ต่ำสุดประมาณ 20% ถูกแทนที่ด้วยศูนย์ สำหรับการเปรียบเทียบทั้งหมดจะขึ้นอยู่กับค่า lognormal พื้นฐานจำลอง 1,000 ค่า (ซ้ายบน) การกระจายเดลต้าถูกสร้างขึ้นโดยการเปลี่ยน 200 ของค่าโดยศูนย์ที่สุ่ม การแจกแจงแบบเซ็นเซอร์ถูกสร้างขึ้นโดยแทนที่ค่าที่เล็กที่สุด 200 ค่าด้วยศูนย์ การกระจาย "ที่สมจริง" นั้นสอดคล้องกับประสบการณ์ของฉันซึ่งก็คือข้อ จำกัด ของการรายงานนั้นแตกต่างกันไปในทางปฏิบัติ (แม้ว่าจะไม่ได้ระบุไว้ในห้องปฏิบัติการ!): ฉันทำให้พวกมันแตกต่างกันแบบสุ่ม (โดยนิด ๆ หน่อย ๆ ทิศทางใดทิศทางหนึ่ง) และแทนที่ค่าจำลองทั้งหมดน้อยกว่าขีด จำกัด การรายงานด้วยค่าศูนย์

เพื่อแสดงยูทิลิตีของพล็อตความน่าจะเป็นและเพื่ออธิบายการตีความรูปต่อไปจะแสดงพล็อตความน่าจะเป็นปกติที่เกี่ยวข้องกับลอการิทึมของข้อมูลก่อนหน้า

$\log(1+0)=0$) ถูกพล็อตต่ำเกินไป ด้านซ้ายล่างเป็นพล็อตความน่าจะเป็นสำหรับชุดข้อมูลที่ถูกตรวจสอบด้วยค่าเริ่มต้นที่ 120 ซึ่งใกล้เคียงกับขีด จำกัด การรายงานทั่วไป ความพอดีที่ด้านล่างซ้ายตอนนี้ดี - เราเพียง แต่หวังว่าค่าเหล่านี้จะมาอยู่ใกล้ ๆ แต่ทางด้านขวาของเส้นที่ติดตั้ง - แต่ความโค้งของหางด้านบนแสดงให้เห็นว่าการเพิ่ม 120 เริ่มเปลี่ยน รูปร่างของการกระจาย ด้านล่างขวาแสดงว่าเกิดอะไรขึ้นกับข้อมูลเดลต้าล็อกปกติ: มีความพอดีกับหางส่วนบน แต่มีความโค้งที่เด่นชัดใกล้กับขีด จำกัด การรายงาน (ตรงกลางของพล็อต)

สุดท้ายเรามาลองสำรวจสถานการณ์ที่สมจริงยิ่งขึ้น:

ด้านซ้ายบนแสดงชุดข้อมูลที่ถูกเซ็นเซอร์โดยมีค่าศูนย์เป็นครึ่งหนึ่งของขีด จำกัด การรายงาน มันเป็นแบบที่ดีงาม ทางด้านขวาบนเป็นชุดข้อมูลที่เหมือนจริงมากขึ้น (พร้อมขีด จำกัด การรายงานแบบสุ่ม) ค่าเริ่มต้นที่ 1 ไม่ได้ช่วย แต่ - ที่ด้านซ้ายล่าง - สำหรับค่าเริ่มต้นที่ 120 (ใกล้กับช่วงบนของขีด จำกัด การรายงาน) พอดีค่อนข้างดี สิ่งที่น่าสนใจความโค้งที่อยู่ตรงกลางในขณะที่จุดที่เพิ่มขึ้นจาก NDs ไปเป็นค่าเชิงปริมาณนั้นทำให้นึกถึงการกระจายเดลต้า lognormal (แม้ว่าข้อมูลเหล่านี้ไม่ได้ถูกสร้างขึ้นจากส่วนผสม) ด้านขวาล่างคือพล็อตความน่าจะเป็นที่คุณจะได้รับเมื่อข้อมูลจริงมี NDs ของพวกเขาถูกแทนที่ด้วยครึ่งหนึ่งของขีด จำกัด การรายงาน (ทั่วไป) นี่คือแบบที่ดีที่สุด แม้ว่ามันจะแสดงพฤติกรรมเหมือนเดลต้าล็อกปกติบางอย่างอยู่ตรงกลาง

สิ่งที่คุณควรทำคือใช้การแปลงความน่าจะเป็นเพื่อสำรวจการกระจายเนื่องจากค่าคงที่ต่างๆถูกใช้แทน NDs เริ่มการค้นหาด้วยขีด จำกัด การรายงานเล็กน้อยครึ่งหนึ่งเฉลี่ยจากนั้นทำการเปลี่ยนแปลงขึ้นและลงจากที่นั่น เลือกพล็อตที่ดูเหมือนว่าด้านล่างขวา: ประมาณเป็นเส้นทแยงมุมสำหรับค่าเชิงปริมาณการย่อ / ขยายแบบย่อไปยังที่ราบสูงต่ำและที่ราบสูงของค่าที่ (เพิ่งจะ) ตรงกับส่วนขยายของเส้นทแยงมุม อย่างไรก็ตามตามคำแนะนำของ Helsel (ซึ่งได้รับการสนับสนุนอย่างมากในวรรณกรรม) สำหรับข้อมูลสรุปทางสถิติที่แท้จริงให้หลีกเลี่ยงวิธีการใด ๆ ที่แทนที่ NDs ด้วยค่าคงที่ใด ๆ สำหรับการถดถอยให้ลองเพิ่มตัวแปร dummy เพื่อระบุ NDs สำหรับการแสดงผลกราฟิกบางส่วนการแทนที่ NDs อย่างคงที่ด้วยค่าที่พบกับการฝึกพล็อตความน่าจะเป็นจะทำงานได้ดี สำหรับการแสดงกราฟิกอื่น ๆ อาจเป็นสิ่งสำคัญที่แสดงถึงขีด จำกัด การรายงานจริงดังนั้นแทนที่ NDs ด้วยขีด จำกัด การรายงานของพวกเขาแทน คุณจะต้องมีความยืดหยุ่น!

@miura

$-\infty$

$i^{th}$${\rm mean}(x_i) - n\times{\rm stddev}(x_i)$$n$

โปรดทราบว่าการตั้งค่าแบบประดิษฐ์ใด ๆ จะส่งผลกระทบต่อการวิเคราะห์ของคุณดังนั้นคุณจึงควรระมัดระวังในการตีความของคุณและในบางกรณีจะละทิ้งกรณีเหล่านี้เพื่อหลีกเลี่ยงสิ่งประดิษฐ์

การใช้ขีด จำกัด การตรวจจับก็เป็นแนวคิดที่สมเหตุสมผลเช่นกัน

เพื่อชี้แจงวิธีจัดการกับบันทึกของศูนย์ในแบบจำลองการถดถอยเราได้เขียนบทความเกี่ยวกับการสอนเพื่ออธิบายวิธีแก้ปัญหาที่ดีที่สุด เรายังออกมาพร้อมทางออกใหม่เพื่อแก้ไขปัญหานี้

คุณสามารถค้นหารายงานได้โดยคลิกที่นี่: https://ssrn.com/abstract=3444996

$\log(y) = \beta \log(x) + \varepsilon$$\beta$$y$$x$

$Y$$Y + c > 0$

ในบทความของเราเราให้ตัวอย่างที่เพิ่มค่าคงที่ขนาดเล็กมากให้จริงอคติสูงสุด เราให้การแสดงออกของอคติ

ที่จริงแล้ว Poisson Pseudo Maximum Likelihood (PPML) ถือได้ว่าเป็นทางออกที่ดีสำหรับปัญหานี้ หนึ่งจะต้องพิจารณากระบวนการดังต่อไปนี้:

$y_i = a_i \exp(\alpha + x_i' \beta)$$E(a_i | x_i) = 1$

$\beta$$a_i$$y_i = 0$$E(a_i|x_i) = 1$$E( y_i - \exp(\alpha + x_i' \beta) | x_i) = 0$

$\sum_{i=1}^N ( y_i - \exp(\alpha + x_i' \beta) )x_i' = 0$

$y_i = 0$

$\beta$

$\log( y_i + \exp (\alpha + x_i' \beta)) = x_i' \beta + \eta_i$

เราแสดงให้เห็นว่าตัวประมาณนี้ไม่เอนเอียงและสามารถประมาณได้ด้วย GMM ด้วยซอฟต์แวร์สถิติมาตรฐานใด ๆ ตัวอย่างเช่นสามารถประมาณได้โดยการรันโค้ดเพียงบรรทัดเดียวด้วย Stata

เราหวังว่าบทความนี้สามารถช่วยได้และเรายินดีรับข้อเสนอแนะจากคุณ

Christophe Bellégoและ Louis-Daniel Pape, CREST - Ecole Polytechnique - ENSAE