การประมาณค่าเมทริกซ์ความแปรปรวนร่วมแบบไม่เอนเอียงสำหรับข้อมูลการตรวจสอบแบบทวีคูณ

การวิเคราะห์ทางเคมีของตัวอย่างด้านสิ่งแวดล้อมมักจะถูกตรวจสอบด้านล่างที่ข้อ จำกัด การรายงาน หลังสามารถเปลี่ยนแปลงได้ตามสัดส่วนของค่าตัวแปรอื่น ๆ ตัวอย่างเช่นตัวอย่างที่มีความเข้มข้นสูงของสารประกอบหนึ่งอาจต้องทำให้เจือจางเพื่อการวิเคราะห์ส่งผลให้เกิดสัดส่วนเงินเฟ้อของการ จำกัด การเซ็นเซอร์สำหรับสารประกอบอื่น ๆ ทั้งหมดที่วิเคราะห์ในเวลาเดียวกันในตัวอย่างนั้น อีกตัวอย่างหนึ่งบางครั้งการปรากฏตัวของสารประกอบสามารถเปลี่ยนการตอบสนองของการทดสอบกับสารประกอบอื่น ๆ ("การแทรกแซงเมทริกซ์"); เมื่อตรวจพบโดยห้องปฏิบัติการมันจะขยายขีด จำกัด การรายงานตามที่กำหนด

ฉันกำลังมองหาวิธีที่ใช้งานได้จริงเพื่อประเมินเมทริกซ์ความแปรปรวนร่วม -Vovance ทั้งหมดสำหรับชุดข้อมูลดังกล่าวโดยเฉพาะอย่างยิ่งเมื่อสารประกอบจำนวนมากประสบการเซ็นเซอร์มากกว่า 50% ซึ่งมักเป็นกรณี แบบจำลองการแจกแจงแบบดั้งเดิมคือลอการิทึมของความเข้มข้น (จริง) มีการกระจายแบบหลายช่วงและสิ่งนี้ดูเหมือนจะเหมาะสมในทางปฏิบัติดังนั้นวิธีแก้ปัญหาสำหรับสถานการณ์นี้จะเป็นประโยชน์

(โดย "ใช้งานจริง" ฉันหมายถึงวิธีการที่สามารถเข้ารหัสได้อย่างน่าเชื่อถือในสภาพแวดล้อมซอฟต์แวร์ที่มีอยู่อย่างน้อยหนึ่งอย่างเช่น R, Python, SAS และอื่น ๆ ในวิธีที่ดำเนินการอย่างรวดเร็วพอที่จะรองรับการคำนวณซ้ำซ้ำเช่นเกิดขึ้นในหลาย ๆ และสิ่งใดที่มีเสถียรภาพพอสมควร [ซึ่งเป็นเหตุผลที่ฉันลังเลที่จะสำรวจการใช้งานข้อผิดพลาดแม้ว่าวิธีการแบบเบย์โดยทั่วไปยินดีต้อนรับ]

ขอบคุณล่วงหน้าสำหรับความคิดของคุณในเรื่องนี้

ฉันยังไม่ได้ทำให้ปัญหาการแทรกแซงของเมทริกซ์เต็มรูปแบบ แต่นี่เป็นวิธีหนึ่ง ปล่อย:

$Y$เป็นเวกเตอร์ที่แสดงความเข้มข้นของสารประกอบเป้าหมายทั้งหมดในตัวอย่างที่ไม่เจือปน

$Z$เป็นเวกเตอร์ที่สอดคล้องกันในตัวอย่างที่เจือจาง

$d$คือปัจจัยเจือจางคือตัวอย่างถูกทำให้เจือจาง : 1$d$

แบบจำลองของเราคือ:

$Y \sim N(\mu,\Sigma)$

$Z = \frac{Y}{d} + \epsilon$

โดยที่แสดงถึงข้อผิดพลาดเนื่องจากข้อผิดพลาดการเจือจาง$\epsilon \sim N(0,\sigma^2\ I)$

ดังนั้นจึงเป็นไปตามนั้น:

$Z \sim N(\frac{\mu}{d}, \Sigma + \sigma^2\ I)$

แสดงว่าการกระจายข้างต้นของโดย(.)f Z ( . $Z$$f_Z(.)$

ให้เป็นความเข้มข้นที่สังเกตได้และแสดงถึงเกณฑ์ของเครื่องมือทดสอบด้านล่างซึ่งมันไม่สามารถตรวจจับสารประกอบได้ จากนั้นสำหรับสารประกอบเรามี:τ ฉันที$O$$\tau$$i^{th}$

$O_i = Z_i I(Z_i > \tau) + 0 I(Z_i \le \tau)$

หากไม่มีการสูญเสียความสามารถทั่วไปให้สารประกอบแรกนั้นมีค่าต่ำกว่าเกณฑ์ จากนั้นฟังก์ชันความน่าจะเป็นสามารถเขียนเป็น:$k$

$L(O_1, ... O_k, O_{k+1},...O_n |- ) = [\prod_{i=1}^{i=k}{Pr(Z_i \le \tau)}] [\prod_{i=k+1}^{i=n}{f(O_i |-)}]$

ที่ไหน

$f(O_i |-) = \int_{j\neq i}{f_Z(O_i|-) I(O_i > \tau)}$

การประมาณนั้นเป็นเรื่องของการใช้ความเป็นไปได้สูงสุดหรือแนวคิดแบบเบย์ ฉันไม่แน่ใจว่าข้างบนเป็นวิธีที่ง่าย แต่ฉันหวังว่ามันจะให้ความคิดบางอย่างกับคุณ

อีกทางเลือกที่มีประสิทธิภาพมากขึ้นการคำนวณจะพอดีกับเมทริกซ์ความแปรปรวนร่วมโดยการจับคู่ช่วงเวลาโดยใช้แบบจำลองที่ถูกเรียกว่า

กระดาษล่าสุดจากMacke et al 2010อธิบายถึงกระบวนการปิดแบบฟอร์มสำหรับการปรับแบบจำลองนี้ซึ่งเกี่ยวข้องกับเมทริกซ์ความแปรปรวนร่วมเชิงประจักษ์ (การเซ็นเซอร์) และการคำนวณความน่าจะเป็นแบบไบวาเรียปกติบางส่วน กลุ่มเดียวกัน (ห้องทดลอง Bethge ที่ MPI Tuebingen) ได้อธิบายแบบจำลองแบบเกาส์ต่อเนื่อง / แบบผสมซึ่งอาจเป็นสิ่งที่คุณต้องการที่นี่ (เช่นเนื่องจาก Gaussian RVs ไม่ได้ "แบ่งขั้ว" อย่างสมบูรณ์ - เฉพาะที่ต่ำกว่าขีด จำกัด )

วิกฤตนี่ไม่ใช่ตัวประมาณ ML และฉันเกรงว่าฉันไม่รู้ว่าคุณสมบัติอคติของมันคืออะไร

ตัวอย่างของคุณมีสารประกอบกี่ตัว? (หรือเมทริกซ์ความแปรปรวนร่วมมีขนาดเท่าไหร่?)

Alan Genz มีโค้ดที่ดีมากในหลากหลายภาษา (R, Matlab, Fortran; ดูที่นี่ ) สำหรับการคำนวณอินทิกรัลของความหนาแน่นปกติหลายตัวแปรในรูปสี่เหลี่ยมหลายมิติ (เช่นอินทิกรัลชนิดที่คุณต้องการประเมินความน่าจะเป็น user28)

ฉันใช้ฟังก์ชั่นเหล่านี้ ("ADAPT" และ "QSIMVN") สำหรับอินทิกรัลสูงสุด 10-12 มิติและฟังก์ชั่นหลายอย่างในหน้านั้นโฆษณาอินทิกรัล (และอนุพันธ์ที่คุณอาจต้องการ) สำหรับปัญหาสูงถึง 100 มิติ ไม่ทราบว่ามีขนาดเพียงพอสำหรับวัตถุประสงค์ของคุณหรือไม่ แต่ถ้าเป็นเช่นนั้นอาจช่วยให้คุณสามารถประมาณการความเป็นไปได้สูงสุดโดยการไล่ระดับสีขึ้น