มีระยะทางน่าจะเป็นที่รักษาคุณสมบัติทั้งหมดของตัวชี้วัดหรือไม่?


13

ในการศึกษาระยะทาง Kullback – Leibler มีสองสิ่งที่เราเรียนรู้อย่างรวดเร็วคือมันไม่เคารพทั้งความไม่เท่าเทียมกันของสามเหลี่ยมและสมมาตรซึ่งเป็นคุณสมบัติที่จำเป็นของเมตริก

คำถามของฉันคือว่ามีฟังก์ชั่นการวัดความหนาแน่นของความน่าจะเป็นที่ตอบสนองข้อ จำกัด ทั้งหมดของการวัดหรือไม่


การมุ่งเน้นไปที่ความหนาแน่นของความน่าจะเป็นคือการมุ่งเน้นไปที่วัตถุ "ผิด" ในฐานะที่เป็นตัวชี้วัดที่มีว่า "คลาสสิก" คนเช่นเกณฑ์ (และที่เกี่ยวข้องไคแฟนตัวชี้วัดเกี่ยวกับตัวแปรสุ่ม), Wasserstein พร้อมกับคนใกล้ชิดในจิตวิญญาณที่จะ KL เช่นเซ่น-Shannon แตกต่าง แม้ว่าส่วนใหญ่มองข้ามประวัติศาสตร์บันทึกว่าในกระดาษ KL เดิมที่แตกต่าง KLเป็นสมมาตรแน่นอน ( แต่ยังคงไม่ได้เป็นตัวชี้วัด)
พระคาร์ดินัล

1
@ คาร์ดินัลดีฉันไม่มากในเขตข้อมูลคุณช่วยกรุณาแนะนำวัตถุ "ขวา"?
Jorge Leitao

2
JC: ขออภัยกล่องความคิดเห็นเล็กเกินไปสำหรับทุกอย่างที่ฉันพยายามใส่เข้าไป ฉันควรทำอย่างละเอียด ฟังก์ชันการแจกแจงสะสมกลายเป็นวัตถุทั่วไปและเป็นธรรมชาติของการศึกษา :-)
พระคาร์ดินัล

คำตอบ:


19

ดูบทความนี้ที่ครอบคลุมการวัดที่เป็นที่นิยมในวงกว้างเกี่ยวกับการวัดความน่าจะเป็น รายการโปรดส่วนตัวของฉันคือระยะทางผันแปรทั้งหมดและระยะทาง WassersteinL2


2
นั่นเป็นกระดาษที่ดีโดยเฉพาะอย่างยิ่งรูปที่ 1 ฉันบันทึกสำเนาไว้เพื่อใช้อ้างอิงในอนาคต
Pat


1

มีการดัดแปลง KL divergence ที่ทำให้ได้รับคุณสมบัติเมตริกบางอย่าง (แม้ว่าจะไม่ใช่ทั้งหมด)

ตัวอย่างเช่นความแตกต่างของเจฟฟรีย์ปรับเปลี่ยนความแตกต่าง KL เพื่อให้สมมาตร

มีกรณีพิเศษบางอย่างที่เห็น [1]: "น่าเสียดายที่มาตรการดั้งเดิมตามความแตกต่างของ Kullback – Leibler (KL) และระยะทาง Bhattacharyya ไม่ตรงกับสัจพจน์ของเมตริกทั้งหมดที่จำเป็นสำหรับอัลกอริธึมหลายอย่างในบทความนี้เราเสนอการดัดแปลงสำหรับ KL ความแตกต่างและระยะทาง Bhattacharyya สำหรับความหนาแน่นแบบหลายตัวแปรแบบเกาส์ซึ่งแปลงทั้งสองมาตรการเป็นตัวชี้วัดระยะทาง "

[1] K. Abou-Moustafa และ F. Ferrie, "หมายเหตุเกี่ยวกับคุณสมบัติของตัวชี้วัดสำหรับมาตรการความแตกต่างบางอย่าง: คดี Gaussian," JMLR: การประชุมเชิงปฏิบัติการและการประชุม 25: 1–15, 2012


0

ฉันคิดว่าคำตอบสำหรับคำถามเป็นไปได้ เพราะเมื่อเร็ว ๆ นี้ในปี 2017 R. Farhadian ได้แสดงให้เห็นว่ามีความน่าจะเป็นในชุดย่อยของการแก้ปัญหาจำนวนเต็มว่าเป็นตัวชี้วัด สำหรับผลงานของเขาโปรดดูที่ลิงก์ต่อไปนี้: http://journals.univ-danubius.ro/index.php/oeconomica/article/view/4010

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.