วิธีการประเมินความคล้ายคลึงกันของสองฮิสโทแกรมหรือไม่

ให้สองฮิสโตแกรมเราจะประเมินได้อย่างไรว่าพวกมันคล้ายกันหรือไม่

มันเพียงพอแล้วหรือไม่ที่จะดูสองฮิสโทแกรม การแมปแบบหนึ่งต่อหนึ่งอย่างง่ายมีปัญหาว่าหากฮิสโตแกรมแตกต่างกันเล็กน้อยและเปลี่ยนไปเล็กน้อยจากนั้นเราจะไม่ได้ผลลัพธ์ที่ต้องการ

ข้อเสนอแนะใด ๆ

เอกสารล่าสุดที่อาจมีค่าควรอ่านคือ:

Cao, Y. Petzold, L.ข้อ จำกัด ของความแม่นยำและการวัดข้อผิดพลาดในการจำลองแบบสุ่มของระบบตอบสนองทางเคมี, 2006

แม้ว่าบทความนี้จะเน้นไปที่การเปรียบเทียบอัลกอริธึมการจำลองแบบสุ่ม แต่แนวคิดหลักก็คือวิธีการเปรียบเทียบฮิสโตแกรมสองรายการ

คุณสามารถเข้าถึงpdf ได้จากหน้าเว็บของผู้เขียน

มีการวัดระยะทางมากมายระหว่างสองฮิสโตแกรม คุณสามารถอ่านการจัดหมวดหมู่ของมาตรการเหล่านี้ได้เป็นอย่างดีใน:

K. Meshgi และ S. Ishii“ การเพิ่มฮิสโตแกรมของสีด้วย Gridding เพื่อปรับปรุงความแม่นยำในการติดตาม” ใน Proc จาก MVA'15, Tokyo, Japan, พฤษภาคม 2015

ฟังก์ชั่นระยะทางที่ได้รับความนิยมมากที่สุดมีไว้เพื่อความสะดวกของคุณ:

• $L_0$　หรือ Hellinger Distance

$D_{L0} = \sum\limits_{i} h_1(i) \neq h_2(i)$

• $L_1$ระยะทาง L 1 , แมนฮัตตันหรือบล็อคเมือง

$D_{L1} = \sum_{i}\lvert h_1(i) - h_2(i) \rvert$

• $L=2$หรือระยะทางแบบยุคลิด

$D_{L2} = \sqrt{\sum_{i}\left( h_1(i) - h_2(i) \right) ^2 }$

• ระยะทางL ∞หรือ Chybyshev$_{\infty}$

$D_{L\infty} = max_{i}\lvert h_1(i) - h_2(i) \rvert$

• L pหรือ Fractional Distance (ส่วนหนึ่งของตระกูล Minkowski distance)$_p$

$D_{Lp} = \left(\sum\limits_{i}\lvert h_1(i) - h_2(i) \rvert ^p \right)^{1/p}$และ$0<p<1$

• สี่แยกฮิสโทแกรม

$D_{\cap} = 1 - \frac{\sum_{i} \left(min(h_1(i),h_2(i) \right)}{min\left(\vert h_1(i)\vert,\vert h_2(i) \vert \right)}$

• ระยะทางโคไซน์

$D_{CO} = 1 - \sum_i h_1(i)h2_(i)$

• ระยะทางแคนเบอร์รา

$D_{CB} = \sum_i \frac{\lvert h_1(i)-h_2(i) \rvert}{min\left( \lvert h_1(i)\rvert,\lvert h_2(i)\rvert \right)}$

• สัมประสิทธิ์สหสัมพันธ์ของเพียร์สัน

$D_{CR} = \frac{\sum_i \left(h_1(i)- \frac{1}{n} \right)\left(h_2(i)- \frac{1}{n} \right)}{\sqrt{\sum_i \left(h_1(i)- \frac{1}{n} \right)^2\sum_i \left(h_2(i)- \frac{1}{n} \right)^2}}$

• Kolmogorov-Smirnov Divergance

$D_{KS} = max_{i}\lvert h_1(i) - h_2(i) \rvert$

• ตรงกับระยะทาง

$D_{MA} = \sum\limits_{i}\lvert h_1(i) - h_2(i) \rvert$

• ระยะทางแครมเมอร์ฟอน

$D_{CM} = \sum\limits_{i}\left( h_1(i) - h_2(i) \right)^2$

• $\chi^2$สถิติ

$D_{\chi^2} = \sum_i \frac{\left(h_1(i) - h_2(i)\right)^2}{h_1(i) + h_2(i)}$

• ระยะทาง Bhattacharyya

$D_{BH} = \sqrt{1-\sum_i \sqrt{h_1(i)h_2(i)}}$ & hellinger

• Squord Chord

$D_{SC} = \sum_i\left(\sqrt{h_1(i)}-\sqrt{h_2(i)}\right)^2$

• Kullback-Liebler Divergance

$D_{KL} = \sum_i h_1(i)log\frac{h_1(i)}{m(i)}$

• Jefferey Divergence

$D_{JD} = \sum_i \left(h_1(i)log\frac{h_1(i)}{m(i)}+h_2(i)log\frac{h_2(i)}{m(i)}\right)$

• ระยะทางของ Earth Mover (นี่เป็นสมาชิกคนแรกของระยะทางในการขนส่งที่ฝังข้อมูลการ binning $A$ไว้ในระยะทางสำหรับข้อมูลเพิ่มเติมโปรดดูที่กระดาษข้างต้นหรือรายการWikipedia

$D_{EM} = \frac{min_{f_{ij}}\sum_{i,j}f_{ij}A_{ij}}{sum_{i,j}f_{ij}}$ $\sum_j f_{ij} \leq h_1(i) , \sum_j f_{ij} \leq h_2(j) , \sum_{i,j} f_{ij} = min\left( \sum_i h_1(i) \sum_j h_2(j) \right)$และ$f_{ij}$หมายถึงการไหลจาก $i$ถึง$j$

• ระยะกำลังสอง

$D_{QU} = \sqrt{\sum_{i,j} A_{ij}\left(h_1(i) - h_2(j)\right)^2}$

• กำลังสอง - จิระยะทาง

$D_{QC} = \sqrt{\sum_{i,j} A_{ij}\left(\frac{h_1(i) - h_2(i)}{\left(\sum_c A_{ci}\left(h_1(c)+h_2(c)\right)\right)^m}\right)\left(\frac{h_1(j) - h_2(j)}{\left(\sum_c A_{cj}\left(h_1(c)+h_2(c)\right)\right)^m}\right)}$และ$\frac{0}{0} \equiv 0$

การใช้ Matlab ของระยะทางเหล่านี้สามารถหาได้จากพื้นที่เก็บข้อมูล GitHub ของฉัน: https://github.com/meshgi/Histogram_of_Color_Advancements/tree/master/distance นอกจากนี้คุณยังสามารถค้นหาผู้ชายเช่น Yossi Rubner, Ofir Pele, Ofir Pele, Marco Cuturi และ Haibin Ling ระยะทางที่ล้ำสมัยมากขึ้น

อัปเดต: การอธิบายทางเลือกสำหรับระยะทางปรากฏที่นี่และที่นั่นในวรรณคดีดังนั้นฉันจึงบันทึกรายการเหล่านั้นไว้ที่นี่เพื่อความสมบูรณ์

• ระยะทางแคนเบอร์รา (เวอร์ชั่นอื่น)

$D_{CB}=\sum_i \frac{|h_1(i)-h_2(i)|}{|h_1(i)|+|h_2(i)|}$

• $D_{L0}$

$D_{BC} = 1 - \frac{2 \sum_i h_1(i) = h_2(i)}{\sum_i h_1(i) + \sum_i h_2(i)}$

• ระยะทาง Jaccard (เช่นจุดตัดกันกับยูเนียน, เวอร์ชั่นอื่น)

$D_{IOU} = 1 - \frac{\sum_i min(h_1(i),h_2(i))}{\sum_i max(h_1(i),h_2(i))}$

คำตอบมาตรฐานสำหรับคำถามนี้คือการทดสอบแบบไคสแควร์ การทดสอบ KS นั้นใช้สำหรับข้อมูลที่ไม่มีการผูกมัดไม่ใช่ข้อมูลที่ถูกทำแบบผสม (หากคุณมีข้อมูลที่ไม่มีการตัดต่อดังนั้นโดยทั้งหมดให้ใช้การทดสอบแบบ KS แต่หากคุณมีฮิสโตแกรมเท่านั้นการทดสอบ KS จะไม่เหมาะสม)

คุณกำลังมองหาการทดสอบ Kolmogorov-Smirnov อย่าลืมแบ่งความสูงของแท่งด้วยผลรวมของการสำรวจทั้งหมดของฮิสโตแกรมแต่ละอัน

โปรดทราบว่าการทดสอบ KS นั้นยังรายงานถึงความแตกต่างด้วยเช่นหากค่าเฉลี่ยของการแจกแจงนั้นเปลี่ยนไปเมื่อเทียบกับค่าอื่น หากการแปลฮิสโตแกรมตามแกน x ไม่มีความหมายในแอปพลิเคชันของคุณคุณอาจต้องการลบค่าเฉลี่ยจากฮิสโทแกรมแต่ละรายการก่อน

เมื่อคำตอบของเดวิดชี้ให้เห็นการทดสอบไค - สแควร์จำเป็นสำหรับข้อมูลที่ถูกหลอมละลายเนื่องจากการทดสอบ KS ถือว่าการแจกแจงต่อเนื่อง เกี่ยวกับสาเหตุที่การทดสอบ KS ไม่เหมาะสม (ความคิดเห็นที่ naught101) ได้มีการพูดคุยกันบางประเด็นในวรรณคดีสถิติที่ใช้ซึ่งมีมูลค่าเพิ่มที่นี่

การแลกเปลี่ยนที่สนุกสนานเริ่มต้นด้วยการอ้างสิทธิ์ ( García-Berthou และ Alcaraz, 2004 ) ว่าหนึ่งในสามของเอกสารทางธรรมชาติมีข้อผิดพลาดทางสถิติ อย่างไรก็ตามบทความฉบับต่อไป ( Jeng, 2006 , " ข้อผิดพลาดในการทดสอบทางสถิติของข้อผิดพลาดในการทดสอบทางสถิติ " - บางทีชื่อกระดาษที่ชื่นชอบทุกเวลาของฉัน) แสดงให้เห็นว่า Garcia-Berthou และ Alcaraz (2005) ใช้การทดสอบ KS ต่อการรายงานค่า p ที่ไม่ถูกต้องในการศึกษาเมตา กระดาษของ Jeng (2006) ให้การอภิปรายที่ดีแม้จะแสดงให้เห็นว่าสามารถแก้ไขการทดสอบ KS ให้ทำงานได้สำหรับข้อมูลที่ไม่ต่อเนื่อง ในกรณีพิเศษนี้ความแตกต่างจะลดลงไปจนถึงความแตกต่างระหว่างการกระจายตัวแบบเดียวกันของตัวเลขต่อท้ายใน [0,9],

คุณสามารถคำนวณ cross-correlation (convolution) ระหว่างฮิสโตแกรมทั้งสอง ที่จะต้องคำนึงถึง traslations เล็กน้อย