ความคล้ายคลึงกันของโคไซน์กับจุดผลิตภัณฑ์เป็นตัวชี้วัดระยะทาง

ดูเหมือนความคล้ายคลึงของโคไซน์ของคุณสมบัติสองอย่างนี้เป็นเพียงแค่ผลิตภัณฑ์ดอทของพวกเขาถูกย่อส่วนโดยผลคูณของขนาด โคไซน์ที่คล้ายคลึงกันสร้างระยะทางที่ดีกว่าผลิตภัณฑ์จุดเมื่อใด เช่นเดียวกับ dot product และ cosine คล้ายคลึงกันมีจุดแข็งหรือจุดอ่อนต่างกันในสถานการณ์ที่แตกต่างกันหรือไม่?

คิดเชิงเรขาคณิต ความคล้ายคลึงกันของโคไซน์จะคำนึงถึงความแตกต่างของมุมเท่านั้นในขณะที่ผลิตภัณฑ์ดอทใส่ใจกับมุมและขนาด หากคุณทำให้ข้อมูลของคุณมีขนาดเท่ากันทั้งสองมาตรฐานจะไม่สามารถแยกแยะได้ บางครั้งเป็นที่พึงปรารถนาที่จะเพิกเฉยต่อขนาดดังนั้นความคล้ายคลึงกันของโคไซน์จึงเป็นสิ่งที่ดี แต่ถ้าขนาดมีบทบาทผลิตภัณฑ์ดอทจะดีขึ้นเมื่อวัดความคล้ายคลึงกัน โปรดทราบว่าทั้งคู่ไม่มี "ระยะทางเมตริก"

คุณพูดถูกความคล้ายคลึงโคไซน์มีจำนวนมากร่วมกันกับผลคูณดอทของเวกเตอร์ อันที่จริงมันเป็นผลคูณของขนาด และเนื่องจากการปรับสเกลมันจะทำให้เป็นมาตรฐานระหว่าง 0 ถึง 1 CS จึงเป็นที่นิยมมากกว่าเพราะมันคำนึงถึงความแปรปรวนของข้อมูลและความถี่สัมพัทธ์ของฟีเจอร์ ในทางกลับกันผลิตภัณฑ์ dot ธรรมดาค่อนข้าง "ถูกกว่า" เล็กน้อย (ในแง่ของความซับซ้อนและการใช้งาน)

ฉันต้องการเพิ่มอีกหนึ่งมิติในคำตอบข้างต้น โดยปกติเราจะใช้ความคล้ายคลึงโคไซน์กับข้อความขนาดใหญ่เพราะไม่แนะนำให้ใช้เมทริกซ์ระยะทางในย่อหน้าของข้อมูล และถ้าคุณต้องการให้คลัสเตอร์ของคุณมีขนาดกว้างขึ้นคุณก็มักจะมีความคล้ายคลึงแบบโคไซน์ในขณะที่มันจับความคล้ายคลึงโดยรวม

ตัวอย่างเช่นถ้าคุณมีข้อความที่ยาวที่สุดสองหรือสามคำฉันรู้สึกว่าการใช้ความคล้ายคลึงโคไซน์ไม่ได้ความแม่นยำเท่าที่ทำได้จากการวัดระยะทาง

มีการเปรียบเทียบที่ดีของตัวชี้วัดที่คล้ายคลึงกันทั่วไปด้านผลิตภัณฑ์ที่ใช้เป็นที่นี่

โดยเฉพาะอย่างยิ่งความคล้ายโคไซน์ถูกทำให้เป็นมาตรฐานให้อยู่ใน [0,1] ซึ่งแตกต่างจากผลคูณของจุดซึ่งอาจเป็นจำนวนจริงใด ๆ แต่อย่างที่ทุกคนพูดกัน โดยส่วนตัวฉันคิดว่ามันเป็นสิ่งที่ดี ฉันคิดว่าขนาดเป็นโครงสร้างภายใน (ภายในเวกเตอร์) และมุมระหว่างเวกเตอร์เป็นโครงสร้างภายนอก (ระหว่างเวกเตอร์) พวกเขาเป็นสิ่งที่แตกต่างกันและ (ในความคิดของฉัน) มักจะแยกวิเคราะห์ที่ดีที่สุด ฉันไม่สามารถจินตนาการถึงสถานการณ์ที่ฉันต้องการคำนวณผลิตภัณฑ์ภายในมากกว่าการคำนวณความเหมือนโคไซน์และเปรียบเทียบขนาดหลังจากนั้น

$\forall x, ||x||^2 = \langle x,x \rangle = 1$$\phi$$\langle x,y \rangle = \cos \phi$$\phi = \arccos \langle x,y \rangle$

มองเห็นข้อมูลทั้งหมดของคุณอาศัยอยู่ในทรงกลมหน่วย การใช้ผลิตภัณฑ์ดอทเป็นระยะทางจะทำให้คุณมีระยะทาง chordal แต่ถ้าคุณใช้ระยะทางโคไซน์นี้มันจะสอดคล้องกับความยาวของเส้นทางระหว่างจุดสองจุดบนทรงกลม นั่นหมายความว่าถ้าคุณต้องการค่าเฉลี่ยของสองจุดคุณควรหาจุดที่อยู่ระหว่างเส้นทาง (geodesic) มากกว่าจุดกึ่งกลางที่ได้รับจาก 'ค่าเฉลี่ยเลขคณิต / จุดผลิตภัณฑ์ / เรขาคณิตแบบยูคลิด' เนื่องจากจุดนี้ทำ ไม่ได้อยู่บนทรงกลม (โดยพื้นฐานแล้วไม่ใช่วัตถุเดียวกัน)!

ตามที่คนอื่น ๆ ได้ชี้ให้เห็นสิ่งเหล่านี้ไม่ใช่ "ตัวชี้วัด" ระยะทางเพราะพวกเขาไม่ตรงตามเกณฑ์การวัด พูดแทน "การวัดระยะทาง"

อย่างไรก็ตามคุณวัดอะไรและทำไม ข้อมูลนั้นจะช่วยให้เราได้คำตอบที่มีประโยชน์มากขึ้นสำหรับสถานการณ์ของคุณ