หาคู่ที่ใกล้ชิดในพื้นที่มิติที่สูงมากด้วยเวกเตอร์หร็อมแหร็ม

ฉันมีเวกเตอร์คุณลักษณะ (~ a ล้าน) มี (~ ล้าน) คุณสมบัติไบนารีในแต่ละเวกเตอร์เพียง แต่ (~ พัน) ของพวกเขาจะเป็น , ส่วนที่เหลือเป็น0ฉันกำลังหาคู่เวกเตอร์ที่มีคุณสมบัติอย่างน้อย (~ ร้อย) ที่เหมือนกัน (ทั้งคู่) จำนวนคู่ดังกล่าวมีขนาดใกล้เคียงกับ (~ a ล้าน)$N$$M$$K$$1$$0$$L$$1$$N$

ฉันคิดว่าสิ่งนี้สามารถเข้าใกล้ได้เมื่อมองหาคู่ที่ใกล้ชิดในพื้นที่ที่มีมิติสูงมาก ฟังก์ชันระยะทางอาจเป็นไปได้ว่ามันขึ้นอยู่กับคุณสมบัติของเวกเตอร์สองตัวที่มีเหมือนกัน แต่มันอาจจะมีประโยชน์กับการวัดระยะทางแบบธรรมดามากขึ้น (เช่น Euclidean) เช่นกัน

อัลกอริทึมที่รู้จักกันดีใดที่จะมีประโยชน์สำหรับการเข้าถึงปัญหานี้ อะไรก็ตามที่เป็นกำลังสองในหรือจะไม่สามารถใช้งานได้จริง$N$$M$

ตัวอย่างการกำหนดปัญหาในโลกแห่งความจริงคือการพิจารณาว่าคนคนกำลังเคลื่อนที่ระหว่างสถานที่หลายแห่ง หากคนสองคนอยู่ในสถานที่เดียวกันในเวลาเดียวกันเราบอกว่าพวกเขาพบกัน (จำนวนชุดค่าผสมเวลาสถานที่ที่มีอย่างน้อย 1 คนคือ ) เรากำลังมองหาเพื่อน: คนที่พบกันอย่างน้อยครั้ง$N$$M$$L$

ดูเหมือนว่าวิธีการที่คุณกำลังมองหาคือการรวมกันของลายเซ็น minhash และ Local Sensitive Hashing (LSH); (พร้อมใช้งานฟรี) ไฟล์ pdf ของชุดข้อมูล Mining Massiveอธิบายวิธีการนี้ (และมาตรการความคล้ายคลึงกันอื่น ๆ ) โดยละเอียดในบทที่ 3 แต่สั้น ๆ :

ลายเซ็น minhashเป็นตัวแทนย่อของเมทริกซ์เดิมของคุณที่ถูกสร้างโดยใช้บางส่วนจำนวนnของฟังก์ชันแฮชคุณสมบัติช่วยลดจำนวนของคุณสมบัติต่อการสังเกต ซึ่งจะช่วยลดขนาดของข้อมูลของคุณ แต่คุณอาจจะแจ้งให้ทราบว่าเรื่องนี้ยังคงใบคุณกับปัญหา$O(N^2)$

ในการแก้ไขปัญหานี้ MMDS แนะนำว่าหากสิ่งที่คุณต้องการคือคู่ที่มีค่าใกล้เคียงกัน (ซึ่งดูเหมือนว่าจะนำไปใช้ในกรณีของคุณ) จากนั้นคุณสามารถมุ่งเน้นเฉพาะคู่เหล่านั้นที่มีแนวโน้มใกล้เคียงกันมากขึ้น - แนวทางนี้ เรียกว่าLocality Sensitive Hashingและในส่วน 3.4 พวกเขาเดินผ่านตัวอย่างของวิธีการรวมวิธีการใช้ลายเซ็นของ minhash เข้ากับ LSH

นอกจากข้อความแล้วยังมีการบรรยายในหลักสูตร Courseraที่มีชื่อเดียวกัน

ฉันกำลังหาคู่เวกเตอร์ที่มีคุณสมบัติอย่างน้อยเหมือนกัน$L$

นี่เป็นเพียงผลิตภัณฑ์ภายในของเวกเตอร์คุณลักษณะไบนารี เมื่อผลิตภัณฑ์ภายในมีค่ามากกว่าทั้งคู่จะมีองค์ประกอบอย่างน้อยเหมือนกัน นี่ควรเป็นการคำนวณที่ค่อนข้างเร็ว - อย่างน้อยเร็วกว่าระยะทางแบบยุคลิดซึ่งจะสิ้นเปลืองและช้าสำหรับข้อมูลนี้ เพราะคุณกำหนดว่าคุณกำลังมองหาคู่นี้จะเนื้อแท้หมายความว่าคุณต้องทำคำนวณเพื่อเปรียบเทียบทุกเวกเตอร์$L-1$$L$$\binom{N}{2}$

การหาจุดที่อยู่ติดกันนั้นเป็นปัญหาของการรวมกลุ่ม แต่ขั้นตอนแรกของอัลกอริทึมการจัดกลุ่มที่ฉันคุ้นเคยคือการคำนวณระยะทางคู่หรือความคล้ายคลึงกัน ฉันแน่ใจว่ามีคนพัฒนาทางเลือกที่มีประสิทธิภาพมากขึ้น ประเด็นเกี่ยวกับคำศัพท์: การมีเพื่อนบ้านอย่างน้อยเป็นประโยคที่คล้ายคลึงกันไม่ใช่ระยะทาง! ภายในผลิตภัณฑ์ในกรณีนี้ความคล้ายคลึงกันของโคไซน์ที่ผิดปกติ$L$

คุณสามารถทำให้สิ่งนี้ง่ายขึ้นโดยการคำนวณเฉพาะผลิตภัณฑ์ภายในเมื่อผลรวมของเวกเตอร์คุณลักษณะ (ซึ่งในกรณีนี้เหมือนกับบรรทัดฐาน) สำหรับการสังเกตมากกว่าเนื่องจากเป็นไปไม่ได้สำหรับเวกเตอร์คุณลักษณะไบนารีนั้น จะมีสินค้าภายในอีกด้วยเวกเตอร์คุณลักษณะไบนารีซึ่งจะตอบสนองความเกณฑ์ของฉันเมื่อจำนวนนี้น้อยกว่าLเห็นได้ชัดว่าการคำนวณจำนวนเงินเหล่านี้เป็นเพียงความซับซ้อนดังนั้นฉันจึงเป็นวิธีที่ประหยัดในการลดขนาดของขั้นตอนผลิตภัณฑ์ภายใน$L-1$$L$$O(N)$

แต่วิธีดั้งเดิมในการลดขอบเขตของปัญหานี้คือทำการกรองล่วงหน้าเพิ่มเติม คุณสนใจโดยเฉพาะอย่างยิ่งเมื่อคุณลักษณะที่ไม่ธรรมดาใช้ค่า 1 หรือไม่? หากเป็นเช่นนั้นให้คำนวณเฉพาะสำหรับเวกเตอร์คุณลักษณะเหล่านั้นเท่านั้น

หรือบางทีคุณอาจได้รับประโยชน์จากการกำหนดกรอบปัญหาของคุณใหม่ ตัวอย่างเช่นการสุ่มตัวอย่างเป็นที่รู้กันว่ามีคุณสมบัติที่ดี สถิติเชิงอนุมานมีการพัฒนาบนความคิดนี้ค่อนข้างลึก ดังนั้นอาจเป็นไปไม่ได้ที่จะวิเคราะห์ชุดข้อมูลทั้งหมด แต่เป็นไปได้อย่างสมบูรณ์ในการตรวจสอบตัวอย่างขนาดเล็ก ฉันไม่ทราบว่าคุณกำลังพยายามตอบคำถามใด แต่ถ้าคุณออกแบบการทดสอบอย่างรอบคอบคุณอาจหนีจากการดูการสังเกตเพียงไม่กี่พันครั้งโดยมีข้อมูลเหลือเพียงพอสำหรับการตรวจสอบความถูกต้อง

หลังจากที่บางความคิดเพิ่มเติมฉันมีลางสังหรณ์ที่แข็งแกร่งที่ข้อมูลที่คุณกำลังทำงานกับเป็นชนิดของกราฟบางGเป็นไปได้อย่างมากที่ประกอบด้วยส่วนประกอบที่เชื่อมต่อกันหลายอย่างซึ่งในกรณีนี้คุณสามารถแยกเป็นชุดของกราฟได้โดยมีผลข้างเคียงที่มีความสุขจากการลดมิติข้อมูล แม้ว่ากราฟเป็นเพียงส่วนประกอบสองชิ้นที่เชื่อมต่อกันซึ่งมีขนาดเท่ากันนั่นหมายความว่าการเปรียบเทียบมีค่าประมาณค่าใช้จ่ายทั้งหมด!$G$$G$$G$$O(N^2)$$\frac{1}{4}$

หากกราฟมีความสมมาตรการสังเกตต่อไปนี้อาจเป็นประโยชน์:

1. กำหนด Laplacian ของกราฟของคุณเป็นโดยที่เป็นเมทริกซ์ตามแนวทแยงมุมขององศา (ผลรวมของเวกเตอร์คุณลักษณะแต่ละอัน) และคือเมทริกซ์ adjacency (การซ้อนของเวกเตอร์คุณลักษณะลงในเมทริกซ์)$P=D-A$$D$$A$
2. จำนวนครั้งที่ปรากฏเป็นค่าเฉพาะของคือจำนวนของชิ้นส่วนเชื่อมต่อของGการแยกกราฟออกเป็นส่วนประกอบที่เชื่อมต่อและทำงานกับส่วนประกอบเหล่านั้นเพียงอย่างเดียวจะมีผลข้างเคียงของการลดขนาดข้อมูลของคุณ การคำนวณปริมาณที่คุณสนใจจะง่ายขึ้น แต่การคำนวณ eigendecomposition จะมีราคาแพงสำหรับจุดยอดหนึ่งล้าน ...$0$$P$$G$
3. (หลังจากที่มีการเปลี่ยนแปลงเต็ม)เป็นบล็อกเมทริกซ์ทแยงมุมของ Laplacians ขององค์ประกอบที่เกี่ยวโยงกันของG$P$$G$
4. $P$คือ semidefinite บวก มันเกือบจะเป็นประโยชน์อย่างแน่นอน
5. การเชื่อมต่อกับพีชคณิตของคือค่าของค่าเฉพาะที่สองที่เล็กที่สุดของPนี่เป็นการบอกคุณว่าเชื่อมโยงกันอย่างไร บางทีนั่นอาจจะตอบคำถามที่คุณสนใจอีกครั้งเวกเตอร์ที่มีคุณสมบัติเหมือนกัน ทฤษฎีกราฟสเปกตรัมพัฒนาแนวคิดนี้ในรายละเอียดเพิ่มเติม$G$$P$$G$

"นี่เป็นปัญหา SNA หรือไม่" ฉันไม่แน่ใจ. ในแอปพลิเคชั่นเดียวคุณสมบัติอธิบายพฤติกรรมและเรากำลังมองหาเพื่อเชื่อมโยงผู้คนที่มีพฤติกรรมคล้ายกัน สิ่งนี้ทำให้ปัญหา SNA หรือไม่

หากคุณมีกราฟสองฝ่ายที่เชื่อมโยงผู้คนกับพฤติกรรมคุณสามารถคิดว่านี่เป็นเครือข่ายพันธมิตรโดยที่ผู้คนเป็นแถวและพฤติกรรมเป็นคอลัมน์ หากคุณต้องการที่จะเชื่อมโยงผู้คนกับคนผ่านทางพฤติกรรมที่พวกเขามีเหมือนกันที่คุณสามารถคำนวณ a คือจำนวนพฤติกรรมที่ผู้คนมีร่วมกัน เห็นได้ชัดว่าชุดของจุดยอดที่ตอบคำถามของคุณ$B$$BB^T=A$$A_{ij}$$A_{ij}\ge L$

เมื่อมองหาผู้คนที่พบกันในช่วงเวลาว่าง:
แบ่งพื้นที่ออกเป็นบล็อก (บล็อกเมือง, ตารางกิโลเมตร, อะไรก็ตาม) และเวลาในบล็อกมีโอกาสดีที่ถ้าผู้คนพบกันพวกเขาจะพบกันในบล็อกเดียวกัน ดังนั้นเรียกใช้ NN ภายในแต่ละบล็อก Runtimes และอัตราความผิดพลาดของหลักสูตรจะขึ้นอยู่กับขนาดของบล็อกและรูปร่าง (ยังเป็นในสิ่งที่คุณสามารถทำคู่ขนาน / MapReduce) แต่คุณมีพารามิเตอร์ที่จะเล่นกับ - วิศวกรรมไม่เปิดกว้าง2)$Nspace$$Ntime$
$O( N^2 )$

ดูเพิ่มเติมที่:
เพื่อนบ้านที่ใกล้ที่สุดค้นหาข้อมูลมิติสูงมากในดาต้าสโคป

pairwise.py :

ใช้ Python Gensim library และ heapq จากไลบรารี่มาตรฐานเพื่อทำการเปรียบเทียบแบบคู่ที่รวดเร็วและปรับขนาดได้ระหว่างเอกสารจำนวนมากโดยใช้ TF-IDF และระยะทางโคไซน์

พจนานุกรมคว่ำ! แสดงถึงจุดเป็น , คีย์ที่สอดคล้องกับค่าที่ไม่ใช่ศูนย์ (เช่นคุณสมบัติที่เป็นจริง) ขนาดเฉลี่ยของการจัดเก็บข้อมูลขององค์ประกอบจะเป็นKแน่นอนฉันต้องการเพียงแค่สตริงเพื่อจัดเก็บฟีเจอร์และลอยเพื่อเก็บค่า$x$$feat_1:value_1, feat_{101}:value_{101}$$K$$K$$K$

สำหรับแต่ละคุณสมบัติสร้างพจนานุกรมที่เก็บดัชนีที่ใช้คุณสมบัตินี้ร่วมกัน หวังว่าตัวเลขนี้จะไม่ใหญ่เกินไป (หากคุณมีคุณสมบัติที่ใช้ร่วมกันโดยดัชนีทั้งหมดวิธีการนี้ถูกทำลายคุณสามารถหยุดอ่านได้ที่นี่)

นี้มีลักษณะเหมือนพจนานุกรม:\} หากฉันต้องการเพิ่มความเร็วและประหยัดพื้นที่ฉันยังสามารถวางคุณสมบัติที่พบได้ในองค์ประกอบเดียวเท่านั้น (ที่นี่: ) เนื่องจากพวกเขาจะไม่สร้างคู่ที่ใกล้ชิด พจนานุกรมนี้สร้างขึ้นในการดำเนินงาน$feat_1 : \{1,101,202\}, feat_2 : \{7,202\},feat_3 : \{202\}...feat_M:\{3,45,6\}$$feat_3$$O(NK)$

ตอนนี้เมื่อคุณต้องการที่จะประเมินระยะขององค์ประกอบกับคนอื่น ๆ สร้าง (กับพจนานุกรม) รายการของดัชนีที่ใช้งานร่วมกันอย่างน้อยหนึ่งพร้อมxคุณรู้ว่าองค์ประกอบอื่น ๆ ทั้งหมดอยู่ไกลจาก (พวกเขาไม่ได้แบ่งปันคุณสมบัติเดียว!) หากจำนวนเฉลี่ยของ "องค์ประกอบต่อคุณสมบัติ" ต่ำ (เรียกว่า ) คุณไม่จำเป็นต้องอยู่ในอีกต่อไป$x$$x$$x$$P$$O(N^2)$

ขณะนี้มีการปรับปรุงที่ยิ่งใหญ่อีกครั้งหากและแสดงเป็นพจนานุกรมเช่นกันเนื่องจากหรือสามารถประเมินซ้ำกับคีย์ของและในการดำเนินการ$x$$y$$d(x,y)$$<x,y>$$x$$y$$O(K)$

ความซับซ้อนสุดท้ายของคุณคือแทนที่จะเป็นวิธีเริ่มต้นไร้เดียงสา$O(NPK)$$O(MN^2)$

ฉันใช้วิธีนี้เพื่อนำ KNN ไปใช้กับชุดข้อความขนาดใหญ่ (รถไฟ: 2 000 000 บรรทัดทดสอบ 35,000 บรรทัดจำนวนคุณลักษณะ: 10 000 จำนวนเฉลี่ยของคุณสมบัติต่อองค์ประกอบ: 20) ซึ่งใช้เวลาประมาณหนึ่งชั่วโมง .. .

ฉันพบข้อมูลอ้างอิงที่คุณอาจเห็นว่ามีประโยชน์และฉันเชื่อว่ามันมีประสิทธิภาพมากกว่าแบบอื่นโดยไม่แสดงอาการเลย ถ้าผมเข้าใจถูกต้องคุณสามารถสร้าง -nearest เพื่อนบ้าน (KNN) กราฟในเวลา$k$$O(LN\log(N))$

L. Erotz, M. Steinbach และ V. Kumar "อัลกอริทึมการจัดกลุ่มเพื่อนบ้านที่ใกล้ที่สุดและแอปพลิเคชั่นใหม่" เอกสารประกอบการประชุมเชิงปฏิบัติการครั้งที่ 1 เรื่องการจัดกลุ่มข้อมูลมิติสูงและการประยุกต์ใช้ในปี 2545

วิธีการทำงานที่บ้า แต่น่าจะเป็นไปได้ที่โดเมนความถี่ มี FFT เร็วบ้าบอ / ป่วยเรียกว่า " sparse FFT " ซึ่งคุณระบุจำนวนโหมดที่คุณสนใจ (จำนวนนับ 100 ฟีเจอร์) จากนั้นคุณทำงานด้วยการโน้มน้าวใจและมองหาแถวสูงสุดมากกว่าเกณฑ์ (มองหา บิตในการลงทะเบียนหมายเลขของคุณ) มันเป็นไปได้ที่n$O(k \cdot \log{n} )$$k << n$

เนื่องจาก k ของคุณคือ 100 และ n ของคุณคือ 1e6 สิ่งนี้ควรให้ความเร็ว ~ 1e4x เมื่อเทียบกับ FFT คลาสสิก

หากคุณต้องการความเร็วเพิ่มอีก 20x และคุณเป็นคนรับความเสี่ยงดังนั้นแทนที่จะต้องโน้มน้าวแถวทั้งหมดกับโดเมนและมองหาจุดสูงสุดคุณสามารถบูตส่วนย่อยของแถวได้

นอกจากนี้คุณยังอาจใส่คอลัมน์ล่วงหน้าโดยการลบคอลัมน์ที่มีจำนวนเงินต่ำกว่า 50 หรือเกณฑ์อื่น ๆ ที่เรียงตามจำนวนครึ่งของจำนวนแถวที่คุณต้องการจับคู่ อย่างน้อยที่สุดคุณควรลบคอลัมน์ของศูนย์ทั้งหมดและ 1 ทั้งหมดโดยไม่ให้ข้อมูล เช่นเดียวกับแถวที่ว่างเปล่าหรือว่างเปล่ามากพอหรือแถวที่เต็มจนไม่มีความเกี่ยวข้อง

สิ่งที่ต้องทำ: ฉันควรใส่ตัวอย่างที่นี่โดยใช้ข้อมูลสังเคราะห์และเปรียบเทียบวิธีการบางอย่าง

ฉันเพิ่งเจอกระดาษที่เกี่ยวข้องโดยตรง

อัลกอริธึมแบบสุ่มและ NLP: การใช้ฟังก์ชันแฮชที่มีความละเอียดอ่อนในพื้นที่สำหรับการรวมกลุ่มคำนามความเร็วสูง (Ravichandran et al, 2005)

มันถูกนำไปใช้จริงในhttps://github.com/soundcloud/cosine-lsh-join-sparkซึ่งเป็นตำแหน่งที่ฉันพบ

มันขึ้นอยู่กับการแปลงคร่ำครวญที่มีความละเอียดอ่อนในท้องถิ่น หลังจากลดเวกเตอร์คุณลักษณะให้เป็นพื้นที่มิติต่ำแล้วจะใช้การเชื่อมต่อ Hamming ที่รวดเร็วเพื่อค้นหาเพื่อนบ้านที่ใกล้ที่สุด