แพ็กเกจ R สำหรับการสร้างแบบจำลองหัวข้อ / LDA: เพียง `topicmodels` และ` lda` [ปิด]

สำหรับฉันดูเหมือนว่ามีเพียงสองแพ็คเกจ R เท่านั้นที่สามารถดำเนินการจัดสรร Latent Dirichlet :

หนึ่งคือldaประพันธ์โดย Jonathan Chang; และอื่น ๆ ที่topicmodelsเขียนโดย Bettina Grünและ Kurt Hornik

อะไรคือความแตกต่างระหว่างสองแพ็คเกจนี้ในแง่ของประสิทธิภาพรายละเอียดการติดตั้งและการใช้งานที่เพิ่มขึ้น?

การนำไปใช้งาน: แพคเกจ topicmodels จัดเตรียมอินเทอร์เฟซให้กับรหัส GSL C และ C ++ สำหรับรุ่นหัวข้อโดย Blei et al และ Phan et al. สำหรับก่อนหน้านี้ใช้ Variational EM สำหรับการสุ่มตัวอย่างแบบกิ๊บส์หลัง ดูhttp://www.jstatsoft.org/v40/i13/paper แพคเกจใช้งานได้ดีกับยูทิลิตี้จากแพ็คเกจ tm

แพ็คเกจ lda ใช้ Gibbs Sampler ที่ยุบแล้วสำหรับโมเดลจำนวนหนึ่งที่คล้ายกับที่มาจากไลบรารี GSL อย่างไรก็ตามมันถูกนำไปใช้โดยผู้เขียนแพ็คเกจเองไม่ใช่โดย Blei และคณะ การดำเนินการนี้จึงแตกต่างกันโดยทั่วไปจากเทคนิคการประมาณค่าที่เสนอในเอกสารต้นฉบับแนะนำตัวแปรรุ่นซึ่งมักใช้อัลกอริทึม VEM ในทางตรงกันข้ามแพคเกจมีฟังก์ชันการใช้งานมากขึ้นจากนั้นแพ็คเกจอื่น ๆ แพ็คเกจนี้ยังมีฟังก์ชั่นการขุดข้อความด้วย

ความสามารถในการขยาย: เกี่ยวกับความสามารถในการขยายเพิ่ม, หัวข้อรหัสรุ่นตามธรรมชาติสามารถขยายไปยังส่วนต่อประสานโค้ดโมเดลหัวข้ออื่น ๆ ที่เขียนใน C และ C ++ แพคเกจ lda ดูเหมือนว่าจะขึ้นอยู่กับการใช้งานที่เฉพาะเจาะจงของผู้เขียน แต่มีตัวอย่างกิ๊บส์อาจอนุญาตให้ระบุรูปแบบหัวข้อของคุณเอง สำหรับปัญหาเรื่องการขยายตัวอดีตนั้นได้รับใบอนุญาตภายใต้ GPL-2 และ LGPL รุ่นหลังดังนั้นมันอาจขึ้นอยู่กับสิ่งที่คุณต้องใช้ในการขยาย (GPL-2 นั้นเข้มงวดกับแง่มุมของโอเพ่นซอร์สนั่นคือคุณไม่สามารถใช้งานได้ ในซอฟต์แวร์ที่เป็นกรรมสิทธิ์)

การแสดง: ฉันไม่สามารถช่วยคุณได้ที่นี่ฉันใช้แค่หัวข้อหัวข้อเท่านั้น

สรุป: โดย
ส่วนตัวแล้วฉันใช้topicmodelsเพราะเป็นเอกสารที่ดี (ดูกระดาษ JSS ด้านบน) และฉันเชื่อใจผู้แต่ง (Grünใช้ flexmix และ Hornik เป็นสมาชิกแกน R)

+1 สำหรับรุ่นของหัวข้อ @ คำตอบของ Momo นั้นครอบคลุมมาก ฉันแค่เพิ่มที่topicmodelsจะป้อนข้อมูลเป็นเมทริกซ์คำศัพท์เอกสารซึ่งทำง่ายกับtmแพคเกจหรือใช้หลาม ldaแพคเกจใช้รูปแบบที่ลึกลับมากขึ้นของการป้อนข้อมูล (ขึ้นอยู่กับ Blei ของ LDA-C) และฉันได้มีโชคไม่ใช้ฟังก์ชั่นการแปลง DTM ลงไปในldaรูปแบบแพคเกจ (เอกสาร Lda เป็นที่น่าสงสารมากเป็นบันทึก Momo)

ฉันมีรหัสบางอย่างที่เริ่มต้นด้วยข้อความดิบก่อนประมวลผลในtmและทำให้มันผ่านtopicmodels(รวมถึงการหาจำนวนที่เหมาะสมของหัวข้อล่วงหน้าและการทำงานกับการส่งออก) ที่นี่ อาจเป็นประโยชน์กับคนที่มาtopicmodelsเป็นครั้งแรก

แพ็คเกจ R Structural Topic Model (STM) โดย Molly Roberts, Brandon Stewart และ Dustin Tingley ก็เป็นตัวเลือกที่ยอดเยี่ยมเช่นกัน สร้างขึ้นบนแพ็คเกจ tm เป็นกรอบทั่วไปสำหรับการสร้างแบบจำลองหัวข้อด้วยข้อมูลระดับเอกสาร

http://structuraltopicmodel.com/

แพคเกจ STM ประกอบด้วยชุดวิธีการ (การค้นหากริด) และการวัด (การเชื่อมโยงความหมายความหมายส่วนที่เหลือและการผูกขาด) เพื่อกำหนดจำนวนหัวข้อ การตั้งค่าจำนวนหัวข้อเป็น 0 จะช่วยให้โมเดลกำหนดจำนวนหัวข้อที่เหมาะสมที่สุด

แพคเกจ stmBrowser เป็นข้อมูลประกอบการสร้างภาพข้อมูลที่ดีในการมองเห็นอิทธิพลของตัวแปรภายนอกในหัวข้อ ดูตัวอย่างนี้ที่เกี่ยวข้องกับ 2016 อภิปรายประธานาธิบดี: http://alexperrier.github.io/stm-visualization/index.html

ฉันใช้ทั้งสามไลบรารีในทั้ง 3 ได้แก่ ได้แก่ topicmodels, lda, stm; ไม่ใช่ทุกคนที่ทำงานกับ n กรัม ไลบรารี topicmodels นั้นดีกับการประมาณค่าและยังทำงานกับ ng ด้วย แต่ถ้าใครทำงานกับ uni กรัมแล้วผู้ฝึกหัดอาจชอบ stm เพราะมันให้ผลลัพธ์ที่มีโครงสร้าง