IDF แบบเพิ่มหน่วย (ความถี่เอกสารผกผัน)

ในแอปพลิเคชันการทำเหมืองข้อความวิธีการง่ายๆอย่างหนึ่งคือการใช้การแก้ปัญหาเพื่อสร้างเวกเตอร์เป็นการนำเสนอที่กระจัดกระจายของเอกสาร นี่เป็นเรื่องปกติสำหรับการตั้งค่าแบบแบตช์ซึ่งเป็นที่รู้จักทั้งคลังข้อมูล a-Priori เนื่องจากต้องการทั้งคลังข้อมูล $tf-idf$ $idf$

ผม d ฉ (เสื้อ) = เข้าสู่ระบบ \frac{| D |}{| {d : เสื้อ \in d} |}

$\mathrm{idf}(t) = \log \frac{|D|}{|\{d: t \in d\}|}$

โดยที่คือคำศัพท์,คือเอกสาร,คือคลังเอกสาร, และ (ไม่แสดง) เป็นพจนานุกรม $t$ $d$ $D$ $T$

อย่างไรก็ตามโดยทั่วไปแล้วจะได้รับเอกสารใหม่เมื่อเวลาผ่านไป ทางเลือกหนึ่งคือการใช้ที่มีอยู่ต่อไปจนกว่าจะได้รับเอกสารใหม่จำนวนหนึ่งและทำการคำนวณใหม่ อย่างไรก็ตามเรื่องนี้ดูเหมือนจะไม่มีประสิทธิภาพ ไม่มีใครรู้ของรูปแบบการปรับปรุงที่เพิ่มขึ้นที่ (อาจจะประมาณ) มาบรรจบกับค่าถ้าข้อมูลทั้งหมดถูกเห็นล่วงหน้า? หรืออีกวิธีหนึ่งจะมีมาตรการอื่นที่จับความคิดเดียวกัน แต่สามารถคำนวณในแบบที่เพิ่มขึ้น? $idf$

นอกจากนี้ยังมีคำถามที่เกี่ยวข้องว่ายังคงใช้งานได้ดีเมื่อเวลาผ่านไป เนื่องจาก idf รวบรวมความคิดเกี่ยวกับความถี่ของคำศัพท์ของคลังข้อมูลมันเป็นไปได้ที่เอกสารเก่าในคลังข้อมูล (เช่นตัวอย่างเช่นคลังข้อมูลของฉันครอบคลุมบทความวารสารกว่า 100 ปี) เนื่องจากความถี่ของคำที่แตกต่างกันเปลี่ยนแปลงไปตามกาลเวลา ในกรณีนี้มันจริงอาจจะเหมาะสมที่จะโยนออกเอกสารเก่าเมื่อคนใหม่เข้ามาในผลการใช้หน้าต่างบานเลื่อนIDFน่าจะเป็นไปได้ที่เราสามารถเก็บเวกเตอร์ก่อนหน้านี้ทั้งหมดได้เมื่อใหม่แล้วถ้าเราต้องการเรียกเอกสารจาก 2463-2473 เราสามารถใช้คำนวณได้จากเอกสารในช่วงวันที่นั้น วิธีนี้เหมาะสมหรือไม่ $idf$ $idf$ $idf$ $idf$

แก้ไข: มีปัญหาที่แยกต่างหาก แต่ที่เกี่ยวข้องเกี่ยวกับพจนานุกรมTเมื่อเวลาวิวัฒนาการจะมีคำศัพท์ใหม่ในพจนานุกรมที่ไม่เคยปรากฏมาก่อนดังนั้นจะต้องเติบโตและด้วยเหตุนี้ความยาวของเวกเตอร์ดูเหมือนว่าสิ่งนี้จะไม่เป็นปัญหาเนื่องจากศูนย์สามารถต่อท้ายเวกเตอร์เก่าได้ $T$ $|T|$ $idf$ $idf$

time-series text-mining

— TDC
แหล่งที่มา

คำถามงี่เง่า: เป็นปัญหาในการจัดเก็บส่วนสำหรับแต่ละ t หรือไม่? อัตราส่วนของ | t | ถึง | d | ดูเหมือน (โดยทั่วไป) ใช่ไหม

— steffen

ขออภัยอาจจะสมการไม่เป็นที่ชัดเจน -

คือความถี่เอกสารผกผันของ T ระยะมากกว่าในเวลาที

ดังนั้นในช่วงเวลา

คุณจะต้องเวกเตอร์ของความยาว

คือขนาดของพจนานุกรม (ซึ่งอาจเปลี่ยนแปลง) ฉันจะแก้ไขผลกระทบนั้น

i d f (t)

$idf(t)$

t

$t$

t

$t$

| T |

$|T|$

— tdc

ฉันเข้าใจสมการ คำถามของฉันคือ: หากการจัดเก็บพจนานุกรมไม่มีปัญหาแล้ว: แทนที่จะเก็บ | T | idfs one stores | T | ตัวหาร (ของสมการ) + จำนวนเอกสาร การปรับปรุงที่เพิ่มขึ้นจะไม่มีปัญหาและ idf จะถูกคำนวณทันที ฉันมีความรู้สึกว่าฉันได้มองข้ามบางสิ่งบางอย่าง

— steffen

ดังนั้นสิ่งที่คุณหมายถึงชอบให้เอกสารใหม่

ถ้าเรามีค่า

เราเพียงแค่เพิ่มหนึ่งในการหารสำหรับ

d^{*}

$d^*$

d : t \in d

${d:t \in d}$

t : t \in d^{*}

${t:t \in d^*}$

— TDC

แม่นยำ. ถ้าเป็นไปได้?

— steffen

ตกลงขอบคุณ Steffen สำหรับความคิดเห็นที่เป็นประโยชน์ ฉันเดาว่าคำตอบนั้นง่ายมากในที่สุด ตามที่เขาพูดสิ่งที่เราต้องทำคือเก็บส่วนที่เป็นปัจจุบัน (เรียกว่า ): $z$

$z(t) = |\{d:t\in d\}|$

ตอนนี้ได้รับเอกสารใหม่เราอัปเดตตัวหารโดยเพียงแค่: $d^*$

$z^*(t) = z(t) + \left\{ \begin{array}{ll} 1 & \mbox{if}\; {t\in d^*} \\ 0 & \mbox{otherwise} \end{array} \right.$

จากนั้นเราจะต้องคำนวณโดยพิจารณาจากเวกเตอร์ใหม่ $tf-idf$ $idf$

ในทำนองเดียวกันเมื่อต้องการลบเอกสารเก่าเราจะลดค่าตัวเลขในลักษณะที่คล้ายกัน

นี้ไม่ได้หมายความว่าเราอาจจะต้องเก็บทั้งเมทริกซ์เช่นเดียวกับเมทริกซ์ (เสแสร้งต้องการหน่วยความจำ) หรือเราจะต้องคำนวณคะแนนเมื่อมีความจำเป็น (เพิ่มขึ้นการคำนวณ ค่าใช้จ่าย) ฉันไม่สามารถมองเห็นได้ตลอดทาง $tf$ $tf-idf$ $tf-idf$

สำหรับส่วนที่สองของคำถามเกี่ยวกับวิวัฒนาการของเวกเตอร์เมื่อเวลาผ่านไปดูเหมือนว่าเราสามารถใช้วิธีการข้างต้นและเก็บชุดของ "แลนด์มาร์ค" เวกเตอร์ (ส่วน) สำหรับช่วงวันที่ที่แตกต่างกัน (หรือเนื้อหาอาจ ย่อย) แน่นอนเป็นเวกเตอร์ที่มีความหนาแน่นสูงของความยาวของพจนานุกรมดังนั้นการจัดเก็บจำนวนมากเหล่านี้จะต้องใช้หน่วยความจำมาก อย่างไรก็ตามเรื่องนี้น่าจะเป็นที่นิยมในการ recomputing เวกเตอร์เมื่อมีความจำเป็น (ซึ่งจะต้องใช้อีกครั้งเก็บเมทริกซ์เช่นกันหรือแทน) $idf$ $z$ $z$ $idf$ $tf$

— TDC
แหล่งที่มา