ความถี่ของคำที่มีการสั่งซื้อในความซับซ้อน O (n)

ในระหว่างการสัมภาษณ์ตำแหน่งนักพัฒนา Java ฉันถูกถามต่อไปนี้:

เขียนฟังก์ชั่นที่ใช้สองพารามิเตอร์:

1. String แสดงเอกสารข้อความและ
2. จำนวนเต็มซึ่งระบุจำนวนรายการที่จะส่งคืน

ใช้ฟังก์ชั่นเพื่อส่งคืนรายการ Strings เรียงลำดับตามความถี่ของคำซึ่งเป็นคำที่เกิดขึ้นบ่อยที่สุดก่อน โซลูชันของคุณควรทำงานในเวลาโดยที่คือจำนวนอักขระในเอกสาร$O(n)$$n$

ต่อไปนี้เป็นสิ่งที่ฉันตอบ (ใน pseudocode) ไม่ใช่แต่ค่อนข้างเวลาเนื่องจากการเรียงลำดับ ฉันไม่สามารถคิดออกว่าจะทำมันเวลา $O(n)$$O(n \log n)$$O(n)$

wordFrequencyMap = new HashMap<String, Integer>();
words = inputString.split(' ');

for (String word : words) {
  count = wordFrequencyMap.get(word);
  count = (count == null) ? 1 : ++count;
  wordFrequencyMap.put(word, count);
}

return wordFrequencyMap.sortByValue.keys

มีใครรู้บ้างหรือบางคนให้คำแนะนำแก่ฉันบ้าง

ฉันขอแนะนำรูปแบบของการนับการกระจาย:

1. อ่านข้อความและแทรกคำทั้งหมดที่พบในคู่ชีวิตไว้ในแต่ละโหนดนับจำนวนความถี่ที่คำที่แสดงโดยโหนดนี้เกิดขึ้นบ่อยครั้งเพียงใด maxWordCoundนอกจากนี้ติดตามการนับจำนวนคำพูดสูงสุด -$O(n)$
2. maxWordCountเริ่มต้นอาร์เรย์ของขนาด ประเภทรายการเป็นรายการของสตริง -$O(n)$เนื่องจากการนับไม่สามารถสูงกว่าได้
3. ข้าม trie และสำหรับแต่ละโหนดเพิ่มสตริงที่สอดคล้องกับรายการอาร์เรย์ที่ระบุโดยการนับ -$O(n)$เนื่องจากความยาวทั้งหมดของสตริงถูกล้อมรอบด้วย $n$.
4. สำรวจอาร์เรย์ตามลำดับจากมากไปน้อยและส่งออกตามจำนวนสตริงที่ต้องการ -$O(n)$ตั้งแต่นั้นถูกผูกไว้กับทั้งขนาดและปริมาณของข้อมูลในอาร์เรย์

คุณสามารถแทนที่ trie ด้วยโครงสร้างข้อมูลอื่น ๆ ในระยะแรก

การรวบรวมจำนวนครั้งที่เกิดขึ้นคือ O (n) ดังนั้นกลอุบายจึงเป็นเพียงการค้นหาจำนวนสูงสุดที่เกิดขึ้นเท่านั้น

heap เป็นวิธีทั่วไปในการรวมค่า k สูงสุดแม้ว่าจะสามารถใช้วิธีอื่นได้ (ดูhttps://en.wikipedia.org/wiki/Partial_sorting )

สมมติว่า k เป็นพารามิเตอร์ที่สองด้านบนและเป็นค่าคงที่ในคำแถลงปัญหา (ดูเหมือนจะเป็น):

1. สร้าง trie ของคำที่มีจำนวนที่เกิดขึ้นในแต่ละโหนด
2. เริ่มต้นกองขนาด k
3. ข้าม trie และ min-probe / แทรกแต่ละคู่ (ลีฟ, การเกิดขึ้นนับ) ใน heap -k
4. เอาท์พุท k ใบไม้และจำนวนสูงสุด (ซึ่งเป็นความเจ็บปวดจริง ๆ เพราะคุณต้องการพอยน์เตอร์หลักเพื่อแมปใบไม้แต่ละใบกลับเป็นคำ)

เนื่องจากขนาดฮีปเป็นค่าคงที่การดำเนินการฮีปคือ O (1) ดังนั้นขั้นตอนที่ 3 คือ O (n)

กองยังสามารถรักษาแบบไดนามิกในขณะที่สร้างคู่ชีวิต

อัลกอริทึมของคุณไม่ได้ทำงานในเวลา $O(n \log n)$; แทรก$\Theta(n)$ สิ่งต่าง ๆ ในเวลา hashtable ต้นทุน $\Omega(n^2)$ แล้ว (กรณีที่เลวร้ายที่สุด)

สิ่งที่ตามมาคือผิด ; ฉันจะทิ้งไว้ที่นี่เพื่อดูตัวอย่าง

อัลกอริทึมต่อไปนี้ทำงานในเวลาที่เลวร้ายที่สุด $O(n)$ (สมมติว่าตัวอักษร $\Sigma$ ขนาดคงที่) $n$ จำนวนตัวอักษรในข้อความ

1. สร้างต้นไม้ต่อท้ายของข้อความเช่นกับอัลกอริทึมของ Ukkonen

   หากการก่อสร้างไม่ได้ทำเช่นนี้ให้เพิ่มจำนวนของใบไม้ที่สามารถเข้าถึงได้ไปยังโหนด (ภายใน) ทุกโหนด

2. สำรวจต้นไม้จากรากและตัดกิ่งไม้ทั้งหมดออกจากพื้นที่แรก (สีขาว)

3. สำรวจต้นไม้และเรียงลำดับรายการลูก ๆ ของทุกโหนดด้วยการนับใบไม้

4. ผลผลิตของต้นไม้ (ใบจากซ้ายไปขวา) ตอนนี้เป็นรายการของคำทั้งหมดเรียงลำดับตามความถี่

เกี่ยวกับรันไทม์:

1. อัลกอริทึมของ Ukkonen (ในรูปแบบที่ปรับปรุงแล้ว) ทำงานได้ทันเวลา $O(n)$; การรักษาจำนวนใบไม้ไม่เพิ่ม$\Theta$- ค่าใช้จ่ายของอัลกอริทึม
2. เราต้องสำรวจหนึ่งโหนดต่อตัวละครของทุกคำที่เกิดขึ้นในข้อความ เนื่องจากมีมากที่สุด$n$ คู่คำศัพท์ที่แตกต่างกันเราไปเยี่ยมชมมากที่สุด $n$ โหนด
3. เราไปเยี่ยมชมมากที่สุด $n$ โหนด (cf 2. ) และใช้เวลา $O(|\Sigma| \cdot \log |\Sigma|) = O(1)$ ต่อโหนด
4. เราสามารถรับผลผลิต (ซึ่งมีขนาดของหลักสูตร $O(n)$) โดยการสำรวจเส้นทางที่เรียบง่ายในเวลา $O(n)$ (cf 2. )

ขอบเขตที่แม่นยำยิ่งขึ้นสามารถรับได้โดยการเพิ่มจำนวนของคำที่แตกต่างกัน; หากมีน้อยต้นไม้จะเล็กหลังจาก 2

ใช้ตารางแฮช (เช่นHashMap) เพื่อรวบรวมคำทั้งหมดและความถี่ จากนั้นใช้การเรียงลำดับการนับเพื่อจัดเรียงคำตามลำดับความถี่ที่ลดลง เนื่องจากความถี่ทั้งหมดเป็นจำนวนเต็มในช่วง$1..n$การเรียงลำดับใช้เวลานับ $O(n)$เวลา. เวลาทำงานทั้งหมดที่คาดหวังคือ$O(n)$ซึ่งมีโอกาสมากกว่าที่จะเพียงพอสำหรับการใช้งานจริงทั้งหมด (เว้นแต่ผู้สัมภาษณ์จะพูดถึงบางสิ่งที่เหลือจากคำถามของคุณ) ให้แน่ใจว่าจะพูดถึงว่านี้คาดว่าเวลาทำงานมากกว่ากรณีเลวร้ายที่สุดเวลาทำงาน

นี่อาจไม่ใช่คำตอบที่ครูจะมองหาในชั้นเรียนอัลกอริทึมเพราะคาดว่าจะเป็น $O(n)$ เวลาทำงานมากกว่า $O(n)$เวลาทำงานที่เลวร้ายที่สุด หากคุณต้องการให้คะแนนพิเศษในคำถามสัมภาษณ์คุณสามารถพูดถึงอย่างไม่เป็นทางการว่าหลักสูตรนี้คาดว่าจะใช้เวลานาน แต่ก็สามารถทำได้เช่นกัน$O(n)$ เวลาทำงานที่เลวร้ายที่สุดโดยแทนที่ตารางแฮชด้วยโครงสร้างข้อมูลที่ซับซ้อนยิ่งขึ้นและคุณยินดีที่จะอธิบายวิธีการเลือกระหว่างอัลกอริทึมในสถานการณ์เช่นนี้

หรือถ้าคุณต้องการเล่นให้ปลอดภัยกว่านี้ก่อนที่จะให้คำตอบก่อนอื่นให้ถามว่า "คุณสนใจความแตกต่างระหว่างที่คาดหวังหรือไม่ $O(n)$ เวลาทำงานและกรณีที่เลวร้ายที่สุด $O(n)$ใช้เวลา? "จากนั้นปรับคำตอบของคุณให้พร้อมสำหรับผู้สัมภาษณ์เพื่อถามคุณว่าคุณจะเลือกในทางปฏิบัติอย่างไร (ถ้าใช่ให้คะแนน!

โซลูชันที่ใช้ Hashtable

ไม่แน่ใจว่าทำไม hashtable สร้างความซับซ้อน $\Omega(n^2)$ ถ้า $n$คือจำนวนอักขระ (ไม่ใช่คำ)

หากคุณวนซ้ำทุกตัวละครในเอกสารและในขณะที่คุณกำลังวนซ้ำคำนวณรหัสแฮชโค้ดของคำคุณจะต้องผ่าน $n$ตัวละคร นั่นคือทันทีที่พบจดหมายคำนั้นจะเริ่มขึ้นดังนั้นให้เริ่มคำนวณแฮชจนกว่าคำจะจบลง (มีบางกรณีพิเศษสำหรับเครื่องหมายวรรคตอน แต่สิ่งเหล่านั้นไม่ส่งผลกระทบต่อความซับซ้อน) สำหรับทุกคำเมื่อคำนวณ hash แล้วให้เพิ่มลงใน hashtable นี่คือการหลีกเลี่ยงการไปทุกคำสองครั้งคือก่อนอื่นให้วนซ้ำผ่านเอกสารเพื่อค้นหาคำแล้วใส่คำเหล่านั้นลงใน hashtable แม้ว่าความซับซ้อนในกรณีนั้นก็อาจจะเป็น$\Omega(n)$.

การชนใน hashtable นั้นเป็นปัญหาแน่นอนและขึ้นอยู่กับว่า hashtable ดั้งเดิมนั้นใหญ่ขนาดไหนและอัลกอริธึมการแฮชดีแค่ไหน $O(1)$ สำหรับการแทรกและรักษาจำนวนและทำให้ $O(n)$สำหรับอัลกอริทึมแม้ว่าจะมีหน่วยความจำ อย่างไรก็ตามฉันยังคงไม่สามารถชื่นชมได้ว่ากรณีที่เลวร้ายที่สุดสามารถยืนยันได้อย่างไร$O(n^2)$ ถ้า $n$ คือจำนวนตัวอักษร

สมมติฐานคืออัลกอริทึมการแปลงแป้นพิมพ์เป็นเส้นตรงเวลาตามจำนวนตัวอักษร

วิธีการจัดเรียงตาม Radix

อีกทางหนึ่งคือสมมติว่าภาษาอังกฤษเนื่องจากความยาวของคำศัพท์เป็นที่รู้จักกันดีฉันจึงควรสร้างกริดและใช้การเรียงลำดับแบบ Radix ซึ่งเป็น $O(kN)$ ที่ไหน $k$ จะเป็นความยาวสูงสุดของคำในภาษาอังกฤษและ $N$คือจำนวนคำทั้งหมด ป.ร. ให้ไว้$n$ คือจำนวนอักขระในเอกสารและ $k$ เป็นค่าคงที่, ไม่ต้องบอกจำนวนเงินนี้ $O(n)$.

ตอนนี้นับความถี่ของแต่ละคำ เนื่องจากมีการเรียงคำเราจะเปรียบเทียบแต่ละคำกับคำก่อนหน้าเพื่อดูว่าเป็นคำเดียวกันหรือต่างกัน หากเป็นเช่นนั้นเราจะลบคำนั้นและเพิ่มจำนวนลงในคำก่อนหน้า หากแตกต่างกันให้นับ 1 และเดินหน้าต่อไป สิ่งนี้ต้องมี$2n$ เปรียบเทียบที่ไหน $n$ คือจำนวนตัวอักษรและดังนั้น $O(n)$ ในความซับซ้อนโดยรวม

คำที่ยาวที่สุดสองสามอันดับแรกในภาษาอังกฤษนั้นมีความยาวน่าขันแต่ก็สามารถเพิ่มความยาวของคำด้วยจำนวนที่เหมาะสม (เช่น 30 หรือน้อยกว่า) และตัดคำที่ยอมรับขอบเขตของข้อผิดพลาดที่อาจมาพร้อมกับมัน