คำถามติดแท็ก it.information-theory

อะไรคือตัวอย่างที่คุณชื่นชอบที่ใช้ทฤษฎีข้อมูลเพื่อพิสูจน์คำสั่ง combinatorial อย่างเรียบง่าย? ตัวอย่างที่ฉันคิดว่าเกี่ยวข้องกับขอบเขตที่ต่ำกว่าสำหรับรหัสที่ถอดรหัสได้ในท้องถิ่นเช่นในบทความนี้ : สมมติว่าสำหรับกลุ่มของสตริงสตริงของความยาวมันถือได้ว่าสำหรับทุก ๆสำหรับแตกต่างกัน คู่ { },จากนั้นม. เป็นอย่างน้อยชี้แจงใน n โดยที่ตัวแทนขึ้นเป็นเส้นตรงในสัดส่วนเฉลี่ยที่ระดับ mx1,...,xmx1,...,xmx_1,...,x_mnnniiikikik_ij1,j2j1,j2j_1,j_2ei=xj1⊕xj2.ei=xj1⊕xj2.e_i = x_{j_1} \oplus x_{j_2}.ki/mki/mk_i/m อีกตัวอย่าง (ที่เกี่ยวข้อง) คือความไม่เท่าเทียมกันบางอย่างในลูกบาศก์บูลีน (อย่าลังเลที่จะอธิบายรายละเอียดในคำตอบของคุณ) คุณมีตัวอย่างที่ดีกว่านี้ไหม? เด่นกว่าสั้นและง่ายต่อการอธิบาย

54 co.combinatorics  big-list  it.information-theory 

ทางการพูดซับซ้อน Kolmogorov ของสตริงคือความยาวของโปรแกรมที่สั้นที่สุดที่เอาท์พุทx เราสามารถกำหนดความคิดของ 'สตริงสุ่ม' โดยใช้มัน ( xเป็นแบบสุ่มถ้าK ( x ) ≥ 0.99 | x | ) มันง่ายที่จะเห็นว่าสตริงส่วนใหญ่นั้นเป็นแบบสุ่ม (ไม่มีโปรแกรมสั้น ๆ มากมาย)xxxxxxxxxK( x ) ≥ 0.99 | x |K(x)≥0.99|x|K(x) \geq 0.99 |x| ทฤษฎีความซับซ้อน Kolmogorov และทฤษฎีข้อมูลอัลกอริทึมได้รับการพัฒนาค่อนข้างในปัจจุบัน และมีตัวอย่างที่น่าขบขันหลายประการเกี่ยวกับการใช้ความซับซ้อนของ Kolmogorov ในการพิสูจน์ทฤษฎีบทต่าง ๆ ที่ไม่ได้มีอะไรเกี่ยวกับความซับซ้อนของ Kolmogorov ในคำกล่าวของพวกเขา (เชิงLLL ที่สร้างสรรค์ , ความไม่เท่าเทียมกันของ มีการใช้งานที่ดีของความซับซ้อนของ Kolmogorov และทฤษฎีข้อมูลอัลกอริทึมในความซับซ้อนในการคำนวณและสาขาที่เกี่ยวข้องหรือไม่? ฉันรู้สึกว่าควรจะมีผลลัพธ์ที่ใช้ความซับซ้อนของ Kolmogorov …

44 cc.complexity-theory  big-list  co.combinatorics  it.information-theory 

คำถามนี้ถูกถามถึง Jeannette Wing หลังจากการนำเสนอ PCASTของเธอเกี่ยวกับวิทยาศาสตร์คอมพิวเตอร์ “ จากมุมมองทางฟิสิกส์มีปริมาณข้อมูลสูงสุดที่เราสามารถทำได้หรือไม่” (เป็นคำถามท้าทายที่ดีสำหรับชุมชนวิทยาศาสตร์คอมพิวเตอร์เชิงทฤษฎีเพราะฉันคิดว่ามันเป็นคำถามที่ว่า "ข้อมูลคืออะไร") นอกเหนือจาก "ข้อมูลคืออะไร" เราควรเข้าใจว่า "ปริมาณ" หมายถึงอะไรในบริบทนี้ บางทีความหนาแน่นสูงสุดของข้อมูลเป็นวิธีที่ดีกว่า

33 it.information-theory  physics 

ความซับซ้อนของคำนำหน้า Kolmogorov (เช่นคือขนาดของโปรแกรมการลดขนาดตัวเองขั้นต่ำที่เอาต์พุตx ) มีคุณสมบัติที่ดีหลายประการ:K(x)K(x)K(x)xxx มันสอดคล้องกับสัญชาตญาณของการให้สายกับ patters หรือโครงสร้างความซับซ้อนต่ำกว่าสตริงโดยไม่ต้อง มันช่วยให้เราสามารถกำหนดเงื่อนไขซับซ้อนหรือดียิ่งขึ้นK ( x | O )สำหรับบาง oracle OK( x | y)K(x|Y)K(x|y)K( x | O )K(x|O)K(x|O)OOO มันเป็นย่อยสารเติมแต่ง )K( x , y) ≤ K( x ) + K( y)K(x,Y)≤K(x)+K(Y)K(x,y) \leq K(x) + K(y) อย่างไรก็ตามมันมีข้อเสียที่น่ากลัว: การส่งกลับให้xไม่สามารถตัดสินใจได้K( x )K(x)K(x)xxx ฉันได้สงสัยว่ามีความแตกต่างจาก Kolmogorov ซับซ้อนโดยใช้แบบจำลองที่ จำกัด ของการคำนวณ (โดยใช้ภาษาที่อ่อนแอกว่าหน่วยความจำหรือการใช้ทรัพยากร TM …

28 it.information-theory  kolmogorov-complexity  formal-modeling 

ฉันกำลังมองหารหัสแก้ไขข้อผิดพลาดประเภทต่อไปนี้: รหัสเลขฐานสองที่มีอัตราคงที่ ถอดรหัสได้จากเศษส่วนคงที่ของข้อผิดพลาดบางส่วนโดยตัวถอดรหัสที่สามารถนำไปใช้เป็นวงจรบูลีนขนาดโดยที่คือความยาวการเข้ารหัสNO ( N)O(N)O(N)ยังไม่มีข้อความNN พื้นหลังบางส่วน: Spielman ในรหัสLinear-Time เข้ารหัสและแก้ไขข้อผิดพลาดที่ถอดรหัสได้ให้รหัสถอดรหัสในเวลาในรูปแบบ RAM ต้นทุนลอการิทึมและถอดรหัสได้โดยวงจรขนาดO ( N log N )O ( N)O(N)O(N)O ( Nเข้าสู่ระบบยังไม่มีข้อความ)O(ยังไม่มีข้อความเข้าสู่ระบบ⁡ยังไม่มีข้อความ)O(N \log N) Guruswami และ Indyk ให้การก่อสร้างที่ปรับปรุงในLinear Time Encodable / Decodable Code ด้วยอัตราใกล้สุด พวกเขาไม่ได้วิเคราะห์ความซับซ้อนของวงจรที่เกิด แต่ผมเชื่อว่ามันเป็นยังn)Θ ( Nเข้าสู่ระบบยังไม่มีข้อความ)Θ(ยังไม่มีข้อความเข้าสู่ระบบ⁡ยังไม่มีข้อความ)\Theta(N \log N) ขอบคุณล่วงหน้า!

27 co.combinatorics  it.information-theory  coding-theory 

รหัส Huffman สำหรับการกระจายความน่าจะเป็นpppเป็นรหัสคำนำหน้าด้วยขั้นต่ำถัวเฉลี่ยถ่วงน้ำหนักความยาว codeword ∑piℓi∑piℓi\sum p_i \ell_iที่ℓiℓi\ell_iคือความยาวของiii TH codword มันเป็นทฤษฎีบทที่รู้จักกันดีว่าความยาวเฉลี่ยต่อสัญลักษณ์ของรหัส Huffman อยู่ระหว่างH(p)H(p)H(p)และH(p)+1H(p)+1H(p)+1 , ที่H(p)=−∑ipilog2piH(p)=−∑ipilog2⁡piH(p) = -\sum_i \, p_i \log_2 p_iคือเอนโทรปีของ Shannon ของการแจกแจงความน่าจะเป็น ตัวอย่างที่ไม่ดีของบัญญัติซึ่งความยาวเฉลี่ยเกินกว่าเอนโทรปีของแชนนอนเกือบ 1 คือการแจกแจงความน่าจะเป็นเช่น{.999,.001}{.999,.001}\{.999, .001\}โดยที่เอนโทรปีมีค่าเกือบ 0 และความยาว codeword เฉลี่ยคือ 1 ระหว่างเอนโทรปีและความยาว codeword เกือบ1111 แต่จะเกิดอะไรขึ้นเมื่อมีการจำกัดความน่าจะเป็นที่ใหญ่ที่สุดในการแจกแจงความน่าจะเป็น ตัวอย่างเช่นสมมติว่าความน่าจะเป็นทั้งหมดน้อยกว่า1212\frac{1}{2} . ช่องว่างที่ใหญ่ที่สุดที่ฉันสามารถหาได้ในกรณีนี้คือการแจกแจงความน่าจะเป็นเช่น{.499,.499,.002}{.499,.499,.002}\{.499, .499, .002\}ซึ่งเอนโทรปีมีค่ามากกว่า 1 เล็กน้อยและความยาว codeword เฉลี่ยน้อยกว่า 1.5 เล็กน้อยทำให้ช่องว่างใกล้เข้ามา0.50.50.5. นี่เป็นสิ่งที่ดีที่สุดที่คุณสามารถทำได้หรือไม่? คุณสามารถให้ขอบเขตบนของช่องว่างที่น้อยกว่า 1 สำหรับกรณีนี้ได้หรือไม่? …

21 optimization  it.information-theory  coding-theory 

ในทฤษฎีข้อมูลควอนตัมระยะห่างระหว่างสองช่องควอนตัมมักถูกวัดโดยใช้บรรทัดฐานเพชร นอกจากนี้ยังมีอีกหลายวิธีในการวัดระยะทางระหว่างสองสถานะควอนตัมเช่นระยะการติดตามความเที่ยงตรง ฯลฯJamiołkowski isomorphismเป็นคู่ระหว่างช่องควอนตัมและสถานะควอนตัม นี่เป็นเรื่องที่น่าสนใจสำหรับฉันอย่างน้อยที่สุดเพราะบรรทัดฐานของเพชรนั้นยากที่จะคำนวณได้และJamiołkowski isomorphism ก็ดูเหมือนจะบ่งบอกความสัมพันธ์ระหว่างการวัดระยะห่างของช่องควอนตัมและสถานะควอนตัม ดังนั้นคำถามของฉันคือสิ่งนี้: มีความสัมพันธ์ที่รู้จักกันระหว่างระยะทางในบรรทัดฐานเพชรและระยะห่างระหว่างรัฐที่เกี่ยวข้อง (ในบางวัด)?

19 quantum-computing  it.information-theory  quantum-information 

ความซับซ้อนของข้อมูลเป็นเครื่องมือที่มีประโยชน์มากในการสื่อสารที่ซับซ้อนส่วนใหญ่ใช้เพื่อลดความซับซ้อนของการสื่อสารของปัญหาการกระจาย มีความซับซ้อนของข้อมูลแบบอะนาล็อกสำหรับความซับซ้อนของแบบสอบถามหรือไม่ มีความคล้ายคลึงกันระหว่างความซับซ้อนของแบบสอบถามและความซับซ้อนของการสื่อสาร บ่อยครั้ง (แต่ไม่เสมอไป!) ขอบเขตล่างในโมเดลหนึ่งจะถูกแปลเป็นขอบเขตล่างในโมเดลอื่น บางครั้งการแปลนี้ค่อนข้างไม่น่าสนใจ มีความคิดเกี่ยวกับความซับซ้อนของข้อมูลที่มีประโยชน์ในการลดความซับซ้อนของการสืบค้นของปัญหาหรือไม่? การผ่านครั้งแรกดูเหมือนว่าบ่งชี้ว่าความซับซ้อนของข้อมูลนั้นไม่มีประโยชน์มากนัก ตัวอย่างเช่นความซับซ้อนของแบบสอบถามในการคำนวณ OR ของบิตคือΩ ( N )สำหรับอัลกอริทึมแบบสุ่มและΩ ( √)ยังไม่มีข้อความยังไม่มีข้อความNΩ ( N)Ω(ยังไม่มีข้อความ)\Omega(N)สำหรับอัลกอริทึมควอนตัมในขณะที่การปรับความคิดที่ซับซ้อนที่สุดของข้อมูลที่ซับซ้อนแสดงให้เห็นว่าข้อมูลที่เรียนรู้โดยอัลกอริทึมการสืบค้นใด ๆ ที่มากที่สุดO(logN)(เพราะอัลกอริทึมหยุดเมื่อเห็น1ครั้งแรกในอินพุต)Ω ( N--√)Ω(ยังไม่มีข้อความ)\Omega(\sqrt{N})O ( บันทึกยังไม่มีข้อความ)O(เข้าสู่ระบบ⁡ยังไม่มีข้อความ)O(\log N)111

15 it.information-theory  communication-complexity  query-complexity 

ในการใช้ตัวกรอง Bloom วิธีการดั้งเดิมเรียกใช้ฟังก์ชันแฮชอิสระหลายตัว Kirsch และ Mitzenmacherแสดงให้เห็นว่าคุณต้องการเพียงสองจริง ๆ เท่านั้นและสามารถสร้างส่วนที่เหลือเป็นชุดเชิงเส้นของมัน คำถามของฉันคืออะไรจริง ๆ แล้วอะไรคือความแตกต่างระหว่างฟังก์ชันแฮชสองอันกับอันที่สองมีเอนโทรปี สิ่งนี้มาจากการดูสิ่งที่คุณทำกับผลลัพธ์ของฟังก์ชันแฮช: คุณจะใช้ค่าแฮชแบบ 64 บิตและปรับให้เท่าขนาดของเวกเตอร์บิตซึ่งอาจเล็กกว่า 2 อย่างมาก64 . นี่เป็นการเปลี่ยนแปลงที่ทำให้สูญเสียเอนโทรปีอย่างชัดเจน (ยกเว้นในกรณีที่ขนาดแฮชและความจุของตัวกรองของคุณไม่ตรงกัน) สมมติว่าตัวกรองของฉันมีรายการน้อยกว่า 2 32สิ่งที่จะหยุดฉันจากการแยกค่าแฮช 64- บิตของฉันเป็นสองแฮช 32- บิตสองและการรวมกันเชิงเส้นของเหล่านั้น หรือใช้เพื่อหว่าน PRNG กล่าวอีกนัยหนึ่งฉันต้องทราบข้อมูลจริงเพียงใดเกี่ยวกับองค์ประกอบที่ฉันแทรกลงในตัวกรองแต่ละชุดของ Bloom เพื่อให้แน่ใจว่ามีอัตราบวกเป็นเท็จมาตรฐาน หรือโดยทั่วไปความสัมพันธ์ระหว่างว่าฉันสามารถแยกแยะองค์ประกอบต่าง ๆ ได้ดีเพียงใด (ฉันใช้เพื่ออธิบายองค์ประกอบเหล่านี้กี่บิต) กับตัวกรอง Bloom ของฉันทำงานอย่างไร ดูเหมือนว่าฉันจะไปได้ด้วยบิตสำหรับขนาดฟิลเตอร์ของmหรือเท่ากับ2 ( lg ( - n ln p ) - 2 …

15 ds.data-structures  it.information-theory  hash-function 

พวกเราส่วนใหญ่คุ้นเคยกับ - หรืออย่างน้อยก็เคยได้ยิน - เอนโทรปีของแชนนอนของตัวแปรสุ่ม, H(X)=−E[logp(X)]H(X)=−E[log⁡p(X)]H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr]และมาตรการทางข้อมูลที่เกี่ยวข้องกับทฤษฎีเช่นเอนโทรปีสัมพัทธ์ ข้อมูลร่วมกันและอื่น ๆ มีอีกสองสามมาตรการของเอนโทรปีที่ใช้กันทั่วไปในทฤษฎีวิทยาศาสตร์คอมพิวเตอร์และทฤษฎีสารสนเทศเช่น min-entropy ของตัวแปรสุ่ม ฉันเริ่มเห็นเอนโทรปีของ Renyi ที่เรียกว่าเหล่านี้บ่อยขึ้นเมื่อฉันอ่านวรรณกรรม พวกเขาวางแนวเอนโทรปีของแชนนอนและมินเอนโทรปีและในความเป็นจริงได้ให้สเปกตรัมทั้งหมดของการวัดเอนโทรปีของตัวแปรสุ่ม ฉันทำงานส่วนใหญ่ในพื้นที่ของข้อมูลควอนตัมซึ่งรุ่นควอนตัมของ Renyi Entropy ก็ถือว่าค่อนข้างบ่อยเช่นกัน สิ่งที่ฉันไม่เข้าใจจริงๆคือเหตุผลว่าทำไมพวกเขาถึงมีประโยชน์ ฉันได้ยินมาว่าบ่อยครั้งที่พวกเขาทำงานกับการวิเคราะห์ได้ง่ายกว่าพูดว่าแชนนอน / ฟอนนอยมันน์เอนโทรปีหรือนาที - เอนโทรปี แต่พวกมันยังสามารถเชื่อมโยงกลับไปที่แชนนอนเอนโทรปี / นาที - เอนโทรปีได้เช่นกัน ทุกคนสามารถให้ตัวอย่าง (แบบคลาสสิกหรือควอนตัม) เมื่อใช้ Renropies เอนจีเป็น "สิ่งที่ถูกต้องที่จะทำ"? สิ่งที่ฉันกำลังมองหาคือ "hook hook" หรือ "template" สำหรับการรู้ว่าเมื่อใดฉันอาจต้องการใช้ Entropies Renyi ขอบคุณ!

14 it.information-theory  quantum-information 

แทรก: สมมติว่า (\x -> ⊥) = ⊥ :: A -> BETA-เท่าเทียมเรามี พิสูจน์: ⊥ = (\x -> ⊥ x)โดยกทพ. เทียบเท่าและ(\x -> ⊥ x) = (\x -> ⊥)โดยการลดภายใต้แลมบ์ดา รายงาน Haskell 2010 ส่วน 6.2 ระบุseqฟังก์ชันด้วยสองสมการ: seq :: a -> b -> b seq ⊥ b = ⊥ seq ab = b, ถ้า a …

14 domain-theory  haskell  extensionality  cc.complexity-theory  counting-complexity  fl.formal-languages  automata-theory  cc.complexity-theory  arithmetic-circuits  it.information-theory  shannon-entropy  graph-theory  pr.probability  graph-theory  approximation-algorithms  approximation-hardness  multicommodity-flow  cc.complexity-theory  ds.algorithms  np-hardness  polynomial-time  dynamic-programming  lo.logic  terminology 

เมื่อเร็ว ๆ นี้ฉันได้รับการจัดการกับอัลกอริทึมที่เกี่ยวข้องกับการบีบอัดและฉันสงสัยว่าเป็นอัตราส่วนการบีบอัดที่ดีที่สุดที่สามารถทำได้โดยการบีบอัดข้อมูลแบบไม่สูญเสีย จนถึงตอนนี้แหล่งเดียวที่ฉันสามารถหาได้ในหัวข้อนี้คือ Wikipedia: การบีบอัดข้อมูลแบบดิจิทัลที่ไม่สูญเสียข้อมูลเช่นวิดีโอภาพยนตร์ดิจิทัลและเสียงรักษาข้อมูลทั้งหมด แต่ไม่ค่อยสามารถทำได้ดีกว่าการบีบอัด 1: 2เนื่องจากเอนโทรปีของข้อมูลที่แท้จริง น่าเสียดายที่บทความของ Wikipediaไม่มีข้อมูลอ้างอิงหรือข้อมูลอ้างอิงเพื่อสนับสนุนการอ้างสิทธิ์นี้ ฉันไม่ใช่ผู้เชี่ยวชาญด้านการบีบอัดข้อมูลดังนั้นฉันขอขอบคุณข้อมูลใด ๆ ที่คุณสามารถให้ในหัวข้อนี้หรือถ้าคุณสามารถชี้ให้ฉันไปยังแหล่งที่เชื่อถือได้มากกว่า Wikipedia

14 it.information-theory  data-streams 

อัลกอริทึม DEFLATE ยอดนิยมใช้การเข้ารหัส Huffman ที่ด้านบนของ Lempel-Ziv โดยทั่วไปถ้าเรามีแหล่งข้อมูลแบบสุ่ม (= 1 บิตเอนโทรปี / บิต) ไม่มีการเข้ารหัสรวมถึง Huffman มีแนวโน้มที่จะบีบอัดโดยเฉลี่ย ถ้า Lempel-Ziv นั้น "สมบูรณ์แบบ" (ซึ่งเป็นแนวทางสำหรับแหล่งเรียนส่วนใหญ่เมื่อความยาวสิ้นสุดลง) การเข้ารหัสโพสต์ด้วย Huffman จะไม่ช่วยอะไรเลย แน่นอน Lempel-Ziv ยังไม่สมบูรณ์แบบอย่างน้อยก็มีความยาว จำกัด และยังมีความเหลือเฟืออยู่บ้าง นี่คือความซ้ำซ้อนที่เหลืออยู่ซึ่งการเข้ารหัส Huffman บางส่วนกำจัดและปรับปรุงการบีบอัด คำถามของฉันคือ: เหตุใดจึงเหลือความซ้ำซ้อนที่เหลืออยู่นี้สำเร็จโดยการเข้ารหัส Huffman และไม่ใช่ LZ คุณสมบัติของ Huffman เทียบกับ LZ ทำให้สิ่งนี้เกิดขึ้นได้อย่างไร จะเรียกใช้ LZ อีกครั้ง (นั่นคือเข้ารหัสข้อมูลที่บีบอัด LZ ด้วย LZ เป็นครั้งที่สอง) ทำสิ่งที่คล้ายกันหรือไม่ …

13 ds.algorithms  it.information-theory  coding-theory  encoding 

มีนักวิจัยแสดงให้เห็นว่าการลบบิตต้องใช้พลังงานตอนนี้มีงานวิจัยใดที่ทำเกี่ยวกับการใช้พลังงานเฉลี่ยของอัลกอริทึมที่มีความซับซ้อนในการคำนวณหรือไม่? ฉันเดาว่าความซับซ้อนในการคำนวณมีความสัมพันธ์กับการใช้พลังงานโดยเฉลี่ยหวังว่าฉันจะได้รับคำตอบที่นี่F(n)F(n)F(n)F(n)F(n)F(n)

12 cc.complexity-theory  reference-request  it.information-theory  quantum-information  statistical-physics 

ฉันกำลังมองหาที่ถูกผูกไว้บนเอนโทรปีของผลรวมของสองตัวแปรสุ่มอิสระโดยสิ้นเชิงและYธรรมชาติแต่นำไปใช้กับผลรวมของตัวแปรสุ่มอิสระ Bernoulliนี้จะช่วยให้ กล่าวอีกนัยหนึ่งขอบเขตเติบโตขึ้นเป็นเส้นตรงด้วยเมื่อใช้ซ้ำ ๆ อย่างไรก็ตามได้รับการสนับสนุนในชุดของขนาดดังนั้นเอนโทรปีของมันคือที่มากที่สุดn ในความเป็นจริงจากทฤษฎีบทขีด จำกัด กลางฉันเดาว่าH(X+Y)H(X+Y)H(X+Y)XXXYYYH(X+Y)≤H(X)+H(Y) (∗)H(X+Y)≤H(X)+H(Y) (∗)H(X+Y) \leq H(X) + H(Y) ~~~~~~(*)nnnZ1,…,ZnZ1,…,ZnZ_1, \ldots, Z_nH(Z1+Z2+⋯+Zn)≤nH(Z1)H(Z1+Z2+⋯+Zn)≤nH(Z1) H(Z_1 + Z_2 + \cdots + Z_n) \leq n H(Z_1) nnnZ1+⋯ZnZ1+⋯ZnZ_1 + \cdots Z_nnnnlognlog⁡n\log nH(Z1+⋯+Zn)≈(1/2)lognH(Z1+⋯+Zn)≈(1/2)log⁡nH(Z_1 + \cdots + Z_n) \approx (1/2) \log nเนื่องจากมันได้รับการสนับสนุนหลักในชุดของขนาด{n}n−−√n\sqrt{n} ในระยะสั้นขอบเขตมีจำนวนมากกว่าในสถานการณ์นี้เล็กน้อย จากการอ่านโพสต์บล็อกนี้ฉันรวบรวมขอบเขตทุกประเภทในเป็นไปได้ มีขอบเขตที่ให้ asymptotics ที่ถูกต้อง (หรืออย่างน้อยที่สุด, asymptotics ที่สมเหตุสมผลมากขึ้น) เมื่อใช้ซ้ำกับผลรวมของตัวแปรสุ่มของ Bernoulli?(∗)(∗)(*)H(X+Y)H(X+Y)H(X+Y)

12 it.information-theory  shannon-entropy