คำถามติดแท็ก information-theory

ที่ทำงานฉันได้รับมอบหมายให้อนุมานข้อมูลบางประเภทเกี่ยวกับภาษาแบบไดนามิก ฉันเขียนลำดับของข้อความไปยังletนิพจน์ที่ซ้อนกันเช่น: return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let x = y in Z if x then T else F; Z => if x then { T; Z } else { F; Z } เนื่องจากฉันเริ่มต้นจากข้อมูลประเภททั่วไปและพยายามอนุมานประเภทที่เฉพาะเจาะจงมากขึ้นตัวเลือกที่เป็นธรรมชาติคือประเภทการปรับแต่ง ตัวอย่างเช่นตัวดำเนินการตามเงื่อนไขส่งคืนการรวมของประเภทของสาขาที่เป็นจริงและเท็จ …

11 programming-languages  logic  type-theory  type-inference  machine-learning  data-mining  clustering  order-theory  reference-request  information-theory  entropy  algorithms  algorithm-analysis  space-complexity  lower-bounds  formal-languages  computability  formal-grammars  context-free  parsing  complexity-theory  time-complexity  terminology  turing-machines  nondeterminism  programming-languages  semantics  operational-semantics  complexity-theory  time-complexity  complexity-theory  reference-request  turing-machines  machine-models  simulation  graphs  probability-theory  data-structures  terminology  distributed-systems  hash-tables  history  terminology  programming-languages  meta-programming  terminology  formal-grammars  compilers  algorithms  search-algorithms  formal-languages  regular-languages  complexity-theory  satisfiability  sat-solvers  factoring  algorithms  randomized-algorithms  streaming-algorithm  in-place  algorithms  numerical-analysis  regular-languages  automata  finite-automata  regular-expressions  algorithms  data-structures  efficiency  coding-theory  algorithms  graph-theory  reference-request  education  books  formal-languages  context-free  proof-techniques  algorithms  graph-theory  greedy-algorithms  matroids  complexity-theory  graph-theory  np-complete  intuition  complexity-theory  np-complete  traveling-salesman  algorithms  graphs  probabilistic-algorithms  weighted-graphs  data-structures  time-complexity  priority-queues  computability  turing-machines  automata  pushdown-automata  algorithms  graphs  binary-trees  algorithms  algorithm-analysis  spanning-trees  terminology  asymptotics  landau-notation  algorithms  graph-theory  network-flow  terminology  computability  undecidability  rice-theorem  algorithms  data-structures  computational-geometry 

ในความพยายามที่จะเข้าใจความสัมพันธ์ระหว่าง Huffman Coding, เลขคณิต Coding และช่วงการเข้ารหัสที่ฉันเริ่มที่จะคิดว่าข้อบกพร่องของ Huffman การเข้ารหัสจะเกี่ยวข้องกับปัญหาของเศษส่วนบิตบรรจุ นั่นคือสมมติว่าคุณมี 240 ค่าที่เป็นไปได้สำหรับสัญลักษณ์และจำเป็นต้องเข้ารหัสนี้เป็นบิตคุณจะติดกับ 8 บิตต่อสัญลักษณ์แม้ว่าคุณไม่ต้องการ "เต็ม" 8 เนื่องจาก 8 สามารถแสดง 256 ค่าที่เป็นไปได้ ต่อสัญลักษณ์ วิธีแก้ปัญหานี้คือสิ่งที่ฉันเคยเห็นเรียกว่า "การบรรจุบิตเศษส่วน" ซึ่งคุณสามารถ "bitshift" โดยไม่ใช้กำลังสองโดยใช้การคูณ เช่นเดียวกับการเพิ่มทวีคูณของ powers-of-two x * 2 == x << 1และx * 4 == x << 2สำหรับพลังทั้งหมดของสองดังนั้นคุณสามารถ "shift" ด้วย non-power-of-2 โดยการคูณแทนและแพ็คในสัญลักษณ์เศษส่วนขนาดบิต . ปัญหาคล้ายกับการเข้ารหัส Huffman: คุณต้องจบด้วยรหัสที่ต้องมีความยาวไม่เป็นเศษส่วนขนาดบิตดังนั้นจึงมีการบรรจุที่ไม่มีประสิทธิภาพ อย่างไรก็ตามคุณไม่สามารถใช้โซลูชันของ …

11 information-theory  data-compression  coding-theory  entropy  huffman-coding 

ในทฤษฎีการเข้ารหัส 'วิธีที่ดีรหัสคือ' หมายความว่ามีกี่ข้อผิดพลาดของช่องที่สามารถแก้ไขได้หรือดีกว่าระดับเสียงรบกวนสูงสุดที่รหัสสามารถจัดการได้ เพื่อให้ได้รหัสที่ดีกว่ารหัสนั้นได้รับการออกแบบโดยใช้ตัวอักษรขนาดใหญ่ (แทนที่จะเป็นเลขฐานสอง) จากนั้นรหัสจะดีถ้าสามารถจัดการกับ "สัญลักษณ์" ที่มีอัตราผิดพลาดจำนวนมาก เหตุใดจึงไม่พิจารณาการโกง? ฉันหมายความว่าเราไม่ควรสนใจว่าจะเกิดอะไรขึ้นเมื่อเรา "แปล" สัญลักษณ์แต่ละตัวเป็นสตริงไบนารีหรือไม่ "rate of bit error" แตกต่างจาก rate ของ "symbol error" ยกตัวอย่างเช่นอัตราบิตข้อผิดพลาดไม่สามารถไปข้างต้นในขณะที่ 1/2 (ถ้าผมเข้าใจอย่างถูกต้อง) มีตัวอักษรขนาดใหญ่พอสัญลักษณ์ข้อผิดพลาดสามารถไปได้ถึง1-นี่คือเพราะเราเทียมจำกัด ช่องทางที่จะเปลี่ยนเฉพาะ "สัญลักษณ์" มากกว่าบิตหรือจะเป็นเพราะรหัสเป็นจริงดีกว่า?1 - ϵ1-ε1-\epsilon

10 information-theory  coding-theory 

ปัญหาคือการพิสูจน์หรือพิสูจน์หักล้างการดำรงอยู่ของ คCC, เซนต์, | c | =6,∀c∈C|c|=6,∀c∈C|c| = 6,\forall c\in C; | ค| =32|C|=32|C| = 32; d(คผม,คJ) ≥ 2 , 1 ≤ i &lt; j ≤ 32d(ci,cj)≥2,1≤i&lt;j≤32d(c_i,c_j)\geq2,1\leq i<j\leq32. (ddd ย่อมาจากระยะทาง hamming) ฉันพยายามสร้างรหัสที่น่าพอใจ สิ่งที่ดีที่สุดที่ฉันจะได้รับคือปล่อยให้ค=ค'×ค'C=C′×C′C = C'\times C'เรียงต่อกันของ ค'= { 000 , 011 , 110 , 101 }C′={000,011,110,101}C' = \{000,011,110,101\}ซึ่งมีขนาด 16 32 …

9 information-theory  coding-theory  encoding-scheme 

ข้อกำหนดของการเข้ารหัสที่จะนำหน้าเป็นผลลัพธ์ฟรีในต้นไม้ขนาดใหญ่เนื่องจากต้นไม้ต้องสมบูรณ์ มีเกณฑ์ที่การจัดเก็บข้อมูลที่ไม่มีการเข้ารหัสความยาวคงที่จะมีประสิทธิภาพมากกว่าการเข้ารหัสข้อมูลหรือไม่?

9 information-theory  data-compression