คำถามติดแท็ก entropy

ความคิดนี้เกิดขึ้นกับฉันในขณะที่เด็กเรียนรู้ที่จะเขียนโปรแกรมและพบกับ PRNG เป็นครั้งแรก ฉันยังไม่รู้ว่ามันสมจริงแค่ไหน แต่ตอนนี้มีการแลกเปลี่ยนกองซ้อน นี่คือโครงร่างของอายุ 14 ปีสำหรับอัลกอริทึมการบีบอัดที่น่าทึ่ง: ใช้ PRNG และ seed ด้วย seed sเพื่อให้ได้ลำดับไบต์แบบสุ่มหลอกยาว ในการส่งลำดับนั้นไปยังบุคคลอื่นคุณต้องสื่อสารเพียงคำอธิบายของ PRNG เมล็ดที่เหมาะสมและความยาวของข้อความ สำหรับลำดับที่ยาวพอคำอธิบายนั้นจะสั้นกว่ามาก ตอนนี้สมมติว่าฉันสามารถกลับกระบวนการได้ เนื่องจากมีเวลาและทรัพยากรในการคำนวณเพียงพอฉันสามารถทำการค้นหาที่ดุร้ายและค้นหาเมล็ดพันธุ์ (และ PRNG หรือกล่าวอีกนัยหนึ่งว่า: โปรแกรม) ที่สร้างลำดับที่ฉันต้องการ (สมมติว่ารูปแมวน่ารักกำลังซุกซน) PRNG ทำซ้ำหลังจากสร้างบิตจำนวนมากพอ แต่เมื่อเทียบกับรอบ "ปกติ" ข้อความของฉันค่อนข้างสั้นดังนั้น dos นี้ดูเหมือนจะไม่เป็นปัญหามากนัก Voila วิธีบีบอัดข้อมูล ดังนั้นสมมติว่า: ลำดับที่ฉันต้องการบีบอัดมี จำกัด และทราบล่วงหน้า ฉันไม่สั้นเรื่องเงินสดหรือเวลา (แค่ต้องการจำนวน จำกัด ของทั้งสองอย่าง) ฉันอยากรู้: มีข้อบกพร่องพื้นฐานในการให้เหตุผลเบื้องหลังโครงการหรือไม่ วิธีมาตรฐานในการวิเคราะห์การทดลองทางความคิดเหล่านี้คืออะไร สรุป บ่อยครั้งที่คำตอบที่ดีไม่เพียง แต่ชัดเจนคำตอบเท่านั้น …

38 information-theory  randomness  data-compression  pseudo-random-generators  entropy 

ตามที่Wikipedia : เอนโทรปีของแชนนอนวัดข้อมูลที่มีอยู่ในข้อความซึ่งตรงข้ามกับส่วนของข้อความที่ถูกกำหนด (หรือคาดเดาได้) ตัวอย่างหลัง ได้แก่ ความซ้ำซ้อนในโครงสร้างภาษาหรือคุณสมบัติทางสถิติที่เกี่ยวข้องกับความถี่ที่เกิดขึ้นของตัวอักษรคู่หรือคำคู่สามเท่าเป็นต้น ดังนั้นเอนโทรปีคือการวัดปริมาณข้อมูลที่มีอยู่ในข้อความ เอนโทรปี coders ถูกใช้เพื่อ losslessy บีบอัดข้อความเช่นนี้ไปยังจำนวนบิตขั้นต่ำที่จำเป็นในการแสดงมัน (เอนโทรปี) สำหรับฉันแล้วดูเหมือนว่าเอนโค้ดปีที่สมบูรณ์แบบจะเป็นสิ่งที่จำเป็นสำหรับการบีบอัดข้อความแบบไม่สูญเสียให้มากที่สุดเท่าที่จะทำได้ อัลกอริธึมการบีบอัดจำนวนมากใช้ขั้นตอนก่อนที่จะทำการเข้ารหัสเอนโทรปีเพื่อลดการส่งข้อความ ตามที่วิกิพีเดียภาษาเยอรมัน Entropiekodierer werden häufig mit anderen Kodierern kombiniert. คลิกที่นี่เพื่อดูข้อมูลเพิ่มเติมเกี่ยวกับ Verfahren dazu, Entropie der Daten zu verringern เป็นภาษาอังกฤษ: เอนโทรปีโคเดอร์มักจะถูกรวมเข้ากับเอนโค้ดเดอร์อื่น ๆ ขั้นตอนก่อนหน้านี้ทำหน้าที่ลดปริมาณข้อมูลของเอนโทรปี ie bzip2 ใช้ Burrows-Wheeler-Transform แล้วตามด้วย Move-to-Front-Transform ก่อนที่จะใช้การเข้ารหัสแบบเอนโทรปี (Huffman การเข้ารหัสในกรณีนี้) ขั้นตอนเหล่านี้ลดความเป็นเอนโทรปีของข้อความซึ่งจะลดปริมาณข้อมูลที่มีอยู่ในข้อความหรือไม่ ดูเหมือนจะขัดแย้งกับฉันเพราะนั่นหมายความว่าข้อมูลสูญหายระหว่างการบีบอัดป้องกันการบีบอัดแบบไม่สูญเสีย หรือพวกเขาเพียงแปลงข้อความเพื่อปรับปรุงประสิทธิภาพของอัลกอริทึมการเข้ารหัสเอนโทรปี? หรือเอนโทรปีไม่สอดคล้องกับปริมาณข้อมูลในข้อความโดยตรงหรือไม่?

35 information-theory  data-compression  entropy 

บอกว่าฉันต้องจำลองการกระจายแบบไม่ต่อเนื่องดังนี้ P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} วิธีที่ชัดเจนที่สุดคือการวาดบิตสุ่มและตรวจสอบว่าทั้งหมดนั้นเท่ากับ (หรือ ) อย่างไรก็ตามทฤษฎีสารสนเทศกล่าวNNN000111 S=−∑iPilogPi=−12Nlog12N−(1−12N)log(1−12N)=12Nlog2N+(1−12N)log2N2N−1→0S=−∑iPilog⁡Pi=−12Nlog⁡12N−(1−12N)log⁡(1−12N)=12Nlog⁡2N+(1−12N)log⁡2N2N−1→0 \begin{align} S & = - \sum_{i} P_i \log{P_i} \\ & = - \frac{1}{2^N} \log{\frac{1}{2^N}} - \left(1 - \frac{1}{2^N}\right) …

31 algorithms  information-theory  randomness  pseudo-random-generators  entropy 

อลันทัวริงที่นำเสนอแบบจำลองสำหรับเครื่อง (เครื่องทัวริง TM) ซึ่งคำนวณ (ตัวเลขฟังก์ชั่น, ฯลฯ ) และได้รับการพิสูจน์ลังเลทฤษฎีบท TM เป็นแนวคิดที่เป็นนามธรรมของเครื่อง (หรือเครื่องยนต์ถ้าคุณต้องการ) ทฤษฎีบท Halting เป็นผลลัพธ์ที่เป็นไปไม่ได้ Carnot Engine (CE) เป็นแนวคิดที่เป็นนามธรรมของเครื่องยนต์ความร้อนและ Carnot พิสูจน์ทฤษฎีบท Carnotซึ่งเป็นไปไม่ได้อีกประการหนึ่งที่เกี่ยวข้องกับเทอร์โมไดนามิกของเอนโทรปี ระบุว่า TM สามารถใช้งานได้จริง (อย่างน้อยเท่ากับ CE หรืออาจจะไม่?) มีการทำแผนที่หรือการแสดงหรือ "isomorphism" ของ TM หรือ CE ซึ่งสามารถรวมผลลัพธ์เหล่านี้เข้าด้วยกัน มีสูตรสูตรของ TM และทฤษฎีบท Halting ในแง่ของทฤษฎีข้อมูลอัลกอริทึม (เช่น Chaitin, Kolmogorov ฯลฯ ) และเอนโทรปี (ในบริบทนั้น) คำถามถามถึงแนวคิดทางกายภาพของเอนโทรปี (ถ้าอยู่ในกระบวนการของเอนโทรปีของอัลกอริธึมที่อาจเกิดขึ้นมันก็ดี แต่มันไม่ใช่คำถามที่ถามอย่างแน่นอน) ท่านสามารถตรวจสอบอีกคำถามหนึ่งใน …

31 turing-machines  halting-problem  entropy 

บางคนพูดว่าต่อไปนี้: ใครก็ตามที่พยายามสร้างตัวเลขสุ่มด้วยวิธีการที่กำหนดขึ้นมาแน่นอนว่าอยู่ในสภาพบาป นั่นหมายความว่าคุณไม่สามารถสร้างตัวเลขสุ่มจริงด้วยคอมพิวเตอร์ได้ และเขาบอกว่าเมื่อคอมพิวเตอร์มีขนาดเท่ากับไมโครโปรเซสเซอร์ Intel 8080 (ประมาณ 6,000 วาล์ว) คอมพิวเตอร์มีความซับซ้อนมากขึ้นและฉันเชื่อว่าคำสั่งของ von Von Neumann อาจไม่เป็นจริงอีกต่อไป พิจารณาว่าอัลกอริทึมที่ใช้งานซอฟต์แวร์เท่านั้นเป็นไปไม่ได้ พวกเขาทำงานบนฮาร์ดแวร์ทางกายภาพ เครื่องกำเนิดเลขสุ่มที่แท้จริงและแหล่งข้อมูลเอนโทรปีของพวกเขายังทำจากฮาร์ดแวร์ ส่วนของ Java นี้ใส่ลงในลูป: file.writeByte((byte) (System.nanoTime() & 0xff)); สามารถสร้างไฟล์ข้อมูลที่ฉันแสดงเป็นภาพ: คุณสามารถเห็นโครงสร้าง แต่มีการสุ่มมากมายเช่นกัน สิ่งที่น่าสนใจคือไฟล์ PNG นี้มีขนาด 232KB แต่มีพิกเซลสีเทาขนาด 250,000 พิกเซล ระดับการบีบอัด PNG สูงสุด นั่นเป็นเพียงอัตราส่วนการอัด 7% คือ ไม่สามารถบีบอัดได้ สิ่งที่น่าสนใจก็คือไฟล์นั้นมีเอกลักษณ์ ทุกรุ่นของไฟล์นี้มีรูปแบบที่แตกต่างกันเล็กน้อยและมีความสามารถในการบีบอัดประมาณ 7% ฉันเน้นสิ่งนี้ตามที่สำคัญต่อการโต้แย้งของฉัน นั่นคือเอนโทรปี ~ 7bits / byte …

25 randomness  data-compression  entropy  random-number-generator 

บน Linux ไฟล์/dev/randomและ/dev/urandomไฟล์คือแหล่งข้อมูลการบล็อกและไม่บล็อก (ตามลำดับ) ของการสุ่มหลอก พวกเขาสามารถอ่านเป็นไฟล์ปกติ: $ hexdump /dev/random 0000000 28eb d9e7 44bb 1ac9 d06f b943 f904 8ffa 0000010 5652 1f08 ccb8 9ee2 d85c 7c6b ddb2 bcbe 0000020 f841 bd90 9e7c 5be2 eecc e395 5971 ab7f 0000030 864f d402 74dd 1aa8 925d 8a80 de75 a0e3 0000040 cb64 4422 02f7 0c50 …

19 operating-systems  cryptography  randomness  security  entropy 

คุณมีอาร์เรย์ขององค์ประกอบที่แตกต่างกันคุณสามารถเข้าถึงตัวเปรียบเทียบ (ฟังก์ชันกล่องดำที่รับสององค์ประกอบaและbและคืนค่าจริง iff a &lt; b ) และแหล่งบิตสุ่มอย่างแท้จริง (ฟังก์ชันกล่องดำไม่มีอาร์กิวเมนต์และคืนบิตสุ่มแบบสุ่มอย่างสม่ำเสมอ) พิจารณางานสองอย่างต่อไปนี้:nnnaaabbba&lt;ba&lt;ba < b อาร์เรย์ถูกเรียงในขณะนี้ ผลิตการเรียงสับเปลี่ยนที่เลือกแบบสุ่ม (หรือโดยประมาณอย่างสม่ำเสมอ) อาร์เรย์ประกอบด้วยการเรียงสับเปลี่ยนที่เลือกอย่างสม่ำเสมอโดยการสุ่มโดยธรรมชาติ สร้างอาร์เรย์ที่เรียงลำดับ คำถามของฉันคือ งานใดที่ต้องใช้พลังงานมากขึ้น ฉันไม่สามารถนิยามคำถามได้อย่างแม่นยำมากขึ้นเพราะฉันไม่รู้เกี่ยวกับการเชื่อมต่อระหว่างทฤษฎีสารสนเทศอุณหพลศาสตร์หรืออะไรก็ตามที่จำเป็นในการตอบคำถามนี้ อย่างไรก็ตามฉันคิดว่าคำถามสามารถสร้างได้อย่างชัดเจน (และหวังว่าจะมีคนช่วยฉันด้วยคำตอบนี้!) ตอนนี้อัลกอริทึมปรีชาของฉันคือพวกมันเท่ากัน ขอให้สังเกตว่าการเรียงลำดับทั้งหมดเป็นการสลับกลับกันและในทางกลับกัน การเรียงลำดับต้องใช้รถในขณะที่สับเพราะมันหยิบเปลี่ยนแปลงสุ่มจากn ! ตัวเลือกต้องใช้log n ! ≈ n log nบิตแบบสุ่ม ทั้งการสับและการเรียงต้องใช้n swapslogn!≈nlognlog⁡n!≈nlog⁡n\log n! \approx n \log nn!n!n!logn!≈nlognlog⁡n!≈nlog⁡n\log n! \approx n \log nnnn อย่างไรก็ตามฉันรู้สึกว่าควรมีคำตอบที่ใช้หลักการของ Landauerซึ่งบอกว่าต้องใช้พลังงานในการ "ลบ" เล็กน้อย ฉันคิดว่านี่หมายถึงการเรียงลำดับอาร์เรย์นั้นยากกว่าเพราะต้องใช้ …

18 algorithms  algorithm-analysis  information-theory  permutations  entropy 

กำหนดสตริงของค่าB C , นอนส์เอนโทรปีในฐานล็อก 2มาถึง0.922 จากสิ่งที่ฉันเข้าใจในฐาน 2 Shannon Entropy ได้ปัดเศษขึ้นเป็นจำนวนบิตขั้นต่ำในไบนารีเพื่อแสดงค่าเดียวAAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 นำมาจากการแนะนำในหน้าวิกิพีเดียนี้: https://en.wikipedia.org/wiki/Entropy_%28information_theory%29 ดังนั้นค่าสามค่าสามารถแทนด้วยหนึ่งบิตได้อย่างไร AAA อาจเท่ากับ 111 , BBB อาจเป็น 000 ; แต่คุณจะเป็นตัวแทนของ CCCอย่างไร? ขอบคุณล่วงหน้า.

14 information-theory  mathematical-foundations  entropy  binary 

ที่ทำงานฉันได้รับมอบหมายให้อนุมานข้อมูลบางประเภทเกี่ยวกับภาษาแบบไดนามิก ฉันเขียนลำดับของข้อความไปยังletนิพจน์ที่ซ้อนกันเช่น: return x; Z =&gt; x var x; Z =&gt; let x = undefined in Z x = y; Z =&gt; let x = y in Z if x then T else F; Z =&gt; if x then { T; Z } else { F; Z } เนื่องจากฉันเริ่มต้นจากข้อมูลประเภททั่วไปและพยายามอนุมานประเภทที่เฉพาะเจาะจงมากขึ้นตัวเลือกที่เป็นธรรมชาติคือประเภทการปรับแต่ง ตัวอย่างเช่นตัวดำเนินการตามเงื่อนไขส่งคืนการรวมของประเภทของสาขาที่เป็นจริงและเท็จ …

11 programming-languages  logic  type-theory  type-inference  machine-learning  data-mining  clustering  order-theory  reference-request  information-theory  entropy  algorithms  algorithm-analysis  space-complexity  lower-bounds  formal-languages  computability  formal-grammars  context-free  parsing  complexity-theory  time-complexity  terminology  turing-machines  nondeterminism  programming-languages  semantics  operational-semantics  complexity-theory  time-complexity  complexity-theory  reference-request  turing-machines  machine-models  simulation  graphs  probability-theory  data-structures  terminology  distributed-systems  hash-tables  history  terminology  programming-languages  meta-programming  terminology  formal-grammars  compilers  algorithms  search-algorithms  formal-languages  regular-languages  complexity-theory  satisfiability  sat-solvers  factoring  algorithms  randomized-algorithms  streaming-algorithm  in-place  algorithms  numerical-analysis  regular-languages  automata  finite-automata  regular-expressions  algorithms  data-structures  efficiency  coding-theory  algorithms  graph-theory  reference-request  education  books  formal-languages  context-free  proof-techniques  algorithms  graph-theory  greedy-algorithms  matroids  complexity-theory  graph-theory  np-complete  intuition  complexity-theory  np-complete  traveling-salesman  algorithms  graphs  probabilistic-algorithms  weighted-graphs  data-structures  time-complexity  priority-queues  computability  turing-machines  automata  pushdown-automata  algorithms  graphs  binary-trees  algorithms  algorithm-analysis  spanning-trees  terminology  asymptotics  landau-notation  algorithms  graph-theory  network-flow  terminology  computability  undecidability  rice-theorem  algorithms  data-structures  computational-geometry 

ในความพยายามที่จะเข้าใจความสัมพันธ์ระหว่าง Huffman Coding, เลขคณิต Coding และช่วงการเข้ารหัสที่ฉันเริ่มที่จะคิดว่าข้อบกพร่องของ Huffman การเข้ารหัสจะเกี่ยวข้องกับปัญหาของเศษส่วนบิตบรรจุ นั่นคือสมมติว่าคุณมี 240 ค่าที่เป็นไปได้สำหรับสัญลักษณ์และจำเป็นต้องเข้ารหัสนี้เป็นบิตคุณจะติดกับ 8 บิตต่อสัญลักษณ์แม้ว่าคุณไม่ต้องการ "เต็ม" 8 เนื่องจาก 8 สามารถแสดง 256 ค่าที่เป็นไปได้ ต่อสัญลักษณ์ วิธีแก้ปัญหานี้คือสิ่งที่ฉันเคยเห็นเรียกว่า "การบรรจุบิตเศษส่วน" ซึ่งคุณสามารถ "bitshift" โดยไม่ใช้กำลังสองโดยใช้การคูณ เช่นเดียวกับการเพิ่มทวีคูณของ powers-of-two x * 2 == x &lt;&lt; 1และx * 4 == x &lt;&lt; 2สำหรับพลังทั้งหมดของสองดังนั้นคุณสามารถ "shift" ด้วย non-power-of-2 โดยการคูณแทนและแพ็คในสัญลักษณ์เศษส่วนขนาดบิต . ปัญหาคล้ายกับการเข้ารหัส Huffman: คุณต้องจบด้วยรหัสที่ต้องมีความยาวไม่เป็นเศษส่วนขนาดบิตดังนั้นจึงมีการบรรจุที่ไม่มีประสิทธิภาพ อย่างไรก็ตามคุณไม่สามารถใช้โซลูชันของ …

11 information-theory  data-compression  coding-theory  entropy  huffman-coding 

ฉันมีปัญหาการเพิ่มประสิทธิภาพใน constrainted (แชนนอน) เมทริกซ์เอนโทรปี ) เมทริกซ์Aสามารถเขียนเป็นผลรวมของเมทริกซ์อันดับ 1 ของรูปแบบ[ v i( s U เมตร( e n t r ( e i g ( A ) ) ) )(sum(entr(eig(A))))\mathtt{(sum(entr(eig(A))))}AAAโดยที่ v iเป็นเวกเตอร์ที่ได้รับการทำให้เป็นมาตรฐาน สัมประสิทธิ์ของเมทริกซ์อันดับหนึ่งเป็นค่าที่ไม่รู้จักซึ่งเราปรับให้เหมาะสมและจะต้องมีขนาดใหญ่กว่าศูนย์และรวมได้สูงสุด 1[vivTi][viviT][v_i\,v_i^T]viviv_i ในรูปแบบ CVX คล้ายปัญหาเกิดขึ้นดังนี้: ตัวแปรที่กำหนดc(n)c(n)\mathtt{c(n)} minimizesum(entr(eig(A)))minimizesum(entr(eig(A)))\text{minimize} \qquad \mathtt{sum(entr(eig(A)))} 0subject toA∑cici=∑civivTi=1≥0subject toA=∑civiviT∑ci=1ci≥0\begin{align} \text{subject to} \qquad A &= \sum c_i v_i v_i^T\\ …

10 optimization  entropy 

ตอนนี้ฉันกำลังพยายามวัดข้อมูลที่ไม่ซ้ำซ้อน (จริง) ที่ไฟล์ของฉันมีอยู่ บางคนเรียกสิ่งนี้ว่าปริมาณของเอนโทรปี แน่นอนว่ามีมาตรฐาน p (x) log {p (x)} แต่ฉันคิดว่าแชนนอนเป็นเพียงการพิจารณาจากมุมมองของการส่งผ่านแม้ว่าช่องสัญญาณ ดังนั้นสูตรต้องมีขนาดบล็อก (พูดเป็นบิตโดยทั่วไป 8) สำหรับไฟล์ขนาดใหญ่การคำนวณนี้ค่อนข้างไร้ประโยชน์โดยไม่คำนึงถึงความสัมพันธ์ระยะสั้นและระยะยาวระหว่างสัญลักษณ์ มีต้นไม้ไบนารีและวิธีการ Ziv-Lempel แต่สิ่งเหล่านี้ดูเหมือนเป็นเรื่องวิชาการในธรรมชาติ ความสามารถในการบีบอัดก็ถือได้ว่าเป็นมาตรวัดของเอนโทรปี สำหรับไฟล์ hiss.wav ของฉัน ต้นฉบับ hiss.wav = 5.2 MB เอนโทรปีผ่านสูตรแชนนอน = 4.6 MB hiss.zip = 4.6 MB hiss.7z = 4.2 MB hiss.wav.fp8 = 3.3 MB มีวิธีการปฏิบัติที่สมเหตุสมผลในการวัดปริมาณเอนโทรปีใน hiss.wav หรือไม่?

9 entropy