PRNG สามารถใช้ในการบีบอัดข้อมูลได้หรือไม่?

ความคิดนี้เกิดขึ้นกับฉันในขณะที่เด็กเรียนรู้ที่จะเขียนโปรแกรมและพบกับ PRNG เป็นครั้งแรก ฉันยังไม่รู้ว่ามันสมจริงแค่ไหน แต่ตอนนี้มีการแลกเปลี่ยนกองซ้อน

นี่คือโครงร่างของอายุ 14 ปีสำหรับอัลกอริทึมการบีบอัดที่น่าทึ่ง:

ใช้ PRNG และ seed ด้วย seed sเพื่อให้ได้ลำดับไบต์แบบสุ่มหลอกยาว ในการส่งลำดับนั้นไปยังบุคคลอื่นคุณต้องสื่อสารเพียงคำอธิบายของ PRNG เมล็ดที่เหมาะสมและความยาวของข้อความ สำหรับลำดับที่ยาวพอคำอธิบายนั้นจะสั้นกว่ามาก

ตอนนี้สมมติว่าฉันสามารถกลับกระบวนการได้ เนื่องจากมีเวลาและทรัพยากรในการคำนวณเพียงพอฉันสามารถทำการค้นหาที่ดุร้ายและค้นหาเมล็ดพันธุ์ (และ PRNG หรือกล่าวอีกนัยหนึ่งว่า: โปรแกรม) ที่สร้างลำดับที่ฉันต้องการ (สมมติว่ารูปแมวน่ารักกำลังซุกซน)

PRNG ทำซ้ำหลังจากสร้างบิตจำนวนมากพอ แต่เมื่อเทียบกับรอบ "ปกติ" ข้อความของฉันค่อนข้างสั้นดังนั้น dos นี้ดูเหมือนจะไม่เป็นปัญหามากนัก

Voila วิธีบีบอัดข้อมูล

ดังนั้นสมมติว่า:

• ลำดับที่ฉันต้องการบีบอัดมี จำกัด และทราบล่วงหน้า
• ฉันไม่สั้นเรื่องเงินสดหรือเวลา (แค่ต้องการจำนวน จำกัด ของทั้งสองอย่าง)

ฉันอยากรู้:

• มีข้อบกพร่องพื้นฐานในการให้เหตุผลเบื้องหลังโครงการหรือไม่
• วิธีมาตรฐานในการวิเคราะห์การทดลองทางความคิดเหล่านี้คืออะไร

สรุป

บ่อยครั้งที่คำตอบที่ดีไม่เพียง แต่ชัดเจนคำตอบเท่านั้น แต่สิ่งที่ฉันถามจริงๆคืออะไร ขอบคุณสำหรับความอดทนของทุกคนและคำตอบอย่างละเอียด

นี่คือความพยายามครั้งที่ n ของฉันโดยสรุปคำตอบ:

• มุม PRNG / เมล็ดไม่ได้มีส่วนช่วยอะไรเลยมันไม่มากไปกว่าโปรแกรมที่สร้างลำดับที่ต้องการเป็นเอาต์พุต
• หลักการของนกพิราบ: มีข้อความยาวมากกว่า> k มากกว่าที่มี (สร้างข้อความ) โปรแกรมความยาว <= k ดังนั้นลำดับบางอย่างก็ไม่สามารถส่งออกของโปรแกรมที่สั้นกว่าข้อความ
• เป็นมูลค่าการกล่าวขวัญว่าจำเป็นต้องมีการแก้ไขล่ามของโปรแกรม (ข้อความ) ล่วงหน้า และการออกแบบก็กำหนดส่วนย่อย (เล็ก ๆ ) ของข้อความที่สามารถสร้างขึ้นได้เมื่อได้รับข้อความความยาว k

ณ จุดนี้ความคิดเดิมของ PRNG นั้นตายไปแล้ว แต่มีคำถามสุดท้ายอย่างน้อยหนึ่งคำถามที่จะยุติ:

• ถาม: ฉันจะโชคดีและพบว่าข้อความยาว (แต่ จำกัด ) ของฉันเพิ่งเกิดขึ้นเป็นผลลัพธ์ของโปรแกรมความยาว <k บิต?

การพูดอย่างเคร่งครัดไม่ใช่เรื่องของโอกาสเนื่องจากต้องทราบความหมายของทุกข้อความ (โปรแกรม) ที่เป็นไปได้ล่วงหน้า อย่างใดอย่างหนึ่งก็คือความหมายของข้อความบางส่วนของ <k บิตหรือมันไม่ได้เป็น

หากฉันเลือกข้อความสุ่ม> = k บิตแบบสุ่ม (ทำไมฉันจะ?) ฉันจะไม่ว่าในกรณีใดมีความเป็นไปได้ที่จะส่งโดยใช้บิตน้อยกว่า k บิตและมีความมั่นใจเกือบจะไม่สามารถส่งได้ ใช้เลยน้อยกว่า k บิต

OTOH ถ้าฉันเลือกข้อความเฉพาะของ> = k บิตจากสิ่งที่เป็นผลลัพธ์ของโปรแกรมที่น้อยกว่า k บิต (สมมติว่ามีข้อความดังกล่าว) จากนั้นฉันก็ใช้ประโยชน์จากบิตที่ส่งไปยัง ผู้รับ (การออกแบบของล่าม) ซึ่งนับเป็นส่วนหนึ่งของข้อความที่ถ่ายโอน

สุดท้าย:

• ถาม: ธุรกิจความซับซ้อนของเอนโทรปี / kolmogorovทั้งหมดนี้คืออะไร?

ในที่สุดทั้งสองก็บอกเราเหมือนกันกับหลักการ (ง่ายกว่า) สำหรับช่องทางสื่อสาร (pigeonhole) บอกเราว่าเราสามารถบีบอัดได้มากแค่ไหนบางทีอาจจะไม่มากเลยบางคน แต่ไม่แน่นอนเท่าที่เราจะจินตนาการ

คุณมีรูปแบบการบีบอัดใหม่ที่ยอดเยี่ยมใช่มั้ย เอาล่ะแล้ว ...

♫มาเล่นเกมเอนโทรปีกันเถอะ♫

เพียงเพื่อจะง่ายฉันจะถือว่าคุณต้องการบีบอัดข้อความของว่าบิตสำหรับบางคนคงnอย่างไรก็ตามคุณต้องการที่จะใช้มันสำหรับข้อความที่ยาวขึ้นดังนั้นคุณต้องการวิธีที่จะทำให้ข้อความแรกของคุณแตกต่างจากข้อความที่สอง (มันไม่ชัดเจนในสิ่งที่คุณบีบอัด)$n$$n$

ดังนั้นโครงร่างของคุณคือการกำหนดตระกูลของ PRNG / เมล็ดเช่นถ้าคุณต้องการบีบอัดพูดจากนั้นคุณก็เขียนจำนวนซึ่งระบุบางเมล็ด (และแบ่งปัน) precomputed (และแบ่งปัน) เมล็ด / PRNG คำสั่งผสมที่สร้างบิตเหล่านั้นหลังจากแบบสอบถามAlright ความยาวบิตแตกต่างกันมีกี่สตริง? (คุณมีตัวเลือก n รายการระหว่างสองรายการคือและ ) นั่นหมายความว่าคุณจะต้องคำนวณคอมโบของคอมโบเหล่านี้ ไม่มีปัญหา. อย่างไรก็ตามคุณต้องเขียนเลขฐานสองเพื่อให้ฉันอ่าน จะใหญ่ขนาดไหน มันอาจใหญ่เท่ากับ$01000111001$$k$$n$$n$$2^n$$0$$1$$2^n$$k$$k$$2^n$. ฉันจะต้องกี่บิตที่จะเขียนออกมา ? n$2^n$$\log{2^n} = n$

อ๊ะ! รูปแบบการบีบอัดของคุณต้องการข้อความตราบใดที่คุณกำลังบีบอัด!

"ฮ่าฮ่า!" คุณพูดว่า "แต่นั่นเป็นกรณีที่เลวร้ายที่สุด! หนึ่งในข้อความของฉันจะถูกแมปเป็นซึ่งต้องการเพียงบิตเพื่อเป็นตัวแทน! ชัยชนะ!"$0$$1$

ใช่ แต่ข้อความของคุณต้องไม่คลุมเครือ! ฉันจะบอกแยกตามด้วยจากอย่างไร เนื่องจากกุญแจบางส่วนของคุณมีความยาวดังนั้นทั้งหมดจึงต้องเป็นหรืออื่น ๆ ฉันไม่สามารถบอกได้ว่าคุณได้เริ่มและหยุดแล้ว$1$$0$$10$$n$

"ฮ่าฮ่า!" คุณพูดว่า "แต่ฉันสามารถใส่ความยาวของสตริงในไบนารี่ก่อนได้นั่นต้องนับเป็นเท่านั้นซึ่งสามารถแทนด้วยบิต! ดังนั้นตอนนี้ของฉันมาพร้อมคำนำหน้าด้วย เพียงบิตฉันยังชนะอยู่! "$n$$\log{n}$$0$$\log{n}$

ใช่ แต่ตอนนี้ตัวเลขขนาดใหญ่จริง ๆ นั้นนำหน้าด้วยบิต รูปแบบการบีบอัดของคุณทำให้ข้อความของคุณยาวขึ้น! และครึ่งหนึ่งของตัวเลขทั้งหมดของคุณเริ่มต้นด้วยดังนั้นข้อความครึ่งหนึ่งของคุณจึงยาวขึ้นมาก!$\log{n}$$1$

จากนั้นคุณจะโยนความคิดเพิ่มเติมเช่นตัวละครที่กำลังจะสิ้นสุดหมายเลข gzipping และการบีบอัดความยาวของตัวเอง ในความเป็นจริงสำหรับทุก ๆ บิตที่คุณบันทึกในบางข้อความข้อความอื่นจะได้รับการตอบกลับนานกว่า โดยทั่วไปคุณเพียงแค่จะขยับ "ต้นทุน" ของข้อความของคุณ การทำให้สั้นลงจะทำให้คนอื่นนานขึ้น จริงๆคุณไม่สามารถใส่ที่แตกต่างกันข้อความในพื้นที่น้อยกว่าการเขียนออกสตริงไบนารีของความยาวn$2^n$$2^n$$n$

"ฮ่าฮ่า!" คุณพูดว่า "แต่ฉันสามารถเลือกข้อความบางส่วนเป็น 'โง่' และทำให้พวกเขาผิดกฎหมายแล้วฉันไม่จำเป็นต้องนับจนถึงเพราะฉันไม่สนับสนุนข้อความจำนวนมาก! "$2^n$

คุณพูดถูก แต่คุณยังไม่ชนะจริงๆ คุณเพิ่งย่อชุดข้อความที่คุณสนับสนุน หากคุณสนับสนุนและเป็นข้อความที่คุณส่งคุณก็สามารถมีรหัส ,ซึ่งตรงกับสิ่งที่ฉันพูด นี่ 1 ความยาวที่แท้จริงของข้อความนั้นไม่สำคัญเท่าไหร่$a=0000000011010$$b=111111110101000$$a\rightarrow 0$$b\rightarrow 1$$n=1$

"ฮ่าฮ่า!" คุณพูดว่า "แต่ฉันสามารถตัดสินได้ว่าข้อความโง่ ๆ เหล่านี้หายาก! ฉันจะทำให้ของหายากใหญ่และของเล็กทั่วไป! จากนั้นฉันก็ชนะโดยเฉลี่ย!"

อ้อ! ขอแสดงความยินดีคุณเพิ่งค้นพบเอนโทรปี ! หากคุณมีข้อความข้อความที่ข้อความที่มีความน่าจะเป็นจะถูกส่งคุณสามารถทำให้ข้อความที่คุณคาดไว้มีความยาวถึงเอนโทรปีของสิ่งนี้ ชุดข้อความ นั่นคือการแสดงออกที่แปลกประหลาด แต่สิ่งที่คุณต้องรู้ก็คือมันใหญ่ที่สุดเมื่อข้อความทั้งหมดมีแนวโน้มเท่ากันและเล็กลงเมื่อบางข้อความมีความเหมือนกันมากกว่าข้อความอื่น ๆ ในมากถ้าคุณรู้ว่าโดยทั่วไปทุกข้อความที่เป็นไปได้Aจากนั้นคุณสามารถใช้รหัสที่มีประสิทธิภาพสูงนี้: ,i p i H = ∑ n i = 1 p iบันทึก( 1 / p i$n$$i$$p_i$$H = \sum_{i=1}^np_i\log(1/p_i)$$a=000111010101$$a\rightarrow0$$x\rightarrow1x$มิฉะนั้น. จากนั้นความยาวข้อความที่คุณคาดหวังจะเป็นซึ่งน่ากลัวและนั่นจะใกล้เคียงกับเอนโทรปีจริงๆ อย่างไรก็ตามเป็นขอบเขตที่ต่ำกว่าและคุณไม่สามารถเอาชนะได้ไม่ว่าคุณจะพยายามมากแค่ไหนก็ตาม$1$$H$$H$

อะไรก็ตามที่อ้างว่าเอาชนะเอนโทรปีอาจจะไม่ให้ข้อมูลเพียงพอที่จะดึงข้อความที่ถูกบีบอัดหรือไม่ผิดพลาด เอนโทรปีเป็นแนวคิดที่ทรงพลังที่เราสามารถลดขอบเขต (และบางครั้งแม้แต่บน -ขา) เวลาทำงานของอัลกอริธึมด้วยเพราะถ้าพวกเขาวิ่งเร็วจริง ๆ (หรือช้ามาก) พวกเขาจะต้องทำอะไรบางอย่างที่ละเมิดเอนโทรปี .

มีสตริงไบนารีของความยาวน้อยกว่าและสตริงไบนารีของความยาวตรงNซึ่งหมายความว่าสิ่งที่อัลกอริทึมการบีบอัดของคุณจะต้องมีสตริงบางอย่างที่ไม่สามารถบีบอัดได้เพียงเพราะการทำแผนที่จากสายเดิมไปยังสตริงที่บีบอัดจะต้องฉีด (หนึ่งต่อหนึ่ง) นี่คือแรงผลักดันที่อยู่เบื้องหลังการใช้งานที่ซับซ้อนของ Kolmogorov$2^N-1$$N$$2^N$$N$

ในชีวิตจริงเรามักจะรู้อะไรบางอย่างเกี่ยวกับลำดับที่เรากำลังบีบอัดพูดว่าเป็นเสียงหรือรูปภาพ ในกรณีของการบีบอัดแบบ lossless ทฤษฎีบทการเข้ารหัสซอร์สของแชนนอนแสดงให้เห็นว่าอัตราการบีบอัดที่ดีที่สุดนั้นเท่ากับเอนโทรปีของแหล่งที่มา สำหรับการเข้ารหัสแบบ lossy มีทฤษฎีบทอื่น ๆ ในทฤษฎีข้อมูล (ทฤษฎีอัตราการบิดเบือน) ดังนั้นในกรณีนี้มีข้อ จำกัด ว่าคุณสามารถบีบอัดข้อมูลได้เท่าใด

ลองจินตนาการว่าเชื้อสายของมีความยาวkPRNG ของคุณเป็นฟังก์ชั่นที่กำหนดของเมล็ดดังนั้นมันจะออกผลลัพธ์ที่มากที่สุดลำดับที่แตกต่างกันของความยาวnมีเหล่านี้เพื่อให้โครงการของคุณจะไม่ทำงานจนกว่าจะตกกลับในการส่งทั้งสตริงบิตเมื่อไม่มีที่สอดคล้องsk 2 k n 2 n n $s$$k$$2^k$$n$$2^n$$n$$s$

(ดังคำตอบอื่นที่บันทึกไว้สิ่งนี้จะเกิดขึ้นสำหรับฟังก์ชันการบีบอัดใด ๆ ที่คุณเลือกเลย)

นอกเหนือจากจุดตอบรับอื่น ๆ ฉันต้องการเพิ่มลิงค์นี้: https://www.schneier.com:443/blog/archives/2009/09/the_doghouse_cr.html

ตอนนี้การส่งออกพลังงานประจำปีของดวงอาทิตย์ของเราประมาณ 1.21 × 10 ^ 41 ergs มันเพียงพอที่จะให้พลังงานประมาณ 2.7 × 10 ^ 56 การเปลี่ยนแปลงบิตเดียวบนคอมพิวเตอร์ในอุดมคติของเรา การเปลี่ยนแปลงสถานะมากพอที่จะทำให้ตัวนับ 187- บิตผ่านค่าทั้งหมด ถ้าเราสร้างทรงกลมไดสันรอบดวงอาทิตย์และเก็บพลังงานทั้งหมดไว้ 32 ปีโดยไม่มีการสูญเสียใด ๆ เราสามารถใช้พลังงานคอมพิวเตอร์นับได้ถึง 2 ^ 192 แน่นอนว่ามันไม่มีพลังงานเหลือสำหรับการคำนวณที่มีประโยชน์กับตัวนับนี้

ดังนั้นการวนซ้ำ (ไม่มีการเปรียบเทียบ ... ) เพื่อค้นหากลุ่มดาว 187 บิตที่ถูกต้องของข้อมูลที่คุณต้องการจะอยู่ภายใต้เงื่อนไขอุดมคติ (ไม่สามารถบรรลุได้) พลังงานมากกว่าดวงอาทิตย์ที่ปล่อยออกมาในรอบปี

การพิสูจน์อย่างรวดเร็วว่าคอมเพรสเซอร์อเนกประสงค์ไม่สามารถเกิดขึ้นได้ ลองสมมุติว่าคุณสร้างมันขึ้นมาและคุณบีบอัดอินพุต ทีนี้มันบีบอัดผลลัพธ์ของโปรแกรมของคุณซ้ำ ๆ หากคุณสามารถลดขนาดได้ตลอดเวลามันจะเล็กลงเรื่อย ๆ ในทุกขั้นตอนจนกว่าคุณจะลดลงเหลือ 1 บิต

คุณอาจโต้แย้งว่าบางทีผลลัพธ์ของอัลกอริทึมของคุณมีโครงสร้างที่ไม่สามารถบีบอัดได้มากขึ้น แต่จากนั้นคุณสามารถใช้ shuffle แบบกำหนดค่าล่วงหน้าก่อนทำการบีบอัดซ้ำ

เชิงอรรถ:การสับแบบกำหนดค่าบางอย่างช่วยในรูปแบบการบีบอัดจริง ๆ : http://pytables.github.io/usersguide/optimization.html?highlight=shuffling#shufflingoptim

การใช้ PRNG สำหรับ "การบีบอัด" นั้นมีประโยชน์ในสถานการณ์เดียว: เมื่อจำเป็นต้องใช้กลุ่มของข้อมูลที่ "สุ่ม" และบันทึกข้อมูลที่ใช้ เครื่องกำเนิดไฟฟ้าแบบสุ่มหลอกส่วนใหญ่สามารถสร้างลำดับที่เป็นไปได้เพียงเล็กน้อยเท่านั้น แต่หากต้องการเพียงลำดับ "สุ่ม" จำนวนเล็กน้อยถึงปานกลางจำนวนของลำดับที่เป็นไปได้ที่ PRNG สามารถสร้างได้มักจะเพียงพอมากกว่า

หากลำดับของข้อมูลที่เราต้องการจัดเก็บเกิดขึ้นโดยบังเอิญเพื่อให้ตรงกับสิ่งที่ PRNG บางอย่างจะสร้างให้กับเมล็ดที่ถูกต้องการจัดเก็บเมล็ดอาจเป็นทางเลือกที่กะทัดรัดในการจัดเก็บข้อมูล เว้นแต่ว่าแหล่งที่มาของข้อมูลเป็นเช่นนั้นการจับคู่ดังกล่าวมีแนวโน้มที่จะเกิดขึ้น แต่พวกเขาจะไม่บ่อยนักที่การค้นหาพวกเขาจะไม่คุ้มค่า

สิ่งที่ควรพิจารณาเพื่อเพิ่มไปยังเสียงขรมของคำตอบที่ยืนยันว่าเหตุใดจึงมีบางสตริงที่ไม่สามารถบีบอัดได้เนื่องจากคำจำกัดความธรรมชาติของการบีบอัดการบีบอัดและจักรวาลที่ จำกัด ของสตริงการบีบอัดที่เลือกเป็นตัวแทนข้อความคือ: สตริงส่วนใหญ่ไม่สามารถบีบอัดได้เนื่องจากมีเอนโทรปีที่สูงกว่ามากสตริงที่ยุ่งเหยิงกว่าเอนโทรปีที่มีโครงสร้างต่ำกว่าและมีโครงสร้างดังนั้นจึงทำให้เกิดเงื่อนไขที่เราเห็นในทางปฏิบัติ: การบีบอัดเป็นส่วนใหญ่เวลาที่มีประโยชน์ ส่วนใหญ่ต้องการที่จะบีบอัดเป็นส่วนใหญ่มักจะเป็นเจ้าของส่วนแบ่งการสั่งซื้อและโครงสร้างบางส่วนและโดยอาศัยนี้เป็นส่วนหนึ่งของจักรวาลขนาดเล็กมากของวัตถุเอนโทรปีที่ต่ำกว่า ซึ่งหมายความว่าเป็นไปได้ว่าโดยการเลือกความยาวเอาต์พุตที่เหมาะสม เราสามารถบีบอัดทุกสิ่งในจักรวาลที่เล็กกว่าและมีโครงสร้าง คำที่มีโครงสร้างเอนโทรปีและคำสั่งที่นี่มีเจตนาไม่บริสุทธิ์เพื่อสะท้อนความหมายส่วนตัวของความหมายและประโยชน์ของข้อความที่เราอาจต้องการที่จะบีบอัด

และในการตอบคำถามของผู้ถามโดยตรง: ใช่คุณสามารถโชคดีและพบว่าผลลัพธ์ของ PRNG ของคุณเป็นข้อความที่คุณต้องการบีบอัดแน่นอนว่าคุณมักจะไม่พบสิ่งนี้เพราะ คุณสมบัติที่เป็นลักษณะเฉพาะของ PRNG กล่าวคือความสามารถในการผลิตสตริงที่แตกต่างกัน (เกือบ) ที่ไม่สิ้นสุดทำให้มันเป็นไปไม่ได้เหมือนกันในการผลิตของคุณ

แน่นอนว่าคุณสามารถลดความไม่เป็นเอกภาพนี้ได้โดยใช้ PRNG เพื่อเดินผ่าน "โดเมนกราฟ" ของการเปลี่ยนคำต่อคำและคุณเพิ่มโอกาสในการปรากฏตัวของข้อความและยังต้องเพิ่มกราฟโดเมนไปยังข้อความที่ถูกบีบอัดด้วย ความยาว.