แนวคิดชุดทั่วไป

15

ฉันคิดว่าแนวคิดของเซตทั่วไปนั้นค่อนข้างง่าย: ลำดับความยาวจะเป็นของเซตทั่วไปถ้าความน่าจะเป็นของลำดับออกมาสูง ดังนั้นลำดับใด ๆ ที่มีแนวโน้มที่จะอยู่ใน{(n)} (ฉันกำลังหลีกเลี่ยงการนิยามอย่างเป็นทางการที่เกี่ยวข้องกับเอนโทรปีเพราะฉันพยายามที่จะเข้าใจในเชิงคุณภาพ) $n$ $A_\epsilon ^{(n)}$ $A_\epsilon ^{(n)}$

อย่างไรก็ตามฉันได้อ่านโดยทั่วไปแล้วลำดับที่เป็นไปได้มากที่สุดไม่ได้อยู่ในชุดทั่วไป นี่ทำให้ฉันสับสนครั้งใหญ่

มีคำจำกัดความที่เข้าใจง่ายของชุดทั่วไปหรือไม่ หรือเป็นเพียงเครื่องมือทางคณิตศาสตร์ที่ไม่เกี่ยวกับสามัญสำนึกมากนัก?

entropy intuition information-theory

— Tendero
แหล่งที่มา

13

ฉันรู้ว่าคุณได้ขอคำอธิบายที่เข้าใจง่ายและให้คำจำกัดความอย่างเป็นทางการออกมา แต่ฉันคิดว่าพวกเขามีความเกี่ยวข้องกันดังนั้นให้ฉันจำนิยามของชุดทั่วไปได้:

$X_1, X_2 ,...$ เป็นตัวแปรสุ่มของiidดังนั้นชุดทั่วไปเกี่ยวกับคือชุดของลำดับพร้อมทรัพย์สิน วิธีการนี้ว่าสำหรับการแก้ไขชุดทั่วไปประกอบด้วยทุกลำดับที่มีความน่าจะเป็นใกล้จะ(X)} ดังนั้นเพื่อให้ลำดับอยู่ในชุดทั่วไปมันก็ต้องมีความน่าจะเป็นใกล้กับ $\sim$ $p(x)$ $A_\epsilon^{(n)}$ $p(x)$ $(x_1,x_2,...,x_n) \in \chi^n$

\begin{matrix} (1) & 2^{- n (H (X) + ϵ)} \leq p (x_{1}, x_{2}, . . ., x_{n}) \leq 2^{- n (H (X) - ϵ)} \end{matrix}

$2^{-n(H(X)+\epsilon)}\le p(x_1,x_2,...,x_n) \le 2^{-n(H(X)-\epsilon)} \tag{1}$

ϵ

$\epsilon$

2^{- n H (X)}

$2^{-nH(X)}$

2^{- n H (X)}

$2^{-nH(X)}$ มันมักจะไม่ได้ เพื่อให้เข้าใจว่าทำไมให้ฉันเขียนสมการ 1 ใหม่โดยใช้กับมัน

l o g_{2}

$log_2$

\begin{matrix} (2) & H (X) - ϵ \leq \frac{1}{n} \log_{2} (\frac{1}{p (x_{1}, x_{2}, . . ., x_{n})}) \leq H (X) + ϵ \end{matrix}

$H(X)-\epsilon\le \frac{1}{n}\log_2\left(\frac{1}{p(x_1,x_2,...,x_n)}\right) \le H(X)+\epsilon \tag{2}$

ตอนนี้นิยามชุดทั่วไปมีความสัมพันธ์โดยตรงกับแนวคิดของเอนโทรปีหรือกล่าวอีกนัยหนึ่งคือข้อมูลเฉลี่ยของตัวแปรสุ่ม ระยะกลางอาจจะคิดว่าเป็นเอนโทรปีตัวอย่างของลำดับจึงชุดทั่วไปจะทำโดยลำดับทั้งหมดที่มีให้เราจำนวนเงินที่ใกล้ข้อมูลไปยังข้อมูลค่าเฉลี่ยของตัวแปรสุ่มXลำดับที่เป็นไปได้มากที่สุดมักจะให้ข้อมูลเราน้อยกว่าค่าเฉลี่ย โปรดจำไว้ว่ายิ่งความน่าจะเป็นของผลลัพธ์ต่ำลงเท่าใดข้อมูลก็จะยิ่งสูงขึ้นเท่านั้น เพื่อให้เข้าใจว่าทำไมให้ฉันยกตัวอย่าง: $X$

สมมติว่าคุณอาศัยอยู่ในเมืองที่มีอากาศแจ่มใสและอบอุ่นระหว่าง 24 ° C ถึง 26 ° C คุณอาจดูรายงานสภาพอากาศทุกเช้า แต่คุณไม่สนใจอะไรมากฉันหมายความว่ามันมีแดดและอบอุ่นเสมอ แต่ถ้าสักวันหนึ่งชาย / หญิงสภาพอากาศบอกคุณว่าวันนี้จะมีฝนตกและหนาวจัดนั่นเป็นตัวเปลี่ยนเกม คุณจะต้องใช้เสื้อผ้าที่แตกต่างกันออกไปและทำร่มและทำสิ่งอื่น ๆ ที่ปกติคุณไม่ทำดังนั้นนักพยากรณ์อากาศจึงให้ข้อมูลที่สำคัญแก่คุณ

ในการสรุปคำจำกัดความที่หยั่งรู้ของชุดทั่วไปคือประกอบด้วยลำดับที่ให้ข้อมูลจำนวนหนึ่งใกล้กับแหล่งที่คาดหวังหนึ่งแหล่ง (ตัวแปรสุ่ม)

— diegobatt
แหล่งที่มา

1

... หรือมากกว่านั้น$$H(X)-\epsilon\le \frac{1}{n}log_2(\frac{1}{p(x_1,x_2,...,x_n)}) \le H(X)+\epsilon \tag{2}$$...

— Cbhihe

ตกลง แต่วัตถุประสงค์ของชุดทั่วไปที่กำหนดไว้ในวิธีนี้คืออะไร? ก่อนหน้านี้ฉันคิดว่าเราได้สร้างแนวความคิดทั่วไปเพื่อให้มีสัญชาตญาณซึ่งเซตย่อยที่เล็กที่สุดของลำดับที่เราต้องใช้เพื่อให้แน่ใจว่าเรา "ครอบคลุม" (1 - \ eps)% ราย ด้วยวิธีนี้การลำดับที่เป็นไปได้มากที่สุดคือตัวเลือกที่ชัดเจน ฉันกำลังคิดถึงอะไร

— tomwesolowski

12

คำตอบของ Diegobattทำงานได้ดีในการอธิบายอย่างสังหรณ์ใจว่าชุดทั่วไปคืออะไร คำตอบนี้จะตอบคำถามอื่น ๆ ของ OP ที่สะท้อนโดย @tomwesolowski: ทำไมคุณถึงกำหนดชุดทั่วไปในแบบที่สามารถแยกองค์ประกอบที่เป็นไปได้มากที่สุด

คำตอบสั้น ๆ คือชุดทั่วไปเป็นเครื่องมือทางคณิตศาสตร์เป็นหลัก มันถูกกำหนดไว้เพื่อช่วยพิสูจน์บางสิ่งบางอย่างและคำนิยามนี้เป็นวิธีที่สะดวกที่สุดสำหรับการพิสูจน์ มันเป็นตัวอย่างที่ดีของวิธีที่ความต้องการทางทฤษฎีในบางครั้งคนที่ชอบความคิดแบบสัญชาตญาณในคณิตศาสตร์

ชุดทั่วไปถูกกำหนดโดยบิดาของทฤษฎีสารสนเทศ , Claude แชนนอน เขาต้องการที่จะกำหนดวิธีการที่มีประสิทธิภาพอย่างใดอย่างหนึ่งอาจจะเข้ารหัสกระแสของสัญลักษณ์จากอักษรคงที่สมมติว่าแต่ละสัญลักษณ์เป็นIIDตัวอย่างที่สุ่มจากการกระจายบาง ความเข้าใจที่สำคัญของเขาคือ:

มีลำดับ "ปกติ" ที่สามารถระบุตัวได้ง่ายและค่อนข้างเล็กซึ่งปรากฏขึ้นบ่อยครั้งในสตรีมอย่างไม่เป็นสัดส่วน
การกำหนด "ชุดปกติ" ของลำดับนี้การเข้ารหัสที่สั้นที่สุดจะให้การเข้ารหัสที่มีประสิทธิภาพสูงสุด (ไม่แสดงอาการเนื่องจากเอาต์พุตของสตรีมจะเติบโตขึ้นตามอำเภอใจนาน)

ชุดแชนนอนทั่วไปที่ค้นพบนั้นประกอบไปด้วยลำดับที่มีข้อมูลตนเองหรือ "น่าประหลาดใจ" เป็นเรื่องเดียวกับที่คาดว่าจะได้รับข้อมูลโดยเฉลี่ยสำหรับการกระจายแหล่งที่มาของสตรีม ลำดับดังกล่าวเป็น "ปกติ" ในแง่ที่ว่าข้อมูลของพวกเขาเป็นเรื่องเกี่ยวกับค่าเฉลี่ย แต่คำนิยามนี้ไม่รวมลำดับที่มีข้อมูลน้อยกว่าค่าเฉลี่ย ลำดับที่ไม่ให้ข้อมูลเหล่านี้ยังเป็นลำดับที่น่าจะเป็นไปได้มากที่สุด

ในฐานะที่เป็น OP หมายเหตุนี้ไม่น่าสนใจอย่างสังหรณ์ใจ! บนใบหน้าของมันชุดทั่วไปดูเหมือนว่ามันควรจะมีลำดับที่น่าจะเป็นไปได้ทั้งหมดจนถึงขีด จำกัด บางอย่าง นั่นจะเป็นการแสดงให้เห็นถึงสิ่งที่เห็นได้ทั่วไปในกระแส

แต่แชนนอนไม่ต้องการชุดทั่วไปที่เป็นไปได้มากที่สุด เขาต้องการสิ่งที่ทำให้ง่ายต่อการพิสูจน์ผลลัพธ์ที่เขาต้องการพิสูจน์ ชุดทั่วไปที่กำหนดโดยแชนนอนนั้นรับประกันว่าจะมีอยู่แล้วมันรับประกันว่าจะมีขนาดเล็กและรับประกันว่าจะมีขนาดเล็กเท่ากับชุดอื่น ๆ ที่คุณอาจเสนอตามคำตอบนี้ชี้ให้เห็น การเพิ่มองค์ประกอบที่มีโอกาสมากที่สุดจะทำให้เซตมีแนวโน้มมากขึ้นซึ่งก็ดี แต่มันก็ทำให้เซตใหญ่ขึ้นด้วยซึ่งแย่มาก หากสิ่งที่คุณใส่ใจคือการพิสูจน์หลักฐานทำไมแก้ไขสิ่งที่ไม่แตก

หากคุณมีวัตถุประสงค์ที่แตกต่างจากแชนนอนแนวคิดที่คุณชื่นชอบเกี่ยวกับความเป็นปกติอาจแตกต่างกันเช่นกัน ตัวอย่างเช่นในการเข้ารหัส Huffmanสัญลักษณ์ที่เป็นไปได้มากที่สุด (หรือลำดับสัญลักษณ์) จะได้รับรหัสที่สั้นที่สุด ในแง่เทคนิคบางอย่างการเข้ารหัสของ Huffman เป็นทางออกที่ดีที่สุดสำหรับปัญหาดั้งเดิมของแชนนอนและมันจะจับสัญชาตญาณของเราเกี่ยวกับลักษณะทั่วไป ในทางตรงกันข้ามคำจำกัดความทั่วไปของแชนนอนนั้นสะดวกกว่าสำหรับการพิสูจน์สิ่งต่าง ๆ

— พอล
แหล่งที่มา

1

การใช้เหตุผลที่ยอดเยี่ยมและความรุ่งโรจน์ของงานทำได้ดีในการแก้ไขช่องว่างระหว่างสัญชาตญาณและคำจำกัดความ ฉันจะบอกว่าความแตกต่างนี้เกิดขึ้นเนื่องจากภาษาที่มีข้อบกพร่องจากชีวิตประจำวันโดยทั่วไปและค่าเฉลี่ยมักจะหมายถึงสิ่งเดียวกัน แต่ในแง่ของสถิติทั่วไป (ในแง่ของความน่าจะเป็นเช่นโหมด) ไม่จำเป็นต้องเหมือนกับค่าเฉลี่ย เช่นค่าที่คาดไว้

— Emil

H (x) - ε

$H(x)-\varepsilon$

H (x) + ε

$H(x)+\varepsilon$

@Emil ฉันคิดว่าผู้เขียนพูดแบบนี้เพราะเราทุกคนเห็นพ้องต้องกันว่าลำดับที่มีข้อมูลมากขึ้น

— tomwesolowski

1

ความคิดของชุดทั่วไปโดยปริยายถือว่าผลลัพท์เป็นชุดมัลติเซตคือสมมติว่าคุณสนใจฮิสโตแกรมของแต่ละลำดับเช่นคุณพิจารณาลำดับการโยนเหรียญ 10 เหรียญที่มี 7 หัวและ 3 ก้อยเท่ากัน

$p(H) = .9$

ผลลัพธ์ที่สำคัญคือลำดับที่มีความยาวเพียงพอเกือบทุกลำดับตัวอย่างจะมีความถี่ใกล้เคียงกับความถี่ที่คาดไว้นั่นคือการแจกแจงจะกลายเป็นจุดสูงสุดอย่างมากเมื่อความยาวของลำดับพิจารณาเพิ่มขึ้น

$10^5$ $P(H)=.9$ $10^4{+/-}300$

ชุดทั่วไปเป็นรุ่นทั่วไปที่มีข้อมูลที่ถูกต้องตามทฤษฎีมากกว่าความคิดนี้

— Daniel Mahler
แหล่งที่มา

0

$2^{-nH(X)}$ $2^{nH}$

— tomwesolowski
แหล่งที่มา

1

คุณช่วยอธิบายวิธีนี้ที่อยู่คำขอสำหรับ "คำจำกัดความที่ใช้งานง่ายของชุดทั่วไป"?

— whuber

ฉันไม่แน่ใจ แต่มันหมายถึงการพูดว่า "อย่างไรก็ตามฉันอ่านแล้วโดยทั่วไปลำดับที่เป็นไปได้มากที่สุดไม่ได้อยู่ในฉากทั่วไปนี่ทำให้ฉันสับสนครั้งใหญ่" ส่วนหนึ่งของคำถาม :)

— tomwesolowski