ทฤษฎีข้อมูลที่ใช้ในการพิสูจน์งบ combinatorial เรียบร้อย?

54

อะไรคือตัวอย่างที่คุณชื่นชอบที่ใช้ทฤษฎีข้อมูลเพื่อพิสูจน์คำสั่ง combinatorial อย่างเรียบง่าย?

ตัวอย่างที่ฉันคิดว่าเกี่ยวข้องกับขอบเขตที่ต่ำกว่าสำหรับรหัสที่ถอดรหัสได้ในท้องถิ่นเช่นในบทความนี้ : สมมติว่าสำหรับกลุ่มของสตริงสตริงของความยาวมันถือได้ว่าสำหรับทุก ๆสำหรับแตกต่างกัน คู่ { },จากนั้นม. เป็นอย่างน้อยชี้แจงใน n โดยที่ตัวแทนขึ้นเป็นเส้นตรงในสัดส่วนเฉลี่ยที่ระดับ m $x_1,...,x_m$ $n$ $i$ $k_i$ $j_1,j_2$

e_{i} = x_{j_{1}} \oplus x_{j_{2}} .

$e_i = x_{j_1} \oplus x_{j_2}.$

k_{i} / m

$k_i/m$

อีกตัวอย่าง (ที่เกี่ยวข้อง) คือความไม่เท่าเทียมกันบางอย่างในลูกบาศก์บูลีน (อย่าลังเลที่จะอธิบายรายละเอียดในคำตอบของคุณ)

คุณมีตัวอย่างที่ดีกว่านี้ไหม? เด่นกว่าสั้นและง่ายต่อการอธิบาย

co.combinatorics big-list it.information-theory

— Dana Moshkovitz
แหล่งที่มา

ใครบางคนสามารถให้การอ้างอิงใน "อีกตัวอย่าง (ที่เกี่ยวข้อง) คือความไม่เท่าเทียมกัน isoperimetric ในคิวบูลบูลีน"?

— vzn

40

หลักฐาน Moser ของสร้างสรรค์ Lovasz แทรกท้องถิ่น โดยทั่วไปเขาแสดงให้เห็นว่าภายใต้เงื่อนไขของบทแทรกท้องถิ่นอัลกอริทึมที่ง่ายที่สุดสำหรับ SAT คุณสามารถคิดถึงงานได้ (สิ่งแรกที่ง่ายที่สุดอาจจะแค่ลองสุ่มมอบหมายจนกว่าจะได้ผลงานชิ้นที่สองที่ง่ายที่สุดคือเลือกการมอบหมายแบบสุ่มค้นหาประโยคที่ไม่พอใจพอใจมันจากนั้นดูประโยคอื่น ๆ ที่คุณหักแบ่งและทำซ้ำจนกว่าจะเสร็จ) หลักฐานที่แสดงว่าการดำเนินการในเวลาพหุนามอาจเป็นการใช้ทฤษฎีสารสนเทศที่หรูหราที่สุด (หรือความซับซ้อนของ Kolmogorov ไม่ว่าคุณจะเรียกมันว่าอะไรในกรณีนี้) ฉันเคยเห็นมาแล้ว

— Joshua Grochow
แหล่งที่มา

1

การพิสูจน์ความซับซ้อนของ Kolmogorov ที่สวยงามของ Moser ได้อธิบายไว้ที่นี่: blog.computationalcomplexity.org/2009/06/ …แต่ฉันต้องยอมรับว่าฉันกำลังมองหาตัวอย่างของเอนโทรปี / ข้อมูลร่วมกัน / - การคำนวณมากขึ้น ...

— Dana Moshkovitz

มีแอปพลิเคชั่นที่น่าสนใจของ Kolmogorov ที่ให้คำตอบสำหรับคำถามนี้: cstheory.stackexchange.com/questions/286

— arnab

เทอร์รี่เทายังกล่าวถึงการโต้แย้งของโมเซอร์ในบล็อกของเขา: terrytao.wordpress.com/2009/08/05/…

— แอนโทนี่เลเวอร์ริเออร์

5

ที่จริงแล้วในบทความที่สองของเขา (กับ Tardos) คุณไม่จำเป็นต้องขอความช่วยเหลือจากการเรียกซ้ำ คุณเพียงแค่มองหาข้อไม่พอใจรับมอบหมายสุ่มสำหรับตัวแปรของตนและย้ำ แค่นั้นแหละ. ด้วยเหตุผลบางอย่างอัลกอริทึมที่ง่ายกว่า (มีการวิเคราะห์เดียวกัน) จึงไม่ติดขัด

— Yuval Filmus

@DanaMoshkovitz: ฉันไม่รู้ว่าทำไมสิ่งนี้ไม่ได้เกิดขึ้นกับฉันที่จะพูดเร็วขึ้นตามความคิดเห็นของคุณ: ความซับซ้อนของ Kolmogorov และเอนโทรปีมีหลายวิธี ดูเช่นค้อน Romaschenko-Shen-Vershchagin: dx.doi.org/10.1006/jcss.1999.1677 ตัวอย่างเช่นบนพื้นฐานของ [HRSV] การพิสูจน์เล็มม่าของเชียเรอร์ในคำตอบของ arnab สามารถพิสูจน์ได้ด้วยหลักฐานเดียวกันโดยใช้ Kolmogorov ซับซ้อนแทนเอนโทรปี ความแตกต่างเป็นเพียงมุมมอง: K เป็นเรื่องเกี่ยวกับความยาวของคำอธิบาย H เป็นเรื่องเกี่ยวกับ ... บางครั้งคนเราง่ายกว่า / เป็นธรรมชาติมากกว่าคนอื่น

\sum p_{i} \log p_{i}

$\sum p_i \log p_i$

— Joshua Grochow

33

ตัวอย่างที่ฉันชอบในประเภทนี้คือหลักฐานของการใช้เอนโทรปีของเล็มม่าเชียเรอร์ (ฉันเรียนรู้เกี่ยวกับหลักฐานนี้และอีกหลายอันที่น่ารักมากจากเอนโทรปีของ Jaikumar Radhakrishnan และการนับ )

การอ้างสิทธิ์: สมมติว่าคุณมี points ในที่มีโปรเจ็กต์ที่แตกต่างกันบน ,โปรเจ็คเตอร์ที่แตกต่างกันบนและแตกต่างกันใน -plane จากนั้นn_z $n$ $\mathbb{R}^3$ $n_x$ $yz$ $n_y$ $xz$ $n_z$ $xy$ $n^2 \leq n_x n_y n_z$

พิสูจน์: ให้เป็นจุดที่เลือกอย่างสม่ำเสมอโดยการสุ่มจากจุดให้ , ,แสดงการประมาณลงบน ,และตามลำดับ $p = (x,y,z)$ $n$ $p_x$ $p_y$ $p_z$ $yz$ $xz$ $xy$

ในอีกด้านหนึ่ง , ,และโดยคุณสมบัติพื้นฐานของเอนโทรปี $H[p] = \log n$ $H[p_x] \leq \log n_x$ $H[p_y] \leq \log n_y$ $H[p_z] \leq \log n_z$

ในทางกลับกันเรามีและ เพิ่มสมการสามอันดับสุดท้ายทำให้เรา:ซึ่งเราใช้ความจริงที่ว่าการลดปริมาณของเอนโทรปี (โดยทั่วไปสำหรับตัวแปรสุ่มใด ๆ )

H [p] = H [x] + H [y | x] + H [z | x, y]

$H[p] = H[x] + H[y|x] + H[z | x,y]$

H [p_{x}] = H [y] + H [z | y]

$H[p_x] = H[y] + H[z|y]$

H [p_{y}] = H [x] + H [z | x]

$H[p_y] = H[x] + H[z|x]$

H [p_{z}] = H [x] + H [y | x]

$H[p_z] = H[x] + H[y|x]$

H [p_{x}] + H [p_{y}] + H [p_{z}] =

$H[p_x] + H[p_y] + H[p_z] =$

2 H [x] + H [y] +

$2H[x] + H[y]+$

H [y | x] +

$H[y|x] +$

H [z | x]

$H[z|x]$

+ H [z | y]

$+ H[z|y]$

\geq 2 H [x] + 2 H [y | x] + 2 H [z | x, y] =

$\geq 2H[x] + 2H[y|x] + 2H[z|x,y] =$

2 H [p]

$2H[p]$

H [a] \geq H [a | b]

$H[a] \geq H[a|b]$

a, b

$a,b$

ดังนั้นเราจึงมีหรือn_z $2 \log n \leq \log n_x + \log n_y + \log n_z$ $n^2 \leq n_x n_y n_z$

— Arnab
แหล่งที่มา

6

กระดาษที่เกี่ยวข้องในการตรวจสอบคือ 'Hypergraphs, Entropy และ Inequalities' โดย Ehud Friedgut มันแสดงให้เห็นว่ามุมมองของเอนโทรปีโดยเฉพาะเลมม่าเชียเรอร์ทั่วไปที่สามารถกู้คืนความไม่เท่าเทียมมาตรฐานจำนวนมากได้อย่างง่ายดายและยังมีบางอย่างที่ไม่ได้มาตรฐานและดูซับซ้อน ฉันคิดว่ามันให้มุมมองที่ให้แสงสว่าง Link: ma.huji.ac.il/~ehudf/docs/KKLBKKKL.pdf

— Andy Drucker

26

หลักฐานเอนโทรปีของ Radhakrishnanจากทฤษฎีบทของ Bregman ว่าจำนวนการจับคู่ที่สมบูรณ์แบบในกราฟ bipartiteอยู่ที่โวลต์)} หลักฐานใช้ความคิดที่ฉลาดมากสองข้อ นี่คือภาพร่างหลักฐานที่แสดง: $p$ $(L\cup R, E)$ $\prod_{v \in L} (d(v)!)^{1/d(v)}$

เลือกการจับคู่ที่สมบูรณ์แบบอย่างสม่ำเสมอ เอนโทรปีของตัวแปรนี้เป็นp $M$ $H(M) = \log p$
สำหรับ , ให้ $v \in L$ $X_v$ $R$ $v$ $M$
$X = (X_v : v \in L)$ $M$ $H(M) = H(X)$
$\leq$ $L$ $H(X) = \sum_{v\in L} H(X_v | { X_u : u < v }, \leq)$
${X_u : u < v}, \leq$ $N_v = |N(v) \setminus { X_u : u < v }|$ $v$
$N_v$ $H(X_v | { X_u : u < v }, \leq) = H(X_v | { X_u : u < v }, \leq, N_v)$
${X_u : u < v}, \leq$ $H(X_v | { X_u : u < v }, \leq, N_v) \leq H(X_v | N_v)$
$N_v$ ${1,\dots, d(v)}$
$H(X_v | N_v)$ $N_v$ $H(X_v | N_v) = \sum_{i=1}^{d(v)} \frac{1}{d(v)}H(X_v|N_v=i) \leq \frac{1}{d(v)}\sum_{i=1}^{d(v)}\log i = \log((d(v)!)^{1/d(v)}).$
ผลที่ตามมาคือการรวมความไม่เท่าเทียมกันทั้งหมดเข้าด้วยกันและรับการยกกำลัง

$G$ $\prod_{v \in V(G)} (d(v)!)^{1/2d(v)}$

— ปั้นจั่นขนาดใหญ่
แหล่งที่มา

1

H (X_{v} ∣ N_{v})

$H(X_v\mid N_v)$

H (X_{v} ∣ N_{v} = i)

$H(X_v\mid N_v = i)$

\log i

$\log i$

คุณพูดถูกและฉันได้แก้ไขคำตอบเพื่อใช้ความไม่เท่าเทียมกัน

— ปั้นจั่นขนาดใหญ่

20

ตัวอย่างที่ดีมากมีอยู่ในเอกสารสองฉบับโดย Pippenger An Information-Theoretic Method ใน Combinatorial Theory J. หวี ทฤษฎี Ser. 23 (1): 99-104 (1977) และ Entropy และการแจกแจงของฟังก์ชันบูลีน ธุรกรรม IEEE บนทฤษฎีข้อมูล 45 (6): 2096-2100 (1999) อันที่จริงเอกสารหลายฉบับโดย Pippenger มีหลักฐานพิสูจน์ที่น่ารักของข้อเท็จจริงเกี่ยวกับ combinatorial โดยใช้วิธีการของเอนโทรปี / ข้อมูลร่วมกัน นอกจากนี้หนังสือสองเล่ม: Jukna, Combinatorics Extremal ด้วยการใช้งานในวิทยาการคอมพิวเตอร์และ Aigner, ค้นหา Combinatorial มีตัวอย่างที่ดี ฉันชอบเอกสารสองเล่มที่ Madiman และคณะ ความไม่เท่าเทียมกันของข้อมูลเชิงทฤษฎีใน Additive Combinatorics และ Terence Tao ประมาณการจำนวน Entropy (คุณสามารถค้นหาได้ด้วย Google Scholar) หวังว่ามันจะช่วย

— Ugo
แหล่งที่มา

ดูเหมือนรายการอ่านที่ยอดเยี่ยม!

— Dana Moshkovitz

17

อีกตัวอย่างที่ดีคือเทอร์รี่เต่าหลักฐานอื่นของSzemerédiกราฟสม่ำเสมอแทรก เขาใช้มุมมองข้อมูลเชิงทฤษฎีเพื่อพิสูจน์รุ่นที่แข็งแกร่งของบทแทรกปกติซึ่งกลายเป็นประโยชน์อย่างมากในการพิสูจน์บทแทรกของระเบียบแบบธรรมดาสำหรับกราฟิค หลักฐานของเต่าคือโดยไกลหลักฐานที่รัดกุมที่สุดสำหรับบทแทรกไฮเปอร์กราฟปกติ

ให้ฉันพยายามอธิบายในระดับสูงมากมุมมองทางทฤษฎีข้อมูลนี้

$G$ $V_1$ $V_2$ $V_1 \times V_2$ $G$ $\rho = |E|/|V_1||V_2|$ $G$ $\epsilon$ $U_1 \subseteq V_1$ $U_2 \subseteq V_2$ $U_1$ $U_2$ $\rho \pm \epsilon |U_1||U_2|/|V_1||V_2|$

$x_1$ $V_1$ $x_2$ $V_2$ $\epsilon$ $U_1, U_2$ $\epsilon$ $G$ $x_1$ $U_1$ $x_2$ $U_2$ $(x_1,x_2)$ $G$ $x_1$ $U_1$ $x_2$ $U_2$ $(x_1,x_2)$

$V_1$ $V_2$ $U_1 \subset V_1, U_2 \subset V_2$ $U_1 \times U_2$ $\epsilon$ $x_1$ $x_2$ $E(x_1,x_2)$ $U_1(x_1)$ $U_2(x_2)$ $U_1$ $U_2$ $E$ $x_1 | U_1$ $x_2 | U_2$ $x_1$ $x_2$

— arnab
แหล่งที่มา

15

โดยทั่วไปมีหลักสูตรทั้งหมดที่อุทิศให้กับคำถามนี้:

https://catalyst.uw.edu/workspace/anuprao/15415/86751

หลักสูตรยังคงต่อเนื่อง ดังนั้นจึงไม่มีโน้ตทั้งหมดที่สามารถเขียนได้ นอกจากนี้ตัวอย่างบางส่วนจากหลักสูตรได้ถูกกล่าวถึงแล้ว

— มอริตซ์
แหล่งที่มา

3

ตัวชี้ที่ดี: ดูเหมือนคลาสที่ยอดเยี่ยม

— Suresh Venkat

1

เท่าที่ฉันจะบอกได้การเสนอนี้เป็นแบบครึ่งทางโดยมีหมายเหตุประกอบไปด้วยตัวอย่างที่ตอบคำถามของฉันได้ดีและการสัมมนาครึ่งทางซึ่งครอบคลุมตัวอย่างเช่นขอบเขตการสื่อสารที่ต่ำกว่าตัวแยกข้อมูลการทำซ้ำแบบขนาน ทฤษฎีข้อมูล (ที่นี่ไม่มีบันทึกย่อเพียงเชื่อมโยงไปยังเอกสารต้นฉบับ)

— Dana Moshkovitz

7

$n$ $\ell_2^d$ $1 \pm \epsilon$ $d$ $O(\log n / \epsilon^2)$ $\Omega(\log n / (\epsilon^2 \log(1 / \epsilon)))$ $\sim \log(1 / \epsilon)$

— ilyaraz
แหล่งที่มา

4

ℓ_{1}^{d}

$\ell_1^d$

ดูเหมือนเป็นธรรมชาติและน่ายินดีมากที่ผลลัพธ์ทางเรขาคณิตล้วนๆได้รับการพิสูจน์โดยคน TCS!

— ilyaraz

6

$m$ $u \in [m]$ $x \in [m]$ $x=u$ $t$ $t$

$O(m^{1/t})$ $\log m$ $u$ $t$ $i \in [t]$ $(\log m)/t$ $i$ $u$

$X$ $[m]$ $H[X] = \log m$ $X_1, \dots, X_t$ $t$ $H[X] = H[X_1] + H[X_2 | X_1] + \cdots + H[X_t | X_1, \dots, X_{t-1}] \leq t \log s$ $s$ $s \geq m^{1/t}$

$t > 1$

— arnab
แหล่งที่มา

5

$P$ $P$ $O(\log |X|)$ $X$ $P$

— Gil Kalai
แหล่งที่มา

3

การวิเคราะห์อัลกอริธึมโดยเฉลี่ยโดยใช้ความซับซ้อนของ Kolmogorovโดย Jiang, Li, Vitanyi

'การวิเคราะห์ความซับซ้อนของอัลกอริทึมโดยเฉลี่ยเป็นปัญหาที่เกิดขึ้นจริงในทางปฏิบัติ แต่ยากมากในวิทยาการคอมพิวเตอร์ ในช่วงไม่กี่ปีที่ผ่านมาเราได้แสดงให้เห็นว่าความซับซ้อนของ Kolmogorov เป็นเครื่องมือสำคัญในการวิเคราะห์ความซับซ้อนของอัลกอริทึมโดยเฉลี่ย เราได้พัฒนาวิธีการบีบอัดข้อมูล [7] ในบทความนี้เราใช้ตัวอย่างง่ายๆหลายตัวอย่างเพื่อแสดงให้เห็นถึงพลังและความเรียบง่ายของวิธีการดังกล่าว เราพิสูจน์ขอบเขตของจำนวนสแต็คเฉลี่ย (คิว) ที่จำเป็นสำหรับการเรียงลำดับแบบต่อเนื่องหรือแบบขนาน Queueusort หรือ Stacksort '

ดูเพิ่มเติมเช่นKolmogorov ความซับซ้อนและปัญหาสามเหลี่ยมประเภทกัน

— โอนีลยัง
แหล่งที่มา

3

ความเท่าเทียมกันของการสุ่มตัวอย่างและการค้นหาโดย Scott Aaronson ที่นี่เขาแสดงให้เห็นถึงความเท่าเทียมกันของการสุ่มตัวอย่างและปัญหาการค้นหาในทฤษฎีความซับซ้อนในเรื่องที่เกี่ยวกับความถูกต้องของวิทยานิพนธ์ขยายโบสถ์ทัวริง ทฤษฎีข้อมูลมาตรฐานทฤษฎีข้อมูลอัลกอริทึมและความซับซ้อนของ Kolmogorov ใช้ในลักษณะพื้นฐาน

เขาเน้นว่า:
" ให้เราเน้นว่าเราไม่ได้ใช้ความซับซ้อน Kolmogorov เป็นเพียงความสะดวกสบายทางเทคนิคหรือจดชวเลขสำหรับการโต้แย้งนับค่อนข้างซับซ้อน Kolmogorov ดูเหมือนสำคัญแม้จะกำหนดปัญหาการค้นหา .. "

— DurgaDatta
แหล่งที่มา

0

เรียบง่ายและใกล้เคียง: มีหลายอย่างรวมกันจากทั้งหมด^{6 6}อย่างออกมาจาก 10 ^{9 ที่}อนุญาตให้ซ้ำกันได้? สูตรที่ถูกต้องคือ

N = (10 ⁶ + 10 ⁹ )! / (10 ⁶ ! 10 ⁹ !) ~ = 2 ^{11409189.141937481}

แต่ลองจินตนาการว่าให้คำแนะนำในการเดินไปตามแถวถังหนึ่งพันล้านถังทิ้งลูกหินลงไปหนึ่งล้านถังตามทาง จะมีขั้นตอน~ 10 ⁹ "ไปยังถังต่อไป" คำแนะนำและ 10 ⁶ "วางหินอ่อน" คำแนะนำ ข้อมูลทั้งหมดคือ

log ₂ (N) ~ = -10 ⁶ log ₂ (10 ⁶ / (10 ⁶ + 10 ⁹ )) - 10 ⁹ log ₂ (10 ⁹ / (10 ⁶ + 10 ⁹ )) ~ = 11409200.43274242626

ซึ่งเป็นวิธีที่ตลก แต่ค่อนข้างดีในการประมาณจำนวน (บันทึกของ) ฉันชอบเพราะมันใช้งานได้ถ้าฉันลืมวิธีทำ combinatorics มันเทียบเท่ากับการพูดอย่างนั้น

(A + B)! / a! ข! ~ = (a + b) ^{(a + b)} / a ^a b ^b

ซึ่งก็เหมือนกับการใช้การประมาณของ Stirling การยกเลิกและการขาดอะไรบางอย่าง

— FutureNerd
แหล่งที่มา

2

สิ่งนี้อาจอ่านได้มากขึ้นถ้าคุณทำข้อ จำกัด ทั่วไปแทนตัวเลขที่เจาะจง ฉันคิดว่าคุณกำลังพูดถึงการประมาณปริมาณเอนโทรปีของปริมาตรของลูกบอลแฮมมิง

— Sasho Nikolov

0

แอปพลิเคชั่นล่าสุดที่ดีมากที่ให้ขอบเขตด้านบนสำหรับการเรียงสับเปลี่ยนมิติสูงโดย Linial และ Luria อยู่ที่นี่: http://www.cs.huji.ac.il/~nati/PAPERS/hd_permutations.pdf

— Gil Kalai
แหล่งที่มา