คำถามติดแท็ก it.information-theory

คำถามในทฤษฎีข้อมูล

1
เอนโทรปีของการโน้มน้าวใจมากกว่า hypercube
สมมติว่าเรามีฟังก์ชั่นf:Zn2→Rf:Z2n→Rf:\mathbb{Z}_2^n \to \mathbb{R}เช่นนั้น∑x∈Zn2f(x)2=1∑x∈Z2nf(x)2=1\sum _{x\in \mathbb{Z}_2^n} f(x)^2 = 1 (ดังนั้นเราจึงคิดว่า{f(x)2}x∈Zn2{f(x)2}x∈Z2n\{ f(x)^2\} _{x\in \mathbb{Z}_2^n}เป็นการกระจาย) . มันเป็นธรรมชาติที่จะกำหนดเอนโทรปีของฟังก์ชั่นดังต่อไปนี้: H(f)=−∑x∈Zn2f(x)2log(f(x)2).H(f)=−∑x∈Z2nf(x)2log⁡(f(x)2).H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x)^2 \log \left( f(x)^2 \right) . ตอนนี้พิจารณาบิดของด้วยตัวเอง: [ F * F ] ( x ) = Σ Y ∈ Z n 2ฉ( Y ) F ( x + Y ) …

2
ผลลัพธ์การเข้ารหัสช่องสัญญาณโดยใช้ความซับซ้อน Kolmogorov
โดยทั่วไปแชนนอนเอนโทรปีจะใช้เพื่อพิสูจน์ผลการเข้ารหัสช่องสัญญาณ แม้จะใช้ผลลัพธ์การแยกแชนเนลแชนนอนเอนโทรปี มีการศึกษาที่จะใช้ประโยชน์จากความซับซ้อนของ Kolmogorov สำหรับผลลัพธ์เหล่านี้ (หรืออย่างน้อยที่สุดเพื่อแทนที่ส่วนการเข้ารหัสซอร์สในผลลัพธ์การแยกช่องสัญญาณต้นทาง)

1
ความแตกต่างระหว่างควอนตัมฯ
เมื่อพิจารณาถึงสถานะควอนตัมได้รับการสุ่มเลือกอย่างสุ่มจากกลุ่มของรัฐผสมความน่าจะเป็นเฉลี่ยสูงสุดของการระบุอย่างถูกต้องคืออะไร? N ρ 1 . . ρ N AρAρA\rho_Aยังไม่มีข้อความNNρ1. . . ρยังไม่มีข้อความρ1...ρN\rho_1 ... \rho_NAAA ปัญหานี้อาจจะกลายเป็นปัญหา distinguishability สองรัฐโดยพิจารณาปัญหาของการแยกความแตกต่างจากA}ρ B = 1ρAρA\rho_AρB= 1ยังไม่มีข้อความ- 1Σฉัน≠ρผมρB=1N−1∑i≠Aρi\rho_{B} = \frac{1}{N-1}\sum_{i\neq A}\rho_i ฉันรู้ว่าสถานะควอนตัมสองสถานะปัญหามีวิธีแก้ปัญหาที่ดีในแง่ของระยะทางติดตามระหว่างรัฐเมื่อคุณลดความน่าจะเป็นข้อผิดพลาดสูงสุดให้น้อยที่สุดแทนที่จะลดความน่าจะเป็นเฉลี่ยของข้อผิดพลาดให้น้อยที่สุดและฉันหวังว่า กรณีนี้. แน่นอนว่ามันเป็นไปได้ที่จะเขียนความน่าจะเป็นในแง่ของการเพิ่มประสิทธิภาพมากกว่า POVMs แต่ฉันหวังว่าจะได้สิ่งที่การเพิ่มประสิทธิภาพได้ดำเนินการไปแล้ว ฉันรู้ว่ามีวรรณคดีขนาดใหญ่เกี่ยวกับความแตกต่างของสถานะควอนตัมและฉันได้อ่านบทความจำนวนมากในช่วงไม่กี่วันที่ผ่านมาพยายามค้นหาคำตอบสำหรับคำถามนี้ แต่ฉันมีปัญหาในการหาคำตอบนี้ รูปแบบเฉพาะของปัญหา ฉันหวังว่าใครบางคนที่รู้ว่าวรรณคดีที่ดีกว่าสามารถช่วยฉันได้บ้าง พูดอย่างเคร่งครัดฉันไม่ต้องการความน่าจะเป็นแน่นอนขอบเขตบนที่ดีจะทำ อย่างไรก็ตามความแตกต่างระหว่างรัฐใดรัฐหนึ่งและรัฐที่มีการผสมกันมากที่สุดนั้นค่อนข้างเล็กดังนั้นขอบเขตจะต้องมีประโยชน์ในขีด จำกัด นั้น

1
ปัญหา combinatorial ที่เรียบง่าย (?)
ขอให้เราแก้ไขและจำนวนเต็มเสื้อ> 00 < E< 10<E<100 สำหรับใด ๆและสำหรับเวกเตอร์ˉ c ∈ [ 0 , 1 ] nเช่นนั้น∑ ฉัน∈ [ n ] c ฉัน ≥ E × nnnnค¯∈ [ 0 , 1 ]nc¯∈[0,1]n\bar{c} \in [0,1]^nΣฉัน∈ [ n ]คผม≥ E× n∑i∈[n]ci≥E×n\sum_{i\in [n]} c_i \geq E \times n Aค¯: = | { S⊆ [ n …

4
ความสัมพันธ์ระหว่างความซับซ้อนในการคำนวณและข้อมูล
ฉันทำงานในห้องปฏิบัติการประสาทวิทยาศาสตร์คอมพิวเตอร์ที่คำนวณปริมาณข้อมูลร่วมกันระหว่างคู่หรือกลุ่มของเซลล์ประสาท เมื่อเร็ว ๆ นี้หัวหน้าของเขาเปลี่ยนโฟกัสไปที่การวัด "ความซับซ้อนของการเปลี่ยนแปลงระบบประสาท" ในการติดตามงานวิจัยบางคนในกลุ่มของฉันดูเหมือนจะถือเอาว่า "ซับซ้อน" และ "มีเอนโทรปี" ใครสามารถแนะนำฉันเกี่ยวกับความสัมพันธ์ระหว่างความซับซ้อนในการคำนวณ (ในแง่ของ CS) และเอนโทรปีในแง่ของทฤษฎีสารสนเทศ? เพื่ออธิบายเพิ่มเติมอีกเล็กน้อยมาตรการเช่นความซับซ้อนของ Lempel-Ziv ดูเหมือนฉันจะไม่สามารถวัดความซับซ้อนได้เพราะพวกเขาทำให้ข้อมูลที่สับสน (กับผู้ใช้) ทำให้สับสน มาตรการอื่น ๆ เช่น[Causal State Splitting Reconstruction][1]นั้นไม่ค่อยมีใครรู้จัก แต่มีคุณสมบัติที่น่าดึงดูดว่ากระบวนการแบบสุ่มมีความซับซ้อนเป็นศูนย์เนื่องจากจำเป็นต้องมีสถานะซ่อนเร้นเป็นศูนย์เพื่อแสดงถึงกระบวนการสุ่มแบบคงที่

1
ทฤษฎีข้อมูลอัลกอริทึมยังคงพัฒนาอยู่หรือไม่?
ขณะนี้ฉันกำลังมองหาหัวเรื่องสำหรับวิทยานิพนธ์และพบสาขาทฤษฎีข้อมูลอัลกอริทึม สนามดูเหมือนจะน่าสนใจมากสำหรับฉัน แต่ดูเหมือนว่าทุกอย่างจะเสร็จสิ้นก่อนหลายปี ดังนั้นคำถามของฉันคือ: ฟิลด์ "มีชีวิตอยู่" หรือมันปิดค่อนข้างสวย? มันมีคำถามแบบเปิดหรือไม่? ขอบคุณ

2
การสนทนากับความไม่เท่าเทียมของ Fano หรือไม่?
ความไม่เสมอภาคของ Fanoนั้นสามารถระบุได้ในหลายรูปแบบและสิ่งที่มีประโยชน์อย่างหนึ่งคือเนื่องจาก (มีการดัดแปลงเล็กน้อย) เพื่อOded Regev : ให้เป็นตัวแปรสุ่มและให้Y = g ( X )โดยที่g ( ⋅ )เป็นกระบวนการสุ่ม สมมติว่าการดำรงอยู่ของขั้นตอนที่ฉว่าได้รับY = กรัม( x )สามารถสร้างxมีโอกาสหน้า จากนั้น ฉัน( X ; Y ) ≥ p H ( X ) - H ( p )XXXY= g( X)Y=g(X)Y = g(X)ก.( ⋅ )g(⋅)g(\cdot)ฉffY= g( x )y=g(x)y = g(x)xxxพีppผม( X; Y) …

2
ชุดย่อย
แก้ไขkสำหรับการใด ๆ ขนาดใหญ่พอที่เราต้องการที่จะติดป้ายย่อยทั้งหมดของขนาดว่าโดยจำนวนเต็มบวกจาก\} เราต้องการให้การติดฉลากนี้เป็นไปตามคุณสมบัติต่อไปนี้: มีชุดของจำนวนเต็ม stk≥5k≥5k\ge5nnn{1..n}{1..n}\{1..n\}n/kn/kn/k{1...T}{1...T}\{1...T\}SSS ถ้าย่อยของขนาดไม่ตัด (เช่นสหภาพของชุดเหล่านี้ทุกรูปแบบชุด ) แล้วผลรวมของป้ายชื่อของพวกเขาอยู่ในSkkkn/kn/kn/k{1..n}{1..n}\{1..n\}SSS มิฉะนั้นผลรวมของป้ายชื่อของพวกเขาไม่ได้อยู่ในSSSS มีและการติดฉลาก stหรือไม่?k≥5k≥5k\ge5T⋅|S|=O(1.99n)T⋅|S|=O(1.99n)T\cdot|S|=O(1.99^n) ตัวอย่างเช่นสำหรับใด ๆเราสามารถติดป้ายเซ็ตย่อยด้วยวิธีต่อไปนี้ แต่ละชุดย่อยมีบิตในจำนวนของตน: บิตแรกเท่ากับ iff ชุดย่อยมีบิตที่สองเท่ากับ iff ชุดย่อยมีฯลฯ มันง่ายที่จะเห็นว่ามีเพียงองค์ประกอบเดียวkkkT=2nT=2nT=2^nnnn111111111222SSS2n−12n−12^n-1 1 แต่ที่นี่T⋅|S|=Θ(2n)T⋅|S|=Θ(2n)T\cdot|S|=\Theta(2^n) ) เราทำได้ดีกว่านี้ไหม

1
กำหนดจำนวนขั้นต่ำของการชั่งน้ำหนักเหรียญ
ในบทความปัญหาสองประการของทฤษฎีสารสนเทศ ErdõsและRényiให้ขอบเขตที่ต่ำกว่าในการชั่งน้ำหนักขั้นต่ำที่เราต้องทำเพื่อกำหนดจำนวนเหรียญปลอมในชุดของเหรียญเหรียญnnn เป็นทางการมากขึ้น: เหรียญปลอมมีน้ำหนักน้อยกว่าเหรียญที่ถูกต้อง จะรู้ว่าน้ำหนักและทั้งเหรียญถูกและเหรียญปลอม เครื่องชั่งจะได้รับโดยวิธีการใด ๆ ที่จำนวนเหรียญสามารถชั่งน้ำหนักด้วยกัน ดังนั้นหากเราเลือกส่วนย่อยของเหรียญและนำมารวมกันบนเครื่องชั่งเครื่องชั่งก็จะแสดงน้ำหนักรวมของเหรียญเหล่านี้ซึ่งทำให้ง่ายต่อการคำนวณจำนวนเหรียญปลอมในหมู่ผู้ชั่งน้ำหนัก คำถามคือจำนวนน้อยที่สุดคืออะไรของการชั่งน้ำหนักโดยวิธีการแยกเหรียญที่ถูกและผิดออก?aaab &lt; aข&lt;ab < a≤ n≤n\leq nA ( n )A(n)A(n) ขอบเขตล่างที่ไม่สำคัญที่พวกเขาให้ไว้ในตอนแรกคือ: n / บันทึก2( n + 1 )n/เข้าสู่ระบบ2⁡(n+1)n / \log_2 (n + 1)1) นี่ไม่ใช่เรื่องยากที่จะดูว่าทำไมผ่านข้อโต้แย้งข้อมูล - ทฤษฎีหรือ combinatorial ปัญหาคือวิธีการสร้างชุดดังกล่าวเพื่อทำการชั่งน้ำหนักเหล่านี้? มีอัลกอริทึมที่ใช้การพิสูจน์เชิงสร้างสรรค์เพื่อให้บรรลุขอบเขตที่ต่ำกว่านี้โดยไม่ต้องอาศัยการสุ่ม มีอัลกอริทึมแบบสุ่มที่บรรลุขอบเขตเหล่านี้หรือไม่?

4
สำรวจความคิดเห็นเกี่ยวกับการเข้ารหัสเครือข่าย
ฉันต้องการเริ่มเรียนรู้เกี่ยวกับการเข้ารหัสเครือข่าย: http://en.wikipedia.org/wiki/Network_coding คุณรู้หรือไม่ว่าแบบสำรวจที่ดี (เช่นจากแบบสำรวจ IEEE และแบบฝึกหัด) ในหัวข้อข้างต้น ฉันพบหลักสูตรมหาวิทยาลัยใน google แต่ฉันต้องการคำแนะนำจากผู้ที่อ่านแล้วและรู้จักแหล่งข้อมูลที่ดี ขอบคุณ Vasilis

1
ฟังก์ชัน Lovasz theta และกราฟปกติ (โดยเฉพาะวงจรคี่โดยเฉพาะ) - การเชื่อมต่อกับทฤษฎีสเปกตรัม
โพสต์นั้นเกี่ยวข้องกับ: /mathpro/59631/lovasz-theta-function-and-independence-number-of-product-of-simple-odd-) Lovasz ผูกพันกับขีดความสามารถที่ไม่มีข้อผิดพลาดของกราฟปกติไกลแค่ไหนแล้ว? มีตัวอย่างใดบ้างที่ทราบว่าการจับ Lovasz นั้นไม่เท่ากับความจุที่เป็นศูนย์ของข้อผิดพลาดของกราฟปกติ? (นี่คือคำตอบด้านล่างโดย Oleksandr Bondarenko) โดยเฉพาะอย่างยิ่งความไม่เสมอภาคที่เข้มงวดใด ๆ ที่ทราบกันดีสำหรับวงจรแปลก ๆ ของด้านที่มากกว่าหรือเท่ากับ ?777 ปรับปรุง สิ่งที่จำเป็นต้องมีการปรับปรุงในทฤษฎีสเปกตรัมเพื่อปรับปรุงฟังก์ชั่น Lovasz theta เพื่อให้ช่องว่างระหว่างความสามารถของแชนนอนและ Lovasz Theta สำหรับกรณีที่มีช่องว่างลดลง? (หมายเหตุฉันกังวลเฉพาะจากมุมมองสเปกตรัมเท่านั้น)

3
มีการวางนัยทั่วไปของทฤษฎีข้อมูลข่าวสารที่มีความรู้เชิงพหุนามหรือไม่?
ฉันขอโทษนี่เป็นคำถามที่ "อ่อน" ทฤษฎีสารสนเทศไม่มีแนวคิดของความซับซ้อนในการคำนวณ ตัวอย่างเช่นอินสแตนซ์ของ SAT หรืออินสแตนซ์ของ SAT บวกเล็กน้อยที่บ่งชี้ว่าความน่าเชื่อถือมีข้อมูลจำนวนเท่ากัน มีวิธีที่จะทำให้แนวคิดของ "ความรู้เชิงพหุนาม" เป็นระเบียบหรือไม่? เฟรมเวิร์กดังกล่าวสามารถกำหนดได้เช่นแนวคิดของพหุนาม - KL ความแตกต่างระหว่างตัวแปรสุ่ม X ญาติ Y เป็นจำนวนบิตที่จำเป็นในการคำนวณ X ในเวลาพหุนามให้ Y เช่นเดียวกันเอนโทรปีของตัวแปรสุ่ม X สามารถกำหนดเป็นจำนวนบิตที่จำเป็นในการเข้ารหัส X ในวิธีที่สามารถถอดรหัสในเวลาพหุนาม มีการศึกษาลักษณะทั่วไปเช่นนี้หรือไม่? มันสามารถทำให้สอดคล้องกันได้หรือไม่

2
คาดเดาค่าเอนโทรปีต่ำในหลาย ๆ ครั้ง
สมมติว่าอลิซมีการกระจายกว่าแน่นอน ( แต่อาจจะมีขนาดใหญ่มาก) โดเมนดังกล่าวที่ (แชนนอน) เอนโทรปีของเป็นที่สิ้นสุดบนโดยคงขนาดเล็กโดยพล\อลิซดึงค่าจากแล้วถามบ๊อบ (ที่รู้ ) ที่จะคาดเดาxμμ\muμμ\muεε\varepsilonxxxμμ\muμμ\muxxx โอกาสในการประสบความสำเร็จของบ็อบคืออะไร? ถ้าเขาได้รับอนุญาตเพียงหนึ่งเดาจากนั้นหนึ่งสามารถลดความน่าจะเป็นนี้ดังนี้: ขอบเขตบนเอนโทรปี min-entropy ดังนั้นจึงมีองค์ประกอบที่มีความน่าจะเป็นอย่างน้อย2- ε2-ε2^{-\varepsilon}. ถ้าบ๊อบเลือกองค์ประกอบนี้เป็นการคาดคะเนความน่าจะเป็นที่จะประสบความสำเร็จของเขาคือ2- ε2-ε2^{-\varepsilon}. ทีนี้สมมติว่าบ็อบได้รับอนุญาตให้เดาได้หลายคำพูด เสื้อเสื้อtเดาและบ๊อบชนะถ้าหนึ่งในเดาของเขาถูกต้อง มีรูปแบบการคาดเดาที่ช่วยเพิ่มโอกาสในการประสบความสำเร็จของ Bob หรือไม่? โดยเฉพาะอย่างยิ่งเป็นไปได้หรือไม่ที่จะแสดงให้เห็นว่าความน่าจะเป็นของความล้มเหลวของ Bob นั้นลดลงอย่างมากด้วยเสื้อเสื้อt?

1
เอนโทรปีของการกระจายที่มีเสียงดัง
สมมติว่าเรามีฟังก์ชั่น ฉ:Zn2→ Rf:Z2n→Rf:\mathbb{Z}_2^n \to \mathbb{R} ดังนั้น ∀ x ∈Zn2ฉ( x ) ∈ {12n,22n, … ,2n2n} ,∀x∈Z2nf(x)∈{12n,22n,…,2n2n},\forall x\in \mathbb{Z}_2^n \quad f(x) \in \left\{\frac{1}{2^n}, \frac{2}{2^n}, \ldots, \frac{2^n}{2^n} \right\}, และ fff คือการกระจายคือ ∑x∈Zn2f(x)=1∑x∈Z2nf(x)=1\sum_{x\in \mathbb{Z}_2^n} f(x) = 1. เอนโทรปีของแชนนอน fff ถูกกำหนดไว้ดังนี้: H(f)=−∑x∈Zn2f(x)log(f(x)).H(f)=−∑x∈Z2nf(x)log⁡(f(x)).H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x) \log \left( f(x) \right) . ปล่อย …

2
เหตุการณ์ความน่าจะเป็นสูงที่ไม่มีพิกัดความน่าจะเป็นต่ำ
ปล่อย XXX เป็นตัวแปรสุ่มที่รับค่า ΣnΣn\Sigma^n(สำหรับตัวอักษรขนาดใหญ่ ) ซึ่งมีเอนโทรปีสูงมาก - พูดสำหรับขนาดเล็กอย่างต่อเนื่องโดยพล\ ปล่อยให้เป็นเหตุการณ์ในการสนับสนุนของที่โดยที่\ varepsilonเป็นค่าคงที่ขนาดเล็กโดยพลการΣΣ\SigmaH(X)≥(n−δ)⋅log|Σ|H(X)≥(n−δ)⋅log⁡|Σ|H(X) \ge (n- \delta)\cdot\log|\Sigma|δδ\deltaE⊆Supp(X)E⊆Supp(X)E \subseteq \rm{Supp}(X)XXXPr[X∈E]≥1−εPr[X∈E]≥1−ε\Pr[X \in E] \ge 1 - \varepsilonεε\varepsilon เราบอกว่าคู่(i,σ)(i,σ)(i,\sigma)เป็นพิกัดความน่าจะเป็นต่ำของEEEถ้าPr[X∈E|Xi=σ]≤εPr[X∈E|Xi=σ]≤ε\Pr[X \in E | X_i = \sigma] \le \varepsilon\ เราบอกว่าสตริงx∈Σnx∈Σnx \in \Sigma^n มีความน่าจะเป็นที่ต่ำพิกัดของEEEถ้า(i,xi)(i,xi)(i, x_i)ความเป็นไปได้ต่ำพิกัดของEEEสำหรับบางฉันผมii โดยทั่วไปสตริงบางอย่างในอาจมีพิกัดน่าจะต่ำของEคำถามคือเราสามารถหาเหตุการณ์ความน่าจะเป็นสูงได้เสมอเช่นนั้นไม่มีสตริงในมีพิกัดความน่าจะเป็นต่ำของ (ไม่ใช่ของ )EEEEEEE'⊆ EE′⊆EE' \subseteq EE'E′E'E'E′E'EEE ขอบคุณ!

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.