ความไม่สมดุลของประเภท Chernoff สำหรับตัวแปรสุ่มที่มี 3 ผลลัพธ์

สมมติว่าเรามีตัวแปรสุ่มซึ่งใช้ค่าที่ไม่ใช่ตัวเลข a, b, c และต้องการหาปริมาณว่าการกระจายเชิงประจักษ์ของตัวอย่างของตัวแปรนี้เบี่ยงเบนจากการแจกแจงจริงอย่างไร ความไม่เท่าเทียมกันต่อไปนี้ (จากหน้าปก & โทมัส ) นำไปใช้ในกรณีนี้$n$

ทฤษฎีบท 12.4.1 (ทฤษฎีบทของ Sanov): Letพ.ศ. IID(x) ปล่อยให้เป็นชุดของการแจกแจงความน่าจะเป็น ดังนั้น ที่ คือการแจกแจงในที่ใกล้เคียงกับQในเอนโทรปีของสัมพัทธ์$X_1, X_2, \ldots, X_n$$\sim Q(x)$
$E \subseteq \mathscr{P}$

$$Q^n(E) = Q^n(E \cap \mathscr{P}_n) \leq (n+1)^{|\mathcal{X}|}2^{-nD(P^*||Q)},$$ $$P^* = \arg\min_{P \in E} D(P||Q),$$ $E$$Q$

ความไม่เท่าเทียมกันนี้ค่อนข้างหลวมขนาดเล็กn$n$สำหรับผลลัพธ์ไบนารี$|\mathcal{X}|=2$และขอบเขตที่Chernoff-Hoeffdingมีความเข้มงวดมากขึ้น

มีขอบเขตที่ใกล้เคียงกันสำหรับ$|\mathcal{X}|=3$หรือไม่

คุณสามารถรับขอบเขตที่ค่อนข้างดีได้โดยพิจารณาตัวแปรสุ่มซึ่งคือ 1 ถ้าและศูนย์เป็นอย่างอื่น (สำหรับตั้งแต่การทดลองและอยู่ในหมวดหมู่) สำหรับการแก้ไขใด ๆมีความเป็นอิสระและดังนั้นจึงสามารถวิเคราะห์การใช้ Chernoff ตัว แล้วทำสหภาพผูกพันมากกว่าJ$Y_{ij}$$X_i = j$$1 \le i \le n$$1 \le j \le 3$$j$$Y_{ij}$$\sum_i Y_{ij}$$j$

ถ้าข้างต้นไม่เพียงพอฉันขอแนะนำให้คุณดูรูปแบบลูกบอลและถังขยะเช่นในตำราเรียนของ Upfal และ Mitzenmacher รูปแบบนั้นเหมือนกับของคุณยกเว้นถังขยะบางอันอาจมีแนวโน้มมากกว่าที่คนอื่นจะมีลูกบอลอยู่ในนั้นใช่ไหม มีเทคนิคที่ซับซ้อนมากขึ้นที่เกี่ยวข้องกับการประมาณปัวซองในรูปแบบนั้นซึ่งน่าจะขยายได้ตามการตั้งค่าของคุณด้วยความน่าจะเป็นถังขยะที่ไม่สม่ำเสมอ

ไม่มีอะไรเกี่ยวกับขอบเขตของ Chernoff Hoeffding ที่เฉพาะเจาะจงกับตัวแปรบูลีน ถ้าเป็นตัวแปรสุ่มที่มีมูลค่าจริงของ iid ด้วยคุณสามารถใช้ Chernoff ผูกไว้ได้ การอ้างอิงที่ดีคือ "ความเข้มข้นของมาตรการสำหรับการวิเคราะห์อัลกอริทึมแบบสุ่ม" ( http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.120206161&rep=rep1&type=pdf )$X_1,\ldots,X_n$$0 \leq X_i \leq 1$