การได้รับ Negentropy ติดขัด

ดังนั้นคำถามนี้มีส่วนเกี่ยวข้องบ้าง แต่ฉันพยายามอย่างพยายามทำให้ตรงไปตรงมาที่สุด

เป้าหมาย:เรื่องสั้นสั้น ๆ มีการกำเนิดของการปฏิเสธที่ไม่เกี่ยวข้องกับการสั่งซื้อที่สูงขึ้นและฉันพยายามที่จะเข้าใจว่ามันได้รับมาอย่างไร

พื้นหลัง: (ฉันเข้าใจทั้งหมดนี้)

ฉันศึกษาด้วยตนเองหนังสือ'การวิเคราะห์องค์ประกอบอิสระ'พบได้ที่นี่ (คำถามนี้มาจากหัวข้อ 5.6 ในกรณีที่คุณมีหนังสือ - 'การประมาณค่าเอนโทรปีของฟังก์ชันที่ไม่ใช่พหุนาม')

เรามีซึ่งเป็นตัวแปรสุ่มและเราต้องการประมาณค่าลบจากการสังเกตบางอย่างที่เรามี รูปแบบไฟล์ PDF ของจะได้รับโดยซีตา) Negentropy เป็นเพียงความแตกต่างระหว่างเอนโทรปีค่าของตัวแปรสุ่มมาตรฐานเสียนและเอนโทรปีค่าของxเอนโทรปีของดิฟเฟอเรนเชียลได้รับจากเช่นนั้น: $x$ $x$ $p_x(\zeta)$ $x$ $H$

H (x) = - \int_{- \infty}^{\infty} p_{x} (ζ) l o g (p_{x} (ζ)) d ζ

$H(x) = -\int_{-\infty}^{\infty} p_x(\zeta) \: log(p_x(\zeta)) \: d\zeta$

และดังนั้นการได้รับการปฏิเสธคือ

J (x) = H (v) - H (x)

$J(x) = H(v) - H(x)$

ที่เป็นมาตรฐาน RV เสียนกับรูปแบบไฟล์ PDF ได้รับจากซีตา) $v$ $\phi(\zeta)$

ตอนนี้ซึ่งเป็นส่วนหนึ่งของวิธีการใหม่นี้หนังสือของฉันได้รับการประมาณ PDF ของซึ่งได้รับจาก: $x$

p_{x} (ζ) = ϕ (ζ) [1 + \sum_{i} c_{i} F^{i} (ζ)]

$p_x(\zeta) = \phi(\zeta) [1 + \sum_{i} c_i \; F^{i}(\zeta)]$

(ที่ไหน . โดยวิธีการที่เป็นไม่ได้อำนาจ แต่ดัชนีแทน) $c_i = \mathbb{E}\{F^i(x)\}$ $i$

สำหรับตอนนี้ฉัน 'ยอมรับ' สูตร PDF ใหม่นี้และจะถามอีกวัน นี่ไม่ใช่ปัญหาหลักของฉัน สิ่งที่เขาทำในตอนนี้คือเสียบรุ่น PDF ของกลับไปที่สมการเชิงลบและลงท้ายด้วย: $x$

J (x) \approx \frac{1}{2} \sum_{i} E {F^{i} (x)}^{2}

$J(x) \approx \frac{1}{2}\sum_i\mathbb{E} \{F^i(x)\}^2$

หมีในใจซิก (ที่นี่และสำหรับส่วนที่เหลือของโพสต์) เพียง loops รอบดัชนีฉันตัวอย่างเช่นถ้าเรามีเพียงสองฟังก์ชั่สัญญาณจะห่วงสำหรับและ 2 แน่นอนฉันควรบอกคุณเกี่ยวกับฟังก์ชั่นเหล่านั้นที่เขาใช้ เห็นได้ชัดว่าฟังก์ชั่นเหล่านั้นถูกกำหนดดังนี้: $i$ $i=2$ $i=2$ $F^i$

ฟังก์ชันไม่ใช่ฟังก์ชันพหุนามในกรณีนี้ (เราสมมติว่า rvเป็นค่าเฉลี่ยศูนย์และความแปรปรวนของหน่วย) ตอนนี้ให้เราสร้างข้อ จำกัด และกำหนดคุณสมบัติของฟังก์ชันเหล่านั้น: $F^i$ $x$

$F^{n + 1} (ζ) = ζ, c_{n + 1} = 0$ $F^{n+1}(\zeta) = \zeta, \: \: c_{n+1} = 0$
$F^{n + 2} (ζ) = ζ^{2}, c_{n + 1} = 1$ $F^{n+2}(\zeta) = \zeta^2, \: \: c_{n+1} = 1$
เพื่อให้การคำนวณง่ายขึ้นให้เราทำสมมติฐานทางเทคนิคอื่น ๆ ที่บริสุทธิ์: ฟังก์ชัน , สร้างระบบ orthonormal เช่น: $F^i, i = 1, ... n$

$\int ϕ (ζ) F^{i} (ζ) F^{j} (ζ) d ζ = {\begin{cases} 1, if i = j \\ 0, if i \neq j \end{cases}$ $\int \phi(\zeta) F^i(\zeta)F^j(\zeta)d\zeta= \begin{cases} 1, \quad \text{if } i = j \\ 0, \quad \text{if } i \neq j \end{cases}$
และ

$\int ϕ (ζ) F^{i} (ζ) ζ^{k} d (ζ) = 0, for k = 0, 1, 2$ $\int \phi(\zeta)F^i(\zeta)\zeta^k d(\zeta) = 0, \quad \text{for } k = 0,1,2$

เกือบจะมี! ตกลงดังนั้นทั้งหมดที่เป็นพื้นหลังและตอนนี้สำหรับคำถาม งานคือการแล้วเพียงวางสินค้านี้ PDF ใหม่เข้าสู่สูตรเอนโทรปีความแตกต่าง,(x) ถ้าฉันเข้าใจสิ่งนี้ฉันจะเข้าใจส่วนที่เหลือ ตอนนี้หนังสือเล่มนี้ให้กำเนิด (และฉันเห็นด้วยกับมัน) แต่ฉันติดอยู่ท้ายที่สุดเพราะฉันไม่ทราบ / ดูว่ามันมีการยกเลิก นอกจากนี้ฉันไม่ทราบวิธีการตีความสัญกรณ์เล็ก ๆ จากการขยายตัวของเทย์เลอร์ $H(x)$

นี่คือผลลัพธ์ที่ได้:

การใช้บันทึกการขยายเทย์เลอร์สำหรับเราได้รับ: $(1+\epsilon)log(1+\epsilon) = \epsilon + \frac{\epsilon^2}{2} + o(\epsilon^2)$ $H(x)$

H (x) = - \int ϕ (ζ) (1 + \sum c_{i} F^{i} (ζ)) (l o g (1 + \sum c_{i} F^{i} (ζ) + l o g (ζ)) d (ζ) = - \int ϕ (ζ) l o g (ζ) - \int ϕ (ζ) \sum c_{i} F^{i} (ζ) l o g (ϕ (ζ)) - \int ϕ (ζ) [\sum c_{i} F^{i} (ζ) + \frac{1}{2} (\sum c_{i} F^{i} (ζ))^{2} + o ((\sum c_{i} F^{i} (ζ))^{2})]

$H(x) = -\int \phi(\zeta) \; (1 + \sum c_i F^i(\zeta)) \; (log(1 + \sum c_i F^i(\zeta) + log(\zeta)) \; d(\zeta) \\ = -\int \phi(\zeta) log(\zeta) -\int \phi(\zeta) \sum c_i F^i(\zeta) log(\phi(\zeta)) -\int \phi(\zeta) \; [\sum c_i F^i(\zeta) + \frac{1}{2}(\sum c_i F^i(\zeta))^2 + o((\sum c_i F^i(\zeta))^2)]$

และอื่น ๆ

คำถาม: (ฉันไม่เข้าใจสิ่งนี้)

H (x) = H (v) - 0 - 0 - \frac{1}{2} \sum c_{i}^{2} + o ((\sum c_{i})^{2}

$H(x) = H(v) - 0 - 0 -\frac{1}{2}\sum c_i^2 + o((\sum c_i)^2$

$H(v)$

ขอบคุณ !!!!

แก้ไข:

ฉันได้ไปข้างหน้าและเพิ่มภาพจากหนังสือที่ฉันอ่านมันค่อนข้างบอกว่าสิ่งที่ฉันพูดข้างต้น แต่ในกรณีที่มีคนต้องการบริบทเพิ่มเติม

ป้อนคำอธิบายรูปภาพที่นี่

$c_i^2$

— สเปซีย์
แหล่งที่มา

\log ϕ (x)

$\log \phi(x)$

\neq

$\neq$

@ cardinal ตกลงแก้ไขคำผิดแล้วขอบคุณ ที่ถูกกล่าวว่าฉันไม่ชัดเจนเกี่ยวกับวิธีการที่เขาทำการยกเลิก ฉันได้เพิ่มรูปภาพจริง btw จากหนังสือของตัวเอง

— Spacey

จริงๆแล้วฉันไม่รู้เลยว่าทำไมมันถึงได้ถูกโยกย้ายออกไปจากเว็บไซต์คณิตศาสตร์ ฉันมีความสุขที่ได้อยู่ที่นี่ที่บ้านอย่างเท่าเทียมกัน คุณใช้ความพยายามอย่างมากในคำถาม :-)

— พระคาร์ดินัล

@ cardinal ฉันพอใจมากที่ได้ยินคุณพูดเช่นนั้น :-) ใช่หวังว่าการลงทุนด้วยตนเองนี้จะชำระในสักวันหนึ่ง ;-)

— Spacey

มันจะ @ Mohammad มันจะ! ICA เป็นหัวข้อที่น่าสนใจเช่นกัน :-)

— Néstor

$c_i$

c_{i} = \int p_{0} (ξ) G^{i} (ξ) d ξ .

$c_i=\int p_0(\xi)G^i(\xi)d\xi.$

ξ

$\xi$

ξ^{'}

$\xi'$

c_{i}

$c_i$

>> เมื่อต้องการรับเงื่อนไขเป็นศูนย์:

$\varphi(\xi)=\exp(-\xi^2/2)/\sqrt{2\pi}$ $\log\varphi(\xi)$

\log φ (ξ) = - ξ^{2} / 2 - \log \sqrt{2 π} .

$\log\varphi(\xi)=-\xi^2/2-\log\sqrt{2\pi}.$

c_{i} \int φ (ξ) G^{i} (ξ) \log φ (ξ) = - \frac{1}{2} c_{i} \int φ (ξ) G^{i} (ξ) ξ^{2} - \log \sqrt{2 π} c_{i} \int φ (ξ) G^{i} (ξ), (1)

$c_i\int\varphi(\xi)G^i(\xi)\log \varphi(\xi)=-\frac{1}{2}c_i\int\varphi(\xi)G^i(\xi)\xi^2-\log\sqrt{2\pi}c_i\int\varphi(\xi)G^i(\xi),\ \ \ (1)$

$\int \varphi(\xi)F^i(\xi)\xi^k$ $0$ $k=0,1,2$ $(1)$ $k=2$ $k=0$

$\sum c_i^2$

\int φ (ξ) {(\sum_{i = 1}^{n} c_{i} G^{i} (ξ))}^{2} d ξ .

$\int \varphi(\xi)\left(\sum_{i=1}^{n} c_iG^i(\xi)\right)^2d\xi.$

\int φ (ξ) \sum_{k_{1} + k_{2} + . . . k_{n} = 2} \frac{2!}{k_{1}! k_{2}! . . . k_{n}!} \prod_{1 \leq t \leq n} (c_{t} G^{t} (ξ))^{k_{t}} d ξ .

$\int \varphi(\xi)\sum_{k_1+k_2+...k_n=2} \frac{2!}{k_1! k_2!...k_n!}\prod_{1\leq t \leq n}(c_tG^t(\xi))^{k_t}d\xi.$

\int φ (ξ) G^{i} (ξ) G^{j} (ξ) d ξ

$\int \varphi(\xi)G^{i}(\xi)G^{j}(\xi)d\xi$

i \neq j

$i\neq j$

i = j

$i=j$

\int φ (ξ) {(\sum c_{i} G^{i} (ξ))}^{2} d ξ = \sum c_{i}^{2} .

$\int \varphi(\xi)\left(\sum c_iG^i(\xi)\right)^2d\xi=\sum c_i^2.$

$o(\text{whatever})$

$\text{whatever}$ $o(\text{whatever})$

PS: นี่คือหนังสือที่ยอดเยี่ยมโดยวิธี เอกสารของผู้แต่งในเรื่องนี้ก็ดีมากและเป็นสิ่งที่ต้องอ่านถ้าคุณพยายามทำความเข้าใจและนำ ICA ไปใช้

— Néstor
แหล่งที่มา

(+1) คำตอบที่ดี หากจำนวนเงินไม่มีที่สิ้นสุดเราจะต้องระมัดระวังในการแลกเปลี่ยนกับอินทิกรัล หากพวกเขามีข้อ จำกัด (ตามที่ OP แนะนำ แต่ฉันไม่ได้ดูภาพอย่างใกล้ชิด) ทุกอย่างก็ตรงไปตรงมาตามที่คุณแสดง :-)

— พระคาร์ดินัล

c_{i}^{2}

$c_i^2$

@cardinal: ใช่แล้ว! พวกเขามี จำกัด (ฉันไม่รู้ว่าทำไมฉันถึงเขียนว่าพวกเขาอยู่ที่ไหนไม่มีที่สิ้นสุด ... ) ฉันเปลี่ยนมันในคำตอบของฉัน

— Néstor

@ Mohammad ฉันเขียนคำตอบของฉันอีกสองคำถาม ;-)

— Néstor

@ Néstor, +1 คำตอบนี้ แต่อีกครั้ง: ความคิดเห็นล่าสุดของคุณฉันคิดว่ามีความแตกต่างระหว่างสัญกรณ์ใหญ่และ O น้อย

— มาโคร