เอนโทรปีค่าต่างน้อยกว่าค่าอนันต์หรือไม่?

สำหรับตัวแปรสุ่มแบบต่อเนื่องตามอำเภอใจบอกว่า , ค่าเอนโทรปีของค่านั้นน้อยกว่าหรือไม่? (มันก็โอเคถ้ามัน .) ถ้าไม่มันเป็นเงื่อนไขที่จำเป็นและเพียงพอสำหรับมันที่จะน้อยกว่า ? $X$ $\infty$ $-\infty$ $\infty$

entropy information-theory maximum-entropy

— syeh_106
แหล่งที่มา

คุณลองตัวอย่างไหม? ชอบกระจายสม่ำเสมอในช่วงความยาว ?

L

$L$

— Piotr Migdal

อันที่จริงค่าเอนโทรปีของการแจกแจงแบบสม่ำเสมอ (ในช่วง จำกัด ใด ๆ ) จะมีค่า จำกัด เสมอนั่นคือล็อก (L) ดังนั้นจึงมีขอบเขต ในความเป็นจริงฉันสามารถระบุการกระจายอย่างต่อเนื่อง 2 คลาสซึ่งเอนโทรปีถูก จำกัด เสมอ - (1) การแจกแจงใด ๆ ที่การสนับสนุนอยู่ในช่วง จำกัด และ (2) การกระจายใด ๆ ที่ช่วงเวลาที่สองมี จำกัด อดีตถูกล้อมรอบด้วยการกระจายเครื่องแบบ ในขณะที่หลังถูก จำกัด โดยการแจกแจงแบบเกาส์

— syeh_106

ในความเป็นจริงฉันสามารถสร้างการแจกแจงด้วยช่วงเวลาที่ไม่มีที่สิ้นสุดที่ 2 และยังมีเอนโทรปี จำกัด ตัวอย่างเช่นพิจารณา f (x) = 3 / (x ^ 2), x> 3 เห็นได้ชัดว่า E [X ^ 2] ไม่มีที่สิ้นสุด แต่ h (X) ~ = -3.1 nats อย่างไรก็ตามฉันไม่สามารถยืนยันได้ว่านี่เป็นเรื่องจริงสำหรับตัวแปรสุ่มแบบต่อเนื่องโดยพลการหรือเกิดขึ้นกับตัวอย่างการนับเพื่อปฏิเสธมัน ฉันชื่นชมจริง ๆ ถ้ามีคนสามารถแสดงสิ่งนี้

— syeh_106

ขอบคุณสำหรับความคิดเห็นและลิงค์ของคุณ Piotr อนึ่งฉันยังตรวจสอบวัสดุหลักสูตรหนึ่งของฉันและพบว่าเป็นตัวอย่างเดียวกันของตัวแปรสุ่มที่ไม่ต่อเนื่องพร้อมการสนับสนุนอย่างไม่มีที่สิ้นสุด แรงบันดาลใจจากสิ่งนี้มันไม่ยากที่จะสร้างอะนาล็อกต่อเนื่อง ดังนั้นคำตอบของคำถามแรกจึงชัดเจน ฉันจะสรุปมันด้านล่างสำหรับคนอื่น ๆ ที่อาจมีคำถามเดียวกัน BTW ฉันต้องทำการแก้ไขในความคิดเห็นที่ 2 ของฉันด้านบนโดยเฉพาะสำหรับ f (x) = 3 / (x ^ 2) h (X) ควรเป็นค่าบวกนั่นคือ 3.1 nats

— syeh_106

คำถามนี้และคำตอบนั้นคลุมเครือเพราะพวกเขาไม่ได้ระบุว่าจะใช้ขอบเขตแบบใด ถ้าเป็น RV แสดงว่ามีค่าเอนโทรปีระยะเวลา หากเป็น RV ต่อเนื่อง "โดยพล" ดังนั้น (ชัดเจน) จะไม่มีขอบเขตบน สิ่งใดที่คุณ จำกัด ตั้งใจที่จะกำหนดเกี่ยวกับ ? จากความคิดเห็นและคำตอบของคุณดูเหมือนว่าคุณอาจต้องการแก้ไขการสนับสนุนของ - หรือไม่? บางทีคุณต้องการ จำกัดให้กับตัวแปรเหล่านั้นด้วยขอบเขตที่กำหนดในบางช่วงเวลา? บางทีคุณอาจต้องการให้อยู่ในตระกูลพารามิเตอร์ - หรืออาจจะไม่ใช่? โปรดแก้ไขคำถามนี้เพื่อชี้แจง

X

$X$

X

$X$

X

$X$

X

$X$

X

$X$

— whuber

ฉันคิดเกี่ยวกับคำถามนี้มากขึ้นและจัดการเพื่อหาตัวอย่างเคาน์เตอร์ขอบคุณด้วยความเห็นของ Piotr ข้างต้น คำตอบของคำถามแรกคือไม่มี - เอนโทรปีค่าของตัวแปรสุ่มต่อเนื่อง (RV) เป็นไม่ได้เสมอน้อยกว่า\ยกตัวอย่างเช่นพิจารณา RV X อย่างต่อเนื่องซึ่งเป็น pdf สำหรับ2 $\infty$

f (x) = \frac{\log (2)}{x \log (x)^{2}}

$f(x) = \frac{\log(2)}{x \log(x)^2}$

x > 2

$x > 2$

ไม่ยากที่จะตรวจสอบว่าเอนโทรปีของมันไม่มีที่สิ้นสุด มันเติบโตค่อนข้างช้าแม้ว่า (ประมาณลอการิทึม)

สำหรับคำถามที่ 2 ฉันไม่ได้ตระหนักถึงเงื่อนไขที่จำเป็นและเพียงพออย่างง่าย อย่างไรก็ตามคำตอบบางส่วนมีดังนี้ จัดหมวดหมู่ RV อย่างต่อเนื่องเป็นหนึ่งใน 3 ประเภทดังต่อไปนี้ตามการสนับสนุนของมันเช่น

Type 1: RV อย่างต่อเนื่องที่มีการสนับสนุนถูก จำกัด เช่นที่อยู่ใน [a, b]
ประเภทที่ 2: RV แบบต่อเนื่องที่มีการสนับสนุนแบบครึ่งขอบเขตกล่าวคือมีอยู่ใน [a, ) หรือ ( , a] แบบที่ 3: RV แบบต่อเนื่องที่ไม่มีการสนับสนุนมากมาย $\infty$ $-\infty$

จากนั้นเรามีดังต่อไปนี้ -

สำหรับ Type 1 RV นั้นเอนโทรปีจะมีค่าน้อยกว่าโดยไม่มีเงื่อนไข สำหรับ Type 2 RV นั้นเอนโทรปีมีค่าน้อยกว่าถ้าค่าเฉลี่ย ( ) มี จำกัด สำหรับ Type 3 RV นั้นเอนโทรปีมีค่าน้อยกว่าหากความแปรปรวน ( ) มี จำกัด $\infty$
$\infty$ $\mu$
$\infty$ $\sigma^2$

ความแตกต่างของเอนโทรปีของ Type 1 RV มีค่าน้อยกว่าการแจกแจงชุดที่สอดคล้องกันเช่น , Type 2 RV, ของการแจกแจงเอ็กซ์โพเนนเชียลคือและ a ประเภท 3 รถ RV ที่ของการกระจาย Gaussian คือ2) $log(b-a)$ $1+log(|\mu-a|)$ $\frac{1}{2} log(2{\pi}e\sigma^2)$

โปรดทราบว่าสำหรับ Type 2 หรือ 3 RV เงื่อนไขข้างต้นเป็นเงื่อนไขที่เพียงพอเท่านั้น ยกตัวอย่างเช่นการพิจารณาประเภท 2 RV กับ สำหรับ3 เห็นได้ชัดว่ามันหมายถึงไม่มีที่สิ้นสุด แต่เอนโทรปีของมันคือ 3.1 nats หรือพิจารณา RV แบบ 3 ด้วย สำหรับ . ความแปรปรวนของมันไม่มีที่สิ้นสุด แต่เอนโทรปีของมันคือ 2.6 nats ดังนั้นมันจะดีถ้ามีใครสามารถให้คำตอบที่สมบูรณ์หรือสง่างามสำหรับส่วนนี้

f (x) = \frac{3}{x^{2}}

$f(x) = \frac{3}{x^2}$

x > 3

$x > 3$

f (x) = \frac{9}{| x |^{3}}

$f(x) = \frac{9}{|x|^3}$

| x | > 3

$|x| > 3$

— syeh_106
แหล่งที่มา

ที่ดี! เกี่ยวกับความคิดเห็น SE จะไม่ถือว่าถาวร (ถ้าเกี่ยวข้อง) ควรรวมอยู่ในคำตอบ สิ่งเดียวกันนี้มีไว้สำหรับลิงก์ไปยังวัสดุต่างๆ (เพื่อพิสูจน์ / แสดงบางอย่างหรือลิงก์ไปยังเนื้อหาแทนที่จะพูด) BTW: ชั่วขณะหนึ่งเมื่อฉันเห็นช่วงเวลาที่แน่นอน (สำหรับ ) ใด ๆนำไปสู่เอนโทรปีที่มีขอบเขต (ฉันเพิ่งรู้หลังจากดูโฆษณาเพื่อพิสูจน์ความแปรปรวน)

⟨ x^{α} ⟩

$\langle x^\alpha \rangle$

α > 0

$\alpha>0$

— Piotr Migdal

ขอบคุณ Piotr สำหรับคำแนะนำเกี่ยวกับนโยบายของ SE (ใช่ฉันเห็นได้ชัดว่าใหม่ที่นี่) เกี่ยวกับช่วงเวลา จำกัด ที่นำไปสู่เอนโทรปีที่มีขอบเขตคุณจะแบ่งปันหลักฐานของคุณหรือไม่ ขอบคุณ!

— syeh_106

@PiotrMigdal ฉันวางแผนที่จะปล่อยให้คำตอบสำหรับคำถามนี้ในสถานะปัจจุบันหลังจากเพิ่มสัมผัสสุดท้าย แรงบันดาลใจจากความคิดเห็นของ Piotr ด้านบนฉันพิจารณาว่าค่าเฉลี่ยที่ จำกัด นำไปสู่การ จำกัด เอนโทรปีหรือไม่ ฉันไม่สามารถสรุปได้โดยทั่วไป สิ่งที่ฉันได้พบคือมันเป็นเรื่องจริงถ้าการสนับสนุนของ RV นั้นมีขอบเขต จำกัด โปรดดูคำตอบที่แก้ไขด้านบน ฉันหวังว่าจะได้คำตอบที่ดีกว่าจากใครซักคนสักวันหนึ่ง

— syeh_106

"มันไม่ยากที่จะตรวจสอบว่าเอนโทรปีของมันไม่มีที่สิ้นสุด" คุณสามารถแสดงวิธีการยืนยันนี้ได้หรือไม่? ดูเหมือนว่าเป็นความจริงสำหรับ Riemann integral แต่เอนโทรปีต่างกันนั้นเกี่ยวกับการวัด Lebesgue ฉันมีปัญหาในการตรวจสอบว่าอินทิกรัลของ Lebesgue ไม่ได้มาบรรจบกัน

— cantorhead

ขอขอบคุณ. เกี่ยวกับความสัมพันธ์ระหว่างโมเมนต์และเอนโทรปีตัวอย่างที่ดีอีกประการหนึ่งของ Type 3 RV คือมีการแจกแจงแบบ Cauchy (aka Lorenz) มาตรฐาน ในกรณีนี้หมายถึงไม่ได้อยู่ แต่PI)

X

$X$

E [X]

$\mathrm{E}[X]$

H (X) = \log (4 π)

$H(X)=\log(4\pi)$

— cantorhead