เมื่อทำการรักษาฟังก์ชั่นยูทิลิตี้ที่ได้รับการทำให้เป็นมาตรฐานแล้วเป็น pmf การตีความของเอนโทรปีของแชนนอนหรือข้อมูลแชนนอนคืออะไร?

10

สมมติว่าเป็นชุดผลลัพธ์แบบเอกสิทธิ์เฉพาะบุคคลของตัวแปรสุ่มแบบแยกและคือฟังก์ชันยูทิลิตี้ที่ ,ฯลฯ $\Omega$ $f$ $0 < f(\omega) \leq 1$ $\sum_\Omega f(\omega) = 1$

เมื่อกระจายอย่างสม่ำเสมอทั่วและเป็นฟังก์ชันมวลความน่าจะเป็น, Hannon entropyคือ ขยายใหญ่สุด (และเมื่อองค์ประกอบหนึ่งในมีมวลทั้งหมดของเอนโทรปีของแชนนอนจะถูกย่อเล็กสุด ( ) สิ่งนี้สอดคล้องกับการหยั่งรู้เกี่ยวกับความแปลกแยก (หรือการลดความไม่แน่นอน ) และผลลัพธ์และความไม่แน่นอน (หรือการคาดการณ์ที่น่าประหลาดใจ ) และตัวแปรสุ่ม: $f$ $\Omega$ $f$ $H(\Omega) = \sum_{\Omega}f(\omega)log\frac{1}{f(\omega)}$ $=log|\Omega|)$ $\Omega$ $f$ $0$

เมื่อกระจายอย่างสม่ำเสมอความไม่แน่นอนจะถูกขยายให้กว้างที่สุดและยิ่งมีมวลมากเท่าไหร่ที่จะกระจายอย่างสม่ำเสมอยิ่งมีความไม่แน่นอนมากขึ้น $f$
เมื่อมีมวลทั้งหมดกระจุกตัวในผลลัพธ์เดียวเราก็ไม่มีความแน่นอน $f$
เมื่อเรากำหนดความน่าจะเป็นผลลัพธ์ให้ได้เราจะไม่ได้รับข้อมูล (เป็น "ไม่น่าแปลกใจ") เมื่อเราสังเกตเห็นจริง $1$
เมื่อเรากำหนดผลลัพธ์ให้มีความน่าจะเป็นใกล้กับมากขึ้นการสังเกตถึงความเป็นจริงที่เกิดขึ้นจะมีข้อมูลมากขึ้น ("น่าประหลาดใจ") $0$

(ทั้งหมดนี้ไม่ได้บอกอะไรเลยเกี่ยวกับรูปธรรมมากขึ้น - แต่น้อยกว่า epistemic - การตีความการเข้ารหัสของข้อมูล / เอนโทรปีของแชนนอน)

อย่างไรก็ตามเมื่อมีการตีความฟังก์ชันยูทิลิตี้มีการตีความโลดโผนของหรือ ? สำหรับฉันดูเหมือนว่าอาจจะมี: $f$ $log\frac{1}{f(\omega)}$ $\sum f(\omega)log\frac{1}{f(\omega)}$

ถ้าเป็น PMF หมายถึงการกระจายสม่ำเสมอมากกว่าแล้วเป็นสอดคล้องกับฟังก์ชั่นยูทิลิตี้ที่จะไม่แยแสมากกว่าผลลัพธ์ที่ไม่อาจจะมากขึ้น * $f$ $\Omega$ $f$
ฟังก์ชั่นยูทิลิตี้ที่มีหนึ่งผลลัพธ์มียูทิลิตี้ทั้งหมดและส่วนที่เหลือไม่มี (ตรงที่มียูทิลิตี้เบ้มาก ) สอดคล้องกับความต้องการของญาติที่แข็งแกร่งมาก - การขาดความเฉยเมย

มีการอ้างอิงขยายตัวในเรื่องนี้หรือไม่? ฉันได้พลาดอะไรบางอย่างเกี่ยวกับข้อ จำกัด ในการเปรียบเทียบฟังก์ชั่นความน่าจะเป็นที่มีขนาดใหญ่และยูทิลิตี้ปกติที่มีความสัมพันธ์กับตัวแปรสุ่มแบบแยกหรือไม่?

* ฉันตระหนักถึงความโค้งของความเฉยเมยและไม่เห็นว่าพวกเขาอาจเกี่ยวข้องกับคำถามของฉันด้วยเหตุผลหลายประการเริ่มต้นด้วยการมุ่งเน้นไปที่พื้นที่ตัวอย่างที่เป็นหมวดหมู่และด้วยความจริงที่ว่าฉันไม่สนใจ 'ไม่แยแส' ต่อ se แต่ค่อนข้างจะตีความอรรถประโยชน์เป็นความน่าจะเป็นและวิธีตีความ functionals บนความน่าจะเป็นเมื่อการกระจายความน่าจะเป็น (ไม่ต่อเนื่อง) ในคำถามจริงหรือ (เพิ่มเติม) มีการตีความของฟังก์ชันอรรถประโยชน์

— EM23
แหล่งที่มา

ฉันไม่มีคำตอบ แต่คำถามของคุณทำให้ฉันคิดถึงการใช้เอนโทรปีในการตัดเค้กที่เป็นธรรม: en.wikipedia.org/wiki/Fair_cake-cutting โมเดลมาตรฐานคือเค้กเป็นช่วงเวลา [0, 1], และมีตัวแทนมีการวัดค่าปกติในช่วงเวลาต่างกัน มาตรการดังกล่าวถูกคาดการณ์ว่าไม่ใช่แบบปรมาณู แต่ไม่มีข้อสันนิษฐานเพิ่มเติมเกี่ยวกับ "เอนโทรปี" ของพวกเขา มันน่าสนใจที่จะคิดว่าสิ่งที่เราสามารถพูดเกี่ยวกับปัญหาการตัดเค้กที่ฟังก์ชั่นยูทิลิตี้มีขอบเขตเอนโทรปี

n

$n$

— Erel Segal-Halevi

3

ก่อนที่จะอภิปรายเอนโทรปีนอนส์มีจุดที่ควรจะกล่าวอีกอย่างหนึ่งก็ปรากฏว่าคุณมีในใจพระคาร์ดินัลยูทิลิตี้มากกว่าลำดับ

ฟังก์ชั่นยูทิลิตี้ "ปกติ" สามารถได้รับแน่นอนในทั้งสองกรณี แต่แนวคิดของ "การตั้งค่าที่เกี่ยวข้อง" สามารถกำหนดและวัดได้เฉพาะในบริบทของอรรถประโยชน์ที่สำคัญ

และปัญหาไม่ได้เกิดขึ้นที่สองสุดขั้วที่คุณอธิบาย แต่ในทุกกรณีที่เป็นไปได้

ตัวอย่างง่ายๆ: สมมติว่ามีสาม "ผลลัพธ์", (พูดระดับการบริโภคหรือสินค้าที่แตกต่างกันสามรายการในปริมาณที่กำหนด) ฟังก์ชั่นยูทิลิตี้ของคุณกำหนดให้กับพวกเขาค่า $A, B, C$

V (A) = 1, V (B) = 9, V (C) = 90

$V(A) = 1, \;\;V(B) = 9,\;\; V(C) = 90$

ภายใต้โปรแกรมอรรถประโยชน์นี้จะบอกเราว่า

A <_{p r} B <_{p r} C

$A <_{pr} B <_{pr} C$

แน่นอนว่าเราสามารถทำให้มาตรฐานเหล่านี้เป็นปกติโดยการหารด้วยเพื่อให้ได้ $100$

U_{V} (A) = 0.01, U_{V} (B) = 0.09, U_{V} (C) = 0.9

$U_V(A)=0.01, \;\; U_V(B) = 0.09,\;\; U_V(C) =0.9$ และการจัดอันดับของผลลัพธ์ทั้งสามจะถูกเก็บรักษาไว้

แต่ภายใต้โปรแกรมอรรถประโยชน์อันดับเราสามารถใช้ฟังก์ชันยูทิลิตี้อื่นที่จะกำหนด

W (A) = 31, W (B) = 32, W (C) = 37

$W(A) = 31, \;\;W(B) = 32,\;\; W(C) = 37$

และรับ

U_{W} (A) = 0.31, U_{W} (B) = 0.32, U_{W} (C) = 0.37

$U_W(A)=0.31, \;\; U_W(B) = 0.32,\;\; U_W(C) =0.37$

การจัดอันดับจะเหมือนกันดังนั้นฟังก์ชันยูทิลิตี้ทั้งสองและจะเทียบเท่ากันภายใต้ลำดับยูทิลิตี้ $V$ $W$

แต่ในสิ่งที่คุณอธิบายฟังก์ชั่นยูทิลิตี้แสดงถึงการตั้งค่าความสัมพันธ์ที่แตกต่างกันกว่าและดังนั้นจึงไม่ได้เป็นฟังก์ชั่นยูทิลิตี้เดียวกัน แต่สิ่งนี้มีความหมายเฉพาะภายใต้สาธารณูปโภคที่สำคัญซึ่งการเปรียบเทียบเชิงปริมาณระหว่างหมายเลขยูทิลิตี้จะถือว่ามีความหมาย $W$ $V$

คุณคุ้นเคยกับปัญหาที่อยู่รอบ ๆ สาธารณูปโภคที่สำคัญหรือไม่?

— Alecos Papadopoulos
แหล่งที่มา

ทราบว่ามีปัญหาดังกล่าวหรือไม่ ใช่. ทราบว่าเพราะเหตุใด (นอกเหนือจากการทำให้เป็นส่วนตัว) ฉันอาจต้องพิจารณาปัญหาเหล่านี้อย่างรอบคอบ ไม่ใช่จริงๆสำหรับโดเมนที่ฉันสนใจ (ปัญหาการตัดสินใจเกี่ยวกับการกระทำและสภาพแวดล้อมที่เป็นหมวดหมู่ RVs) ยูทิลิตี้โดยทั่วไปจะถือว่าเป็นสิ่งที่สำคัญที่สุดเท่าที่ฉันสามารถบอกได้ -และจะได้รับการพิจารณาอย่างชัดเจน แม้ว่าจะมีความเกี่ยวข้องอย่างโดดเด่นด้วยการแสดงการจัดอันดับตามลำดับแบบเดียวกัน อย่างไรก็ตามฉันยินดีที่จะรับฟังเพิ่มเติมเกี่ยวกับปัญหาเกี่ยวกับสาธารณูปโภคที่สำคัญ

V

$V$

U

$U$

— EM23

3

หลังจากแลกเปลี่ยนกับ OP ในคำตอบอื่น ๆ ของฉันมาทำงานเล็กน้อยกับแนวทางของเขา

เรามีตัวแปรสุ่มแบบไม่ต่อเนื่องพร้อมการสนับสนุน จำกัด , , และฟังก์ชันความน่าจะเป็นมวล (PMF), $X$ $X = \{x_1,...,x_k\}$ $\Pr(X=x_i)=p_i, i=1,...,k$

ค่าในการสนับสนุนของนอกจากนี้ยังมีปัจจัยการผลิตในแบบ real-มูลค่า พระคาร์ดินัลฟังก์ชั่นยูทิลิตี้,ฉัน จากนั้นเราจะพิจารณาฟังก์ชั่นยูทิลิตี้ปกติ $X$ $u(x_i) > 0\; \forall i$

\begin{matrix} (1) & w (X) : w (x_{i}) = \frac{u (x_{i})}{\sum_{i = 1}^{k} u (x_{i})}, i = 1, . . ., k \end{matrix}

$w(X): w(x_i) = \frac {u(x_i)}{\sum_{i=1}^ku(x_i)},\;\;i=1,...,k \tag{1}$

และเราจะบอกว่า

\begin{matrix} (2) & w (x_{i}) = p_{i} \end{matrix}

$w(x_i) = p_i \tag{2}$

โปรดทราบว่าเราไม่เพียงแค่ทำการสังเกตว่าฟังก์ชันที่ไม่ต่อเนื่องแบบไม่ต่อเนื่องของโดเมน จำกัด เป็นไปตามคุณสมบัติของฟังก์ชันมวลความน่าจะเป็นโดยทั่วไป - เราสันนิษฐานว่ามีรูปแบบการทำงานของ PMF ของการสุ่ม ตัวแปรที่มีค่ารับเป็นอินพุต $w(x_i)$ $w(x_i)$

เนื่องจากเป็นฟังก์ชันที่วัดได้ของตัวแปรสุ่มมันก็เป็นตัวแปรสุ่ม ดังนั้นเราจึงสามารถพิจารณาสิ่งต่างๆอย่างมีคุณค่าเช่นความคาดหวัง การใช้กฎหมายของนักสถิติที่ไม่รู้สึกตัวเรามี $w(x_i)$

\begin{matrix} (3) & E [w (X)] = \sum_{i = 1}^{k} p_{i} w (x_{i}) = \sum_{i = 1}^{k} p_{i}^{2} \end{matrix}

$E[w(X)] = \sum_{i=1}^kp_iw(x_i) = \sum_{i=1}^kp_i^2 \tag{3}$

นี่คือฟังก์ชั่นนูนและถ้าเราพยายามที่จะยืดมันให้เหนือภายใต้ข้อ จำกัดเราจะได้รับอย่างง่ายดาย $p_i$ $\sum_{i=1}^kp_i=1$

\begin{matrix} (4) & argmin E [w (X)] = p^{*} : p_{1} = p_{2} = . . . = p_{k} = 1 / k \end{matrix}

$\text{argmin} E[w(X)] = \mathbf p^*: p_1=p_2=...=p_k=1/k \tag {4}$

และเราได้รับผลลัพธ์ทั่วไป:

ฟังก์ชั่นยูทิลิตี้ปกติตามที่กำหนดไว้ข้างต้นมีค่าต่ำสุดที่คาดหวังถ้าการกระจายของเป็นรูปแบบเดียวกัน $X$

เห็นได้ชัดว่าในกรณีเช่นนี้จะเป็นฟังก์ชั่นคงที่ตัวแปรสุ่มที่ลดลงด้วยและความแปรปรวนเป็นศูนย์ $w(X)$ $E[w(X)]=1/k$

ลองหันมาที่ Shannon Entropy ซึ่งเป็นจุดสนใจของ OP ในการคำนวณ Shannon Entropy ต้องการฟังก์ชันมวลความน่าจะเป็นของตัวแปรสุ่ม ... ดังนั้นเราควรหา PMF ของตัวแปรสุ่ม ... $w(X)$

แต่มันเป็นความประทับใจของฉันที่ว่านี่ไม่ใช่สิ่งที่ OP มีอยู่ในใจ แต่มันมองว่าเอนโทรปีของแชนนอนเป็นตัวชี้วัดที่มีคุณสมบัติเชิงพีชคณิตที่น่าพอใจและอาจวัดได้อย่างกะทัดรัดในสิ่งที่น่าสนใจ

สิ่งนี้เคยทำมาก่อนในสาขาเศรษฐศาสตร์โดยเฉพาะในองค์กรอุตสาหกรรมคือดัชนีความเข้มข้นของตลาด ("ระดับการแข่งขัน / โครงสร้างผูกขาดของตลาด") ได้ถูกสร้างขึ้น ฉันสังเกตสองที่ดูมีความเกี่ยวข้องเป็นพิเศษที่นี่

A) ดัชนี Herfindahl,มีเป็นข้อโต้แย้งของหุ้นในตลาดของบริษัท ที่ดำเนินงานในตลาดดังนั้นพวกเขาจึงสรุปความสามัคคีโดยการก่อสร้าง รุ่นที่ไม่มีการลดสัดส่วนของมันคือ $n$ $s_i$

H = \sum_{i = 1}^{n} s_{i}^{2}

$H = \sum_{i=1}^n s_i^2$

ซึ่งเป็นนิพจน์ที่มีโครงสร้างเดียวกันแน่นอนกับค่าที่คาดหวังของได้รับข้างต้น $w(X)$

B) เอนโทรปีดัชนี ซึ่งมีรูปแบบทางคณิตศาสตร์ที่แน่นอนกับนอนส์เอนโทรปี

R_{e} = - \sum_{i = 1}^{n} s_{i} \ln s_{i}

$R_e = -\sum_{i=1}^n s_i\ln s_i$

Encaoua, D. , & Jacquemin, A. (1980) ระดับของการผูกขาดดัชนีความเข้มข้นและภัยคุกคามของการเข้า รีวิวเศรษฐกิจระหว่างประเทศ, 87-105. ให้มาซึ่งเป็นจริงของดัชนีความเข้มข้น "อนุญาต" คือพวกเขากำหนดคุณสมบัติที่ดัชนีดังกล่าวจะต้องมี เนื่องจากวิธีการของพวกเขาเป็นนามธรรมฉันเชื่อว่ามันอาจมีประโยชน์กับสิ่งที่ OP ต้องการสำรวจและแนบความหมาย

— Alecos Papadopoulos
แหล่งที่มา

1

ดูเหมือนว่าฟังก์ชั่นยูทิลิตี้ไม่เพียง แต่สำคัญที่นี่ แต่ยังกำหนดไว้ในระดับอัตราส่วน พิจารณาสองผลลัพธ์ด้วยโปรแกรมอรรถประโยชน์ 1/4 และ 3/4 เห็นได้ชัดว่าเราสามารถใช้การแปลงเลียนแบบ:ในกรณีที่ค่าสาธารณูปโภคกลายเป็น 0 และ 1 อย่างไรก็ตามตอนนี้เราได้เปลี่ยนเอนโทรปีจากค่าบวกเป็นศูนย์อย่างเคร่งครัด! $v=v*2-0.5$

ดังนั้นคุณจะต้องให้อัตราส่วนอัตราส่วนที่มีความหมายกับยูทิลิตี้ของคุณก่อน วิธีหนึ่งในการทำเช่นนี้คือการตีความระดับยูทิลิตี้ตามธรรมชาติ 0 หากไม่มีข้อกำหนดนี้เอนโทรปีจึงไม่มีความหมาย

— HRSE
แหล่งที่มา