ปัญหาการปรับให้เหมาะสมแบบ จำกัด ใน Entropy เมทริกซ์

ฉันมีปัญหาการเพิ่มประสิทธิภาพใน constrainted (แชนนอน) เมทริกซ์เอนโทรปี )เมทริกซ์สามารถเขียนเป็นผลรวมของเมทริกซ์อันดับ 1 ของรูปแบบ $\mathtt{(sum(entr(eig(A))))}$ $A$ โดยที่เป็นเวกเตอร์ที่ได้รับการทำให้เป็นมาตรฐาน สัมประสิทธิ์ของเมทริกซ์อันดับหนึ่งเป็นค่าที่ไม่รู้จักซึ่งเราปรับให้เหมาะสมและจะต้องมีขนาดใหญ่กว่าศูนย์และรวมได้สูงสุด 1 $[v_i\,v_i^T]$ $v_i$

ในรูปแบบ CVX คล้ายปัญหาเกิดขึ้นดังนี้: ตัวแปรที่กำหนด $\mathtt{c(n)}$

minimize s u m (e n t r (e i g (A)))

$\text{minimize} \qquad \mathtt{sum(entr(eig(A)))}$

\begin{aligned} subject to A & = \sum c_{i} v_{i} v_{i}^{T} \\ \sum c_{i} & = 1 \\ c_{i} & \geq 0 \end{aligned}

$\begin{align} \text{subject to} \qquad A &= \sum c_i v_i v_i^T\\ \sum c_i &= 1\\ c_i &\ge 0\end{align}$

มีใครมีความคิดวิธีแก้ปัญหานี้อย่างมีประสิทธิภาพหรือไม่ ฉันรู้แล้วว่าอาจไม่สามารถใช้เป็นปัญหาการเขียนโปรแกรมกึ่งแน่นอน (SDP) ได้

optimization entropy

— Dries
แหล่งที่มา

แก้ไข:เพื่อนร่วมงานแจ้งฉันว่าวิธีการด้านล่างของฉันเป็นตัวอย่างของวิธีการทั่วไปในเอกสารต่อไปนี้เมื่อมีความเชี่ยวชาญในการทำงานของเอนโทรปี

Overton, Michael L. และ Robert S. Womersley "อนุพันธ์อันดับสองสำหรับปรับค่าลักษณะเฉพาะของเมทริกซ์สมมาตร" วารสารสยามเกี่ยวกับการวิเคราะห์เมทริกซ์และการประยุกต์ใช้ 16.3 (1995): 697-718 http://ftp.cs.nyu.edu/cs/faculty/overton/papers/pdffiles/eighess.pdf

ภาพรวม

ในโพสต์นี้ฉันแสดงให้เห็นว่าปัญหาการหาค่าเหมาะที่สุดถูกวางไว้อย่างดีและข้อ จำกัด ความไม่เท่าเทียมนั้นไม่ได้ใช้งานในการแก้ปัญหาจากนั้นคำนวณอนุพันธ์ Frechet ที่หนึ่งและสองของฟังก์ชันเอนโทรปีจากนั้นเสนอวิธีการของ ในที่สุดรหัส Matlab และผลลัพธ์ตัวเลขจะถูกนำเสนอ

ปัญหาด้านการปรับให้เหมาะสม

ครั้งแรกที่ผลรวมของการฝึกอบรมที่ชัดเจนในเชิงบวกเป็นบวกแน่นอนดังนั้นสำหรับผลรวมของการจัดอันดับที่ 1 การฝึกอบรม เป็นบวกแน่นอน หากชุดของเป็นอันดับเต็มรูปแบบแล้วค่าลักษณะเฉพาะของเป็นค่าบวกดังนั้นลอการิทึมของค่าลักษณะเฉพาะสามารถนำมาใช้ได้ ดังนั้นฟังก์ชั่นวัตถุประสงค์จะถูกกำหนดอย่างดีในการตกแต่งภายในของชุดที่เป็นไปได้ $c_i > 0$

A (c) := \sum_{i = 1}^{N} c_{i} v_{i} v_{i}^{T}

$A(c):=\sum_{i=1}^N c_i v_i v_i^T$

v_{i}

$v_i$

A

$A$

$c_i \rightarrow 0$ $A$ $A$ $\sigma_{min}(A(c)) \rightarrow 0$ $c_i \rightarrow 0$ $-\sigma \log(\sigma)$ $\sigma \rightarrow 0$ $c_i \ge 0$

อนุพันธ์ของ Frechet ของฟังก์ชันเอนโทรปี

ในการตกแต่งภายในของภูมิภาคที่เป็นไปได้ฟังก์ชั่นเอนโทรปีจะแตกต่างกันได้ทุกที่และสองครั้งแตกต่างกันโดยไม่คำนึงถึงค่าลักษณะซ้ำกัน ในการทำวิธีของนิวตันเราจำเป็นต้องคำนวณอนุพันธ์ของเมทริกซ์เอนโทรปีซึ่งขึ้นอยู่กับค่าลักษณะเฉพาะของเมทริกซ์ สิ่งนี้ต้องใช้ความไวในการคำนวณของการสลายตัวค่าเฉพาะของเมทริกซ์ที่เกี่ยวข้องกับการเปลี่ยนแปลงในเมทริกซ์

$A$ $A = U \Lambda U^T$

d Λ = I \circ (U^{T} d A U),

$d\Lambda = I \circ (U^T dA U),$

d U = U C (d A),

$dU = UC(dA),$

\circ

$\circ$

C = {\begin{cases} \frac{u_{i}^{T} d A u_{j}}{λ_{j} - λ_{i}}, & i = j \\ 0, & i = j \end{cases}

$C = \begin{cases} \frac{u_i^T dA u_j}{\lambda_j - \lambda_i}, & i=j \\ 0, &i=j \end{cases}$

$AU=\Lambda U$ $d\Lambda$

\begin{aligned} d^{2} Λ & = d (I \circ (U^{T} d A_{1} U)) \\ = I \circ (d U_{2}^{T} d A_{1} U + U^{T} d A_{1} d U_{2}) \\ = 2 I \circ (d U_{2}^{T} d A_{1} U) . \end{aligned}

$\begin{align} d^2 \Lambda &= d(I \circ (U^T dA_1U)) \\ &= I \circ (dU_2^T dA_1 U + U^T dA_1 dU_2) \\ &= 2 I \circ (dU_2^T dA_1 U). \end{align}$

$d^2 \Lambda$ $dU_2$ $C$ $v_i$

กำจัดข้อ จำกัด ความเท่าเทียมกัน

$\sum_{i=1}^N c_i = 1$ $N-1$

c_{N} = 1 - \sum_{i = 1}^{N - 1} c_{i} .

$c_N = 1-\sum_{i=1}^{N-1} c_i.$

$N-1$

d f = d C_{1}^{T} M^{T} [I \circ (V^{T} U B U^{T} V)]

$df = dC_1^T M^T [I \circ (V^T U B U^T V)]$

d d f = d C_{1}^{T} M^{T} [I \circ (V^{T} [2 d U_{2} B_{a} U^{T} + U B_{b} U^{T}] V)],

$ddf = dC_1^T M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)],$

M = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ - 1 & - 1 & \dots & - 1 \end{matrix}],

$M = \begin{bmatrix} 1 & \\ & 1 & \\ &&\ddots& \\ &&&1\\ -1 & -1 & \dots & -1 \end{bmatrix},$

B_{a} = d i a g (1 + \log λ_{1}, 1 + \log λ_{2}, \dots, 1 + \log λ_{N}),

$B_a = \mathrm{diag}(1+\log \lambda_1, 1 + \log \lambda_2, \ldots, 1 + \log \lambda_N),$

B_{b} = d i a g (\frac{d_{2} λ_{1}}{λ_{1}}, \dots, \frac{d_{2} λ_{N}}{λ_{N}}) .

$B_b = \mathrm{diag}(\frac{d_2\lambda_1}{\lambda_1},\ldots,\frac{d_2\lambda_N}{\lambda_N}).$

วิธีการของนิวตันหลังจากกำจัดข้อ จำกัด

เนื่องจากข้อ จำกัด ที่ไม่เท่าเทียมกันนั้นไม่ได้ใช้งานเราเพียงแค่เริ่มต้นในชุดที่เป็นไปได้และเรียกใช้ภูมิภาคที่เชื่อถือได้หรือการค้นหาบรรทัดที่ไม่แน่นอนนิวตัน - CG สำหรับการบรรจบกันของสมการกำลังสอง

วิธีการดังต่อไปนี้ (ไม่รวมถึงรายละเอียดการค้นหาความน่าเชื่อถือภูมิภาค / สาย)

$\tilde{c} = [1/N,1/N,\ldots,1/N]$
$c = [\tilde{c},1 - \sum_{i=1}^{N-1} c_i]$
$A = \sum_i c_i v_i v_i^T$
$U$ $\Lambda$ $A$
$G = M^T [I \circ (V^T U B U^T V)]$
$H G = p$ $p$ $H$ $H$ $\delta \tilde{c}$ $dU_2$ $B_a$ $B_b$ $M^{T} [I \circ (V^{T} [2 d U_{2} B_{a} U^{T} + U B_{b} U^{T}] V)]$ $M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)]$
$\tilde{c} \leftarrow \tilde{c} - p$
ไปที่ 2

ผล

$v_i$ $N=100$ $v_i$

>> N = 100;
>> V = randn (N, N);
>> สำหรับ k = 1: NV (:, k) = V (:, k) / norm (V (:, k)); ปลาย
>> maxEntropyMatrix (V);
นิวตันซ้ำ = 1, บรรทัดฐาน (grad f) = 0.67748
นิวตันซ้ำ = 2, บรรทัดฐาน (grad f) = 0.03644
นิวตันซ้ำ = 3, บรรทัดฐาน (grad f) = 0.0012167
นิวตันซ้ำ = 4, บรรทัดฐาน (grad f) = 1.3239e-06
นิวตันซ้ำ = 5, บรรทัดฐาน (grad f) = 7.7114e-13

หากต้องการดูว่าจุดที่ดีที่สุดที่คำนวณได้จริงแล้วสูงสุดนี่คือกราฟของการเปลี่ยนแปลงของเอนโทรปีเมื่อจุดที่เหมาะสมถูกรบกวนแบบสุ่ม การก่อกวนทั้งหมดทำให้เอนโทรปีลดลง ป้อนคำอธิบายรูปภาพที่นี่

รหัส Matlab

ฟังก์ชั่นทั้งหมดใน 1 เพื่อลดการเอนโทรปี (เพิ่มลงในโพสต์นี้): https://github.com/NickAlger/various_scripts/blob/master/maxEntropyMatrix.m

— นิคแอลจีเรีย
แหล่งที่มา

ขอบคุณมาก! ฉันแก้ไขมันด้วยวิธีง่ายๆโดยใช้การไล่ระดับสีเอง แต่นี่น่าจะน่าเชื่อถือกว่า ความจริงที่ว่า v ต้องมีระดับเต็มในไฟล์ matlab เป็นสิ่งเดียวที่รบกวนจิตใจฉัน

— Dries

@NickAlger ลิงก์ที่ให้ไว้ไม่ทำงานฉันขอให้คุณดูได้มั้ย

— ผู้สร้าง

@Creator อัพเดทลิงค์ในโพสต์! github.com/NickAlger/various_scripts/blob/master/…

— Nick Alger

@NickAlger มีข้อ จำกัด ในเมทริกซ์ที่อัลกอริทึมสามารถทำงานได้หรือไม่? อัลกอริทึมนี้ดีสำหรับเมทริกซ์ที่มีองค์ประกอบที่ซับซ้อนหรือไม่ ในกรณีของฉัน SVD ล้มเหลวหลังจากนั้นสักครู่เนื่องจากเมทริกซ์มีน่าน

— ผู้สร้าง

ฉันไม่คิดว่าตัวเลขที่ซับซ้อนควรเป็นปัญหา ข้อ จำกัด อย่างหนึ่งของวิธีนี้ก็คือทางออกที่ดีที่สุดไม่สามารถมีค่าลักษณะเฉพาะซ้ำซึ่งฉันเดาได้ว่าเกิดอะไรขึ้นที่นี่ ในกรณีนี้วิธีการรวมเป็นสิ่งที่ถูกหารด้วยศูนย์ในสมการ C คุณสามารถลองรบกวนอินพุตแบบสุ่มและดูว่าสิ่งนั้นช่วยได้หรือไม่ มีวิธีการแก้ไขปัญหานี้ในกระดาษ Overton ที่อ้างถึงข้างต้น แต่รหัสของฉันไม่ได้เป็นขั้นสูง

— Nick Alger