การคำนวณอนุพันธ์ของฟังก์ชันเมทริกซ์นี้คืออะไร

ในหลักสูตรการเรียนรู้ด้วยเครื่องของ Andrew Ng เขาใช้สูตรนี้:

$\nabla_A tr(ABA^TC) = CAB + C^TAB^T$

และเขาพิสูจน์อย่างรวดเร็วซึ่งแสดงด้านล่าง:

$\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T + ((Cf(A))^T)^T \\ = C^TAB^T + CAB$

หลักฐานดูเหมือนหนาแน่นมากโดยไม่มีความคิดเห็นใด ๆ และฉันมีปัญหาในการทำความเข้าใจ เกิดอะไรขึ้นจากความเสมอภาคที่สองถึงสาม

machine-learning matrix derivative

— Moneyball
แหล่งที่มา

เขาจะต้องตั้งสมมติฐานพิเศษเกี่ยวกับขนาดของ ,และมิฉะนั้นสูตรนี้ไม่สมเหตุสมผลโดยทั่วไป ที่ด้านซ้ายมือต้องเป็นเมทริกซ์เมทริกซ์และเมทริกซ์สำหรับพล integers เชิงลบม. แต่แล้วผลิตภัณฑ์ทางด้านขวาจะไม่ได้กำหนดเว้นแต่เมตร

A

$A$

B

$B$

C

$C$

A

$A$

i \times j

$i\times j$

B

$B$

j \times j

$j\times j$

C

$C$

i \times m

$i\times m$

i, j, m

$i,j,m$

i = m

$i=m$

— whuber

@ เมื่อไรฉันเห็น จากสมมติฐานที่ได้รับฉันยังคงไม่เข้าใจว่าการเปลี่ยนแปลงเกิดขึ้นจากบรรทัดที่สองถึงสามที่เขาแนะนำได้อย่างไร

\circ

$\circ$

— MoneyBall

ระหว่างที่สองและบรรทัดที่สามเขาก็ปล่อยให้fระหว่างบรรทัดที่สองและสามเขาใช้กฎผลิตภัณฑ์ หลังจากนั้นเขาก็ใช้กฎลูกโซ่ที่จะได้รับการกำจัดของ()

f (A) = A B

$f(A)=AB$

f ()

$f()$

— Brian Borchers

มีการใช้สัญกรณ์ที่ละเอียดอ่อน แต่หนักหน่วงซึ่งทำให้หลายขั้นตอนสับสน ลองแก้ไขปัญหานี้โดยย้อนกลับไปที่คำจำกัดความของการคูณเมทริกซ์การขนย้ายร่องรอยและอนุพันธ์ สำหรับผู้ที่ต้องการละเว้นคำอธิบายเพียงข้ามไปยังส่วนสุดท้าย "รวมทุกอย่างเข้าด้วยกัน" เพื่อดูว่าการสาธิตที่สั้นและเรียบง่ายเป็นไปได้อย่างไร

สัญลักษณ์และแนวคิด

ขนาด

สำหรับนิพจน์เพื่อให้ความรู้สึกเมื่อเป็นเมทริกซ์,จะต้องเป็น (จตุรัส)เมทริกซ์และต้องเป็นเมทริกซ์ดังนั้นผลิตภัณฑ์จะเป็นคูณเมทริกซ์ เพื่อที่จะติดตาม (ซึ่งเป็นผลรวมขององค์ประกอบในแนวทแยง ) แล้วทำให้เมทริกซ์สแควร์ $ABA^\prime C$ $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times p$ $m\times p$ $\operatorname{Tr}(X)=\sum_i X_{ii}$ $p=m$ $C$

สัญญาซื้อขายล่วงหน้า

สัญกรณ์ " " จะปรากฏขึ้นเพื่ออ้างถึงที่มาของการแสดงออกด้วยความเคารพ ปกติความแตกต่างคือการดำเนินการดำเนินการเกี่ยวกับฟังก์ชั่น M อนุพันธ์ที่จุดเป็นแปลงเชิงเส้น M เมื่อเลือกฐานสำหรับปริภูมิเวกเตอร์เหล่านี้การแปลงดังกล่าวสามารถแสดงเป็นเมทริกซ์ นั่นไม่ใช่กรณีที่นี่! $\nabla_A$ $A$ $f:\mathbb{R}^N\to\mathbb{R}^M$ $x\in \mathbb{R}^N$ $Df(x):\mathbb{R}^N\to\mathbb{R}^M$ $M\times N$

เมทริกซ์เป็นเวกเตอร์

แต่จะถูกพิจารณาเป็นองค์ประกอบของ : ค่าสัมประสิทธิ์ของมันจะถูกคลี่ (ปกติทั้งแถวโดยแถวหรือคอลัมน์ตามคอลัมน์) ลงในเวกเตอร์ของความยาวNฟังก์ชั่นมีค่าจริงดังนั้น 1 ดังนั้นจะต้องเป็นเมทริกซ์: มันเป็นเวกเตอร์แถวเป็นตัวแทนของรูปแบบเชิงเส้นใน{} อย่างไรก็ตามการคำนวณในคำถามใช้วิธีที่แตกต่างในการแสดงรูปแบบเชิงเส้น: สัมประสิทธิ์ของพวกมันจะถูกย้อนกลับไปเป็นเมทริกซ์ $A$ $\mathbb{R}^{mn}$ $N=mn$ $f(A)=\operatorname{Tr}(ABA^\prime C)$ $M=1$ $Df(x)$ $1\times mn$ $\mathbb{R}^{mn}$ $m\times n$

การติดตามเป็นรูปแบบเชิงเส้น

ปล่อยให้เป็นค่าคงที่ matrix จากนั้นโดยนิยามของการติดตามและการคูณเมทริกซ์ $\omega$ $m\times n$

\begin{aligned} Tr (A ω^{'}) & = \sum_{i = 1}^{m} (A ω^{'})_{i i} = \sum_{i = 1}^{m} (\sum_{j = 1}^{n} A_{i j} (ω^{'})_{j i}) = \sum_{i, j} ω_{i j} A_{i j} \end{aligned}

$\eqalign{ \operatorname{Tr}(A\omega^\prime) &= \sum_{i=1}^m(A\omega^\prime)_{ii} = \sum_{i=1}^m\left(\sum_{j=1}^n A_{ij}(\omega^\prime)_{ji}\right) = \sum_{i,j} \omega_{ij}A_{ij} }$

เป็นการแสดงออกถึงการรวมกันเชิงเส้นที่เป็นไปได้มากที่สุดโดยทั่วไปของสัมประสิทธิ์ของ :เป็นเมทริกซ์ของรูปร่างเดียวกันกับและสัมประสิทธิ์ของมันในแถวและคอลัมน์คือสัมประสิทธิ์ของในการผสมเชิงเส้น เนื่องจากบทบาทของและอาจเปลี่ยนไปทำให้มีการแสดงออกเทียบเท่า $A$ $\omega$ $A$ $i$ $j$ $A_{ij}$ $\omega_{ij}A_{ij}=A_{ij}\omega_{ij}$ $\omega$ $A$

\begin{matrix} (1) & \sum_{i, j} ω_{i j} A_{i j} = Tr (A ω^{'}) = Tr (ω A^{'}) . \end{matrix}

$\sum_{i,j} \omega_{ij}A_{ij} = \operatorname{Tr}(A\omega^\prime) = \operatorname{Tr}(\omega A^\prime).\tag{1}$

โดยระบุคงเมทริกซ์มีทั้งฟังก์ชั่นหรือ , เราอาจจะเป็นเชิงเส้น แบบฟอร์มบนพื้นที่ของเมทริกซ์เป็นเมทริกซ์ (อย่าสับสนกับฟังก์ชันอนุพันธ์ของถึง !) $\omega$ $A\to \operatorname{Tr}(A \omega^\prime)$ $A\to \operatorname{Tr}(\omega A^\prime)$ $m\times n$ $m\times n$ $\mathbb{R}^n$ $\mathbb{R}^m$

การคำนวณอนุพันธ์

คำนิยาม

อนุพันธ์ของฟังก์ชันเมทริกซ์จำนวนมากที่พบในสถิตินั้นคำนวณได้ง่ายที่สุดและเชื่อถือได้จากคำจำกัดความ: คุณไม่จำเป็นต้องหันไปใช้กฎที่ซับซ้อนของการแยกเมทริกซ์ที่ซับซ้อน คำจำกัดความนี้บอกว่าสามารถหาอนุพันธ์ได้ที่ถ้าหากมีการแปลงเชิงเส้นเช่นนั้น $f$ $x$ $L$

f (x + h) - f (x) = L h + o (| h |)

$f(x+h) - f(x) = Lh + o(|h|)$

สำหรับการกระจัดขนาดเล็กโดยพล N เล็ก ๆ น้อย ๆ โอ้วิธีสัญกรณ์ว่าข้อผิดพลาดที่เกิดขึ้นในที่ใกล้เคียงกับความแตกต่างของโดยเป็นพลขนาดเล็กกว่าขนาดของสำหรับธุรกิจขนาดเล็กพอชั่วโมงโดยเฉพาะอย่างยิ่งเรามักจะอาจละเว้นข้อผิดพลาดที่มีสัดส่วนกับ 2 $h\in \mathbb{R}^N$ $f(x+h)-f(x)$ $Lh$ $h$ $h$ $|h|^2$

การคำนวณ

ลองใช้คำจำกัดความกับฟังก์ชันที่เป็นปัญหา ทวีคูณขยายและเพิกเฉยคำด้วยผลิตภัณฑ์สองในนั้น $h$

\begin{matrix} (2) & \begin{aligned} f (A + h) - f (A) & = Tr ((A + h) B (A + h)^{'} C) - Tr (A B A^{'} C) \\ = Tr (h B A^{'} C) + Tr (A B h^{'} C) + o (| h |) . \end{aligned} \end{matrix}

$\eqalign{ f(A+h)-f(A) &= \operatorname{Tr}((A+h)B(A+h)^\prime C) - \operatorname{Tr}(ABA^\prime C) \\ &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|).\tag{2} }$

เพื่อแจ้งอนุพันธ์เราจะต้องได้รับนี้ลงในแบบฟอร์ม(1)ในระยะแรกทางด้านขวาที่มีอยู่แล้วในรูปแบบนี้ด้วยC คำอื่น ๆ ที่อยู่ด้านขวามีรูปแบบสำหรับXลองเขียนสิ่งนี้กัน: $L=Df(A)$ $(1)$ $\omega = BA^\prime C$ $\operatorname{Tr}(Xh^\prime C)$ $X=AB$

\begin{matrix} (3) & Tr (X h^{'} C) = \sum_{i = 1}^{m} \sum_{j = 1}^{n} \sum_{k = 1}^{m} X_{i j} h_{k j} C_{k i} = \sum_{i, j, k} h_{k j} (C_{k i} X_{i j}) = Tr ((C X) h^{'}) . \end{matrix}

$\operatorname{Tr}(Xh^\prime C) = \sum_{i=1}^m\sum_{j=1}^n\sum_{k=1}^m X_{ij} h_{kj} C_{ki} = \sum_{i,j,k}h_{kj} \left(C_{ki}X_{ij}\right) =\operatorname{Tr}((CX)h^\prime).\tag{3}$

ระลึก ,สามารถเขียนใหม่ $X=AB$ $(2)$

f (A + h) - f (A) = Tr (h B A^{'} C) + Tr (C A B h^{'}) + o (| h |) .

$f(A+h) - f(A) = \operatorname{Tr}(h\, BA^\prime C\,) + \operatorname{Tr}(CAB\, h^\prime\,)+o(|h|).$

ในแง่นี้เราอาจพิจารณาอนุพันธ์ของที่เป็นเพราะเมทริกซ์เหล่านี้เล่น บทบาทของในสูตรการติดตาม(1) $f$ $A$

D f (A) = (B A^{'} C)^{'} + C A B = C^{'} A B^{'} + C A B,

$Df(A) = (BA^\prime C)^\prime + CAB = C^\prime A B^\prime + CAB,$

ω

$\omega$

(1)

$(1)$

วางมันทั้งหมดเข้าด้วยกัน

ที่นี่จึงเป็นทางออกที่สมบูรณ์

ให้เป็นเมทริกซ์ , anเมทริกซ์, และ anคูณเมทริกซ์ ให้C) ให้เป็นเมทริกซ์มีสัมประสิทธิ์ขนาดเล็กโดยพลการ เพราะ (โดยตัวตน )คือ differentiable และอนุพันธ์ของมันคือรูปแบบเชิงเส้นที่กำหนดโดยเมทริกซ์ $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times m$ $f(A) = \operatorname{Tr}(ABA^\prime C)$ $h$ $m\times n$ $(3)$
$\begin{aligned} f (A + h) - f (A) & = Tr (h B A^{'} C) + Tr (A B h^{'} C) + o (| h |) \\ = Tr (h (C^{'} A B^{'})^{'} + (C A B) h^{'}) + o (| h |), \end{aligned}$ $\eqalign{f(A+h) - f(A) &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|) \\ &=\operatorname{Tr}(h(C^\prime A B^\prime)^\prime + (CAB)h^\prime) + o(|h|),}$ $f$ $C^{'} A B^{'} + C A B .$ $C^\prime A B^\prime + CAB.$

เพราะสิ่งนี้ใช้เวลาเพียงครึ่งเดียวของงานและเกี่ยวข้องกับการจัดการขั้นพื้นฐานที่สุดของการฝึกอบรมและการติดตาม (การคูณและการขนย้าย) จึงต้องมีการพิจารณาที่ง่ายกว่าและชัดเจนกว่า หากคุณต้องการเข้าใจขั้นตอนของแต่ละบุคคลในการสาธิตดั้งเดิมคุณอาจพบว่ามีประโยชน์ในการเปรียบเทียบกับการคำนวณที่แสดงไว้ที่นี่

— whuber
แหล่งที่มา

เป็นประโยชน์ที่จะทราบว่าโดยทั่วไปเมื่อใดก็ตามที่เมทริกซ์มีขนาดที่เข้ากันได้ การรู้จักสิ่งนี้ทำให้ (3) เป็นขั้นตอนที่ไม่สำคัญ

tr (A B C) = tr (C A B)

$\mbox{tr}(ABC)=\mbox{tr}(CAB)$

— Brian Borchers

@ อะมีบาฉันไม่สามารถบอกได้ว่าคุณกำลังพยายามที่จะมีอารมณ์ขันหรือไม่ ทั้งคำถามและคำตอบไม่มีส่วนเกี่ยวข้องโดยตรงกับอนุพันธ์บางส่วน รูปแบบอย่างชัดเจนเป็นรูปแบบเชิงเส้นที่กำหนดไว้ในพื้นที่เวกเตอร์ของเมทริกซ์จริง เมื่อมีคนอ้างว่าอนุพันธ์ของฟังก์ชันณ จุดเท่ากับเมทริกซ์บางตัวสิ่งที่พวกเขาหมายถึงคือเป็นเส้นตรง รูปแบบที่กำหนดโดยนายก})

(1)

$(1)$

Mat (m, n)

$\operatorname{Mat}(m,n)$

m \times n

$m\times n$

f : Mat (m, n) \to R

$f:\operatorname{Mat}(m,n)\to\mathbb{R}$

A

$A$

ω

$\omega$

D f (A)

$Df(A)$

X :\to Tr (X ω^{'})

$X:\to\operatorname{Tr}(X\omega^{\,\prime})$

— whuber

@ Amoeba ถูกต้อง - มันเพียงพอที่จะยืนยันคำยืนยันในบรรทัดแรกของคำตอบนี้ มันเป็นเหตุผลที่ฉันเขียนว่า "ในแง่นี้ " และต่อมาในการสรุปใช้วลี "ที่กำหนดโดย" แทนที่จะเป็น "เท่ากับ" ฉันจะไม่ปฏิเสธว่าคำอธิบายนั้นท้าทาย ฉันจะคิดถึงวิธีที่จะอธิบายให้ชัดเจนและฉันขอขอบคุณสำหรับความคิดเห็นและคำแนะนำทั้งหมดของคุณ

— whuber

@ user10324 สิ่งที่ฉันโพสต์บนเว็บไซต์นี้ส่วนใหญ่เป็นสูตรของตัวเอง - ฉันไม่ค่อยปรึกษาแหล่งข้อมูล (และฉันบันทึกไว้เมื่อฉันทำ) โพสต์เหล่านี้กลั่นจากการอ่านหนังสือและเอกสารจำนวนมาก หนังสือที่ดีที่สุดบางเล่มไม่ได้เป็นหนังสือที่มีความเข้มงวดทางด้านคณิตศาสตร์อย่างสมบูรณ์ แต่มีการอธิบายและอธิบายความคิดพื้นฐานอย่างสวยงาม สองสามคนแรกที่เข้ามาในความคิด - ตามลำดับของความซับซ้อน - เป็นอิสระ Pisani & Purves สถิติ (ทุกรุ่น); Jack Kiefer, การอนุมานทางสถิติเบื้องต้น ; และสตีเว่น Shreve, Stochastic แคลคูลัสการคลังครั้งที่สอง

— whuber

@ ในที่สุดฉันก็เข้าใจว่ารูปแบบเชิงเส้นของร่องรอยคืออะไร ฉันขอโทษที่ถามคำถามเดียวกันอีกครั้งในโพสต์แยกเมื่อฉันสามารถอ่านคำอธิบายของคุณได้อย่างละเอียดมากขึ้น ฉันมีคำถามอีกหนึ่งคำถาม หากสมการของคุณสามารถนำมาใช้เพื่อค้นหาอนุพันธ์ของฟังก์ชันเมทริกซ์ใด ๆจะมีมิติเดียวกันกับหรือไม่? ดังนั้นถ้าดังนั้น ?

f (x + h) - f (x) = L h + o (| h |)

$f(x+h)−f(x)=Lh+o(|h|)$

h

$h$

x

$x$

x \in R^{m \times n}

$x \in \mathbb{R}^{m \times n}$

h \in R^{m \times n}

$h \in \mathbb{R}^{m \times n}$

— MoneyBall