"ทฤษฎีบทของ Noether ลึก": อาคารในข้อ จำกัด สมมาตร

หากฉันมีปัญหาการเรียนรู้ที่ควรมีความสมมาตรโดยธรรมชาติมีวิธีที่จะทำให้ปัญหาการเรียนรู้ของฉันมีข้อ จำกัด ที่สมมาตรเพื่อปรับปรุงการเรียนรู้หรือไม่?

ตัวอย่างเช่นหากฉันกำลังรับรู้ภาพฉันอาจต้องการสมมาตรแบบหมุนได้ 2 มิติ ความหมายว่าเวอร์ชันที่หมุนของรูปภาพควรได้ผลลัพธ์เช่นเดียวกับต้นฉบับ

หรือถ้าฉันเรียนรู้ที่จะเล่นโอเอกซ์การหมุนด้วย 90deg น่าจะให้ผลเหมือนกับการเล่นเกมเดียวกัน

ได้วิจัยใด ๆ รับการดำเนินการเกี่ยวกับเรื่องนี้?

machine-learning

— aidan.plenert.macdonald
แหล่งที่มา

ใช่บางคน; เช่นกลุ่ม equivariant Convolutional เครือข่าย ( รหัส ), ฮาร์มอนิเครือข่าย: แปลลึกและหมุน Equivariance , Deep หมุน equivariant เครือข่าย , การใช้ประโยชน์จาก Cyclic สมมาตรใน Convolutional โครงข่ายประสาทฯลฯ คุณก็ไม่เห็นว่ามันมีอยู่ในป่าเลย

— เอ็ม

@ ขอบคุณมาก! คุณรู้เรื่องการทำงานนอก CNN หรือไม่?

— aidan.plenert.macdonald

ไม่ฉันมีความรู้เพียงผิวเผินในช่องนี้เท่านั้น อย่างไรก็ตาม CNNs ดูเหมือนบรรยากาศธรรมชาติ ...

— เอ็ม

ฉันควรจะพูดถึงวิทยานิพนธ์ Risi Kondor ของ PhD, กลุ่มวิธีการทฤษฎีในการเรียนรู้เครื่อง (PDF)

— เอ็ม

จากความคิดเห็นของ Emre ข้างต้นส่วนที่ 4.4 ของวิธีการทางทฤษฎีของกลุ่มในการเรียนรู้ของเครื่องโดย Risi Kondor มีข้อมูลโดยละเอียดและบทพิสูจน์เกี่ยวกับการสร้างวิธีเคอร์เนลที่มีความสมมาตรโดยเนื้อแท้ ฉันจะสรุปมันด้วยวิธีที่ใช้งานง่ายหวังว่า (ฉันเป็นนักฟิสิกส์ไม่ใช่นักคณิตศาสตร์!)

ขั้นตอนวิธี ML ส่วนใหญ่มีการคูณเมทริกซ์เช่น โดยที่ เป็นอินพุตและเป็นน้ำหนักที่เราต้องการฝึก

\begin{aligned} s_{i} & = \sum_{j} W_{i j} x_{j} \\ = \sum_{j} W_{i j} ({\vec{e}}_{j} \cdot \vec{x}) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~x_j \\ &= \sum_j W_{ij}~(\vec{e}_j \cdot \vec{x}) \end{align}$

\vec{x}

$\vec{x}$

W_{i j}

$W_{ij}$

วิธีเคอร์เนล

ป้อนขอบเขตของวิธีเคอร์เนลและให้อัลกอริทึมจัดการอินพุต, ซึ่งตอนนี้เราพูดถึง{X}

\begin{aligned} s_{i} & = \sum_{j} W_{i j} k (e_{j}, x) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~k(e_j,~x) \end{align}$

x, e_{j} \in X

$x, e_j \in \mathcal{X}$

พิจารณากลุ่มที่ทำหน้าที่ในผ่านสำหรับG วิธีง่ายๆในการทำให้อัลกอริทึมของเราไม่เปลี่ยนแปลงภายใต้กลุ่มนี้คือการสร้างเคอร์เนล กับ(y)) $G$ $\mathcal{X}$ $x \rightarrow T_g(x)$ $g \in G$

\begin{aligned} k^{G} (x, y) & = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g} (y)) \end{aligned}

$\begin{align} k^G(x, y) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_g(y)) \end{align}$

k (x, y) = k (T_{g} (x), T_{g} (y))

$k(x, y) = k(T_g(x), T_g(y))$

ดังนั้น

\begin{aligned} k^{G} (x, T_{h} (y)) & = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g h} (y)) \\ = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g} (y)) \\ = \frac{1}{| G |} \sum_{g \in G} k (T_{g} (x), y) \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{gh}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{g}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(T_{g}(x), y) \end{align}$

สำหรับซึ่งใช้ได้กับการรวมกันทั้งหมด $k(x, y) = x \cdot y$

\begin{aligned} k^{G} (x, T_{h} (y)) & = [\frac{1}{| G |} \sum_{g \in G} T_{g} (x)] \cdot y \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \left[ \frac{1}{|G|} \sum_{g \in G} T_{g}(x) \right] \cdot y \end{align}$

ซึ่งมีเมทริกซ์การแปลงที่สามารถ symmeterize อินพุตในอัลกอริทึม

ตัวอย่าง (2)

จริงๆแล้วเป็นเพียงกลุ่มที่แมปกับการหมุนเพื่อความง่าย $\frac{\pi}{2}$

ให้เรารันการถดถอยเชิงเส้นกับข้อมูลที่เราคาดหวังว่าสมมาตรแบบหมุน $(\vec{x}_i, y_i) \in \mathbb{R}^2 \times \mathbb{R}$

ปัญหาการปรับให้เหมาะสมของเรากลายเป็น

\begin{aligned} min_{W_{j}} & \sum_{i} \frac{1}{2} (y_{i} - {\tilde{y}}_{i})^{2} \\ {\tilde{y}}_{i} & = \sum_{j} W_{j} k_{G} (e_{j}, x_{i}) + b_{i} \end{aligned}

$\begin{align} \min_{W_{j}} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= \sum_j W_{j} k_G(e_j, x_i) + b_i \end{align}$

เคอร์เนลตอบสนอง(y)) คุณสามารถใช้และความหลากหลายของเมล็ด $k(x, y) = \| x - y \|^2$ $k(x, y) = k(T_g(x), T_g(y))$ $k(x, y) = x \cdot y$

ดังนั้น

\begin{aligned} k_{G} (e_{j}, x_{i}) & = \frac{1}{4} \sum_{n = 1}^{4} ‖ R (n π / 2) {\vec{e}}_{j} - {\vec{x}}_{i} ‖^{2} \\ = \frac{1}{4} \sum_{n = 1}^{4} (\cos (n π / 2) - {\vec{x}}_{i 1})^{2} + (\sin (n π / 2) - {\vec{x}}_{i 2})^{2} \\ = \frac{1}{4} [2 {\vec{x}}_{i 1}^{2} + 2 {\vec{x}}_{i 2}^{2} + (1 - {\vec{x}}_{i 1})^{2} + (1 - {\vec{x}}_{i 2})^{2} + (1 + {\vec{x}}_{i 1})^{2} + (1 + {\vec{x}}_{i 2})^{2}] \\ = {\vec{x}}_{i 1}^{2} + {\vec{x}}_{i 2}^{2} + 1 \end{aligned}

$\begin{align} k_G(e_j, x_i) &= \frac{1}{4} \sum_{n=1}^4 \| R(n\pi/2)~\vec{e}_j - \vec{x}_i \|^2 \\ &= \frac{1}{4} \sum_{n=1}^4 ( \cos(n\pi/2) - \vec{x}_{i1} )^2 + ( \sin(n\pi/2) - \vec{x}_{i2} )^2 \\ &= \frac{1}{4} \left[ 2 \vec{x}_{i1}^2 + 2 \vec{x}_{i2}^2 + (1 - \vec{x}_{i1} )^2 + (1 - \vec{x}_{i2} )^2 + (1 + \vec{x}_{i1} )^2 + (1 + \vec{x}_{i2} )^2 \right] \\ &= \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \end{align}$

โปรดทราบว่าเราไม่จำเป็นต้องหาผลรวมของเพราะมันเหมือนกันสำหรับทั้งคู่ ดังนั้นปัญหาของเราจะกลายเป็น $j$

\begin{aligned} min_{W} & \sum_{i} \frac{1}{2} (y_{i} - {\tilde{y}}_{i})^{2} \\ {\tilde{y}}_{i} & = W [{\vec{x}}_{i 1}^{2} + {\vec{x}}_{i 2}^{2} + 1] + b_{i} \end{aligned}

$\begin{align} \min_{W} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= W \left[ \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \right] + b_i \end{align}$

ซึ่งให้ผลสมมาตรทรงกลมที่คาดหวัง!

โอเอกซ์

รหัสตัวอย่างสามารถมองเห็นได้ที่นี่ มันแสดงให้เห็นว่าเราสามารถสร้างเมทริกซ์ที่เข้ารหัสสมมาตรและใช้งานได้อย่างไร โปรดทราบว่านี่เป็นสิ่งที่ไม่ดีจริงๆเมื่อฉันเรียกใช้จริง! ทำงานร่วมกับเมล็ดอื่นในขณะนี้

— aidan.plenert.macdonald
แหล่งที่มา

ดีมากไอดาน! หากคุณมีเวลาคุณสามารถเขียนโพสต์บล็อกที่มีรายละเอียดมากขึ้น ชุมชนจะสนใจมากที่สุด

— เอ็ม

ไม่แน่ใจว่าคุณหมายถึงชุมชนใด แต่ฉันเริ่มเขียนเพิ่มเติม ฉันต้องการหาวิธีประมาณเคอร์เนลที่เหมาะสมที่ได้รับจากชุดข้อมูล ดังนั้นฉันจึงปรับเอนโทรปีบนพื้นที่เคอร์เนลเพื่อให้ได้ฟีเจอร์ชุดใหม่ที่มีการ จำกัด แบบสมมาตรและเอนโทรปิกสูงสุด ตอนนี้ไม่ว่าจะเป็นแนวทางที่ถูกต้อง ฉันไม่สามารถพูดได้ เพียงแค่เตือนคณิตศาสตร์เป็นงานแฮ็คเล็กน้อยและตรงไปตรงมาจาก stat mech overleaf.com/read/kdfzdbyhpbbq

— aidan.plenert.macdonald

มีวิธีใดที่มีความหมายเมื่อไม่รู้จักกลุ่มสมมาตร

— leitasat

@ leitasat คุณจะรู้ได้อย่างไรว่ามันสมมาตรหากคุณไม่รู้จักกลุ่ม

— aidan.plenert.macdonald

@ aidan.plenert.macdonald จากข้อมูล สมมติว่าเรามี 1,000 ภาพ 100 ภาพแต่ละภาพและภายในแต่ละชุดจะมีรูปภาพของวัตถุหนึ่งชิ้นจากมุมมองที่แตกต่างกัน อัลกอริทึมใด ๆ "เรียนรู้แนวคิด" ของ SO (3) สมมาตรและใช้กับวัตถุที่ไม่เคยเห็นมาก่อนหรือไม่

— leitasat

ปรากฎว่านี่เป็นเพียงการศึกษาทฤษฎีไม่แปรเปลี่ยนที่ใช้กับการเรียนรู้ของเครื่อง

— aidan.plenert.macdonald
แหล่งที่มา