การลดพลังงานในการเรียนรู้ของเครื่องคืออะไร

ฉันกำลังอ่านเกี่ยวกับการปรับให้เหมาะสมสำหรับปัญหาที่ไม่ถูกต้องในสายตาคอมพิวเตอร์และพบคำอธิบายด้านล่างเกี่ยวกับการปรับให้เหมาะสมใน Wikipedia สิ่งที่ฉันไม่เข้าใจคือทำไมพวกเขาเรียกการเพิ่มประสิทธิภาพนี้ "ลดพลังงาน " ใน Computer Vision

ปัญหาการปรับให้เหมาะสมสามารถแสดงได้ด้วยวิธีต่อไปนี้:

รับ: ฟังก์ชั่นจากบางชุด $f: A \to R$ เป็นจำนวนจริง $A$

ขอ: องค์ประกอบในที่สำหรับทั้งหมดใน ("ย่อเล็กสุด") หรือเช่นนั้นสำหรับทั้งหมดใน (" สูงสุด ") $x_0$ $A$ $f(x_0) ≤ f(x)$ $x$ $A$ $f(x_0) ≥ f(x)$ $x$ $A$

สูตรดังกล่าวเรียกว่าปัญหาการเพิ่มประสิทธิภาพหรือปัญหาการเขียนโปรแกรมทางคณิตศาสตร์ (คำที่ไม่เกี่ยวข้องโดยตรงกับการเขียนโปรแกรมคอมพิวเตอร์ แต่ยังคงใช้งานอยู่เช่นในการเขียนโปรแกรมเชิงเส้น - ดูประวัติด้านล่าง) ปัญหาที่เกิดขึ้นจริงในทางทฤษฎีและทางทฤษฎีหลายอย่างอาจเป็นแบบจำลองในกรอบทั่วไปนี้ ปัญหาที่เกิดขึ้นจากการใช้เทคนิคนี้ในสาขาฟิสิกส์และการมองเห็นด้วยคอมพิวเตอร์อาจหมายถึงเทคนิคที่เป็นการลดพลังงานโดยการพูดถึงค่าของฟังก์ชั่นแทนค่าพลังงานของระบบที่ถูกจำลอง $f$

machine-learning optimization computer-vision

— iamprem
แหล่งที่มา

คำตอบ:

แบบจำลองที่ใช้พลังงานเป็นกรอบการทำงานแบบครบวงจรเพื่อเป็นตัวแทนของอัลกอริทึมการเรียนรู้ของเครื่องจำนวนมาก พวกเขาตีความการอนุมานเป็นการลดฟังก์ชั่นพลังงานและการเรียนรู้เป็นการลดฟังก์ชั่นการสูญเสีย

ฟังก์ชั่นพลังงานเป็นฟังก์ชั่นของการกำหนดค่าตัวแปรแฝงและการกำหนดค่าของอินพุตที่ให้ไว้ในตัวอย่าง โดยทั่วไปการอนุมานหมายถึงการค้นหาการกำหนดค่าพลังงานต่ำหรือการสุ่มตัวอย่างจากการกำหนดค่าที่เป็นไปได้

ฟังก์ชั่นการสูญเสียเป็นฟังก์ชั่นของพารามิเตอร์แบบจำลองที่ให้ตัวอย่างมากมาย เช่นในปัญหาการเรียนรู้แบบมีผู้ควบคุมการสูญเสียของคุณคือข้อผิดพลาดทั้งหมดที่เป้าหมาย บางครั้งมันถูกเรียกว่า "ฟังก์ชั่น" เพราะมันเป็นฟังก์ชั่นของฟังก์ชั่น (parametrized) ที่เป็นตัวแบบ

เอกสารสำคัญ:

Y. LeCun, S. Chopra, R. Hadsell, M. Ranzato และ FJ Huang“ การสอนเกี่ยวกับการเรียนรู้ด้วยพลังงาน” ในการทำนายโครงสร้างข้อมูล, MIT Press, 2006

ดูเพิ่มเติมที่:

LeCun, Y. , & Huang, FJ (2005) ฟังก์ชั่นการสูญเสียสำหรับการฝึกอบรมแบบเลือกปฏิบัติสำหรับตัวแบบพลังงาน ในการประชุมเชิงปฏิบัติการระดับนานาชาติครั้งที่ 10 เรื่องปัญญาประดิษฐ์และสถิติ (AIStats'05) เรียกดูจากhttp://yann.lecun.com/exdb/publis/pdf/lecun-huang-05.pdf

Ranzato, M. , Boureau, Y.-L. , Chopra, S. , & LeCun, Y. (2007) กรอบการทำงานแบบอิงพลังงานเพื่อการเรียนรู้ที่ไม่มีผู้ดูแล พร การประชุมเกี่ยวกับ AI และสถิติ (AI-Stats) เรียกดูจากhttp://dblp.uni-trier.de/db/journals/jmlr/jmlrp2.html#RanzatoBCL07

— นีลจี
แหล่งที่มา

คุณสามารถขยายความหมายของคำว่า "พวกเขาตีความการอนุมานเป็นการลดฟังก์ชั่นพลังงานและการเรียนรู้เป็นการลดฟังก์ชั่นการสูญเสีย" หรือไม่? ฟังก์ชั่นพลังงานแตกต่างจากฟังก์ชั่นการสูญเสียอย่างไร?

— หน้าผา AB

คุณช่วยอธิบายรายละเอียดของคำตอบได้

— ไหม

@CliffAB หวังว่าชัดเจนขึ้น

— Neil G

@ NeilG: พูดตามตรงฉันยังสับสนอยู่เล็กน้อย สำหรับฉันดูเหมือนว่า "ฟังก์ชั่นพลังงาน" เป็นสิ่งสำคัญเช่นเดียวกับฟังก์ชั่นความน่าจะเป็นในสถิติ นั่นคือการตีความที่สมเหตุสมผลหรือฉันขาดสิ่งที่ลึกซึ้งยิ่งขึ้น?

— หน้าผา AB

@CliffAB: ฟังก์ชั่นพลังงานสามารถเป็นโอกาสในการบันทึกซึ่งในกรณีที่พลังงานรวมทั้งหมดเป็นหนึ่ง อย่างไรก็ตามนั่นไม่ใช่สิ่งที่จำเป็นแม้แต่อย่างเดียวแบบจำลองพลังงานที่ไม่น่าจะเป็นไปได้ไม่ต้องกังวลเกี่ยวกับการทำให้เป็นปกติซึ่งจะทำให้การเรียนรู้มีประสิทธิภาพมากกว่าแบบจำลองความน่าจะเป็น นี่เป็นเพราะมันหลีกเลี่ยงการประเมินอินทิกรัราคาแพงในพื้นที่การกำหนดค่า

— Neil G

$x_t$

E = Σ x_{เสื้อ}^{2}

$E = \Sigma x_t^2$

S S E = Σ (Y - \hat{Y})^{2}

$SSE= \Sigma (y-\hat{y})^2$

\hat{y}

$\hat{y}$

— สแตน
แหล่งที่มา

ฉันคิดว่าคุณสับสนกับการสูญเสียพลังงาน

— Neil G

ฉันใช้ความคมชัดมาตรฐานของพลังงานจากการประมวลผลสัญญาณ วิทยาศาสตร์คอมพิวเตอร์ / การเรียนรู้ของผู้คนมีแนวโน้มที่จะกำหนดเงื่อนไขฉันเดา ฉันมาจากสถิติและพื้นหลังการประมวลผลสัญญาณ

— สแตน

สูตรแรกของคุณคือฟังก์ชันพลังงาน สูตรที่สองคือฟังก์ชันการสูญเสียเนื่องจากไม่ใช่ฟังก์ชันของการกำหนดค่า

— Neil G

@ ไม่มีฉันแน่ใจว่าคุณกำลังใช้คำศัพท์อย่างถูกต้องตามที่กำหนดไว้ในเอกสารที่คุณอ้างถึง เป็นเพียงคำศัพท์ที่แตกต่างจากสิ่งที่ฉันเคยชินกับที่SSE เป็นพลังงาน

— 7167 stan