ทำไมความหลงใหลอย่างฉับพลันกับเทนเซอร์?

ฉันได้สังเกตเห็นเมื่อเร็ว ๆ นี้ว่าผู้คนจำนวนมากกำลังพัฒนาเทนเซอร์เทียบเท่าวิธีการหลายอย่าง (การแยกตัวประกอบเทนเซอร์, เมล็ดเทนเซอร์, เทนเซอร์สำหรับการสร้างแบบจำลองหัวข้อ ฯลฯ ) ฉันสงสัยว่าทำไมโลกถึงหลงใหลเทนเซอร์ มีเอกสาร / ผลมาตรฐานล่าสุดที่น่าประหลาดใจเป็นพิเศษหรือไม่ มันคำนวณได้ถูกกว่าที่คาดไว้มากก่อนหน้านี้ไหม?

ฉันไม่ได้เป็นคนที่มีเสน่ห์ฉันมีความสนใจอย่างจริงใจและหากมีคำแนะนำใด ๆ เกี่ยวกับเรื่องนี้ฉันก็อยากอ่าน

ตัวนับมักเสนอข้อมูลที่เป็นธรรมชาติมากขึ้นเช่นพิจารณาวิดีโอซึ่งประกอบด้วยภาพที่สัมพันธ์กันอย่างชัดเจนตลอดเวลา คุณสามารถเปลี่ยนเป็นเมทริกซ์ได้ แต่มันไม่ได้เป็นธรรมชาติหรือใช้งานง่าย (การแยกตัวประกอบของการแสดงเมทริกซ์ของวิดีโอหมายถึงอะไร)

เทนเซอร์มีแนวโน้มด้วยเหตุผลหลายประการ:

• ความเข้าใจของเราเกี่ยวกับพีชคณิตแบบหลายเส้นกำลังพัฒนาอย่างรวดเร็วโดยเฉพาะในประเภทต่าง ๆ ของ factorizations ซึ่งจะช่วยให้เราสามารถระบุแอปพลิเคชันใหม่ที่อาจเกิดขึ้น (เช่นการวิเคราะห์องค์ประกอบหลายทาง )
• เครื่องมือซอฟต์แวร์เกิดขึ้นใหม่ (เช่นTensorlab ) และได้รับการต้อนรับ
• แอปพลิเคชันบิ๊กดาต้าสามารถแก้ไขได้โดยใช้เทนเซอร์เช่นระบบผู้แนะนำและบิ๊กดาต้านั้นร้อน
• การเพิ่มขึ้นของพลังการคำนวณเนื่องจากการดำเนินการของเทนเซอร์อาจมีความแข็งแรงมาก (นี่เป็นหนึ่งในเหตุผลสำคัญที่ว่าทำไมการเรียนรู้อย่างลึกซึ้งจึงเป็นที่นิยมในขณะนี้)

ฉันคิดว่าคำถามของคุณควรจับคู่กับคำตอบที่ให้อิสระและเปิดกว้างเท่า ๆ กันกับคำถาม ดังนั้นที่นี่พวกเขาเป็นสองอุปมาของฉัน

ก่อนอื่นเว้นแต่ว่าคุณเป็นนักคณิตศาสตร์ที่บริสุทธิ์คุณอาจได้รับการสอนความน่าจะเป็นและสถิติที่ไม่แปรผันก่อน ตัวอย่างเช่นมีแนวโน้มมากที่สุดตัวอย่างOLSแรกของคุณน่าจะเป็นในรูปแบบเช่นนี้: มากที่สุดที่คุณจะได้รับการประมาณการผ่านการลดจำนวนกำลังสองน้อยที่สุดอย่างแท้จริง: จากนั้นคุณเขียนFOC s เพื่อหาพารามิเตอร์และหาคำตอบ:

จากนั้นคุณก็บอกว่ามีวิธีที่ง่ายกว่าในการทำสิ่งนี้ด้วยสัญกรณ์เวกเตอร์ (เมทริกซ์):

และ TTS จะกลายเป็น:

FOCs คือ:

และทางออกคือ

หากคุณทำได้ดีในพีชคณิตเชิงเส้นคุณจะยึดแนวทางที่สองเมื่อคุณเรียนรู้แล้วเพราะจริง ๆ แล้วง่ายกว่าการเขียนผลรวมทั้งหมดในวิธีแรกโดยเฉพาะอย่างยิ่งเมื่อคุณได้รับสถิติหลายตัวแปร

ดังนั้นการเปรียบเทียบของฉันคือการย้ายไปยังเทนเซอร์จากเมทริกซ์คล้ายกับการย้ายจากเวกเตอร์ไปยังเมทริกซ์: ถ้าคุณรู้ว่าเทนเซอร์บางสิ่งบางอย่างจะดูง่ายขึ้นด้วยวิธีนี้

ประการที่สองเทนเซอร์มาจากไหน ฉันไม่แน่ใจเกี่ยวกับประวัติทั้งหมดของสิ่งนี้ แต่ฉันเรียนรู้พวกเขาในกลศาสตร์เชิงทฤษฎี แน่นอนว่าเรามีหลักสูตรเกี่ยวกับเทนเซอร์ แต่ฉันไม่เข้าใจว่าอะไรคือข้อตกลงกับวิธีแฟนซีเหล่านี้ทั้งหมดในการแลกเปลี่ยนดัชนีในหลักสูตรคณิตศาสตร์นั้น ทุกอย่างเริ่มมีความหมายในบริบทของการศึกษาแรงดึง

ดังนั้นในวิชาฟิสิกส์พวกเขาก็เริ่มต้นด้วยตัวอย่างง่ายๆของความดันที่กำหนดเป็นแรงต่อหน่วยพื้นที่ดังนั้น: นี่หมายความว่าคุณสามารถคำนวณแรงเวกเตอร์โดยการคูณแรงดัน (สเกลาร์) ด้วยหน่วยของพื้นที่ (เวกเตอร์ปกติ) นั่นคือเมื่อเรามีพื้นผิวระนาบไม่สิ้นสุดเพียงอันเดียว ในกรณีนี้มันจะมีแรงตั้งฉากหนึ่งอัน บอลลูนขนาดใหญ่น่าจะเป็นตัวอย่างที่ดี

อย่างไรก็ตามหากคุณกำลังศึกษาความตึงเครียดภายในวัสดุคุณกำลังเผชิญกับทิศทางและพื้นผิวที่เป็นไปได้ทั้งหมด ในกรณีนี้คุณมีแรงบนพื้นผิวที่กำหนดให้ดึงหรือดันในทุกทิศทางไม่เพียง แต่ฉากตั้งฉาก พื้นผิวบางส่วนถูกฉีกขาดโดยกองกำลังสัมผัสวง "ไซด์เวย์" ฯลฯ ดังนั้นสมการของคุณจะกลายเป็น: แรงยังคงเป็นเวกเตอร์และพื้นที่ผิวยังคงเป็นตัวแทนของเวกเตอร์ปกติแต่เป็นเมตริกซ์ ตอนนี้ไม่ใช่เซนต์คิตส์และเนวิส

โอเคสเกลาร์และเวกเตอร์เป็นเมตริกซ์ด้วย :)

อีกที่ที่เทนเซอร์แสดงขึ้นตามธรรมชาติคือความแปรปรวนร่วมหรือเมทริกซ์สหสัมพันธ์ ลองคิดดูสิ: วิธีการเปลี่ยนเมทริกซ์สหสัมพันธ์เป็นอีกหนึ่งอย่างไร คุณรู้ว่าเราไม่สามารถทำเช่นนี้ได้: ที่เพราะเราต้องเก็บค่าค่ากึ่งบวกแน่นอนทั้งหมด$C_0$$C_1$

ดังนั้นเราต้องค้นหาเส้นทางเช่นนั้นโดยที่ เป็นการรบกวนเล็กน้อยกับเมทริกซ์ มีเส้นทางที่แตกต่างกันมากมายและเราสามารถค้นหาเส้นทางที่สั้นที่สุดได้ นั่นคือวิธีที่เราเข้าสู่เรขาคณิตของรีมันน์, แมนิโฟลด์และ ... เทนเซอร์$\delta C_\theta$$C_1=C_0+\int_\theta\delta C_\theta$$\delta C_\theta$

อัพเดท: เทนเซอร์คืออะไรกันล่ะ?

@amoeba และคนอื่น ๆ ได้พูดคุยกันอย่างมีชีวิตชีวาเกี่ยวกับความหมายของเทนเซอร์และไม่ว่าจะเป็นอาเรย์ ดังนั้นฉันคิดว่าตัวอย่างอยู่ในลำดับ

บอกว่าเราจะไปตลาดสดเพื่อซื้อร้านขายของชำและมีสอง dudes พ่อค้าและd_2เราสังเกตว่าถ้าเราจ่ายดอลลาร์เป็นและดอลลาร์ให้กับ ดังนั้นขายเราปอนด์ของแอปเปิ้ลและขายเราส้ม ตัวอย่างเช่นหากเราจ่ายทั้ง 1 ดอลลาร์คือเราจะต้องได้รับแอปเปิ้ล 1 ปอนด์และ 1.5 ส้ม$d_1$$d_2$$x_1$$d_1$$x_2$$d_2$$d_1$$y_1=2x_1-x_2$$d_2$$y_2=-0.5x_1+2x_2$$x_1=x_2=1$

เราสามารถแสดงความสัมพันธ์นี้ในรูปแบบของเมทริกซ์ :$P$

 2   -1
-0.5  2 

จากนั้นพ่อค้าจะผลิตแอปเปิ้ลและส้มจำนวนมากนี้ถ้าเราจ่ายให้พวกเขาดอลลาร์: $x$

มันทำงานเหมือนกับเมทริกซ์โดยการคูณเวกเตอร์

ตอนนี้สมมติว่าแทนที่จะซื้อสินค้าจากพ่อค้าเหล่านี้แยกกันเราประกาศว่ามีการใช้จ่ายสองกลุ่มที่เราใช้ เราจ่ายทั้งสอง 0.71 ดอลลาร์หรือจ่าย 0.71 ดอลลาร์และเรียกร้อง 0.71 ดอลลาร์จากกลับ เช่นเดียวกับในกรณีแรกเราไปที่ตลาดสดและใช้จ่ายในกลุ่มหนึ่งและในกลุ่ม 2$d_1$$d_2$$z_1$$z_2$

ลองดูตัวอย่างที่เราใช้เพียงแค่ในชุด 1 ในกรณีนี้ผู้ค้ารายแรกได้รับดอลลาร์และผู้ค้ารายที่สองได้รับเหมือนกัน ดังนั้นเราจะต้องได้รับผลผลิตเท่ากันในตัวอย่างข้างต้นใช่ไหม?$z_1=2$$x_1=1$$x_2=1$

อาจจะอาจจะไม่. คุณสังเกตเห็นว่าเมทริกซ์ไม่ใช่เส้นทแยงมุม สิ่งนี้บ่งชี้ว่าด้วยเหตุผลบางอย่างจำนวนหนึ่งที่ผู้ขายเรียกเก็บจากผลงานของเขานั้นขึ้นอยู่กับจำนวนที่เราจ่ายให้ผู้ค้ารายอื่น พวกเขาต้องรู้ว่าจะจ่ายเท่าไรอาจจะมีข่าวลือบ้าง? ในกรณีนี้ถ้าเราเริ่มซื้อเป็นชุดพวกเขาจะรู้แน่ชัดว่าเราจ่ายเท่าไหร่เพราะเราประกาศกลุ่มของพวกเขาไปที่ตลาดสด ในกรณีนี้เราจะรู้ได้อย่างไรว่าเมทริกซ์ควรคงเดิม$P$$P$

อาจมีข้อมูลการชำระเงินของเราในตลาดที่สมบูรณ์สูตรการกำหนดราคาก็จะเปลี่ยนแปลงเช่นกัน! นี่จะเปลี่ยนเมทริกซ์ของเราและไม่มีทางที่จะบอกได้อย่างแน่นอน$P$

นี่คือที่ที่เราเข้าสู่เทนเซอร์ โดยพื้นฐานแล้วด้วยเมตริกซ์เราบอกว่าการคำนวณจะไม่เปลี่ยนแปลงเมื่อเราเริ่มการซื้อขายเป็นชุดแทนที่จะเป็นโดยตรงกับผู้ค้าแต่ละราย นั่นคือข้อ จำกัด ที่จะบังคับใช้กฎการเปลี่ยนแปลงในซึ่งเราจะเรียกเมตริกซ์$P$

โดยเฉพาะอย่างยิ่งเราอาจสังเกตเห็นว่าเรามีพื้นฐาน orthonormalโดยที่หมายถึงการชำระเงิน 1 ดอลลาร์ให้แก่ผู้ขายและไม่มีอะไรให้อีกเลย นอกจากนี้เรายังอาจสังเกตเห็นว่าการรวมกลุ่มเป็นพื้นฐาน orthonormalซึ่งเป็นการหมุนอย่างง่ายของพื้นฐานแรกโดย 45 องศาทวนเข็มนาฬิกา นอกจากนี้ยังเป็นการย่อยสลายพีซีของพื้นฐานแรก ดังนั้นเรากำลังบอกว่าการสลับไปยังบันเดิลเป็นการเปลี่ยนพิกัดอย่างง่ายและไม่ควรเปลี่ยนการคำนวณ โปรดทราบว่านี่เป็นข้อ จำกัด ภายนอกที่เรากำหนดไว้ในแบบจำลอง มันไม่ได้มาจากคุณสมบัติทางคณิตศาสตร์ล้วนๆของเมทริกซ์$\bar d_1,\bar d_2$$d_i$$i$$\bar d_1',\bar d_2'$

ตอนนี้ช้อปปิ้งของเราสามารถแสดงเป็นเวกเตอร์d_2 เวกเตอร์ก็เป็นเทนเซอร์เช่นกัน btw เมตริกซ์เป็นที่น่าสนใจ: มันสามารถแสดงเป็นและร้านขายของชำเป็นd_2 กับร้านขายของชำหมายถึงผลผลิตหนึ่งกิโลกรัมจากพ่อค้าไม่ใช่เงินที่จ่าย$x=x_1 \bar d_1+x_2\bar d_2$

ตอนนี้เมื่อเราเปลี่ยนพิกัดเป็นชุดสมการเทนเซอร์ยังคงเดิม:

นั่นเป็นสิ่งที่ดี แต่เวกเตอร์การชำระเงินอยู่ในเกณฑ์ที่แตกต่างกัน:ในขณะที่เราอาจเก็บเวกเตอร์ที่ผลิตได้ในแบบเก่า . การเปลี่ยนแปลงเมตริกซ์เกินไป:d_j' มันเป็นเรื่องง่ายที่จะได้รับวิธีเมตริกซ์จะต้องเปลี่ยนก็จะเป็นที่เมทริกซ์หมุนถูกกำหนดให้เป็นd ในกรณีของเรามันคือค่าสัมประสิทธิ์ของมัด

เราสามารถทำงานออกสูตรสำหรับการเปลี่ยนแปลงเมตริกซ์และพวกเขาจะเกิดผลเช่นเดียวกับในตัวอย่างที่มีและ 0$x_1=x_2=1$$z_1=0.71,z_2=0$

นี่ไม่ใช่คำตอบสำหรับคำถามของคุณ แต่เป็นการแสดงความคิดเห็นเพิ่มเติมเกี่ยวกับปัญหาที่ได้รับการหยิบยกขึ้นมาในความคิดเห็นของคนต่าง ๆ เช่น: การเรียนรู้ด้วยเครื่อง "เทนเซอร์" เป็นสิ่งเดียวกับเทนเซอร์ในคณิตศาสตร์หรือไม่?

ตอนนี้ตาม Cichoki 2014 ยุคของการประมวลผลข้อมูลขนาดใหญ่: แนวทางใหม่ผ่าน Tensor Networks และ Decompositions ของ Tensorและ Cichoki et al. 2014, การสลายตัวของเทนเซอร์สำหรับการประมวลผลสัญญาณ ,

เมตริกซ์ลำดับสูงกว่าสามารถตีความได้ว่าเป็นอาร์เรย์แบบหลายทาง [... ]

เมตริกซ์อาจถูกมองว่าเป็นอาเรย์ตัวเลขหลายดัชนี [... ]

เทนเซอร์ (เช่นอาร์เรย์แบบหลายทาง) [... ]

ดังนั้นในการเรียนรู้ของเครื่อง / การประมวลผลข้อมูลเทนเซอร์จึงถูกกำหนดให้เป็นอาร์เรย์ตัวเลขหลายมิติ ตัวอย่างเช่นเมตริกซ์ 3 มิติจะเป็นภาพวิดีโอของขนาด เมทริกซ์ข้อมูลปกติเป็นตัวอย่างของเมตริกซ์ 2D ตามข้อกำหนดนี้$1000$$640\times 480$$n\times p$

นี่ไม่ใช่วิธีการกำหนดเทนเซอร์ในคณิตศาสตร์และฟิสิกส์!

เมตริกซ์สามารถกำหนดให้เป็นอาร์เรย์หลายมิติตามกฎหมายการเปลี่ยนแปลงบางอย่างภายใต้การเปลี่ยนแปลงของพิกัด ( ดู Wikipediaหรือประโยคแรกในบทความ MathWorld ) ความหมายที่ดีกว่า แต่เทียบเท่า ( ดูวิกิพีเดีย ) กล่าวว่าเมตริกซ์บนปริภูมิเวกเตอร์เป็นองค์ประกอบของ * โปรดทราบว่านี้หมายความว่าเมื่อแสดงเป็นอาร์เรย์หลายมิติเทนเซอร์มีขนาดหรือฯลฯ ที่คือมิติของV$V$$V\otimes\ldots\otimes V^*$$p\times p$$p\times p\times p$$p$$V$

เทนเซอร์ทั้งหมดที่รู้จักกันดีในวิชาฟิสิกส์เป็นเช่นนั้น: เมตริกซ์ความเฉื่อยในกลศาสตร์เป็น , เมตริกซ์แม่เหล็กไฟฟ้าในสัมพัทธภาพพิเศษ , Riemann โค้งเมตริกซ์ในสัมพัทธภาพทั่วไปคือ4 ความโค้งและแม่เหล็กไฟฟ้าเทนเซอร์เป็นจริงเขตเมตริกซ์ซึ่งเป็นส่วนของการรวมกลุ่มเมตริกซ์ (ดูเช่นที่นี่แต่ได้รับทางเทคนิค) แต่ทั้งหมดที่กำหนดไว้กว่าปริภูมิเวกเตอร์ V$3\times 3$$4\times 4$$4\times 4\times 4\times 4$ $V$

แน่นอนว่าเราสามารถสร้างผลิตภัณฑ์เทนเซอร์ ของ -dimensionalและมิติแต่องค์ประกอบของมันมักจะไม่เรียกว่า "เทนเซอร์" ตามที่ระบุไว้เช่นที่นี่ใน Wikipedia :$V\otimes W$$p$$V$$q$$W$

โดยหลักการแล้วเราสามารถนิยาม "เมตริกซ์" เพียงเพื่อเป็นองค์ประกอบของผลิตภัณฑ์เทนเซอร์ใด ๆ อย่างไรก็ตามวรรณกรรมทางคณิตศาสตร์มักจะสงวนเทอมเทอร์สำหรับองค์ประกอบของผลิตภัณฑ์เทนเซอร์ของเวกเตอร์สเปซและคู่ตามที่กล่าวไว้ข้างต้น$V$

ตัวอย่างหนึ่งของเมตริกซ์จริงในสถิติจะเป็นเมทริกซ์ความแปรปรวนร่วม มันคือและแปลงในวิธีการเฉพาะเมื่อระบบพิกัดในพื้นที่คุณลักษณะ -dimensionalถูกเปลี่ยน มันเป็นเทนเซอร์ แต่ data matrixไม่ใช่$p\times p$$p$$V$$n\times p$$X$

แต่อย่างน้อยเราก็คิดว่าเป็นองค์ประกอบของผลิตภัณฑ์เทนเซอร์โดยที่คือ -dimensional และคือ -dimensional? สำหรับ concreteness ให้แถวในสอดคล้องกับคน (หัวเรื่อง) และคอลัมน์กับการวัดบางอย่าง (คุณสมบัติ) การเปลี่ยนแปลงของพิกัดในสอดคล้องกับการแปลงเชิงเส้นของคุณสมบัติและจะทำในสถิติตลอดเวลา (คิดถึง PCA) แต่การเปลี่ยนพิกัดในดูเหมือนจะไม่สอดคล้องกับสิ่งใดที่มีความหมาย(และฉันขอให้ใครก็ตามที่มีตัวอย่างตอบโต้เพื่อแจ้งให้เราทราบในความคิดเห็น)$X$$W\otimes V$$W$$n$$V$$p$$X$$V$$W$. ดังนั้นจึงไม่ได้ดูเหมือนว่ามีสิ่งใดที่ได้รับจากการพิจารณาเป็นองค์ประกอบของV$X$$W\otimes V$

และที่จริงแล้วสัญกรณ์ทั่วไปคือการเขียนโดยที่คือชุดของการฝึกอบรมทั้งหมด (ซึ่งโดยวิธีคือ กำหนดเป็นอาร์เรย์สี่เหลี่ยมของตัวเลขโดยไม่มีคุณสมบัติการแปลงใด ๆ ที่สันนิษฐาน)$X\in\mathbb R^{n\times p}$$R^{n\times p}$$n\times p$

ข้อสรุปของฉันคือ: (a) เครื่องเรียนรู้เทนเซอร์ไม่ใช่คณิตศาสตร์ / ฟิสิกส์เทนเซอร์และ (b) ส่วนใหญ่ไม่มีประโยชน์ที่จะเห็นพวกเขาเป็นองค์ประกอบของผลิตภัณฑ์เทนเซอร์เช่นกัน

แต่มันเป็นภาพรวมหลายมิติของเมทริกซ์ น่าเสียดายที่ไม่มีคำศัพท์ทางคณิตศาสตร์ที่กำหนดไว้ดังนั้นจึงดูเหมือนว่าความหมายใหม่ของ "เทนเซอร์" อยู่ที่นี่เพื่อให้อยู่ต่อไป

ในฐานะคนที่ศึกษาและสร้างโครงข่ายประสาทเทียมและถามคำถามนี้ซ้ำหลายครั้งฉันได้ข้อสรุปว่าเรายืมแง่มุมที่เป็นประโยชน์ของสัญกรณ์เทนเซอร์เพียงเพราะพวกมันทำให้ง่ายขึ้นมากและทำให้การไล่ระดับสีของเราเป็นรูปร่างดั้งเดิม กฎลูกโซ่เมตริกซ์เป็นหนึ่งในเครื่องมือที่มีรากศัพท์ที่หรูหราที่สุดที่ผมเคยเห็น สัญลักษณ์เทนเซอร์เพิ่มเติมสนับสนุนการทำให้เรียบง่ายมีประสิทธิภาพการคำนวณที่เป็นเพียงฝันร้ายที่จะหาเมื่อใช้รุ่นขยายทั่วไปของแคลคูลัสเวกเตอร์

ในแคลคูลัส Vector / Matrixนั้นมีผลิตภัณฑ์เมทริกซ์ 4 ประเภท (Hadamard, Kronecker, Ordinary และ Elementwise) แต่ในแคลคูลัสเทนเซอร์มีการคูณเพียงชนิดเดียว แต่ครอบคลุมการคูณเมทริกซ์ทั้งหมดและอื่น ๆ หากคุณต้องการที่จะใจกว้างตีความเมตริกซ์หมายถึงอาร์เรย์หลายมิติที่เราตั้งใจจะใช้เมตริกซ์แคลคูลัสตามที่จะหาสัญญาซื้อขายล่วงหน้าไม่ว่าวัตถุที่เราจะจัดการเป็นเทนเซอร์

ในความซื่อสัตย์ทั้งหมดเราอาจเรียกว่าเทนเซอร์อาเรย์หลายมิติของเราเพราะผู้เชี่ยวชาญด้านการเรียนรู้เครื่องส่วนใหญ่ไม่สนใจสิ่งนั้นมากเกี่ยวกับการยึดมั่นกับคำจำกัดความของคณิตศาสตร์หรือฟิสิกส์ระดับสูง ความจริงก็คือเราเพิ่งยืมEinstein Summation Conventions และ Calculiที่พัฒนาขึ้นมาอย่างดีซึ่งโดยทั่วไปจะใช้เมื่ออธิบายเทนเซอร์ บางทีวันหนึ่งเราอาจพัฒนาสัญกรณ์และการประชุมชุดใหม่ที่ขโมยเฉพาะสิ่งที่พวกเขาต้องการจากเมตริกซ์แคลคูลัสโดยเฉพาะสำหรับการวิเคราะห์โครงข่ายประสาทเทียม แต่เป็นสนามเล็กที่ต้องใช้เวลา

ตอนนี้ฉันเห็นด้วยกับเนื้อหาส่วนใหญ่ของคำตอบอื่น ๆ แต่ฉันจะเล่นเป็นทนายของ Devil ในจุดหนึ่ง อีกครั้งมันจะไหลอย่างอิสระดังนั้นขอโทษ ...

Google ประกาศโปรแกรมที่เรียกว่า Tensor Flow สำหรับการเรียนรู้อย่างลึกซึ้ง สิ่งนี้ทำให้ฉันสงสัยว่า 'เมตริกซ์' เกี่ยวกับการเรียนรู้อย่างลึกซึ้งเพราะฉันไม่สามารถเชื่อมโยงกับคำจำกัดความที่ฉันเห็น

แบบจำลองการเรียนรู้อย่างลึกซึ้งนั้นเกี่ยวกับการเปลี่ยนแปลงองค์ประกอบจากที่หนึ่งไปอีกที่หนึ่ง เช่นถ้าเราพิจารณาสองชั้นของเครือข่ายบางอย่างที่คุณอาจเขียนประสานของตัวแปรเปลี่ยนเป็นฟังก์ชันเชิงชั้นก่อนหน้านี้โดยใช้สัญกรณ์บวกแฟนซี:$i$$y$

$y_i = \sigma(\beta_i^j x_j)$

ตอนนี้ความคิดคือการรวมกลุ่มของการเปลี่ยนแปลงดังกล่าวเพื่อให้ได้ตัวแทนที่เป็นประโยชน์ของพิกัดเดิม ตัวอย่างเช่นหลังจากการเปลี่ยนแปลงครั้งสุดท้ายของภาพการถดถอยโลจิสติกอย่างง่ายจะสร้างความแม่นยำในการจำแนกประเภทที่ยอดเยี่ยม ในขณะที่ภาพดิบมันจะไม่แน่นอน

ตอนนี้สิ่งที่ดูเหมือนว่าจะหายไปจากสายตาคือคุณสมบัติความแปรปรวนที่หาได้ในเมตริกซ์ที่เหมาะสม โดยเฉพาะอย่างยิ่งเมื่อขนาดของตัวแปรที่แปลงแล้วอาจแตกต่างจากชั้นหนึ่งไปอีกชั้น [เช่นบางสิ่งที่ฉันเห็นในเทนเซอร์ทำให้มันไม่สมเหตุสมผลสำหรับยาโคบที่ไม่ใช่สแควร์ - ฉันอาจขาดวิธีการบางอย่าง]

สิ่งที่ได้รับการเก็บรักษาไว้คือแนวคิดของการเปลี่ยนแปลงของตัวแปรและการนำเสนอเวกเตอร์บางอย่างอาจมีประโยชน์มากกว่าสิ่งอื่นสำหรับงานเฉพาะ การเปรียบเทียบว่ามันเหมาะสมกว่าหรือไม่ที่จะแก้ไขปัญหาในระบบคาร์ทีเซียนหรือพิกัดเชิงขั้ว

แก้ไขในการตอบสนองต่อ @Aksakal:

เวกเตอร์ไม่สามารถรักษาไว้ได้อย่างสมบูรณ์แบบเนื่องจากการเปลี่ยนแปลงจำนวนพิกัด อย่างไรก็ตามอย่างน้อยข้อมูลที่เป็นประโยชน์อาจถูกเก็บไว้ภายใต้การเปลี่ยนแปลง ตัวอย่างเช่นกับ PCA เราอาจวางพิกัดดังนั้นเราจึงไม่สามารถแปลงกลับได้ แต่การลดขนาดอาจมีประโยชน์อย่างไรก็ตาม หากการแปลงต่อเนื่องทั้งหมดไม่สามารถย้อนกลับได้คุณสามารถแมปกลับจากเลเยอร์ถัดไปสู่พื้นที่อินพุต ตามที่เป็นอยู่ฉันเห็นเฉพาะโมเดลความน่าจะเป็นที่เปิดใช้งาน (RBM) ด้วยการสุ่มตัวอย่าง

นี่คือข้อความที่ตัดตอนมาจากการแยกตัวประกอบแบบไม่ลบกับแอปพลิเคชั่นไปยังสถิติและการมองเห็นคอมพิวเตอร์ A. Shashua และ T. Hazanซึ่งเป็นหัวใจของสาเหตุที่อย่างน้อยบางคนก็หลงใหลในเทนเซอร์

ปัญหามิติใด ๆ สามารถแสดงในรูปแบบสองมิติโดยการเชื่อมโยงมิติ ตัวอย่างเช่นปัญหาในการค้นหาการสลายตัวที่ไม่เป็นลบอันดับต่ำของชุดของรูปภาพคือ 3-NTF (การแยกตัวประกอบแบบไม่ลบเทนเซอร์) ด้วยรูปภาพที่สร้างชิ้นส่วนของคิวบ์สามมิติ แต่ยังสามารถแสดงเป็น ปัญหา NMF (ไม่ใช่ตัวประกอบเมทริกซ์ที่ไม่เป็นลบ) โดยการทำให้ภาพเป็นภาพเวกเตอร์ (ภาพที่สร้างคอลัมน์ของเมทริกซ์)

มีเหตุผลสองประการว่าทำไมการแสดงเมทริกซ์ของชุดภาพจึงไม่เหมาะสม:

1. การซ้ำซ้อนเชิงพื้นที่ (พิกเซลไม่จำเป็นต้องอยู่ใกล้เคียงมีค่าที่คล้ายกัน) หายไปใน vectorization ดังนั้นเราคาดว่าจะมีการแยกตัวประกอบที่มีประสิทธิภาพน้อยลงและ
2. การสลายตัวของ NMF ไม่ซ้ำกันดังนั้นแม้ว่าจะมีรูปแบบกำเนิด (ของชิ้นส่วนในท้องถิ่น) NMF จะไม่จำเป็นต้องย้ายไปในทิศทางนั้นซึ่งได้รับการยืนยันเชิงประจักษ์โดย Chu, M. , Diele, F. , Plemmons, R. , & Ragni, S. "การปรับความเหมาะสมการคำนวณและการตีความของเมทริกซ์เชิงลบแบบไม่เชิงเส้น" SIAM Journal on Matrix Analysis, 2004 ตัวอย่างเช่นส่วนที่ไม่คงที่ของชุดภาพจะมีแนวโน้มที่จะก่อให้เกิดผีในทุกปัจจัยและปนเปื้อน NTF นั้นมีความแปลกใหม่อยู่เสมอดังนั้นเราจึงคาดว่าโครงการ NTF จะมุ่งไปสู่ตัวแบบกำเนิดและไม่ได้รับอิทธิพลจากส่วนที่ไม่เปลี่ยนแปลงโดยเฉพาะ

[แก้ไข] เพิ่งค้นพบหนังสือโดยปีเตอร์ McCullagh, Tensor วิธีการในสถิติ

เทนเซอร์แสดงคุณสมบัติที่น่าสนใจในการระบุส่วนผสมที่ไม่รู้จักในสัญญาณ (หรือภาพ) โดยเฉพาะอย่างยิ่งรอบความคิดของการสลายตัวของเมตริกซ์ Canonical Polyadic (CP) ดูตัวอย่างเช่นเทนเซอร์: แนะนำโดยย่อ , P. Comon, 2014 ภายใต้ชื่อ "การแยกแหล่งที่มาตาบอด (BSS)":

การสลายตัวของเทนเซอร์เป็นหัวใจสำคัญของอัลกอริธึมแยกแหล่งที่มา (BSS) หลายแห่งไม่ว่าจะโดยชัดแจ้งหรือโดยปริยาย โดยเฉพาะอย่างยิ่งการสลายตัวของเมตริกซ์ Canonical Polyadic (CP) มีบทบาทสำคัญในการระบุส่วนผสมที่ไม่ได้กำหนด แม้จะมีความคล้ายคลึงกันบ้าง CP และเอกเทศค่าการสลายตัว (SVD) แตกต่างกันมาก โดยทั่วไปแล้วเทนเซอร์และเมทริกซ์นั้นมีคุณสมบัติที่แตกต่างกันไป

ผลที่ไม่ซ้ำกันบางอย่างได้รับมาสำหรับเทนเซอร์ลำดับที่สามเมื่อเร็ว ๆ นี้: ในเอกลักษณ์ของการสลายตัวแบบ polyadic แบบบัญญัติของเทนเซอร์ลำดับที่สาม ( ตอนที่ 1 , ส่วนที่ 2 ), I. Domanov et al , 2013

การสลายตัวของเทนเซอร์คือการเชื่อมต่อ nodaways บ่อยครั้งกับการกระจัดกระจายแบบเบาบางเช่นโดยการจัดโครงสร้างของปัจจัยการสลายตัว (orthogonality, Vandermonde, Hankel) และตำแหน่งระดับต่ำเพื่อให้เหมาะสมกับลักษณะที่ไม่เป็นเอกลักษณ์

ด้วยความต้องการที่เพิ่มขึ้นสำหรับการวิเคราะห์ข้อมูลที่ไม่สมบูรณ์และการกำหนดการวัดที่ซับซ้อนจากเซ็นเซอร์อาร์เรย์ทำให้เทนเซอร์ถูกนำมาใช้มากขึ้นสำหรับการทำให้เมทริกซ์เสร็จการวิเคราะห์ตัวแปรแฝงและการแยกแหล่งที่มา

หมายเหตุเพิ่มเติม: เห็นได้ชัดว่าการสลายตัวของ Canonical Polyadic นั้นเทียบเท่ากับ Waring การสลายตัวของพหุนามแบบเอกพันธ์ในฐานะผลรวมของพลังของรูปแบบเชิงเส้นด้วยการใช้งานในการระบุระบบ (บล็อกโครงสร้างแบบ Wiener-Hammerstein หรือแบบไม่เชิงเส้นรัฐ)

ฉันขอแนะนำหนังสือของฉันด้วยความเคารพ: Kroonenberg, PM ประยุกต์การวิเคราะห์ข้อมูลหลายทางและ Smilde et al. การวิเคราะห์แบบหลายทาง การใช้งานในสาขาวิทยาศาสตร์เคมี (ทั้งไวลีย์) ที่น่าสนใจอาจเป็นบทความของฉัน: Kroonenberg, PM (2014) ประวัติการวิเคราะห์องค์ประกอบหลายทางและการวิเคราะห์การติดต่อสามทาง ใน Blasius, J. และ Greenacre, MJ (Eds.) การแสดงภาพและการใช้คำพูดเป็นข้อมูล (หน้า 77–94) นิวยอร์ก: แชปแมนและฮอล / ซีอาร์ซี ไอ 9781466589803

การอ้างอิงเหล่านี้พูดถึงข้อมูลหลายทางแทนที่จะเป็นเทนเซอร์ แต่อ้างถึงพื้นที่วิจัยเดียวกัน

มันเป็นความจริงที่ว่าผู้คนใน Machine Learning ไม่ได้ดูเทนเซอร์ด้วยความระมัดระวังเช่นเดียวกับนักคณิตศาสตร์และแพทย์ นี่คือกระดาษที่อาจอธิบายความคลาดเคลื่อนนี้: Comon P. , "Tensors: คำแนะนำสั้น ๆ " IEEE Sig พร นิตยสาร , 31 พฤษภาคม 2014