ฉันพยายามที่จะเข้าใจว่าสมมติฐานที่หลากหลายมีความหมายอย่างไรในการเรียนรู้แบบกึ่งมีผู้สอน ทุกคนสามารถอธิบายด้วยวิธีง่าย ๆ ได้ไหม? ฉันไม่สามารถรับสัญชาตญาณที่อยู่เบื้องหลังได้
มันบอกว่าข้อมูลของคุณวางอยู่บนท่อร่วมมิติขนาดเล็กที่ฝังอยู่ในพื้นที่มิติที่สูงขึ้น ฉันไม่ได้รับสิ่งที่หมายถึง
คำตอบ:
ลองนึกภาพว่าคุณมีเมล็ดติดอยู่บนจานแก้วซึ่งวางอยู่บนโต๊ะในแนวนอน เพราะโดยทั่วไปเราคิดเกี่ยวกับอวกาศมันจะปลอดภัยที่จะบอกว่าเมล็ดเหล่านี้อาศัยอยู่ในพื้นที่สองมิติมากหรือน้อยเพราะแต่ละเมล็ดสามารถระบุได้โดยตัวเลขสองจำนวนที่ให้พิกัดของเมล็ดนั้นบนพื้นผิวของ แก้ว.
ทีนี้ลองนึกภาพว่าคุณเอาจานไปแล้วเอียงขึ้นในแนวทแยงมุมเพื่อให้พื้นผิวของแก้วไม่ได้อยู่ในแนวนอนอีกต่อไปเมื่อเทียบกับพื้นดิน ตอนนี้ถ้าคุณต้องการที่จะหาเมล็ดหนึ่งคุณมีสองตัวเลือก หากคุณตัดสินใจที่จะเพิกเฉยแก้วเมล็ดพืชแต่ละชนิดก็จะลอยอยู่ในพื้นที่สามมิติด้านบนของตารางและคุณต้องอธิบายตำแหน่งของเมล็ดแต่ละเมล็ดโดยใช้ตัวเลขสามตัวหนึ่งตัวสำหรับแต่ละทิศทางของพื้นที่ แต่เพียงแค่เอียงกระจกคุณไม่ได้เปลี่ยนความจริงที่ว่าเมล็ดยังคงอยู่บนพื้นผิวสองมิติ ดังนั้นคุณสามารถอธิบายว่าพื้นผิวของแก้วอยู่ในพื้นที่สามมิติได้อย่างไรจากนั้นคุณสามารถอธิบายตำแหน่งของเมล็ดพืชบนกระจกโดยใช้สองมิติดั้งเดิมของคุณ
ในการทดลองทางความคิดนี้พื้นผิวของแก้วนั้นคล้ายกับแมนิโฟลด์มิติที่มีอยู่ในพื้นที่มิติที่สูงกว่า: ไม่ว่าคุณจะหมุนจานในสามมิติได้อย่างไรเมล็ดยังคงอยู่ตามพื้นผิวของระนาบสองมิติ
โดยทั่วไปแล้วแมนิโฟลด์มิติต่ำที่ฝังในพื้นที่มิติที่สูงขึ้นเป็นเพียงชุดของจุดที่ไม่ว่าด้วยเหตุผลใดก็ตามจะถูกพิจารณาว่าเชื่อมต่อหรือเป็นส่วนหนึ่งของชุดเดียวกัน โดยเฉพาะอย่างยิ่งความหลากหลายอาจจะบิดเบี้ยวอย่างใดในพื้นที่มิติที่สูงขึ้น (เช่นบางทีพื้นผิวของแก้วบิดเบี้ยวเป็นรูปชามแทนที่จะเป็นรูปจาน) แต่ท่อยังคงมีมิติต่ำ โดยเฉพาะอย่างยิ่งในพื้นที่สูงมิติต่าง ๆ นี้อาจมีรูปแบบและรูปร่างที่แตกต่างกันมากมาย แต่เนื่องจากเราอยู่ในโลกสามมิติจึงเป็นการยากที่จะจินตนาการตัวอย่างที่มีมากกว่าสามมิติ อย่างไรก็ตามสำหรับตัวอย่างลองพิจารณาตัวอย่างเหล่านี้:
ตัวอย่างทั่วไปของแมนิโฟลด์ในการเรียนรู้ของเครื่อง (หรืออย่างน้อยเซตที่กำหนดให้อยู่ตามแมนิโฟลด์มิติต่ำ) ได้แก่ :
สมมติฐานที่หลากหลายในการเรียนรู้ของเครื่องจักรคือแทนที่จะสมมติว่าข้อมูลในโลกสามารถมาจากทุกส่วนของพื้นที่ที่เป็นไปได้ (เช่นพื้นที่ของภาพ 1 ล้านพิกเซลที่เป็นไปได้ทั้งหมดรวมถึงสัญญาณรบกวนสีขาว) ข้อมูลการฝึกอบรมนั้นมาจากแมนิโฟลด์ที่มีขนาดค่อนข้างต่ำ (เช่นแผ่นแก้วที่มีเมล็ด) จากนั้นการเรียนรู้โครงสร้างของนานากลายเป็นงานที่สำคัญ นอกจากนี้งานการเรียนรู้นี้ดูเหมือนจะเป็นไปได้โดยไม่ต้องใช้ข้อมูลการฝึกอบรมที่มีข้อความกำกับ
มีหลายวิธีที่แตกต่างกันมากมายในการเรียนรู้โครงสร้างของท่อร่วมมิติต่ำ หนึ่งในวิธีการที่ใช้กันอย่างแพร่หลายที่สุดคือ PCA ซึ่งสันนิษฐานว่านานาประกอบไปด้วย "หยด" รูปวงรีเดียวเช่นรูปทรงแพนเค้กหรือซิการ์ฝังอยู่ในพื้นที่มิติที่สูงขึ้น เทคนิคที่ซับซ้อนมากขึ้นเช่น isomap, ICA หรือการเขียนโค้ดแบบเบาบางผ่อนคลายสมมติฐานบางข้อเหล่านี้ในรูปแบบต่างๆ
เหตุผลที่สมมติฐานที่หลากหลายมีความสำคัญในการเรียนรู้แบบกึ่งกำกับดูแลเป็นสองเท่า สำหรับงานที่เหมือนจริงมาก ๆ (เช่นการพิจารณาว่าพิกเซลในภาพแสดงเป็น 4 หรือ 5) มีข้อมูลมากมายในโลกที่ไม่มีป้ายกำกับ (เช่นรูปภาพที่อาจมีตัวเลขเป็นหลัก) มากกว่ากับป้ายกำกับ (เช่น ภาพที่มีป้ายกำกับอย่างชัดเจน "4" หรือ "5") นอกจากนี้ยังมีคำสั่งจำนวนมากที่มีข้อมูลเพิ่มเติมเป็นพิกเซลของภาพมากกว่าที่มีอยู่ในป้ายกำกับของภาพที่มีป้ายกำกับ แต่อย่างที่ฉันได้อธิบายไว้ข้างต้นรูปภาพจากธรรมชาติไม่ได้ถูกสุ่มตัวอย่างจากการกระจายแบบสม่ำเสมอบนการกำหนดค่าพิกเซลดังนั้นจึงมีความเป็นไปได้ที่จะมีท่อร่วมไอดีบางส่วนที่จับโครงสร้างของภาพธรรมชาติมากมายในขณะที่ภาพที่มี 5s เหมือนกันอยู่ในที่ต่างกัน แต่ใกล้เคียงกันเราสามารถลองพัฒนาการเป็นตัวแทนสำหรับแต่ละแมนิโฟลด์เหล่านี้โดยใช้เพียงข้อมูลพิกเซลโดยหวังว่า manifolds ที่แตกต่างกัน จากนั้นในภายหลังเมื่อเรามีข้อมูลฉลากไม่กี่บิตเราสามารถใช้บิตเหล่านั้นเพื่อใช้ป้ายผนึกกับ manifolds ที่ระบุไว้แล้ว
คำอธิบายส่วนใหญ่มาจากการทำงานในวรรณคดีการเรียนรู้ที่ลึกซึ้งและมีคุณลักษณะ Yoshua BengioและYann LeCun - ดูบทเรียนการเรียนรู้ที่เน้นพลังงานมีข้อโต้แย้งที่สามารถเข้าถึงได้โดยเฉพาะในพื้นที่นี้
ก่อนอื่นให้แน่ใจว่าคุณเข้าใจว่าการฝังคืออะไร ก็ยืมมาจากคณิตศาสตร์ โดยทั่วไปแล้วมันเป็นการแมปข้อมูลไปยังพื้นที่อื่น (มักเรียกว่าการฝังพื้นที่หรือพื้นที่คุณลักษณะ ), การรักษาโครงสร้างหรือคุณสมบัติของข้อมูล โปรดทราบว่าขนาดของมันอาจใหญ่กว่าหรือเล็กกว่าพื้นที่อินพุต ในทางปฏิบัติการทำแผนที่มีความซับซ้อนและไม่เชิงเส้นสูง ตัวอย่างบางส่วน:
เพื่ออธิบายฉันจะยกตัวอย่างบทความนี้จาก Josh Tenenbaum:
รูปที่ 1 แสดงปัญหาการค้นพบคุณสมบัติพร้อมตัวอย่างจากการรับรู้ด้วยสายตา ชุดของการดูใบหน้าจากมุมมองที่เป็นไปได้ทั้งหมดคือชุดข้อมูลที่มีมิติสูงมากเมื่อแสดงเป็นอาร์เรย์ภาพในคอมพิวเตอร์หรือบนจอประสาทตา ตัวอย่างเช่น 32 x 32 พิกเซลภาพสีเทาขนาดสามารถจะคิดว่าเป็นคะแนนใน 1,024 มิติพื้นที่สังเกต[เข้าพื้นที่] อย่างไรก็ตามโครงสร้างที่มีความหมายของรูปภาพเหล่านี้[พื้นที่คุณลักษณะ]นั้นมีขนาดที่ต่ำกว่ามาก ภาพทั้งหมดในรูปที่ 1 นอนอยู่บนท่อร่วมสองมิติที่กำหนดโดยมุมมอง
จากนั้น Josh Tenenbaum จะกล่าวถึงความยากลำบากในการเรียนรู้การทำแผนที่เช่นจากอินพุตไปยังพื้นที่ว่าง แต่กลับมาที่คำถาม: เราสนใจว่าพื้นที่อินพุทและฟีเจอร์นั้นเกี่ยวข้องกันอย่างไร
32*32 array of grey pixel valuesพื้นที่การป้อนข้อมูล[x1=elevation, x2=azimuth]พื้นที่เป็นพื้นที่คุณลักษณะ (แม้ว่าง่ายก็อาจจะคิดว่าเป็นพื้นที่ฝังที่ถูกต้อง)การระบุสมมติฐานที่หลากหลายอีกครั้ง (อ้างจากบทความที่ดีนี้ ):
สมมติฐานที่หลากหลายคือข้อมูลธรรมชาติจากแมนิโฟลด์มิติในพื้นที่ฝังตัว
จากตัวอย่างนี้เป็นที่ชัดเจนว่ามิติของพื้นที่ฝังนั้นน้อยกว่าพื้นที่ป้อนข้อมูล: 2 vs 1024 (ความแตกต่างนี้จะยังคงอยู่แม้กระทั่งสำหรับตัวเลือกมิติที่สูงขึ้น
เพื่อโน้มน้าวตัวเองว่ารูปแบบการฝังท่อร่วมไอดีผมขอเชิญคุณอ่านส่วนที่เหลือของกระดาษ Tenenbaumกระดาษหรือบทความ Colah
หมายเหตุ: นี่เป็นเพียงตัวอย่างของสิ่งต่าง ๆ นานาหมายถึงสมมติฐานที่ไม่โต้แย้งว่าทำไมมันเกิดขึ้น
ที่เกี่ยวข้อง: คำอธิบายของคำ vector , word2vec กระดาษ