'การเรียนรู้การถ่ายโอน' กับ 'การปรับโดเมน' ต่างกันอย่างไร

มี 'ความแตกต่างระหว่างการเรียนรู้การถ่ายโอน' และ 'การปรับโดเมน' หรือไม่?

ฉันไม่รู้เกี่ยวกับบริบท แต่ความเข้าใจของฉันคือเรามีชุดข้อมูล 1 และฝึกอบรมหลังจากนั้นเรามีชุดข้อมูลอีก 2 ชุดที่เราต้องการปรับโมเดลของเราโดยไม่ต้องฝึกอบรมใหม่ตั้งแต่เริ่มต้นซึ่ง 'ถ่ายโอนการเรียนรู้' และ 'การปรับโดเมน' ช่วยแก้ปัญหานี้ได้

ตามข้อมูลของ Convolutional Neural Networks:

• โดย 'โอนการเรียนรู้' ฉันหมายถึง 'finetuning' [1]

• ในกรณีนี้[2]ไม่มีการสำรอง แต่ควรมีการยกเลิกการปรับโดเมน

ดูเหมือนว่ามีความขัดแย้งระหว่างนักวิจัยเกี่ยวกับความแตกต่างระหว่าง 'การเรียนรู้การถ่ายโอน' และ 'การปรับโดเมน'

จาก {0}:

แนวคิดเรื่องการปรับโดเมนมีความสัมพันธ์อย่างใกล้ชิดกับการถ่ายโอนการเรียนรู้ การโอนการเรียนรู้เป็นศัพท์ทั่วไปที่อ้างถึงปัญหาการเรียนรู้ของเครื่องที่เกี่ยวข้องกับงานหรือโดเมนที่แตกต่างกัน ในวรรณคดียังไม่มีคำจำกัดความมาตรฐานของการเรียนรู้การถ่ายโอน ในเอกสารบางฉบับสามารถใช้แทนกันได้กับการปรับโดเมน

จาก {1}:

อ้างอิง:

• {0} หลี่ฉี "การสำรวจวรรณกรรม: อัลกอริทึมการปรับโดเมนสำหรับการประมวลผลภาษาธรรมชาติ" ภาควิชาวิทยาศาสตร์คอมพิวเตอร์ศูนย์บัณฑิตศึกษามหาวิทยาลัยนครนิวยอร์ก (2012): 8-10 https://scholar.google.com/scholar?cluster=2828982016930721315&hl=en&as_sdt=0,22 ; https://pdfs.semanticscholar.org/532e/3d5b1b5807771b77cac60fe8594b506fcff9.pdf ; http://nlp.cs.rpi.edu/paper/qisurvey.pdf ( มิเรอร์ )

• {1} Pan, Sinno Jialin และ Qiang Yang "การสำรวจการเรียนรู้การถ่ายโอน" ธุรกรรม IEEE เกี่ยวกับความรู้และวิศวกรรมข้อมูล 22 หมายเลข 10 (2010): 1345-1359 https://scholar.google.com/scholar?cluster=17771403852323259019&hl=en&as_sdt=0,22 ; http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.158.4126&rep=rep1&type=pdf ( กระจก ) (2.6k การอ้างอิง)

จากบทความของ Hal Daume [1]:

การตั้งค่าการจัดหมวดหมู่มาตรฐานคือการกระจายสัญญาณเข้า p (X) และการกระจายฉลาก p (Y | X) การปรับโดเมน: เมื่อ p (X) เปลี่ยนแปลงระหว่างการฝึกอบรมและการทดสอบ ถ่ายโอนการเรียนรู้: เมื่อ p (Y | X) เปลี่ยนแปลงระหว่างการฝึกอบรมและการทดสอบ

กล่าวอีกนัยหนึ่งใน DA การกระจายการป้อนข้อมูลจะเปลี่ยนแปลง แต่ฉลากยังคงเหมือนเดิม ใน TL การแจกแจงอินพุตยังคงเหมือนเดิม แต่ฉลากเปลี่ยนไป

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html ( มิเรอร์ )

ตลอดวรรณคดีเกี่ยวกับการเรียนรู้การถ่ายโอนมีความไม่สอดคล้องกันของคำศัพท์จำนวนมาก วลีเช่นการเรียนรู้การถ่ายโอนและการปรับโดเมนใช้เพื่ออ้างถึงกระบวนการที่คล้ายกัน การปรับโดเมนเป็นกระบวนการของการปรับโดเมนต้นทางหนึ่งโดเมนขึ้นไปสำหรับวิธีการถ่ายโอนข้อมูลเพื่อปรับปรุงประสิทธิภาพของผู้เรียนเป้าหมาย กระบวนการปรับโดเมนพยายามแก้ไขโดเมนต้นทางในความพยายามที่จะทำให้การกระจายของแหล่งข้อมูลใกล้เคียงกับเป้าหมายมากขึ้น ในการปรับแต่งโดเมนการตั้งค่าโดเมนต้นทางและโดเมนเป้าหมายมีการแจกแจงส่วนต่างที่แตกต่างกัน p (X) จากการสำรวจของ Pan การเรียนรู้การโอนเป็นคำที่กว้างขึ้นซึ่งอาจรวมถึงกรณีเมื่อมีความแตกต่างในการแจกแจงแบบมีเงื่อนไข p (Y | X) ของโดเมนต้นทางและโดเมนเป้าหมาย ในทางตรงกันข้าม,

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html

ฉันคิดว่า "การเรียนรู้การถ่ายโอน" เป็นคำทั่วไปและ "การปรับโดเมน" เป็นสถานการณ์ของ "การเรียนรู้การถ่ายโอน"

[1] ความสนใจที่สามารถถ่ายโอนได้สำหรับการปรับโดเมน http://ise.thss.tsinghua.edu.cn/~mlong/doc/transferable-attention-aaai19.pdf

อ้างอิงจาก [1] การปรับโดเมนคือการเรียนรู้การถ่ายโอนใน NLP: "การเรียนรู้การถ่ายโอนในโดเมน NLP บางครั้งเรียกว่าการปรับโดเมน"

[1] Pan, SJ และ Q. Yang “ การสำรวจการเรียนรู้การถ่ายโอน” ธุรกรรม IEEE เกี่ยวกับความรู้และวิศวกรรมข้อมูล 22 หมายเลข 10 (ตุลาคม 2010): 1345–59 https://doi.org/10.1109/TKDE.2009.191หรือhttps://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf