วิธีล่าสุดในการฝึกอบรมบอทแชทคืออะไร?


11

ฉันต้องการฝึกบอทที่ใช้การป้อนข้อความจดจำบางหมวดหมู่และตอบคำถามตามนั้น นอกจากนี้ในเวอร์ชั่น 2.0 ฉันต้องการให้ bot ตอบรับอินพุตด้วยเช่นกัน ขั้นตอนวิธีการเรียนรู้ของเครื่อง / AI ล่าสุดที่เหมือนกันมีอะไรบ้าง? โปรดแจ้งให้เราทราบ


ตรวจสอบเครือข่ายหน่วยความจำแบบไดนามิกหน่วยความจำ
riemann77

พิจารณาใช้การทำแผนที่ symantic คณิตศาสตร์
Sergei

คำตอบ:


1

คำถามของคุณกว้างอย่างไม่น่าเชื่อ - ดังนั้นในการตอบสนองสองกรอบกว้างที่ฉันอยากแนะนำให้คุณดูคือ:

  1. สำหรับการพัฒนาการสนทนา chatbot ที่ทันสมัยhttp://rasa.aiเป็นเฟรมเวิร์กโอเพนซอร์สที่ปรับได้มากกว่าระบบแบบอิงกฏดั้งเดิม
  2. สำหรับการรู้จำเสียงตรวจสอบhttps://discourse.mozilla.org/c/deep-speechที่ยังเปิดแหล่งที่มา

0

หากบอทของคุณ "จดจำ" หมวดหมู่น้อยแล้วตอบคำถามแสดงว่ามันไม่มีประโยชน์อะไรในสถานการณ์ปัจจุบัน เพราะในกรณีนั้นมันทำงานได้ไม่ดีมากในชุดข้อมูลอื่น (ชุดทดสอบ) ในศัพท์ทางสถิติเรียกว่า "overfitting" และสำหรับการตอบคำถามไม่มีกฎง่ายๆในการกำหนดอัลกอริทึม "state-of-art" แม้ว่าคุณจะสามารถตรวจสอบบางรุ่นที่ทำงานได้ดีบน babi หรือชุดข้อมูลที่คล้ายกันซึ่งชอบเครือข่ายหน่วยความจำแบบไดนามิกหรือรุ่น seQ2seQ สำหรับการรับแนวคิดพื้นฐานของสาขานี้ฉันขอแนะนำให้คุณเรียนรู้ภาษาเครื่องขั้นพื้นฐานแล้วไปเรียนต่อในหลักสูตรการประมวลผลภาษาธรรมชาติขั้นสูง (stanford มี cs224n)


0

AbuShawar & Atwell รัฐ:

chatbot เป็นตัวแทนการสนทนาที่มีปฏิสัมพันธ์กับผู้ใช้โดยการเปิดโดยใช้ภาษาธรรมชาติ แชทบ็อตหรือระบบการสนทนาระหว่างมนุษย์กับคอมพิวเตอร์ได้รับการพัฒนาโดยใช้การสื่อสารด้วยการพูดหรือข้อความและได้ถูกนำไปใช้ในโดเมนต่าง ๆ เช่น: การวิจัยทางภาษา, การศึกษาภาษา, การบริการลูกค้า, เว็บไซต์ช่วยเหลือและเพื่อความสนุกสนาน

บทความและเอกสารอื่น ๆ ของพวกเขานำเสนอแนวทางร่วมสมัยบางส่วนในการฝึกอบรม chatbot ในการเขียนนี้

การสกัดอัตโนมัติของข้อมูลการฝึกอบรม Chatbot จาก Corpora Dialogue ธรรมชาติ , Bayan AbuShawar, Eric Atwell, 2016

อย่างไรก็ตามแชทบอทส่วนใหญ่จะถูก จำกัด ด้วยความรู้ที่อยู่ในไฟล์ด้วยตนเองและสำหรับภาษาธรรมชาติที่เฉพาะเจาะจงซึ่งเขียนหรือพูด บทความนี้นำเสนอโปรแกรมที่เราพัฒนาขึ้นเพื่อแปลงข้อความที่สามารถอ่านได้ของเครื่อง (คลังข้อมูล) เป็นรูปแบบแชทบ็อตเฉพาะซึ่งจะใช้ในการฝึกอบรมแชทบ็อตและสร้างการสนทนาที่ใกล้เคียงกับภาษามนุษย์ corpora ต่าง ๆ ถูกใช้: การสนทนา corpora เช่น British National Corpus of English (BNC); หนังสือศักดิ์สิทธิ์ของคัมภีร์อัลกุรอานอิสลามซึ่งเป็นคลังสะสมคนเดียวที่มีข้อและข้อต่อไปนี้จะเปลี่ยน; และคำถามที่พบบ่อยที่คำถามและคำตอบคือคู่ผลัดกัน เป้าหมายหลักของกระบวนการอัตโนมัตินี้คือความสามารถในการสร้างต้นแบบ Chatbot ที่แตกต่างกันซึ่งพูดภาษาต่าง ๆ ตามคลังข้อมูล

บริบท - ความไม่แน่นอน - รู้ตัวเลือกการกระทำของ Chatbot ผ่านการเรียนรู้การเสริมแรงด้วยการเสริมแรง , ชานตงหยิน, รุยจาง, Jianzhong Qi, ยูซุนและเติ้งหลุนตัน, 2018

เราเสนอรูปแบบของ chatbot ที่ตระหนักถึงความไม่แน่นอนตามบริบทและรูปแบบการเรียนรู้การเสริมแรง (RL) เพื่อฝึกอบรม chatbot แบบจำลองที่เสนอมีชื่อว่า Parameterized Auxiliary Asynchronous Advantage Actor Critic (PA4C) เราใช้เครื่องมือจำลองผู้ใช้เพื่อจำลองความไม่แน่นอนของคำพูดที่ผู้ใช้มั่นใจในบริบทการสนทนา เมื่อเทียบกับวิธีการตามกฎที่ไร้เดียงสา Chatbot ของเราได้รับการฝึกฝนผ่านโมเดล PA4C หลีกเลี่ยงการเลือกการกระทำที่สร้างขึ้นด้วยมือและมีความทนทานต่อความแปรปรวนของผู้ใช้ แบบจำลอง PA4C ปรับปรุง RL แบบทั่วไปด้วยการกำหนดพารามิเตอร์การดำเนินการและงานเสริมสำหรับการฝึกอบรม Chatbot ซึ่งจัดการปัญหาของพื้นที่การดำเนินการขนาดใหญ่และสถานะรางวัลเป็นศูนย์ เราประเมินโมเดล PA4C เหนือการฝึกอบรมงาน chatbot สำหรับการสร้างกิจกรรมในปฏิทิน

การฝึกอบรมระบบการเรียนรู้ภายใต้การดูแลโดยใช้ Chatbot Interaction , การยื่นขอรับสิทธิบัตรของสหรัฐอเมริกา 0034828 A1, International Business Machines Corporation, Armonk, NY, US, 2019

คอมพิวเตอร์ - วิธีการที่ดำเนินการประกอบด้วยการรับและวิเคราะห์จุดข้อมูลเพื่อกำหนดพารามิเตอร์ของจุดข้อมูลสร้างตั๋วแจ้งเตือนตามการวิเคราะห์จุดข้อมูลการสื่อสารผ่านทาง chatbot อย่างน้อยข้อมูลบางอย่างที่อยู่ในตั๋วแจ้งเตือนหนึ่ง หรือมากกว่าผู้ใช้และจัดหมวดหมู่ผ่านทาง chatbot จุดข้อมูลที่ทำให้ตั๋วแจ้งเตือนขึ้นอยู่กับพฤติกรรมของอุปกรณ์ที่สร้างจุดข้อมูล Jonathan A Cagadas, Alexander D. Lewitt, Simon D. Mikulcik, Karan Shukla, Leigh A. Williamson

การฝึกอบรมสองขั้นตอนและการถอดรหัสการเข้ารหัสแบบผสมสำหรับการใช้งาน Chatbot ทั่วไปกับ Corpus Dialogue ขนาดเล็ก , Jintae Kim, Hyeon-Gu Lee, Harksoo Kim, Yeonsoo Lee, Young-Gil Kim, 2016

โมเดลแชทบ็อตทั่วไปที่สร้างจากเครือข่ายตามลำดับสามารถสร้างการโต้ตอบที่เป็นธรรมชาติหากใช้คลังข้อมูลบทสนทนาขนาดใหญ่เป็นข้อมูลฝึกอบรม อย่างไรก็ตามยกเว้นบางภาษาเช่นอังกฤษและจีนมันยังคงยากที่จะรวบรวมคลังข้อมูลการสนทนาขนาดใหญ่ เพื่อแก้ไขปัญหานี้เราเสนอรูปแบบการแชทโดยใช้ส่วนผสมของคำและพยางค์เป็นหน่วยถอดรหัสการเข้ารหัส นอกจากนี้เราเสนอวิธีการฝึกอบรมสองขั้นตอนที่เกี่ยวข้องกับการฝึกอบรมล่วงหน้าโดยใช้คลังข้อมูลที่ไม่ใช่บทสนทนาขนาดใหญ่และการฝึกอบรมอีกครั้งโดยใช้คลังข้อมูลบทสนทนาขนาดเล็ก ในการทดลองของเรามีการแสดงหน่วยผสมเพื่อช่วยลดปัญหาคำศัพท์ (OOV) นอกจากนี้วิธีการฝึกอบรมสองขั้นตอนยังมีประสิทธิภาพในการลดข้อผิดพลาดทางไวยากรณ์และความหมายในการตอบสนองเมื่อ chatbot ได้รับการฝึกอบรมโดยใช้คลังข้อมูลการสนทนาขนาดเล็ก (533

การเลือกข้อมูลแบบ Submodularity-Inspired สำหรับการฝึกอบรม Chatbot ที่มุ่งเน้นเป้าหมายจากการจัดงานแต่งประโยค Mladen Dimovski, Claudiu Musat, Vladimir Ilievski, Andreea Hossmann, Michael Baeriswyl, 2018

พูดภาษาเข้าใจระบบ (SLU) เช่นแชทบอตที่มุ่งเน้นเป้าหมายหรือผู้ช่วยส่วนตัวพึ่งพาโมดูลการทำความเข้าใจภาษาธรรมชาติเริ่มต้น (NLU) เพื่อกำหนดความตั้งใจและเพื่อดึงข้อมูลที่เกี่ยวข้องจากแบบสอบถามผู้ใช้ที่พวกเขาใช้เป็นอินพุท ระบบ SLU มักจะช่วยผู้ใช้ในการแก้ปัญหาในโดเมนที่ค่อนข้างแคบและต้องการข้อมูลการฝึกอบรมภายในโดเมนจำนวนมาก สิ่งนี้นำไปสู่ปัญหาความพร้อมใช้งานของข้อมูลที่สำคัญที่ขัดขวางการพัฒนาระบบที่ประสบความสำเร็จ เพื่อบรรเทาปัญหานี้เราเสนอเทคนิคการเลือกข้อมูลในระบบข้อมูลต่ำที่ช่วยให้เราสามารถฝึกอบรมด้วยประโยคที่มีป้ายกำกับน้อยลงซึ่งทำให้ต้นทุนการติดฉลากน้อยลง เราเสนอฟังก์ชั่นการจัดอันดับข้อมูลที่ได้แรงบันดาลใจจาก submodularity, อัตรากำไรขั้นต้นโทษ, สำหรับการเลือกจุดข้อมูลไปยังป้ายกำกับตามข้อมูลที่ดึงมาจากพื้นที่ฝังแบบข้อความ เราแสดงให้เห็นว่าระยะทางในพื้นที่ฝังตัวเป็นแหล่งข้อมูลที่สามารถนำไปใช้ในการเลือกข้อมูลได้ วิธีการของเรามีประสิทธิภาพเหนือกว่าเทคนิคการเรียนรู้สองอย่างที่เป็นที่รู้จักและช่วยให้การฝึกอบรมที่ประหยัดต้นทุนของหน่วย NLU ยิ่งไปกว่านั้นเทคนิคการเลือกที่เสนอของเราไม่ต้องการให้มีการฝึกอบรมใหม่ระหว่างขั้นตอนการเลือกทำให้เวลามีประสิทธิภาพเช่นกัน


-1

คุณสามารถทำงานกับ Recurrent Neural Nets กับ LSTM หรือ GRU เป็นเซลล์หน่วยความจำและงานแต่งงานคำเช่น Word2vec การค้นหาแบบลำแสงและแบบความสนใจสามารถใช้กับ RNN เพื่อความทนทานและอคติน้อยลง แต่ผลลัพธ์ของสิ่งเหล่านี้สามารถมองเห็นได้ในระดับหนึ่งเท่านั้นเนื่องจากการวิจัยในสาขานี้ยังคงร้อนแรงและมีหลายอย่างที่จะต้องแก้ไข

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.