โครงข่ายประสาทเทียมสามารถให้คำตอบมากกว่า "ใช่" หรือ "ไม่" ได้หรือไม่?

ทุกตัวอย่างเครือข่ายประสาทสำหรับการรับรู้ภาพฉันได้อ่านเกี่ยวกับการผลิตคำตอบง่าย ๆ "ใช่" หรือ "ไม่" โหนดทางออกหนึ่งสอดคล้องกับ "ใช่นี่คือรูปใบหน้าของมนุษย์" และโหนดหนึ่งตรงกับ "ไม่นี่ไม่ใช่รูปใบหน้าของมนุษย์"

ฉันเข้าใจว่าสิ่งนี้น่าจะเป็นคำอธิบายที่ง่าย แต่ฉันสงสัยว่าเครือข่ายนิวรัลนั้นสามารถตั้งโปรแกรมให้เอาต์พุตที่เจาะจงมากขึ้นได้อย่างไร ตัวอย่างเช่นสมมติว่าฉันกำลังจำแนกสัตว์ แทนที่จะพูดว่า "สัตว์" หรือ "ไม่ใช่สัตว์" ฉันต้องการคำตอบเช่น "สุนัข", "ปลา", "นก", "งู" ฯลฯ ด้วยโหนดทางออกสุดท้ายหนึ่งเป็น "ไม่ใช่สัตว์ / ฉัน ไม่รู้จักสิ่งนี้ "

ฉันแน่ใจว่าสิ่งนี้จะต้องเป็นไปได้ แต่ฉันมีปัญหาในการทำความเข้าใจวิธีการ ดูเหมือนว่าเนื่องจากการฝึกอบรมการ backpropogation ของข้อผิดพลาดในขณะที่คุณฝึกฝนโหนดทางออกหนึ่ง (เช่น "นี่คือสุนัข") และน้ำหนักของเซลล์ประสาทจะเปลี่ยนไปดังนั้นสถานะอุดมคติสำหรับโหนดทางออกอื่นที่คุณก่อนหน้านี้ ได้รับการฝึกฝนแล้ว (เช่น "นี่คือนก") จะเริ่มเบี่ยงเบนและในทางกลับกัน ดังนั้นการฝึกอบรมเครือข่ายให้จดจำหมวดหมู่หนึ่งจะก่อวินาศกรรมการฝึกอบรมใด ๆ ที่ทำขึ้นสำหรับหมวดหมู่อื่นจึง จำกัด ให้เราออกแบบ "ใช่" หรือ "ไม่" ง่าย ๆ

สิ่งนี้ทำให้ตัวจดจำดังกล่าวเป็นไปไม่ได้หรือไม่? หรือฉันเข้าใจผิดอัลกอริทึมหรือไม่ สองสิ่งเดียวที่ฉันนึกได้คือ:

• เราสามารถฝึกฝนโครงข่ายประสาทเทียมหนึ่งอย่างสำหรับแต่ละสิ่งที่เราต้องการจัดประเภทและใช้เพื่อสร้างเครือข่ายที่ใหญ่กว่าและดีกว่า (ตัวอย่างเช่นเครือข่ายสำหรับ "สุนัข" เครือข่ายสำหรับ "นก" เป็นต้นซึ่งเราก็ไม่สนใจ เพิ่มเข้าด้วยกันเพื่อสร้างซูเปอร์เครือข่ายสำหรับ "สัตว์"); หรือ,

• สร้างวิธีการฝึกอบรมที่ซับซ้อนที่น่าขันซึ่งต้องใช้คณิตศาสตร์ขั้นสูงอย่างไม่น่าเชื่อและจะสร้างสภาวะน้ำหนักเซลล์ประสาทในอุดมคติสำหรับผลลัพธ์ที่เป็นไปได้ทั้งหมด (กล่าวอีกนัยหนึ่งinsert math magic here)

(หมายเหตุด้าน 1: ฉันกำลังมองหา perceptrons หลายชั้นโดยเฉพาะเป็นเครือข่ายประสาทเทียม)

(หมายเหตุด้าน 2: สำหรับสัญลักษณ์แสดงหัวข้อย่อยแรก "แก้ปัญหาที่เป็นไปได้" การมีแต่ละเครือข่ายประสาทเฉพาะและวนซ้ำผ่านพวกเขาจนกว่าเราจะได้รับการตอบสนอง "ใช่" ไม่ดีพอฉันรู้ว่านี่สามารถทำได้ค่อนข้างง่าย การเขียนโปรแกรมมากกว่าการเรียนรู้ด้วยเครื่องฉันต้องการทราบว่าเป็นไปได้หรือไม่ที่จะมีเครือข่ายประสาทหนึ่งเครือข่ายเพื่อป้อนข้อมูลและรับการตอบสนองที่เหมาะสม)

เพื่อตอบเพียงชื่อของคุณใช่ มุ้งประสาทสามารถให้คำตอบที่ไม่ใช่แบบบูล ตัวอย่างเช่นใช้โครงข่ายประสาทในการทำนายมูลค่าตลาดหุ้นซึ่งเป็นคำตอบที่เป็นตัวเลขและมากกว่าแค่ใช่ / ไม่ใช่ อวนประสาทยังใช้ในการรู้จำลายมือซึ่งเอาต์พุตสามารถเป็นหนึ่งในช่วงของอักขระทั้งหมด - ตัวอักษรทั้งหมดตัวเลขและเครื่องหมายวรรคตอน

เพื่อมุ่งเน้นตัวอย่างของคุณมากขึ้น - รู้จักสัตว์ - ฉันว่ามันเป็นไปได้ ส่วนใหญ่เป็นส่วนขยายของตัวอย่างการรู้จำลายมือ คุณกำลังจดจำคุณสมบัติของรูปร่างและเปรียบเทียบกับรูปร่าง "อุดมคติ" เพื่อดูการจับคู่ ปัญหาเป็นเรื่องทางเทคนิคไม่ใช่เชิงทฤษฎี การเขียนด้วยลายมือเมื่อทำงานผ่านซอฟต์แวร์การจดจำมักจะถูกจับคู่กับชุดของเส้นและเส้นโค้ง - ดีและเรียบง่าย ใบหน้าสัตว์นั้นจดจำได้ยากดังนั้นคุณต้องใช้ตรรกะในการประมวลผลภาพเพื่อดึงคุณสมบัติต่างๆเช่นดวงตาจมูกปากโครงร่างกะโหลกศีรษะหยาบ ฯลฯ ถึงกระนั้นคุณก็ถามว่ามันเป็นไปได้หรือไม่อย่างไรคำตอบคือใช่

ทางออกที่ดีที่สุดของคุณอาจจะดูที่สิ่งต่าง ๆ เช่นทฤษฎีการปรับตัวสะท้อน หลักการทั่วไปคือการรับความรู้สึก (ในกรณีนี้การวัดขนาดสัมพัทธ์รูปร่างและระยะห่างของลักษณะใบหน้าต่าง ๆ ) เปรียบเทียบกับ "ต้นแบบ" หรือเทมเพลตซึ่งกำหนดประเภทของสิ่งนั้น หากความแตกต่างระหว่างอินพุตทางประสาทสัมผัสและแม่แบบที่จำได้นั้นต่ำกว่าขีด จำกัด ที่แน่นอน (ตามที่กำหนดโดย "พารามิเตอร์การเฝ้าระวัง") วัตถุที่ถูกตรวจสอบจะถือว่าเป็นสมาชิกของกลุ่มที่แสดงโดยเทมเพลตนั้น หากไม่พบการจับคู่ระบบจะประกาศว่าเป็นประเภทที่มองไม่เห็นก่อนหน้านี้ สิ่งที่ดีเกี่ยวกับอวนแบบนี้คือเมื่อมันรับรู้ว่าวัตถุคือพูดม้าก็สามารถเรียนรู้เพิ่มเติมเกี่ยวกับการรู้จักม้าเพื่อที่จะสามารถบอกความแตกต่างระหว่างพูดได้

แก้ไข:

(เพื่อความสนใจในการเปิดเผยอย่างเต็มรูปแบบ: ฉันยังคงค้นคว้าด้วยตัวเองเพื่อทำโครงการดังนั้นความรู้ของฉันจึงยังไม่สมบูรณ์และอาจจะอยู่ในสถานที่เล็กน้อย)

วิธีนี้เชื่อมโยงกับการตั้งค่าการ backpropogation น้ำหนักสำหรับโหนดส่งออกหนึ่งที่ทำลายน้ำหนักสำหรับโหนดอื่นที่ผ่านการฝึกอบรมมาก่อนหรือไม่

จากสิ่งที่ฉันได้อ่านจนถึงตอนนี้กระบวนทัศน์ของ ART นั้นแตกต่างกันเล็กน้อย มันแบ่งออกเป็นสองส่วน - ส่วนหนึ่งที่เรียนรู้อินพุตและอีกส่วนหนึ่งที่เรียนรู้เอาต์พุตสำหรับพวกเขา ซึ่งหมายความว่าเมื่อเจอชุดอินพุตที่ไม่ตรงกันเซลล์ประสาทที่ไม่มีข้อผูกมัดจะถูกเปิดใช้งานและปรับให้ตรงกับอินพุตดังนั้นเซลล์ประสาทนั้นจะกระตุ้นการจับคู่ในครั้งต่อไป เซลล์ประสาทในชั้นนี้มีไว้สำหรับการรับรู้เท่านั้น เมื่อเลเยอร์นี้พบการจับคู่อินพุตจะถูกส่งไปยังเลเยอร์ที่อยู่ด้านล่างซึ่งเป็นสิ่งที่คำนวณการตอบสนอง สำหรับสถานการณ์ของคุณเลเยอร์นี้น่าจะง่ายมาก ระบบที่ฉันกำลังดูคือเรียนรู้ที่จะขับรถ นี่คือการเรียนรู้สองประเภทจริง ๆ ; หนึ่งคือการเรียนรู้ที่จะขับรถในสถานการณ์ที่หลากหลายและอื่น ๆ คือการเรียนรู้ที่จะรับรู้สถานการณ์ ตัวอย่างเช่น,

ความคิดในการเรียนรู้ปัจจัยการผลิตใหม่โดยไม่ทำลายพฤติกรรมที่เรียนรู้มาก่อนหน้านี้เป็นที่รู้จักกันในชื่อความมั่นคง / ภาวะที่กลืนไม่เข้าคายไม่ออก เครือข่ายจำเป็นต้องมีเสถียรภาพเพียงพอที่จะทำให้พฤติกรรมที่เรียนรู้ แต่พลาสติกเพียงพอที่จะสามารถสอนสิ่งใหม่เมื่อสถานการณ์เปลี่ยนแปลง ตรงนี้เป็นสิ่งที่ ART ตั้งใจจะแก้ไข

@ คำตอบของ anaximander นั้นค่อนข้างดีฉันคิดว่าฉันจะแสดงความคิดเห็นในส่วนนี้ของคำถามของคุณ:

ดูเหมือนว่าเนื่องจากการฝึกอบรมการ backpropogation ของข้อผิดพลาดในขณะที่คุณฝึกฝนโหนดทางออกหนึ่ง (เช่น "นี่คือสุนัข") และน้ำหนักของเซลล์ประสาทจะเปลี่ยนไปดังนั้นสถานะอุดมคติสำหรับโหนดทางออกอื่นที่คุณก่อนหน้านี้ ได้รับการฝึกฝนแล้ว (เช่น "นี่คือนก") จะเริ่มเบี่ยงเบนและในทางกลับกัน ดังนั้นการฝึกอบรมเครือข่ายให้จดจำหมวดหมู่หนึ่งจะก่อวินาศกรรมการฝึกอบรมใด ๆ ที่ทำขึ้นสำหรับหมวดหมู่อื่นจึง จำกัด ให้เราออกแบบ "ใช่" หรือ "ไม่" ง่าย ๆ

ฉันคิดว่าการสันนิษฐานของคุณผิดที่นี่ ถ้าฉันเข้าใจถูกต้องคุณมี NN ที่มีหนึ่งเอาต์พุตต่อหมวดหมู่ที่คุณพยายามจัดประเภท เป็นการดีที่คุณต้องการให้พวกเขาทำงานอย่างอิสระเกือบทั้งหมดเพื่อให้การจำแนกประเภท "สุนัข" และ "นก" ไม่ได้เกิดขึ้นพร้อมกัน ดังนั้นระหว่างการฝึกอบรมสิ่งที่จะเกิดขึ้นคือเมื่อคุณฝึก NN ด้วยผลลัพธ์ "dog" การ backpropagation จะพยายามทำให้แน่ใจว่า "bird" และเซลล์ประสาทอื่น ๆ จะไม่สร้างผลบวกปลอม ดังนั้นในทางทฤษฎีมันจะทำงานได้ดีขัดกับความคิดเห็นของคุณ; การเสริมแรงของผลลัพธ์เชิงลบสำหรับ "นก" นั้นถูกต้อง

อย่างไรก็ตามปัญหาของคุณคือการขยายขีดความสามารถของวิธีนี้ เมื่อคุณเพิ่มหมวดหมู่มากขึ้นในเครือข่ายการฝึกอบรมจะซับซ้อนมากขึ้นอย่างน้อยก็เป็นแบบเส้นตรง (แต่มีแนวโน้มที่แย่กว่านั้น) ด้วยเหตุนี้หลายคนใช้วิธีการที่ NNs แต่ละบุคคลได้รับการฝึกฝนสำหรับแต่ละหมวดหมู่; สิ่งนี้ช่วยให้สิ่งต่าง ๆ ง่ายพอและปรับขนาดได้ค่อนข้าง ระดับเมตาของการรวมสิ่งเหล่านี้จะขึ้นอยู่กับคุณ คุณสามารถวนซ้ำผ่าน NNs ทั้งหมดและดูว่าอันไหนที่สร้างผลบวกคุณสามารถสร้าง NN Heuristic ระดับกลางซึ่งพยายาม จำกัด ประเภทสัตว์ให้คุณหรือคุณอาจมี NN ยักษ์ที่รวม NN แต่ละตัวเป็นเซลล์ประสาท . โดยพื้นฐานแล้วสิ่งที่ฉันพยายามจะพูดคือคุณมีความรู้มาก่อนเกี่ยวกับโครงสร้างของปัญหา - การจำแนกประเภทบุคคลนั้นแตกต่างกันมากที่สุด

แก้ไข: เพื่อตอบคำถามชื่อแน่นอนว่า NNs สามารถให้คำตอบได้มากกว่าใช่ / ไม่ใช่ ในรุ่น "มาตรฐาน" แต่ละเซลล์ประสาทเอาท์พุทมักจะยิงใช่ / ไม่ใช่ (แม้ว่าพฤติกรรมนี้อาจมีการเปลี่ยนแปลงได้หากคุณมีแนวโน้มมาก) ซึ่งแสดงถึงข้อมูลหนึ่งบิต แต่เช่นเดียวกับคอมพิวเตอร์ของคุณบิตสามารถรวมกันเพื่อให้ช่วงของค่าไม่ต่อเนื่องซึ่งสามารถตีความได้ในแบบที่คุณต้องการ ตัวอย่างที่เห็นได้ชัดเจนของเอาท์พุทที่ไม่ใช่แบบไบนารี่คือแผนที่การจัดการตนเองซึ่งโดยทั่วไปจะมีเอาต์พุตแบบ 2 มิติ

ในระยะสั้นและไม่ได้คำตอบที่เข้มงวดมาก: ใช่ทุก NN สามารถให้ข้อมูลมากกว่าเพียงแค่หรือyes noมันเกิดจากเกณฑ์ หากน้ำหนักมากกว่าเกณฑ์บางคำตอบคือหนึ่งในคลาสการจำแนกหากต่ำกว่าคำตอบคือคลาสการจำแนกประเภทที่สอง โดยทั่วไป:

    0..threshold 
    threshold..1

เอาท์พุทของเซลล์ประสาทอยู่ในช่วง [0..1] (หรือ [-1,1] มันขึ้นอยู่กับ) และคุณไม่ต้องการรับคำตอบว่าเอาท์พุทต่ำกว่าหรือสูงกว่าขีด จำกัด แต่เอาท์พุท (คุณ สามารถแปลงเป็นช่วง 0..1 ได้อย่างง่ายดายและนั่นหมายถึง%)