ตอนนี้รูปแบบการเรียนรู้ที่ลึกล้ำไม่สามารถพูดได้ว่าตีความได้หรือ คุณสมบัติของโหนดคืออะไร


27

สำหรับโมเดลการเรียนรู้ทางสถิติและเครื่องมีหลายระดับของการตีความได้: 1) อัลกอริทึมโดยรวม, 2) ส่วนของอัลกอริทึมโดยทั่วไป 3) อัลกอริทึมส่วนต่างๆของอัลกอริทึมโดยเฉพาะอินพุตและสามระดับแบ่งออกเป็นสองส่วน หนึ่งสำหรับการฝึกอบรมและหนึ่งสำหรับฟังก์ชั่น eval สองส่วนสุดท้ายอยู่ใกล้กว่าชิ้นแรกมาก ฉันถามเกี่ยวกับ # 2 ซึ่งมักจะนำไปสู่ความเข้าใจที่ดีขึ้นของ # 3) (หากสิ่งเหล่านั้นไม่ใช่สิ่งที่ 'ตีความได้' หมายถึงอะไรฉันควรจะคิดอย่างไร)

เท่าที่การตีความไปได้การถดถอยโลจิสติกส์เป็นหนึ่งในวิธีที่ง่ายที่สุดในการตีความ เหตุใดอินสแตนซ์นี้จึงผ่านเกณฑ์ เนื่องจากอินสแตนซ์ดังกล่าวมีคุณสมบัติเชิงบวกนี้โดยเฉพาะและมีค่าสัมประสิทธิ์สูงกว่าในโมเดล มันชัดเจนมาก!

โครงข่ายประสาทเทียมเป็นตัวอย่างคลาสสิกของแบบจำลองที่ตีความได้ยาก สัมประสิทธิ์ทั้งหมดนั้นหมายความว่าอะไร? พวกเขาทั้งหมดรวมกันในวิธีที่ซับซ้อนอย่างบ้าคลั่งซึ่งเป็นการยากที่จะพูดในสิ่งที่สัมประสิทธิ์พิเศษกำลังทำอยู่

แต่เมื่อมีโครงข่ายประสาทที่หยั่งรากลึกออกมามันรู้สึกว่าสิ่งต่าง ๆ กำลังชัดเจนขึ้น แบบจำลอง DL (สำหรับการมองเห็น) ดูเหมือนว่าจะจับภาพสิ่งต่าง ๆ เช่นขอบหรือการวางแนวในชั้นแรก ๆ และในชั้นต่อมาดูเหมือนว่าบางโหนดมีความหมายจริง (เช่นเซลล์ยาย 'สุภาษิต' ) ตัวอย่างเช่น:

ป้อนคำอธิบายรูปภาพที่นี่

( จาก 'การเรียนรู้เกี่ยวกับการเรียนรู้ลึก' )

นี่เป็นภาพกราฟิก ( ของหลาย ๆ ภาพ ) ที่สร้างขึ้นด้วยมือเพื่อการนำเสนอดังนั้นฉันจึงสงสัยมาก แต่มันก็เป็นหลักฐานว่ามีคนคิดว่ามันเป็นวิธีการทำงาน

บางทีในอดีตที่ผ่านมาเรามีเลเยอร์ไม่เพียงพอที่จะค้นหาคุณลักษณะที่เป็นที่รู้จัก แบบจำลองนั้นประสบความสำเร็จไม่ใช่เรื่องง่ายที่จะวิเคราะห์แบบเฉพาะหลัง

แต่บางทีกราฟิกอาจเป็นแค่ความคิดที่ปรารถนา บางทีเอ็นเอ็นอาจไม่น่าเชื่อถืออย่างแท้จริง

แต่กราฟิกจำนวนมากที่มีโหนดที่มีป้ายกำกับด้วยรูปภาพก็น่าสนใจเช่นกัน

โหนด DL สอดคล้องกับคุณสมบัติจริง ๆ หรือไม่


6
ฉันไม่เห็นหลักฐานของคำถามนี้ อวนประสาทนั้นมีความซับซ้อนมากขึ้นและให้การคาดการณ์ที่ดีกว่าไม่ทำให้พวกเขาตีความได้อีก ตรงกันข้ามมักจะเป็นจริง: ความซับซ้อน / การทำนายที่ดีกว่า <-> ความเรียบง่าย / การตีความที่ดีขึ้น
AdamO

4
@ Adamo ถูกต้องแน่นอน เพราะการที่ต้นไม้ถดถอย (แบ่งพาร์ทิชัน recursive) เป็นเพียง intepretable เพราะผลลัพธ์ที่ไม่ถูกต้อง พวกมันผิดเพราะมันระเหยง่าย รับตัวอย่างใหม่และต้นไม้สามารถแตกต่างกันโดยพลการ และต้นไม้เดี่ยวไม่สามารถแข่งขันได้ด้วยความเคารพต่อการเลือกปฏิบัติที่คาดการณ์ Parsimony มักจะเป็นศัตรูของการเลือกปฏิบัติทำนาย และสำหรับคำถามเดิมในสาขาชีวการแพทย์ผลลัพธ์ของ AI / ML ยังไม่สามารถตีความได้
Frank Harrell

1
ดูบทความนี้นักวิจัย AI กล่าวหาว่าการเรียนรู้ของเครื่องจักรนั้นเล่นแร่แปรธาตุ sciencemag.org/news/2018/05/…
Mike Hunter

4
คำถามตัวหนาในเนื้อหาและคำถามในชื่อของคุณนั้นแตกต่างกันมาก ดูเหมือนว่าคำตอบทั้งหมดรวมถึงของฉันกำลังตอบคำถามในชื่อเรื่อง บางทีคุณอาจถามคำถามที่แคบลงเกี่ยวกับโหนดและฟีเจอร์ในเธรดของตัวเอง? แต่ก่อนที่คุณจะทำสิ่งนั้นให้พิจารณาว่าคุณได้เชื่อมโยงกับกระดาษที่ตอบคำถามตัวหนาของคุณในคำตอบแล้วดังนั้นให้พิจารณาว่าคุณต้องการเรียนรู้อะไรในคำตอบก่อนถาม
Sycorax พูดว่า Reinstate Monica

@Sycorax ลิงก์ที่ฉันเพิ่งเพิ่มคือโพสต์ในบล็อกไม่ใช่กระดาษดังนั้นฉันจึงสงสัยอย่างมากในมุมมองที่ยืนยัน ความหลากหลายของการตีความที่ฉันถามเกี่ยวกับ DL ในชื่อที่ฉันพิจารณาว่าเป็นตัวหนาในข้อความ
มิทช์

คำตอบ:


30

การตีความแบบจำลองลึกยังคงเป็นสิ่งที่ท้าทาย

  1. โพสต์ของคุณพูดถึง CNN สำหรับแอปพลิเคชันการมองเห็นคอมพิวเตอร์เท่านั้น ((ลึกหรือตื้น)) เครือข่ายการส่งต่อและเครือข่ายที่เกิดซ้ำยังคงท้าทายที่จะเข้าใจ

  2. แม้ในกรณีของ CNN ที่มีโครงสร้าง "ตัวตรวจจับคุณลักษณะ" อย่างชัดเจนเช่นขอบและการวางแนวของแพทช์พิกเซล แต่ก็ไม่ชัดเจนเลยว่าคุณลักษณะระดับล่างเหล่านี้จะรวมตัวกันขึ้นไปหรืออะไรเกิดขึ้นเมื่อคุณสมบัติการมองเห็นเหล่านี้ ถูกรวบรวมในเลเยอร์ที่เชื่อมต่ออย่างสมบูรณ์

  3. ตัวอย่างของฝ่ายตรงข้ามแสดงให้เห็นว่าการตีความเครือข่ายนั้นยากเพียงใด ตัวอย่างของฝ่ายตรงข้ามมีการดัดแปลงเล็กน้อย แต่ก็ส่งผลให้เกิดการเปลี่ยนแปลงอย่างมากในการตัดสินใจของตัวแบบ ในบริบทของการจำแนกภาพเสียงรบกวนเล็กน้อยที่เพิ่มลงในภาพสามารถเปลี่ยนภาพของจิ้งจกให้มีการจำแนกที่มีความมั่นใจสูงเหมือนสัตว์อื่นเช่นสุนัข (สายพันธุ์)

เรื่องนี้เกี่ยวข้องกับการตีความในแง่ที่ว่ามีความสัมพันธ์ที่แข็งแกร่งและไม่สามารถคาดเดาได้ระหว่างเสียง (ขนาดเล็ก) จำนวนเสียงและการเปลี่ยนแปลง (ใหญ่) ในการจำแนกประเภท เมื่อคิดถึงว่าเครือข่ายเหล่านี้ทำงานอย่างไรมันก็สมเหตุสมผล: การคำนวณที่เลเยอร์ก่อนหน้านั้นแพร่กระจายไปข้างหน้าดังนั้นข้อผิดพลาดจำนวนมาก - ข้อผิดพลาดเล็กน้อยที่ไม่สำคัญต่อมนุษย์ - จะถูกขยายและสะสมเมื่อทำการคำนวณมากขึ้นเรื่อย ๆ อินพุต "เสียหาย"

ในทางตรงกันข้ามการมีอยู่ของตัวอย่างฝ่ายตรงข้ามแสดงให้เห็นว่าการตีความของโหนดใด ๆ ในลักษณะเฉพาะหรือคลาสนั้นยากเนื่องจากข้อเท็จจริงที่ว่าโหนดนั้นเปิดใช้งานอาจมีส่วนเกี่ยวข้องกับเนื้อหาจริงของภาพต้นฉบับและ ความสัมพันธ์นี้ไม่สามารถคาดเดาได้จริงในแง่ของภาพต้นฉบับ แต่ในภาพตัวอย่างด้านล่างไม่มีมนุษย์คนใดถูกหลอกเกี่ยวกับเนื้อหาของภาพ: คุณจะไม่สับสนกับเสาธงสำหรับสุนัข เราจะตีความการตัดสินใจเหล่านี้ได้อย่างไรโดยรวม (รูปแบบเสียงรบกวนขนาดเล็ก "ส่ง" จิ้งจกเข้าสู่สุนัขหรือเสาธงเป็นสุนัข) หรือเป็นชิ้นเล็ก ๆ (ว่าเครื่องตรวจจับคุณสมบัติหลายอย่างมีความไวต่อรูปแบบเสียงมากกว่าภาพจริง เนื้อหา)?

HAAM เป็นวิธีการใหม่ที่มีแนวโน้มในการสร้างภาพที่ไม่ดีโดยใช้ฟังก์ชั่นฮาร์โมนิก ("Harmonic Adversarial Attack Method" เหวินเฮง, Shuchang Zhou, Tingting Jiang.) รูปภาพที่สร้างขึ้นโดยใช้วิธีนี้สามารถใช้เพื่อจำลองเอฟเฟกต์แสง / เงาและโดยทั่วไปจะมีความท้าทายมากขึ้นสำหรับมนุษย์ในการตรวจจับว่ามีการเปลี่ยนแปลง

เป็นตัวอย่างให้ดูภาพนี้นำมาจาก " ความวุ่นวายในจักรวาลที่เป็นปฏิปักษ์ " โดย Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi, Omar Fawzi และ Pascal Frossard ฉันเลือกภาพนี้เพียงเพราะมันเป็นหนึ่งในภาพที่ไม่เห็นด้วยครั้งแรกที่ฉันเจอ ภาพนี้แสดงให้เห็นว่ารูปแบบสัญญาณรบกวนเฉพาะนั้นมีผลแปลก ๆ ต่อการตัดสินใจจำแนกภาพโดยเฉพาะอย่างยิ่งคุณสามารถทำการปรับเปลี่ยนเล็กน้อยกับภาพอินพุตและทำให้ตัวแยกประเภทคิดว่าผลที่ได้คือสุนัข โปรดทราบว่าภาพต้นแบบดั้งเดิมยังคงชัดเจน: ในทุกกรณีมนุษย์จะไม่สับสนกับการคิดว่าภาพใด ๆ ที่ไม่ใช่สุนัขเป็นสุนัข adversaria

นี่คือตัวอย่างที่สองจากเอกสารที่เป็นที่ยอมรับมากขึ้น " ตัวอย่างการสำรวจและการฝ่าฝืนปฏิปักษ์ " โดย Ian J. Goodfellow, Jonathon Shlens & Christian Szegedy เสียงรบกวนที่เพิ่มเข้ามานั้นแยกไม่ออกอย่างสิ้นเชิงในภาพที่เกิดขึ้น แต่ผลที่ได้คือการจำแนกอย่างมั่นใจว่าผิดผลคือชะนีแทนที่จะเป็นแพนด้า ในกรณีนี้อย่างน้อยที่สุดก็มีความคล้ายคลึงกันอย่างน้อยระหว่างชั้นเรียนสองชั้นเนื่องจากกิบบอนและหมีแพนด้าเป็นอย่างน้อยทางชีววิทยาและสุนทรียศาสตร์ที่คล้ายคลึงกันในแง่ที่กว้างที่สุด หมีแพนด้า

ตัวอย่างที่สามนี้นำมาจาก "การตรวจสอบตัวอย่างผู้ไม่ประสงค์ดีที่ต่อต้านได้บนพื้นฐานของการตัดสินใจแบบไม่ตรงกัน " โดยJoão Monteiro, Zahid Akhtar และ Tiago H. Falk มันกำหนดว่ารูปแบบเสียงสามารถแยกไม่ออกกับมนุษย์แต่ยังคงสับสนลักษณนามแยกไม่ออก

สำหรับการอ้างอิงสัตว์เลื้อยคลานนั้นเป็นสัตว์ที่มีสีเข้มซึ่งมีสี่แขนและหางดังนั้นมันจึงมีความคล้ายคลึงกับปลาทองไม่มากนัก mudpuppy

  1. ฉันเพิ่งพบกระดาษนี้วันนี้ Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, Rob Fergus " คุณสมบัติที่น่าสนใจของโครงข่ายประสาทเทียม " บทคัดย่อมีคำพูดที่น่าสนใจนี้:

อันดับแรกเราพบว่าไม่มีความแตกต่างระหว่างหน่วยระดับสูงแต่ละตัวและชุดค่าผสมเชิงเส้นแบบสุ่มของหน่วยระดับสูงตามวิธีการวิเคราะห์หน่วยต่างๆ มันแสดงให้เห็นว่ามันเป็นพื้นที่มากกว่าแต่ละหน่วยที่ประกอบด้วยข้อมูลความหมายในชั้นสูงของเครือข่ายประสาท

ดังนั้นแทนที่จะมี 'เครื่องตรวจจับคุณสมบัติ' ในระดับที่สูงขึ้นโหนดจะแสดงพิกัดในพื้นที่ของคุณลักษณะที่เครือข่ายใช้เพื่อจำลองข้อมูลเท่านั้น


2
จุดที่ดี แต่โปรดทราบว่าแม้ในรูปแบบที่ง่ายที่สุด (logistic, ต้นไม้ตัดสินใจ) มันไม่ชัดเจนว่าทำไมสัมประสิทธิ์ / threshild ใด ๆ เป็นสิ่งที่มันเป็น (แต่นั่นไม่ใช่ความหมายเดียวกับที่ฉันถาม ไม่เกี่ยวข้องกันโดยสิ้นเชิงมีการศึกษาเชิงรุก / ตัวอย่างที่ดีสำหรับภาษา / RNNs / LSTM หรือไม่?
Mitch

7
ฉันยังจะชี้ให้เห็นว่าแม้รูปแบบง่าย ๆ เช่นการถดถอยโลจิสติกมีความเสี่ยงต่อการถูกโจมตีจากฝ่ายตรงข้าม ในความเป็นจริงGoodfellow et อัล ชี้ให้เห็นว่ามันเป็นแบบจำลองตื้น ๆ ที่ขาดความสามารถในการต่อต้านการโจมตีดังกล่าว แต่เรายังคงอ้างว่าสามารถตีความการถดถอยโลจิสติกได้
shimao

2
คำตอบที่ดียกเว้นจุด 3 ซึ่งเป็นที่สงสัยด้วยเหตุผลสองประการ 1) เป็นกรณีที่ภาพลักษณ์ของฝ่ายตรงข้ามเป็น "สำหรับคนที่แยกไม่ออกจากภาพที่ไม่ได้แก้ไข" เว้นแต่มนุษย์คนนั้นจะมีความบกพร่องทางสายตาอย่างรุนแรง เกือบทุกครั้งที่คุณสามารถสังเกตเห็นว่าภาพมีรูปแบบสัญญาณรบกวนบางอย่างเพิ่มขึ้นโดยเฉพาะอย่างยิ่งในพื้นหลังคล้ายกับสัญญาณรบกวน JPEG ที่เรียกว่า JPEG (เฉพาะภาพ: คุณสมบัติทางสถิติที่แท้จริงของการก่อกวนนั้นแตกต่างกัน) สิ่งที่น่าแปลกใจไม่ได้ว่าลักษณนามคือความไม่แน่นอนไม่ว่าจะเป็นโดยสุจริตแมวมากกว่าการพูดการเสียหาย 1 /
DeltaIV

2
2 / ภาพ แต่มันเกือบจะแน่นอนว่ามันเป็นรถบัส 2) ตัวอย่างของฝ่ายตรงข้ามเกี่ยวข้องกับการตีความได้อย่างไร โมเดลเชิงเส้นโมเดลเชิงเส้นทั่วไปและต้นไม้การตัดสินใจมีความอ่อนไหวต่อตัวอย่างของฝ่ายตรงข้าม จริงๆแล้วมันง่ายกว่าที่จะหาตัวอย่างของฝ่ายตรงข้ามที่การถดถอยโลจิสติกคนโง่มากกว่าคนที่โง่เขลา ResNet แม้จะมีสิ่งนี้เรามักจะพิจารณา (G) LM เป็นแบบจำลองที่สามารถตีความได้ดังนั้นฉันจะไม่เชื่อมโยงการมีอยู่ของตัวอย่างฝ่ายตรงข้ามกับความสามารถในการตีความของแบบจำลอง
DeltaIV

3
@DeltaIV จุดไม่ใช่ว่าคุณไม่สามารถสังเกตเห็นเสียงรบกวน jpeg ทุกตัวที่มีการลดระดับเสียงมากเกินไป ประเด็นก็คือเสียงสามารถจัดการได้เพื่อให้ DNN ทำสิ่งที่บ้าคลั่งซึ่งเป็นสิ่งที่ไม่สมเหตุสมผลต่อผู้สังเกตการณ์ของมนุษย์แม้ว่าจะสามารถมองเห็นจุดรบกวนได้
Hong Ooi

13

เลเยอร์ไม่ได้แมปเข้ากับคุณลักษณะที่เป็นนามธรรมมากกว่าอย่างต่อเนื่องตามที่เราต้องการ วิธีที่ดีในการดูสิ่งนี้คือการเปรียบเทียบสถาปัตยกรรมยอดนิยมสองรายการ

VGG16ประกอบด้วยเลเยอร์ convolutional มากมายที่ซ้อนทับกันด้วยเลเยอร์ที่รวมเป็นครั้งคราวซึ่งเป็นสถาปัตยกรรมดั้งเดิม

ตั้งแต่นั้นมาผู้คนได้ย้ายไปออกแบบสถาปัตยกรรมที่เหลือซึ่งแต่ละชั้นเชื่อมต่อกับชั้นก่อนหน้านี้ไม่เพียง แต่ยังมีชั้นหนึ่ง (หรือมากกว่านั้น) ที่อยู่ไกลออกไปในแบบจำลอง ResNetเป็นหนึ่งในคนกลุ่มแรกที่ทำสิ่งนี้และมีเลเยอร์ประมาณ 100 เลเยอร์ขึ้นอยู่กับตัวแปรที่คุณใช้

ในขณะที่ VGG16 และเครือข่ายที่คล้ายกันมีเลเยอร์ทำงานในลักษณะที่ตีความได้มากหรือน้อย - เรียนรู้คุณลักษณะที่สูงขึ้นและสูงขึ้น ResNets ไม่ได้ทำเช่นนี้ แต่ผู้คนเสนอว่าพวกเขายังคงปรับแต่งคุณสมบัติเพื่อให้แม่นยำยิ่งขึ้นหรือว่าพวกเขาเป็นเพียงเครือข่ายตื้น ๆ ที่แฝงตัวอยู่ซึ่งไม่ตรงกับ "มุมมองแบบดั้งเดิม" ในแบบจำลองที่ลึกซึ้ง

ในขณะที่ ResNet และสถาปัตยกรรมที่คล้ายคลึงกันใช้งานได้ดีกว่า VGG ในการจำแนกภาพและการตรวจจับวัตถุดูเหมือนว่าจะมีแอพพลิเคชั่นบางตัวที่ลำดับชั้นของคุณลักษณะ VGG จากล่างขึ้นบนเป็นสิ่งสำคัญมาก ดูที่นี่สำหรับการสนทนาที่ดี

ดังนั้นเมื่อสถาปัตยกรรมที่ทันสมัยกว่าดูเหมือนจะไม่พอดีกับภาพอีกต่อไปฉันจะบอกว่าเราไม่สามารถบอกได้ว่าซีเอ็นเอ็นนั้นสามารถตีความได้


สันนิษฐานว่าโครงสร้างโทโพโลยีที่ไม่ได้รับการออกแบบ / ไม่ได้รับการออกแบบทั้งหมดของเครือข่าย DL จะเป็นชุดสุ่มสั่งขนาดใหญ่บางส่วนอินพุตเซ็นเซอร์และเอาท์พุทฟังก์ชั่นที่ต้องการ (นั่นคือไม่มีความพยายาม โหนดที่นี่จะเป็นมากอาจจะหยั่งรู้ แต่นั่นไม่ได้หมายความว่าโทโพโลยีที่ได้รับการออกแบบมากขึ้นมีแนวโน้มที่จะมีความสามารถในการตีความได้บ้าง?
มิทช์

3
@Mitch สถาปัตยกรรมล่าสุดบางอย่างเช่น Densenet ดูเหมือนจะค่อยๆคืบคลานเข้าหาขีด จำกัด ของการที่ทุก ๆ เลเยอร์เชื่อมต่อกับเลเยอร์อื่น ๆ - คล้ายกับ "เครือข่ายที่ไม่ได้ออกแบบ" ของคุณ แต่แน่นอนว่า ResNet และ Densenet นั้นมีการออกแบบที่ซับซ้อนกว่า VGG16 แต่ก็มีคนบอกได้ว่าพวกมันตีความได้น้อยกว่าดังนั้นไม่เลยฉันไม่คิดว่าการออกแบบที่มากจะหมายถึงการตีความได้มากกว่า เป็นไปได้การเชื่อมต่อคำแยกคำหมายถึงตีความได้มากขึ้น
shimao

7

เรื่องของวิทยานิพนธ์ปริญญาเอกของฉันคือการเปิดเผยคุณสมบัติกล่องดำของเครือข่ายประสาทโดยเฉพาะเครือข่ายประสาทส่งต่อไปข้างหน้าด้วยชั้นหนึ่งหรือสองชั้นที่ซ่อนอยู่

ฉันจะอธิบายถึงความท้าทายในการอธิบายให้ทุกคนรู้ว่าคำศัพท์เกี่ยวกับน้ำหนักและอคติหมายถึงอะไรในเครือข่ายนิวรัลไปข้างหน้า สองมุมมองที่แตกต่างกันจะได้รับการแก้ไข: พารามิเตอร์หนึ่งและมุมมองที่น่าจะเป็น

xผมnพียูเสื้อ=αx+βαβxผมnพียูเสื้อ(0,1)

  • 01
  • โวลต์โวลต์7

การแสดงข้อมูลอินพุตของคุณเป็นสิ่งจำเป็นเพื่อให้สามารถตีความขนาด (ค่าสัมบูรณ์) ของตุ้มน้ำหนักในเลเยอร์อินพุต

พารามิเตอร์ความหมาย:

  • 0
  • น้ำหนักจากโหนดที่ซ่อนอยู่ไปยังโหนดผลลัพธ์บ่งชี้ว่าการขยายสัญญาณถ่วงน้ำหนักของตัวแปรอินพุตที่อยู่ในความหมายที่สมบูรณ์ที่สุดที่เซลล์ประสาทที่ซ่อนอยู่นั้นถูกขยายออกไป เครื่องหมายของน้ำหนักหมายถึงการส่งเสริม (บวก) หรือการยับยั้ง (ลบ)
  • 132
  • β

1ผมล.เสื้อsผมล.1ΔJ,k= |Wผม,J-Wผม,k|ผมJk

โหนดที่ซ่อนอยู่ที่สำคัญกว่านั้นสำหรับโหนดเอาต์พุต (การพูดคุยในความถี่ที่มากกว่าชุดการฝึกอบรม) ซึ่ง 'น้ำหนักอินพุตเวลาความถี่อินพุต' มีความสำคัญที่สุด? จากนั้นเราจะปิดเกี่ยวกับความสำคัญของพารามิเตอร์ของเครือข่ายประสาทส่งต่อ

การตีความที่น่าจะเป็น:

xผมnพียูเสื้อ

กรณีส่วนบุคคล - รูปแบบ

xผมnพียูเสื้อ[1,0,0,0,0,0,0][0,1,0,0,0,0,0]หรือวันทำงานอื่น ๆ ) และการเปลี่ยนแปลงผลลัพธ์ที่น่าจะเป็นไปได้มากที่สุดนั้นตัวแปรที่แจกแจงจะมีอิทธิพลต่อผลลัพธ์ของการจำแนก

xผมnพียูเสื้อxผมnพียูเสื้อE(xผมnพียูเสื้อ|x-ผมnพียูเสื้อ)x-ผมnพียูเสื้อxผมnพียูเสื้อ

การเอนตัวลึก - และความหมายของพารามิเตอร์ NN

เมื่อนำไปใช้กับการมองเห็นคอมพิวเตอร์เครือข่ายประสาทมีความก้าวหน้าที่น่าทึ่งในทศวรรษที่ผ่านมา เครือข่ายประสาทเทียมที่นำโดย LeCunn ในปี 1989 ได้กลายเป็นสิ่งที่ทำได้ดีที่สุดในแง่ของการจดจำภาพ มีรายงานว่าพวกเขาสามารถทำได้ดีกว่าวิธีการรู้จำที่อิงกับคอมพิวเตอร์ส่วนใหญ่

คุณสมบัติฉุกเฉินที่น่าสนใจปรากฏขึ้นเมื่อมีการฝึกอบรมโครงข่ายประสาทเทียมสำหรับการรับรู้วัตถุ ชั้นแรกของโหนดซ่อนแสดงให้เห็นถึงระดับต่ำตรวจจับคุณลักษณะคล้ายกับผู้ประกอบการขนาดพื้นที่T. Lindeberg คุณลักษณะการตรวจสอบกับการเลือกขนาดอัตโนมัติ 1998 ตัวดำเนินการสเกลพื้นที่เหล่านี้ตรวจจับ

  • เส้น
  • มุม
  • T-ทางแยก

และคุณสมบัติภาพขั้นพื้นฐานอื่น ๆ

สิ่งที่น่าสนใจยิ่งกว่าคือความจริงที่ว่าเซลล์ประสาทการรับรู้ในสมองของสัตว์เลี้ยงลูกด้วยนมมีลักษณะคล้ายกับวิธีการทำงานในขั้นตอนแรกของการประมวลผลภาพ (ชีวภาพ) ดังนั้นด้วย CNNs ชุมชนวิทยาศาสตร์กำลังปิดท้ายในสิ่งที่ทำให้การรับรู้ของมนุษย์เป็นปรากฎการณ์ สิ่งนี้ทำให้คุ้มค่ามากในการติดตามงานวิจัยนี้เพิ่มเติม


สิ่งนี้น่าสนใจ - ดูเหมือนจะไม่สามารถตีความได้มากนักในกรณีของคุณลักษณะที่สัมพันธ์กันใช่หรือไม่
khol

vallue E (.) ที่คาดไว้ยังเป็นที่รู้จักกันในชื่อค่าเฉลี่ยของการแจกแจงแบบมีเงื่อนไข, x_input ที่ได้รับ x_-input, ตัวแปรอื่น ๆ ทั้งหมด ดังนั้นความสัมพันธ์จะถูกรวมเข้ากับแนวคิดอิทธิพลที่คาดหวังนี้ โปรดทราบว่าความเป็นอิสระน่าจะเป็นมีความหมายกว้างกว่า 'ความสัมพันธ์' - หลังส่วนใหญ่ถูกกำหนดไว้สำหรับข้อมูลกระจายแบบเสียน
Match Maker EE

ดี นี่เป็นลักษณะทั่วไปของการตีความการถดถอยโลจิสติกส์ไปยังชุดของโมเดลการถดถอยแบบเรียงซ้อน
มิทช์

ชุดย่อยของโหนดที่ซ่อนอยู่สามารถทำหน้าที่เป็น 'หรือ' ตรรกะสำหรับเซลล์ประสาทเอาท์พุทหรือมากกว่าเช่นตรรกะ 'และ' หรือเกิดขึ้นเมื่อการเปิดใช้งานโหนดที่ซ่อนอยู่หนึ่งครั้งเพียงพอที่จะทำให้เซลล์ประสาทขาออกใกล้เคียงกับ 1 และเกิดขึ้นเมื่อมีการรวมการเปิดใช้งานโหนดที่ซ่อนไว้เพียงอย่างเดียวเท่านั้นที่สามารถทำให้การเปิดใช้งานโหนดออก AND 'ซึ่งขึ้นอยู่กับเวกเตอร์น้ำหนักที่ผ่านการฝึกอบรมของ' fan in 'ลงในโหนดเอาต์พุต
Match Maker EE
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.