ผลของการไม่เปลี่ยนน้ำหนักตัวกรองของ CNN ในระหว่างการเปลี่ยนถ่าย

ผลของการไม่เปลี่ยนน้ำหนักตัวกรองของซีเอ็นเอ็นระหว่างการแพร่กระจายภาพย้อนหลังคืออะไร? ฉันเปลี่ยนน้ำหนักของชั้นที่เชื่อมต่ออย่างเต็มที่ในขณะที่ฝึกฝนชุดข้อมูล MNIST และยังคงได้รับความแม่นยำเกือบ 99 เปอร์เซ็นต์

machine-learning cnn mnist

— Abhisek Dash
แหล่งที่มา

คุณเริ่มต้นด้วยน้ำหนักแบบสุ่มหรือใช้น้ำหนักจากเครือข่ายก่อนหน้านี้บ้างไหม นอกจากนี้ยังมีการวัดความแม่นยำของคุณจากชุดฝึกอบรมหรือจากชุดทดสอบ

— Neil Slater

@ Neil Slater: ฉันเริ่มด้วยน้ำหนักแบบเกาส์แบบสุ่มการวัดความแม่นยำอยู่ในชุดทดสอบ

— Abhisek Dash

@Neil Slater: ความแม่นยำเกือบจะเหมือนเดิมแม้จะมีการกำหนดค่าเริ่มต้นที่แตกต่างกันของตัวกรอง ฉันใช้ 2 convolution และ max pool layer และ FC layer ที่มี 256 เซลล์ประสาทที่ซ่อนอยู่

— Abhisek Dash

โดยการไม่เปลี่ยนน้ำหนักของเลเยอร์ convolutional ของ CNN คุณกำลังป้อนฟีเจอร์สุ่มของตัวแยกประเภท (เลเยอร์ที่เชื่อมต่ออย่างเต็มที่) (เช่นไม่ใช่ฟีเจอร์ที่เหมาะสมที่สุดสำหรับงานการจำแนกประเภทที่อยู่ในมือ)

MNIST เป็นงานการจำแนกภาพที่ง่ายพอที่คุณสามารถป้อนพิกเซลอินพุตให้กับลักษณนามโดยไม่ต้องแยกคุณลักษณะออกและยังคงให้คะแนนใน 90s สูง นอกจากนั้นชั้นที่รวมกำไรอาจช่วยเล็กน้อย ...

ลองฝึก MLP (โดยไม่มีเลเยอร์ Conv / พูล) บนอิมเมจอินพุตและดูการจัดอันดับ นี่คือตัวอย่างที่ MLP (1 เลเยอร์เอาท์พุท & 1 เลเยอร์เอาท์พุท) ถึง 98 +% โดยไม่ต้องมีการดึงข้อมูลมาประมวลผลล่วงหน้า

แก้ไข:

ฉันอยากจะชี้ให้เห็นคำตอบอื่นที่ฉันเขียนซึ่งจะมีรายละเอียดเพิ่มเติมว่าทำไม MNIST จึงง่ายเหมือนงานจัดหมวดหมู่ภาพ

— Djib2011
แหล่งที่มา