ฉันกำลังฝึกอบรมเครือข่ายประสาทเทียมแบบง่ายสำหรับการถดถอยซึ่งงานนี้จะทำนายตำแหน่ง (x, y) ของกล่องในภาพเช่น:

เอาต์พุตของเครือข่ายมีสองโหนดหนึ่งรายการสำหรับ x และอีกหนึ่งสำหรับ y ส่วนที่เหลือของเครือข่ายเป็นเครือข่ายประสาทเทียมมาตรฐาน การสูญเสียเป็นค่าเฉลี่ยความคลาดเคลื่อนกำลังสองระหว่างตำแหน่งที่ทำนายของกล่องและตำแหน่งจริงของพื้นดิน ฉันกำลังฝึกอบรมเกี่ยวกับ 10,000 ภาพเหล่านี้และการตรวจสอบในปี 2000

ปัญหาที่ฉันมีคือแม้ว่าหลังจากการฝึกอบรมที่สำคัญแล้วการสูญเสียไม่ลดลงจริงๆ หลังจากสังเกตเอาท์พุทของเครือข่ายฉันสังเกตว่าเครือข่ายมีแนวโน้มที่จะส่งออกค่าใกล้ศูนย์สำหรับทั้งสองเอาท์พุทโหนด ดังนั้นการทำนายตำแหน่งของกล่องจึงเป็นจุดศูนย์กลางของภาพเสมอ มีการเบี่ยงเบนบางอย่างในการคาดการณ์ แต่มักจะอยู่ที่ประมาณศูนย์ ด้านล่างแสดงให้เห็นถึงการสูญเสีย:

ฉันใช้งานสิ่งนี้ได้หลายครั้งมากกว่าที่แสดงในกราฟนี้และการสูญเสียยังไม่ลดลง น่าสนใจที่นี่การสูญเสียเพิ่มขึ้น ณ จุดหนึ่ง

ดังนั้นดูเหมือนว่าเครือข่ายจะทำนายค่าเฉลี่ยของข้อมูลการฝึกอบรมมากกว่าการเรียนรู้ที่เหมาะสม ความคิดเห็นใด ๆ เกี่ยวกับสาเหตุที่อาจเป็นเช่นนี้ ฉันใช้อดัมเป็นเครื่องมือเพิ่มประสิทธิภาพด้วยอัตราการเรียนรู้เริ่มต้นที่ 0.01 และการเปิดใช้งานใหม่

หากคุณมีความสนใจในบางรหัสของฉัน (Keras) มันเป็นด้านล่าง:

# Create the model
model = Sequential()
model.add(Convolution2D(32, 5, 5, border_mode='same', subsample=(2, 2), activation='relu', input_shape=(3, image_width, image_height)))
model.add(Convolution2D(64, 5, 5, border_mode='same', subsample=(2, 2), activation='relu'))
model.add(Convolution2D(128, 5, 5, border_mode='same', subsample=(2, 2), activation='relu'))
model.add(Flatten())
model.add(Dense(100, activation='relu'))
model.add(Dense(2, activation='linear'))


# Compile the model
adam = Adam(lr=0.01, beta_1=0.9, beta_2=0.999, epsilon=1e-08, decay=0.0)
model.compile(loss='mean_squared_error', optimizer=adam)


# Fit the model
model.fit(images, targets, batch_size=128, nb_epoch=1000, verbose=1, callbacks=[plot_callback], validation_split=0.2, shuffle=True)

เครื่องมือเพิ่มประสิทธิภาพไม่สามารถรวมเข้ากับโซลูชันที่ดีที่สุด (ย่อย) ทำไม? ปัญหาของคุณง่ายเกินไปและ / หรือโมเดลของคุณซับซ้อนเกินไป

ปัญหาง่ายเกินไป

ดังที่ @photox กล่าวแล้วว่าปัญหานี้สามารถแก้ไขได้ด้วยเลเยอร์ที่ซ่อนอยู่เพียงชั้นเดียว ฉันยังสงสัยว่ามันสามารถทำได้โดยไม่มีเลเยอร์ที่ซ่อนอยู่ นั่นเป็นเพราะปัญหานี้เป็นเชิงเส้น seperable

ขอผมอธิบายสิ่งนี้ ลองนึกภาพเครือข่ายประสาทโดยไม่มีเลเยอร์ที่ซ่อนอยู่และฟังก์ชั่นการเปิดใช้งานเชิงเส้น (คุณอาจเรียกว่าการถดถอยเชิงเส้น) ในการคำนวณตำแหน่ง x ของสี่เหลี่ยมแต่ละพิกเซลเชื่อมต่อกับ x-output คอลัมน์แรกของพิกเซลเชื่อมต่อกับน้ำหนัก$1/\text{width}$. คอลัมน์ที่สองเชื่อมต่อกับน้ำหนัก$2/\text{width}$. สิ่งนี้จะดำเนินต่อไปจนถึงคอลัมน์สุดท้าย (เช่นคอลัมน์$n$) ซึ่งเชื่อมต่อกับน้ำหนัก $n/\text{width}$. เนื่องจากพิกเซลบางพิกเซลไม่เป็นศูนย์การเปิดใช้งานเอาต์พุตจึงเป็นเส้นตรงไปยังพิกัด x ของจตุรัส ดังนั้นฟังก์ชั่นเชิงเส้นสามารถคำนวณตำแหน่งของสแควร์

มีหลายวิธี:

• เลือกปัญหาที่ยากขึ้นเช่นการจำแนกภาพ
• เพิ่มเสียงรบกวนเช่นเกลือและพริกไทยหรือเสียงสีขาว
• ทำให้ปัญหาหนักขึ้นเช่นโดยการทำนายตำแหน่งของสี่เหลี่ยมสีแดงในขณะที่มีวงกลมสีต่างกันจำนวนมากในพื้นหลัง

โมเดลที่ซับซ้อนเกินไป

แบบจำลองของคุณมีบางส่วนที่เพิ่มความซับซ้อนจำนวนมากในขณะที่ไม่ช่วยให้เครื่องมือเพิ่มประสิทธิภาพเพื่อค้นหาสิ่งที่ดีที่สุด

ตัวอย่างเช่นเลเยอร์ convolutional ชั้นแรกมีตัวกรองขนาด 32 convolutional$5 \times 5$. คุณคาดหวังว่าตัวกรองเหล่านี้จะเรียนรู้อะไร ในการจัดประเภทภาพตัวกรองเหล่านี้เรียนรู้ที่จะตรวจจับขอบมุมการไล่ระดับสีและ blobs แต่ในกรณีนี้มีเพียงไม่กี่ตัวกรองที่เหมาะสม ฉันสามารถนึกถึงขอบจากซ้ายไปขวาและในทางกลับกันและจากบนลงล่างและในทางกลับกัน ในกรณีของคุณมีตัวกรองประมาณ 28 ตัวที่เพิ่มสัญญาณรบกวนแบบสุ่ม การลบเหล่านี้ (หรือเพียงแค่ทั้งชั้น) ทำให้เครื่องมือเพิ่มประสิทธิภาพง่ายขึ้นในการค้นหาสิ่งที่ดีที่สุดที่ใช้งานได้

อีกตัวอย่างหนึ่งคือเครื่องมือเพิ่มประสิทธิภาพของอดัมที่มีพารามิเตอร์พิเศษจำนวนมาก เครื่องมือเพิ่มประสิทธิภาพ Adam อาจทำงานได้ดีกับพารามิเตอร์เหล่านี้ แต่ทำไมคุณไม่เริ่มด้วยSGDเครื่องมือเพิ่มประสิทธิภาพอย่างง่ายพร้อมค่าเริ่มต้น

ดังนั้นคุณสามารถทำการเพิ่มประสิทธิภาพหลายอย่าง:

• ใช้LinearRegressionจาก scikit เรียนรู้ ตกลงนี่ไม่ใช่สิ่งที่คุณต้องการ แต่ฉันแค่ต้องการแสดงให้เห็นถึงความซับซ้อนของแบบจำลองนี้มากเกินไป
• ลบเลเยอร์ Conv
• ลดขนาดของDenseเลเยอร์ที่ซ่อนอยู่
• ใช้SGDเครื่องมือเพิ่มประสิทธิภาพเริ่มต้น
• หากคุณใช้เลเยอร์ที่ซ่อนอยู่คุณควรลองsigmoidเปิดใช้งาน คุณสามารถนึกถึงแต่ละโหนดของเลเยอร์ที่ซ่อนอยู่เป็นการตรวจสอบว่าสแควร์อยู่ในตำแหน่งที่แน่นอน
• หากสิ่งนี้ไม่ได้ผลให้ทดลองใช้อัตราการเรียนรู้เล็กน้อยเพื่อดูว่าสูงหรือต่ำเกินไป

ps

ฉันคิดว่าคุณจะชอบบล็อกนี้โดย Adit Deshpande

ฉันกำลังประสบปัญหาเดียวกันกับชุดข้อมูลของฉัน ปรากฎว่าในกรณีของฉันผู้ทำนายมีความเข้มข้นสูงและมีความแปรปรวนน้อยมาก คุณควรตรวจสอบความแปรปรวนของตัวแปรการทำนายของคุณและดูว่ามันกระจายอย่างไร

อย่างไรก็ตามการแปลงบางอย่างในตัวแปรเอาต์พุตสามารถดำเนินการเพื่อปรับเปลี่ยนหรือเปลี่ยนขนาดของมัน ซึ่งอาจส่งผลให้มีการกระจายประเภทที่สม่ำเสมอยิ่งขึ้น ยกตัวอย่างเช่นในบางครั้งงานการจำแนกภาพฮิสโตแกรมหรือการเพิ่มความคมชัดบางครั้งทำงานเพื่อประโยชน์ในการตัดสินใจ

ดูเหมือนว่ามีปัญหาการ overfitting ทั่วไป ข้อมูลของคุณไม่ได้ให้ข้อมูลเพียงพอที่จะได้รับผลลัพธ์ที่ดีกว่า คุณเลือกNN ที่ซับซ้อนพร้อมกับรถไฟที่จะจำความแตกต่างทั้งหมดของข้อมูลรถไฟ การสูญเสียไม่สามารถเป็นศูนย์ได้อย่างที่มันเป็นบนกราฟของคุณ BTW ดูเหมือนว่าการตรวจสอบของคุณมีข้อผิดพลาดหรือชุดการตรวจสอบไม่ดีสำหรับการตรวจสอบเพราะการสูญเสียการตรวจสอบจะได้รับเป็นศูนย์

จริง ๆ แล้วฉันกำลังทำงานกับปัญหาที่คล้ายกันมาก โดยทั่วไปฉันมีจุดหลายจุดบนพื้นหลังสีขาวและฉันฝึก NN ให้รู้จักจุดที่วางบนพื้นหลังก่อน วิธีที่ฉันพบในการทำงานก็คือใช้ชั้นของเซลล์ประสาทที่เชื่อมต่อกันอย่างเต็มชั้น (ดังนั้น NN 1 ชั้น) ตัวอย่างเช่นสำหรับภาพขนาด 100x100 ฉันจะมีเซลล์ประสาทรับเข้า 10,000 (พิกเซล) เชื่อมต่อโดยตรงกับเซลล์ประสาทขาออก 2 (พิกัด) ใน PyTorch เมื่อฉันแปลงค่าพิกเซลเป็นเมตริกซ์มันทำให้ข้อมูลของฉันเป็นปกติโดยอัตโนมัติโดยการลบค่าเฉลี่ยและหารด้วยค่าเบี่ยงเบนมาตรฐาน ในปัญหาการเรียนรู้ของเครื่องปกตินี่เป็นสิ่งที่ดี แต่ไม่ใช่สำหรับภาพที่อาจมีความแตกต่างของจำนวนพิกเซลสีในภาพ (เช่นของคุณที่มีพิกเซลสีขาวเพียงไม่กี่) ดังนั้น, ฉันปรับมาตรฐานด้วยตนเองโดยการหารค่าความเข้มของพิกเซลทั้งหมดด้วย 255 (ดังนั้นตอนนี้พวกเขาอยู่ในช่วง 0-1 โดยไม่ต้องใช้เทคนิคการปรับสภาพทั่วไปที่พยายามปรับค่าความเข้มทั้งหมดให้เข้ากับการแจกแจงแบบปกติ) จากนั้นฉันยังคงมีปัญหาเพราะคาดคะเนพิกัดเฉลี่ยของพิกเซลในชุดการฝึกอบรม ดังนั้นทางออกของฉันคือตั้งค่าอัตราการเรียนรู้ที่สูงมากซึ่งเทียบกับอาจารย์และแบบฝึกหัด ML เกือบทุกคน แทนที่จะใช้ 1e-3, 1e-4, 1e-5 เหมือนกับที่คนส่วนใหญ่พูดว่าฉันใช้อัตราการเรียนรู้ 1 หรือ 0.1 กับการไล่ระดับสีแบบสุ่ม สิ่งนี้แก้ไขปัญหาของฉันและในที่สุดเครือข่ายของฉันก็เรียนรู้ที่จะจดจำชุดการฝึกอบรมของฉัน มันไม่ได้พูดคุยกับชุดการทดสอบด้วยเช่นกัน แต่อย่างน้อยมันก็ใช้งานได้ซึ่งเป็นวิธีแก้ปัญหาที่ดีกว่าคนอื่น ๆ ที่แนะนำคำถามของคุณ ตอนนี้อยู่ในช่วง 0-1 โดยไม่มีเทคนิคการทำให้เป็นมาตรฐานโดยทั่วไปซึ่งพยายามที่จะปรับค่าความเข้มทั้งหมดให้เข้ากับการแจกแจงแบบปกติ) จากนั้นฉันยังคงมีปัญหาเพราะคาดคะเนพิกัดเฉลี่ยของพิกเซลในชุดการฝึกอบรม ดังนั้นทางออกของฉันคือตั้งค่าอัตราการเรียนรู้ที่สูงมากซึ่งเทียบกับอาจารย์และแบบฝึกหัด ML เกือบทุกคน แทนที่จะใช้ 1e-3, 1e-4, 1e-5 เหมือนกับที่คนส่วนใหญ่พูดว่าฉันใช้อัตราการเรียนรู้ 1 หรือ 0.1 กับการไล่ระดับสีแบบสุ่ม สิ่งนี้แก้ไขปัญหาของฉันและในที่สุดเครือข่ายของฉันก็เรียนรู้ที่จะจดจำชุดการฝึกอบรมของฉัน มันไม่ได้พูดคุยกับชุดการทดสอบด้วยเช่นกัน แต่อย่างน้อยมันก็ใช้งานได้ซึ่งเป็นวิธีแก้ปัญหาที่ดีกว่าคนอื่น ๆ ที่แนะนำคำถามของคุณ ตอนนี้อยู่ในช่วง 0-1 โดยไม่มีเทคนิคการทำให้เป็นมาตรฐานโดยทั่วไปซึ่งพยายามที่จะปรับค่าความเข้มทั้งหมดให้เข้ากับการแจกแจงแบบปกติ) จากนั้นฉันยังคงมีปัญหาเพราะคาดคะเนพิกัดเฉลี่ยของพิกเซลในชุดการฝึกอบรม ดังนั้นทางออกของฉันคือตั้งค่าอัตราการเรียนรู้ที่สูงมากซึ่งเทียบกับอาจารย์และแบบฝึกหัด ML เกือบทุกคน แทนที่จะใช้ 1e-3, 1e-4, 1e-5 เหมือนกับที่คนส่วนใหญ่พูดว่าฉันใช้อัตราการเรียนรู้ 1 หรือ 0.1 กับการไล่ระดับสีแบบสุ่ม สิ่งนี้แก้ไขปัญหาของฉันและในที่สุดเครือข่ายของฉันก็เรียนรู้ที่จะจดจำชุดการฝึกอบรมของฉัน มันไม่ได้พูดคุยกับชุดการทดสอบด้วยเช่นกัน แต่อย่างน้อยมันก็ใช้งานได้ซึ่งเป็นวิธีแก้ปัญหาที่ดีกว่าคนอื่น ๆ ที่แนะนำคำถามของคุณ