อะไรคือคำอธิบายของตัวอย่างว่าทำไมการทำแบทช์ให้เป็นมาตรฐานต้องทำด้วยความระมัดระวัง

ฉันกำลังอ่านเอกสารการทำให้เป็นมาตรฐานของแบทช์ [1] และมันมีส่วนหนึ่งที่ต้องผ่านตัวอย่างพยายามที่จะแสดงว่าทำไมการทำให้เป็นมาตรฐานต้องทำอย่างระมัดระวัง ฉันอย่างจริงใจไม่เข้าใจวิธีการทำงานของตัวอย่างและฉันอยากรู้อยากเห็นจริง ๆ เข้าใจพวกเขากระดาษมากที่สุดเท่าที่จะทำได้ ก่อนอื่นให้ฉันพูดที่นี่:

ตัวอย่างเช่นพิจารณาชั้นด้วยการป้อนข้อมูลที่ยูที่เพิ่มเรียนรู้อคติ B และ normalizes ที่ คือชุดของค่าของในชุดฝึกอบรมและ $\hat{x} = x − E[x]$ $x=u+b, X =\{x_1...N \}$ $x$ $E[x] = \sum^N_{i=1} x_i$ . หากขั้นตอนการไล่ระดับสีแบบไม่สนใจการพึ่งพาบนดังนั้นมันจะอัปเดตโดยที่ $E[x]$ $b$ $b ← b + \Delta > b$ xแล้ว]ดังนั้นการรวมกันของการปรับปรุงเพื่อและการเปลี่ยนแปลงที่ตามมาในการทำให้เป็นมาตรฐานทำให้ไม่มีการเปลี่ยนแปลงในเอาต์พุตของเลเยอร์หรือดังนั้นการสูญเสีย $\Delta b \propto -\frac{\partial l}{\partial \hat{x}}$ $u+(b+\Delta b)−E[u+(b+\Delta b)] = u+b−E[u+b]$ $b$

ฉันคิดว่าฉันเข้าใจข้อความว่าหากไม่ทำบรรทัดฐานอย่างถูกต้องก็อาจไม่ดี ฉันไม่ได้เป็นตัวอย่างที่พวกเขาใช้ portrays นี้

ฉันรู้ว่ามันยากที่จะช่วยใครสักคนหากพวกเขาไม่เจาะจงมากขึ้นในสิ่งที่ทำให้พวกเขาสับสนดังนั้นฉันจะให้ในหัวข้อถัดไปสิ่งที่ทำให้ฉันสับสนเกี่ยวกับคำอธิบายของพวกเขา

ฉันคิดว่าความสับสนส่วนใหญ่ของฉันอาจเป็นเรื่องแปลกดังนั้นฉันจะชี้แจง

ครั้งแรกฉันคิดว่าสิ่งหนึ่งที่ทำให้ฉันสับสนมากคือความหมายสำหรับผู้เขียนที่มีหน่วยในเครือข่ายและการเปิดใช้งานคืออะไร โดยปกติฉันคิดว่าการเปิดใช้งานเป็น:

x^{(ล.)} = a^{(ล.)} = θ (Z^{(ล.)}) = θ (⟨ W^{(ล.)}, x^{(ล. - 1)} ⟩ + ข^{(ล.)})

$x^{(l)} = a^{(l)} = \theta(z^{(l)}) = \theta( \langle w^{(l)}, x^{(l-1)} \rangle + b^{(l)})$

โดยที่เป็นเวกเตอร์คุณลักษณะ raw จากเลเยอร์อินพุตแรก $x^{(0)} = a^{(0)} = x$

นอกจากนี้ฉันคิดว่าสิ่งแรกที่ทำให้ฉันสับสน (เนื่องจากเหตุผลก่อนหน้า) คือสิ่งที่พวกเขาพยายามอธิบายจริงๆ มันบอกว่า:

normalizes ที่ $\hat{x} = x − E[x]$ $x=u+b$

ฉันคิดว่าสิ่งที่พวกเขากำลังพยายามจะพูดก็คือแทนที่จะใช้การเปิดใช้งานตามที่คำนวณโดยผ่านไปข้างหน้าอย่างใดอย่างหนึ่งดำเนินการ "normalization" โดยการลบการเปิดใช้งานเฉลี่ย: $x^{(l)} = a^{(l)}$

{\bar{x}}^{ล.} = {\bar{a}}^{ล.} = \frac{1}{ยังไม่มีข้อความ} Σ_{ผม = 1}^{ยังไม่มีข้อความ} {\bar{a}}^{ล.} = \frac{1}{ยังไม่มีข้อความ} Σ_{ผม = 1}^{ยังไม่มีข้อความ} {\bar{x}}^{ล.}

$\bar{x}^{l} = \bar{a}^{l} = \frac{1}{N} \sum^{N}_{i=1} \bar{a}^{l} = \frac{1}{N} \sum^{N}_{i=1} \bar{x}^{l}$

แล้วส่งต่อไปยังอัลกอริทึมการกระจายกลับ หรืออย่างน้อยนั่นก็เป็นสิ่งที่สมเหตุสมผลสำหรับฉัน

เกี่ยวกับสิ่งนี้ฉันเดาว่าพวกเขาเรียกว่าอาจจะเป็น ? นั่นคือสิ่งที่ฉันจะเดาเพราะพวกเขาเรียกมันว่า "อินพุต" และมีสมการ (ฉันเดาว่าพวกเขากำลังใช้หน่วยกระตุ้นเชิงเส้น / เชิงเส้นสำหรับเครือข่ายประสาทของพวกเขา?) $u$ $x^{(l)}$ $x = u + b$

เพื่อสร้างความสับสนต่อไปฉันพวกเขากำหนดเป็นสิ่งที่สัดส่วนกับอนุพันธ์บางส่วน แต่บางส่วนอนุพันธ์คำนวณด้วยความเคารพซึ่งดูเหมือนว่าแปลกประหลาดจริงๆกับผม โดยปกติอนุพันธ์ย่อยบางส่วนเมื่อใช้การไล่ระดับสีจะขึ้นอยู่กับพารามิเตอร์ของเครือข่าย ในกรณีของการชดเชยฉันจะคิดว่า: $\Delta b$ $\hat{x}$

Δ ข^{(ล.)} α - \frac{\partial ล.}{\partial ข^{(ล.)}}

$\Delta b^{(l)} \propto -\frac{\partial l}{\partial b^{(l)} }$

ทำให้รู้สึกมากกว่าการใช้อนุพันธ์ของด้วยความเคารพต่อการเปิดใช้งานปกติ ผมพยายามที่จะเข้าใจว่าทำไมพวกเขาต้องการใช้อนุพันธ์ที่เกี่ยวกับและฉันคิดว่าบางทีพวกเขากำลังหมายถึงสันดอนเมื่อพวกเขาเขียน $\hat{x}$ ตั้งแต่มักจะว่าเป็นเพียงส่วนหนึ่งของขั้นตอนวิธีกลับ prop ที่มีอนุพันธ์ด้วยความเคารพก่อนการเปิดใช้งานตั้งแต่สมการของเดลต้าเป็น: $\frac{ \partial l }{ \partial \hat{x} }$

δ_{J}^{(ล.)} = \frac{\partial L}{\partial Z_{J}^{(ล.)}}

$\delta^{(l)}_j = \frac{\partial L}{\partial z^{(l)}_j}$

อีกสิ่งที่ทำให้ฉันสับสนคือ:

แล้ว ] $u + (b + \Delta b) - E[u + (b + \Delta b)] = u + b - E[u + b]$

พวกเขาไม่ได้พูดในสิ่งที่พวกเขากำลังพยายามคำนวณในสมการข้างต้น แต่ฉันคิดว่าพวกเขากำลังพยายามคำนวณการเปิดใช้งานปกติที่ปรับปรุงแล้ว (สำหรับเลเยอร์แรก?) หลังจากถูกอัพเดตเป็น ? ไม่แน่ใจว่าฉันซื้อคะแนนของพวกเขาหรือไม่เพราะฉันคิดว่าสมการที่ถูกต้องควรเป็น: $b$ $b + \Delta b$

\hat{x} = θ (ยู + (ข + Δ ข)) - E [θ (ยู + (ข + Δ ข))]

$\hat{x} = \theta( u + (b + \Delta b) ) - E[\theta( u + (b + \Delta b) )]$

ซึ่งไม่ได้ยกเลิกเปลี่ยนแปลงในพารามิเตอร์ขอย่างไรก็ตามฉันไม่รู้จริง ๆ ว่าพวกเขากำลังทำอะไรฉันจึงคาดเดา สมการที่พวกเขาเขียนนั้นคืออะไรกันแน่? $\Delta b$ $b$

ฉันไม่แน่ใจว่านี่เป็นความเข้าใจที่ถูกต้องหรือไม่ แต่ฉันได้ให้ความคิดกับตัวอย่างของพวกเขา ดูเหมือนว่าตัวอย่างของพวกเขาไม่มีหน่วยเปิดใช้งานที่ไม่ใช่เชิงเส้น (ใช้ข้อมูลประจำตัว) และพวกเขากำลังพูดถึงเลเยอร์แรกเท่านั้น? เนื่องจากพวกเขาไม่ได้ลงรายละเอียดมากมายและสัญกรณ์ไม่ชัดเจนฉันจึงไม่สามารถอนุมานได้อย่างชัดเจนถึงสิ่งที่พวกเขากำลังพูดถึง มีใครรู้วิธีแสดงตัวอย่างนี้ด้วยสัญกรณ์ที่แสดงว่าเกิดอะไรขึ้นในแต่ละเลเยอร์ มีใครเข้าใจบ้างว่าเกิดอะไรขึ้นกับแบบอย่างนั้นและต้องการแบ่งปันภูมิปัญญาของพวกเขากับฉัน

[1]: Ioffe เอสและ Szegedy C. (2015),
"แบทช์ Normalization: เร่งการฝึกอบรมเครือข่ายลึกโดยการลดภายในตัวแปรร่วมกดปุ่ม Shift"
การดำเนินการของ 32 ประชุมนานาชาติเกี่ยวกับการเรียนรู้เครื่อง , ลีลล์, ฝรั่งเศส, 2015
วารสารเครื่องการเรียนรู้ การวิจัย: ปริมาณ W&CP 37

machine-learning neural-networks conv-neural-network

— ชาร์ลีปาร์คเกอร์
แหล่งที่มา

ฉันคิดว่าลักษณะที่มีเหตุผลของย่อหน้านั้นชัดเจนในขณะนี้ แต่ข้อความที่พยายามสื่อความหมายและจุดประสงค์ของมันนั้นชัดเจนน้อยกว่า

— Charlie Parker

$E[x]$ $b$

อย่างไรก็ตามหากการดัดแปลงเหล่านี้สลับกับขั้นตอนการออปติไมซ์ขั้นตอนการไล่ระดับสีไล่ระดับอาจพยายามอัปเดตพารามิเตอร์ในวิธีที่ต้องการให้การปรับสภาพปกติได้รับการอัพเดตซึ่งจะลดผลกระทบของขั้นตอนการไล่ระดับสี

ดังนั้นพวกเขาจึงทำขั้นตอนการไล่ระดับสีแบบลาดชันเพื่อรับรู้ถึงการฟื้นฟูในวิธีการ

เกี่ยวกับคำถามที่คุณ

$u$ $x^{(l)}$

$u$ $u$ $b$

$\Delta b \propto -\frac{\partial l}{\partial b }$

$\hat{x}=x-E[x]=u+b-E[x]$ $E[x]$ $b$

\frac{\partial ล.}{\partial ข} = \frac{\partial ล.}{\partial \hat{x}} \frac{\partial \hat{x}}{\partial ข} = \frac{\partial ล.}{\partial \hat{x}},

$\frac{\partial l}{\partial b}=\frac{\partial l}{\partial \hat{x}}\frac{\partial \hat{x}}{\partial b} = \frac{\partial l}{\partial \hat{x}},$

Δ b \propto - \frac{\partial l}{\partial \hat{x}}

$\Delta b \propto -\frac{\partial l}{\partial \hat{x}}$

$u + (b + \Delta b) - E[u + (b + \Delta b)] = u + b - E[u + b]$ $b$ $b+\Delta b$

$\hat{x}$ $b$ $b+\Delta b$ $E[x]$ $b$

มันอาจจะเป็นประโยชน์ที่จะดูที่บางการใช้งานโอเพนซอร์สของการฟื้นฟูแบทช์ยกตัวอย่างเช่นในลาซานญ่าและKeras

มีคำถามอีกข้อที่อาจเกี่ยวข้องกันทำไมต้องใช้การไล่ระดับสีของช่วงเวลา (ค่าเฉลี่ยและความแปรปรวน) เมื่อใช้ Batch Normalization ใน Neural Network

— dontloo
แหล่งที่มา

ดังนั้นฉันคิดว่าประเด็นของพวกเขาคือพวกเขาต้องทำให้การปรับปรุง GD ตระหนักถึงการฟื้นฟูเพื่อให้การสูญเสียการเปลี่ยนแปลงเมื่อมีการปรับปรุงอคติ? หรืออะไรคือเป้าหมายหลักของวรรคนั้น?

— Charlie Parker

@ CharlieParker อ๋อฉันคิดว่าอย่างนั้นการแสดงว่ามีเหตุผลที่ทำให้ GD update รับรู้ถึงการฟื้นฟู (IMO)

— dontloo

E [Δb] = Δbหรือไม่ ถ้าเป็นเช่นนั้นทำไม

— MichaelSB