Bayesian Deep Learning คืออะไร

การเรียนรู้แบบเบย์ลึกคืออะไรและเกี่ยวข้องกับสถิติแบบเบย์แบบดั้งเดิมและการเรียนรู้แบบลึกแบบดั้งเดิมอย่างไร

อะไรคือแนวคิดหลักและคณิตศาสตร์ที่เกี่ยวข้อง? ฉันจะบอกว่ามันไม่ใช่แค่สถิติแบบเบย์ น้ำเชื้อทำงานอย่างไรรวมถึงการพัฒนาและแอพพลิเคชั่นหลักในปัจจุบัน

PS: การเรียนรู้ลึกแบบเบย์ได้รับความสนใจเป็นอย่างมากให้ดูที่ NIPS workshop

bayesian deep-learning

— statslearner
แหล่งที่มา

เมื่อออกจากลิงก์การประชุมเชิงปฏิบัติการ NIPS ของคุณ Yee Whye Teh ได้กล่าวปราศรัยที่ NIPS ในการเรียนรู้ลึกแบบเบย์ (วิดีโอ: https://www.youtube.com/watch?v=LVBvJsTr3rgสไลด์: http: //csml.stats ox.ac.uk/news/2017-12-08-ywteh-breiman-lecture/) ฉันคิดว่าในบางครั้งการพูดคุย Teh สรุปการเรียนรู้แบบเบส์เป็นการประยุกต์ใช้กรอบแนวคิดแบบเบย์กับความคิดจากการเรียนรู้เชิงลึก (เช่นการเรียนรู้ด้านหลังของน้ำหนักของโครงข่ายประสาทเทียม) และการเรียนรู้แบบเบส์ลึก กรอบ Bayesian (เช่นกระบวนการแบบเกาส์ลึกหรือตระกูลเอ็กซ์โปแนนเชียลลึก) มีแนวคิดที่แน่นอนที่คร่อมเส้นแบ่งระหว่างแนวคิดทั้งสองเช่นระบบถอดรหัสอัตโนมัติ เมื่อคนส่วนใหญ่พูดว่าการเรียนรู้แบบเบย์พวกเขามักจะหมายถึงหนึ่งในสองและนั่นก็สะท้อนให้เห็นในเอกสารที่เป็นที่ยอมรับในการประชุมเชิงปฏิบัติการที่คุณเชื่อมโยง (รวมถึงการฝึกอบรมเชิงปฏิบัติการเมื่อปีที่แล้ว) ในขณะที่ความคิดกลับไปทำงานของโอนีลในการเรียนรู้แบบเบส์เกี่ยวกับโครงข่ายประสาทในยุค 90 (http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.446.9306&rep=rep1&type=pdf ) และมีการทำงานกันมาหลายปีแล้วนับจากนั้นอาจเป็นหนึ่งในเอกสารล่าสุดที่สำคัญกว่านั้นคือ กระดาษ autoencoder แบบผันแปรเดิม ( https://arxiv.org/pdf/1312.6114.pdf )

— aleshing
แหล่งที่มา

ฉันขอแนะนำให้คุณเข้าใจเป็นอย่างดีว่าแบบจำลองความน่าจะเป็นพื้นฐานในเครือข่ายประสาทแบบเบย์แบบดั้งเดิมคืออะไร ในต่อไปนี้ข้อตกลงบางส่วนจะถูกเขียนด้วยตัวหนา โปรดลองใช้ Google เพื่อค้นหาข้อมูลที่มีรายละเอียดเพิ่มเติม นี่เป็นเพียงภาพรวมพื้นฐาน ฉันหวังว่ามันจะช่วย

ลองพิจารณากรณีของการถดถอยในโครงข่ายประสาทเทียมไปข้างหน้าและสร้างสัญกรณ์

ให้แทนค่าของตัวทำนายที่เลเยอร์อินพุต . ค่าของหน่วยในเลเยอร์ด้านในจะแสดงโดยสำหรับL-1 สุดท้ายเรามีชั้นเอาท์พุทขวา) $(x_1,\dots,x_p) =: \left(z^{(0)}_1,\dots,z^{(0)}_{N_0}\right)$ $\left(z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell}\right)$ $\ell=1,\dots,L-1$ $(y_1,\dots,y_k) =:\left(z^{(L)}_1,\dots,z^{(L)}_{N_L}\right)$

น้ำหนักและอคติของหน่วยที่ชั้นจะถูกระบุด้วยและตามลำดับสำหรับ ,และell-1} $i$ $\ell$ $w^{(\ell)}_{ij}$ $b^{(\ell)}_i$ $\ell=1,\dots,L$ $i=1\dots,N_\ell$ $j=1,\dots,N_{\ell-1}$

ให้เป็นฟังก์ชันการเปิดใช้งานสำหรับหน่วยที่เลเยอร์สำหรับและi $g^{(\ell)}_i : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}$ $i$ $\ell$ $\ell=1,\dots,L$ $i=1\dots,N_\ell$

ฟังก์ชั่นการเปิดใช้งานที่นิยมใช้เป็นโลจิสติก , Relu (aka ส่วนหนึ่งในเชิงบวก ) และtanh

ตอนนี้สำหรับ , กำหนดฟังก์ชันการเปลี่ยนเลเยอร์ ซึ่ง สำหรับell} $\ell=1,\dots,L$

G^{(ℓ)} : R^{N_{ℓ - 1}} \to R^{N_{ℓ}} : (z_{1}^{(ℓ - 1)}, \dots, z_{N_{ℓ - 1}}^{(ℓ - 1)}) \mapsto (z_{1}^{(ℓ)}, \dots, z_{N_{ℓ}}^{(ℓ)}),

$G^{(\ell)} : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}^{N_\ell} : \left(z^{(\ell-1)}_1,\dots,z^{(\ell-1)}_{N_{\ell-1}} \right) \mapsto \left( z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell} \right),$

z_{i}^{(ℓ)} = g_{i}^{(ℓ)} (\sum_{j = 1}^{N_{ℓ - 1}} w_{i j}^{(ℓ)} z_{j}^{(ℓ - 1)} + b_{i}^{(ℓ)}),

$z^{(\ell)}_i = g^{(\ell)}_i\!\left( \sum_{j=1}^{N_{\ell-1}} w^{(\ell)}_{ij} z^{(\ell-1)}_j + b^{(\ell)}_i\right),$

i = 1, \dots, N_{ℓ}

$i=1,\dots,N_{\ell}$

แสดงถึงชุดน้ำหนักและอคติของทุกหน่วยในชั้นทั้งหมดโดยนั่นคือ เครือข่ายประสาทของเราคือ ครอบครัวของฟังก์ชั่นได้จากองค์ประกอบของฟังก์ชั่นการเปลี่ยนชั้น: $\theta$

θ = {w_{i j}^{(ℓ)}, b_{i}^{(ℓ)} : ℓ = 1, \dots, L; i = 1 \dots, N_{ℓ}; j = 1, \dots, N_{ℓ - 1}},

$\theta = \left\{ w^{(\ell)}_{ij},b^{(\ell)}_i : \ell=1,\dots,L \,;\, i=1\dots,N_\ell \,;\, j=1,\dots,N_{\ell-1} \right\},$

G_{θ} : R^{p} \to R^{k}

$G_\theta : \mathbb{R}^p\to\mathbb{R}^k$

G_{θ} = G^{(L)} \circ G^{(L - 1)} \circ \dots \circ G^{(1)} .

$G_\theta = G^{(L)} \circ G^{(L-1)} \circ \dots \circ G^{(1)}.$

ไม่มีความน่าจะเป็นที่เกี่ยวข้องในคำอธิบายข้างต้น วัตถุประสงค์ของธุรกิจเครือข่ายเดิมประสาทคือฟังก์ชั่นที่เหมาะสม

"deep" ในDeep Learningหมายถึงการมีอยู่ของเลเยอร์ชั้นในจำนวนมากในโครงข่ายประสาทเทียมที่อยู่ระหว่างการพิจารณา

รับชุดฝึกอบรม เราพยายามที่จะลดวัตถุประสงค์ฟังก์ชั่น มากกว่า\สำหรับเวกเตอร์ของผู้ทำนายในชุดทดสอบการตอบสนองที่คาดการณ์นั้นเป็นเพียงซึ่งเป็นวิธีแก้ปัญหา พบปัญหาการย่อเล็กสุด มาตรฐานทองคำสำหรับการย่อขนาดนี้คือการแพร่ขยายย้อนกลับที่นำมาใช้โดยห้องสมุดTensorFlowโดยใช้สิ่งอำนวยความสะดวกในการขนานที่มีอยู่ในGPUสมัยใหม่ $\{ (\mathbf{x}_i,\mathbf{y}_i) \in \mathbb{R}^p\times\mathbb{R}^k : i = 1,\dots,n \}$

\sum_{i = 1}^{n} ‖ y_{i} - G_{θ} (x_{i}) ‖^{2},

$\sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2,$

θ

$\theta$

x^{*}

$\mathbf{x}^*$

G_{\hat{θ}} (x^{*})

$G_\hat{\theta}(\mathbf{x}^*)$

\hat{θ}

$\hat{\theta}$ ของ (สำหรับโครงการของคุณลองดูที่อินเตอร์เฟสKeras ) นอกจากนี้ยังมีฮาร์ดแวร์ที่พร้อมใช้งานสำหรับห่อหุ้มงานเหล่านี้ ( TPU ) เนื่องจากเครือข่ายนิวรัลโดยทั่วไปมีการกำหนดพารามิเตอร์เพื่อหลีกเลี่ยงการ overfitting รูปแบบของการทำให้เป็นปกติบางอย่างจะถูกเพิ่มลงในสูตรตัวอย่างเช่นการสรุปสันเขาเหมือนการลงโทษต่อหน้าที่วัตถุประสงค์หรือการใช้งานกลางคันระหว่างการฝึกอบรม เจฟฟรีย์ฮินตัน (หรือที่รู้จักกันในนาม Deep Learning Godfather) และผู้ทำงานร่วมกันคิดค้นสิ่งต่าง ๆ เหล่านี้ เรื่องราวความสำเร็จของ Deep Learning มีอยู่ทุกที่

ความน่าจะเป็นที่ได้รับการแนะนำในภาพในช่วงปลายยุค 80 และต้นยุค 90 ด้วยข้อเสนอของความเป็นไปได้ของเกาส์ และแบบง่าย ๆ (อาจจะง่าย) เสียนก่อนสันนิษฐานว่าเป็นเอกราชของน้ำหนักและอคติในเครือข่ายเบื้องต้น :

L_{x, y} (θ, σ^{2}) \propto σ^{- n} \exp (- \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} ‖ y_{i} - G_{θ} (x_{i}) ‖^{2}),

$L_{\mathbf{x},\mathbf{y}}(\theta,\sigma^2)\propto \sigma^{-n} \exp\left(-\frac{1}{2\sigma^2} \sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2\right),$

π (θ, σ^{2}) \propto \exp (- \frac{1}{2 σ_{0}^{2}} \sum_{ℓ = 1}^{L} \sum_{i = 1}^{N_{ℓ}} ({(b_{i}^{(ℓ)})}^{2} + \sum_{j = 1}^{N_{ℓ - 1}} {(w_{i j}^{(ℓ)})}^{2})) \times π (σ^{2}) .

$\pi(\theta,\sigma^2) \propto \exp\left( -\frac{1}{2\sigma_0^2} \sum_{\ell=1}^L \sum_{i=1}^{N_\ell} \left( \left(b^{(\ell)}_i\right)^2 + \sum_{j=1}^{N_{\ell-1}} \left(w^{(\ell)}_{ij}\right)^2 \right) \right) \times \pi(\sigma^2).$

ดังนั้นไพรเออร์ร่อแร่สำหรับน้ำหนักและอคติที่มีการแจกแจงปกติกับศูนย์ค่าเฉลี่ยและความแปรปรวนร่วมกัน 2 โมเดลข้อต่อดั้งเดิมนี้สามารถทำให้มีส่วนร่วมมากขึ้นด้วยการแลกเปลี่ยนการอนุมานได้ยากขึ้น $\sigma_0^2$

การเรียนรู้แบบลึกแบบเบย์เผชิญกับงานที่ยากในการสุ่มตัวอย่างจากการแจกแจงหลัง หลังจากทำสิ่งนี้สำเร็จการทำนายจะทำขึ้นตามธรรมชาติด้วยการแจกแจงการคาดการณ์หลังและความไม่แน่นอนที่เกี่ยวข้องกับการทำนายเหล่านี้จะถูกวัดปริมาณอย่างเต็มที่ จอกศักดิ์สิทธิ์ในการเรียนรู้ลึกแบบเบย์คือการสร้างโซลูชันที่มีประสิทธิภาพและปรับขนาดได้ วิธีการคำนวณจำนวนมากได้ถูกนำมาใช้ในการแสวงหานี้: Metropolis-เฮสติ้งส์และการสุ่มตัวอย่างกิ๊บส์ , มิล Monte Carloและเมื่อเร็ว ๆ นี้แปรผันอนุมาน

ลองชมวิดีโอการประชุมของ NIPS เพื่อดูเรื่องราวความสำเร็จ: http://bayesiandeeplearning.org/

— เซน
แหล่งที่มา