คำถามติดแท็ก neural-networks

ฉันเริ่มเรียนรู้เกี่ยวกับเครือข่ายประสาทด้วยการสอนเกี่ยวกับโครงข่ายประสาทเทียมและคำแนะนำ dot com โดยเฉพาะอย่างยิ่งในบทที่ 3มีส่วนที่เกี่ยวกับฟังก์ชั่นเอนโทรปีของการข้ามและกำหนดการสูญเสียเอนโทรปีของครอสเป็น: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j)) อย่างไรก็ตามการอ่านการแนะนำ Tensorflowการสูญเสียเอนโทรปีถูกกำหนดเป็น: C=−1n∑x∑j(yjlnaLj)C=−1n∑x∑j(yjln⁡ajL)C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j) (เมื่อใช้สัญลักษณ์เดียวกันกับด้านบน) จากนั้นค้นหาไปรอบ ๆ เพื่อค้นหาว่าเกิดอะไรขึ้นฉันพบบันทึกอีกชุดหนึ่ง: ( https://cs231n.github.io/linear-classify/#softmax-classifier ) ซึ่งใช้คำจำกัดความที่แตกต่างกันโดยสิ้นเชิงของการสูญเสียเอนโทรปีของการข้าม เวลาสำหรับตัวจําแนก softmax แทนเครือข่ายประสาท บางคนสามารถอธิบายให้ฉันฟังได้ว่าเกิดอะไรขึ้นที่นี่ ทำไมถึงมีข้อแตกต่าง btw สิ่งที่ผู้คนกำหนดการสูญเสียข้ามเอนโทรปีเป็น? มีเพียงหลักการบางอย่างที่ครอบคลุมอยู่หรือไม่

12 neural-networks  loss-functions  softmax  cross-entropy 

วิธีเข้ารหัสวันที่และเวลาของเหตุการณ์สำหรับเครือข่ายประสาทเทียม ฉันไม่มีอนุกรมเวลาต่อเนื่อง แต่มีบางเหตุการณ์ที่มีวันที่และเวลาและฉันวิเคราะห์ความสนใจบางอย่าง ความสนใจนี้แตกต่างกันระหว่างเช้าและเย็นและแตกต่างระหว่างวันธรรมดาและระหว่างฤดูร้อนและฤดูหนาวและก่อนคริสต์มาสและอีสเตอร์เป็นต้น และเหตุการณ์ต่าง ๆ ก็มีการกระจายตัวที่ไม่สม่ำเสมอตลอดเวลา (มากกว่าในตอนกลางคืนมากกว่ากลางคืนในบางประเภทในช่วงสัปดาห์ ฉันพยายามเข้ารหัสเป็นจำนวนสัปดาห์ในปีเช่นวันธรรมดา 1-7 และชั่วโมงของวัน แต่การเล่นโดยใช้ตัวกระจายสัญญาณอัตโนมัติทำให้ฉันรู้สึกว่าข้อมูลของฉันไม่สมเหตุสมผลกับเครือข่ายประสาทเทียมมันไม่สามารถทำซ้ำสิ่งใดก็ได้ที่อยู่ใกล้กับอินพุตแม้จะมีเลเยอร์ที่ซ่อนอยู่ขนาดใหญ่ ไม่ว่าจะเป็น categorial 0-1 หรือเป็นค่าปกติ แต่การค้นหาการเข้ารหัสเวลาสำหรับเครือข่ายประสาทส่วนใหญ่จะให้ข้อมูลเกี่ยวกับอนุกรมเวลาดังนั้นฉันจึงปิดตาเล็กน้อย แต่มองหาต้นไม้ แน่นอนฉันสามารถดูข้อมูลและจัดหมวดหมู่คร่าวๆได้ไม่มากก็น้อย แต่แนวคิดของการเรียนรู้อย่างลึกซึ้งดูเหมือนว่าจะแยกการสกัดคุณลักษณะด้วยมือที่สร้างขึ้นด้วยมือทั้งหมด และการจัดหมวดหมู่จะแทรกการกระโดดครั้งใหญ่ในตัวแปรอินพุตต่อเนื่องตามธรรมชาติ "การเข้ารหัสตามธรรมชาติ" ในสมองของฉันเป็นเหมือนสมาชิกฟัซซี่ในบางประเภทเช่น "กลางคืน", "เช้า", "วันธรรมดา" เป็นต้น เพื่อทำให้สิ่งทั้งหมดน่าสนใจยิ่งขึ้นนอกจากนี้ตัวแปรที่ขึ้นอยู่กับยังประกอบด้วยข้อมูลวันที่ / เวลา แต่นั่นเป็นคำถามที่แตกต่าง แก้ไข: อย่างใดที่เกี่ยวข้องกับชนิดของข้อมูลเป็นคำถามล่าสุดเช่น การทดสอบทางสถิติใดที่เหมาะสมกับชุดข้อมูลเวลานี้

12 neural-networks  deep-learning 

การอ่านลึกลงไปด้วยความเชื่อมั่นฉันได้พบกับเลเยอร์DepthConcatซึ่งเป็นหน่วยการสร้างของโมดูลการลงทะเบียนที่เสนอซึ่งรวมเอาท์พุทของเทนเซอร์หลายขนาดที่แตกต่างกัน ผู้เขียนเรียกสิ่งนี้ว่า "Concatenation Filter" ดูเหมือนจะมีการนำไปใช้งานสำหรับ Torchแต่ฉันไม่เข้าใจจริงๆ บางคนสามารถอธิบายด้วยคำพูดง่าย ๆ ได้ไหม

12 neural-networks  torch  conv-neural-network 

ฉันต้องการที่จะเข้าใจการทดสอบที่แม่นยำของฟิชเชอร์มากขึ้นดังนั้นฉันจึงคิดค้นตัวอย่างของเล่นต่อไปนี้โดยที่ f และ m สอดคล้องกับเพศชายและเพศหญิงและ n และ y สอดคล้องกับ "การบริโภคโซดา" เช่นนี้: > soda_gender f m n 0 5 y 5 0 เห็นได้ชัดว่านี่คือการทำให้เข้าใจง่ายมาก แต่ฉันไม่ต้องการให้บริบทเข้ามาขวางทาง ที่นี่ฉันเพิ่งสันนิษฐานว่าผู้ชายไม่ดื่มโซดาและหญิงดื่มโซดาและต้องการดูว่าวิธีการทางสถิติมาถึงข้อสรุปเดียวกัน เมื่อฉันทำการทดสอบฟิชเชอร์ที่แน่นอนใน R ฉันจะได้ผลลัพธ์ต่อไปนี้: > fisher.test(soda_gender) Fisher's Exact Test for Count Data data: soda_gender p-value = 0.007937 alternative hypothesis: true odds ratio is not equal to 1 …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

ฉันกำลังดิ้นรนเพื่อให้การเชื่อมต่อทางคณิตศาสตร์ระหว่างเครือข่ายประสาทและแบบจำลองกราฟิก ในแบบกราฟิกความคิดนั้นง่ายมาก: การแจกแจงความน่าจะเป็นเป็นตัวประกอบตามกลุ่มในกราฟโดยทั่วไปแล้วศักยภาพนั้นเป็นของตระกูลเอ็กซ์โพเนนเชียล มีเหตุผลที่เท่าเทียมกันสำหรับโครงข่ายประสาทเทียมหรือไม่? เราสามารถแสดงการแจกแจงความน่าจะเป็นเหนือหน่วย (ตัวแปร) ในเครื่อง จำกัด Boltzmann หรือซีเอ็นเอ็นเป็นฟังก์ชันของพลังงานหรือผลิตภัณฑ์พลังงานระหว่างหน่วยหรือไม่ นอกจากนี้การแจกแจงความน่าจะเป็นแบบจำลองโดย RBM หรือเครือข่ายความเชื่อลึก (เช่นกับ CNNs) ของตระกูลเอ็กซ์โปเนนเชียลหรือไม่? ผมหวังที่จะพบข้อความที่ formalizes การเชื่อมต่อระหว่างชนิดปัจจุบันนี้เครือข่ายประสาทและสถิติในลักษณะเดียวกับที่จอร์แดนและเวนไรท์ได้สำหรับรุ่นกราฟิกกับพวกเขารุ่นกราฟิกครอบครัวเอกและแปรผันอนุมาน ตัวชี้ใด ๆ จะดีมาก

12 neural-networks  markov-process  graphical-model  deep-learning  deep-belief-networks 

ฟังก์ชั่น softmax ที่ใช้กันทั่วไปในเครือข่ายประสาทเทียมเพื่อแปลงจำนวนจริงเป็นความน่าจะเป็นเป็นฟังก์ชันเดียวกับการแจกแจง Boltzmann การกระจายความน่าจะเป็นเหนือพลังงานสำหรับทั้งมวลของอนุภาคในสมดุลความร้อนที่อุณหภูมิ T ในอุณหพลศาสตร์ ฉันเห็นเหตุผลบางประการที่ชัดเจนว่าทำไมถึงเป็นจริง: ไม่ว่าหากค่าอินพุตเป็นลบ softmax จะส่งออกค่าบวกที่รวมเป็นหนึ่ง มันแตกต่างกันเสมอซึ่งเป็นประโยชน์สำหรับการ backpropagation มันมีพารามิเตอร์ 'อุณหภูมิ' ที่ควบคุมว่าเครือข่ายควรผ่อนปรนค่าขนาดเล็กได้อย่างไร (เมื่อ T มีขนาดใหญ่มากผลลัพธ์ทั้งหมดมีแนวโน้มเท่ากันเมื่อมีขนาดเล็กมากเฉพาะค่าที่เลือกอินพุตมากที่สุดเท่านั้น) ฟังก์ชั่น Boltzmann ใช้เป็น softmax เพียงอย่างเดียวสำหรับเหตุผลในทางปฏิบัติหรือมีการเชื่อมต่อกับอุณหพลศาสตร์ / ฟิสิกส์เชิงสถิติที่ลึกซึ้งขึ้นหรือไม่?

12 machine-learning  neural-networks  softmax 

ฉันกำลังดูการบรรยาย CS231N จาก Stanford และฉันพยายามที่จะสรุปประเด็นสำคัญในสถาปัตยกรรมของ CNN สิ่งที่ฉันพยายามจะเข้าใจก็คือหากมีแนวทางทั่วไปในการเลือกขนาดตัวกรอง convolution และสิ่งต่าง ๆ เช่นความก้าวหน้าหรือสิ่งนี้เป็นศิลปะมากกว่าวิทยาศาสตร์? การรวมกันฉันเข้าใจว่ามีอยู่ส่วนใหญ่เพื่อชักนำรูปแบบของค่าคงที่ของการแปลในรูปแบบ ในทางกลับกันฉันไม่มีสัญชาตญาณที่ดีในการเลือกขนาดกางเกง มีแนวทางอื่นที่นอกเหนือไปจากการพยายามบีบอัดขนาดเลเยอร์ปัจจุบันหรือพยายามที่จะทำให้เกิดการตอบสนองที่กว้างขึ้นไปยังเซลล์ประสาทหรือไม่? ใครรู้เอกสารที่ดีหรือคล้ายกันที่กล่าวถึงนี้

12 neural-networks  deep-learning  conv-neural-network 

ฉันกำลังศึกษาและพยายามใช้โครงข่ายประสาทเทียม แต่ฉันคิดว่าคำถามนี้ใช้ได้กับผู้เรียนหลายคนโดยทั่วไป เซลล์ส่งออกในเครือข่ายของฉันเป็นตัวแทนของการเปิดใช้งานของแต่ละชั้นเรียน: เซลล์ประสาทที่ใช้งานมากที่สุดสอดคล้องกับระดับที่คาดการณ์ไว้สำหรับการป้อนข้อมูลที่กำหนด ในการพิจารณาค่าใช้จ่ายข้ามเอนโทรปีสำหรับการฝึกอบรมฉันเพิ่มเลเยอร์ softmax ที่ส่วนท้ายของเครือข่ายเพื่อให้ค่าการเปิดใช้งานของเซลล์ประสาทแต่ละค่าถูกตีความเป็นค่าความน่าจะเป็น คำถามของฉันคือ: เซลล์ประสาทในชั้นเอาต์พุตควรใช้ฟังก์ชันที่ไม่ใช่เชิงเส้นกับอินพุตหรือไม่ สัญชาตญาณของฉันคือมันไม่จำเป็น: ถ้าอินพุตกับ th เอาต์พุตเซลล์ประสาทคือจุดผลิตภัณฑ์ระหว่างเวกเตอร์ (มาจากเลเยอร์ก่อนหน้า) และน้ำหนักสำหรับเซลล์ประสาทนั้นx T θ ฉัน x θ ฉันผมผมixTθผมxTθผมx^T\theta_ixxxθผมθผม\theta_i และถ้าฉันใช้ฟังก์ชั่นที่ไม่ใช่เชิงเส้นเดียวเช่น sigmoid หรือ ReLU ดังนั้นการเปิดใช้งานเอาต์พุตขนาดใหญ่จะยังคงสอดคล้องกับใหญ่ที่สุดดังนั้นจากมุมมองนี้ฟังก์ชั่นที่ไม่ใช่เชิงเส้นจะไม่เปลี่ยนการทำนายxTθผมxTθผมx^T\theta_i มีอะไรผิดปกติกับการตีความนี้หรือไม่? มีปัจจัยการฝึกอบรมบางอย่างที่ฉันมองเห็นหรือไม่ และถ้าฉันพูดถูกสิ่งใดจะเปลี่ยนไปถ้าแทนที่จะใช้ฟังก์ชั่น sigmoid ฉันใช้ฟังก์ชั่น ReLUซึ่งไม่ใช่ฟังก์ชั่นโมโนโทนิกอย่างแน่นอนสูงสุด( 0 , xTθผม)สูงสุด(0,xTθผม)\max(0,x^T\theta_i) แก้ไข จากการอ้างอิงถึงคำตอบของ Karel ซึ่งคำตอบโดยทั่วไปคือ "ขึ้นอยู่กับ" นี่คือคำอธิบายโดยละเอียดเพิ่มเติมเกี่ยวกับเครือข่ายและข้อสงสัยของฉัน: สมมติว่าฉันมีเลเยอร์ที่ซ่อนอยู่ N ชั้นและชั้นการส่งออกของฉันเป็นเพียงชั้น softmax เหนือชุดของเซลล์ประสาทที่เป็นตัวแทนของคลาส (ดังนั้นผลลัพธ์ที่คาดหวังของฉันคือความน่าจะเป็นที่ข้อมูลอินพุตเป็นของแต่ละชั้นเรียน) สมมติว่าเลเยอร์ N-1 แรกมีเซลล์ประสาทแบบไม่เชิงเส้นอะไรคือความแตกต่างระหว่างการใช้เซลล์ประสาทแบบไม่เชิงเส้นกับเชิงเส้นตรงในเลเยอร์ …

12 neural-networks  deep-learning  conv-neural-network  nonlinear  softmax 

ฉันไม่คิดว่าจะมีคำตอบเดียวสำหรับโมเดลการเรียนรู้ลึกทั้งหมด แบบจำลองการเรียนรู้แบบลึกใดที่เป็นพารามิเตอร์และแบบใดที่ไม่ใช่พารามิเตอร์และเพราะอะไร

12 neural-networks  deep-learning  nonparametric  parametric 

เท่าที่ฉันรู้ทั้งตัวเข้ารหัสอัตโนมัติและ t-SNE นั้นใช้สำหรับการลดขนาดแบบไม่เชิงเส้น อะไรคือความแตกต่างระหว่างพวกเขาและทำไมฉันถึงควรใช้อันหนึ่งกับอีกอัน?

12 neural-networks  deep-learning  dimensionality-reduction  autoencoders  tsne 

ในหนังสือ Goodfellow (ปี 2559) เกี่ยวกับการเรียนรู้อย่างลึกซึ้งเขาได้พูดคุยเกี่ยวกับความเท่าเทียมกันของการหยุดการเข้าสู่ช่วงปกติของ L2 ( https://www.deeplearningbook.org/contents/regularization.htmlหน้า 247) การประมาณกำลังสองของฟังก์ชันต้นทุนถูกกำหนดโดย:jjj J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*) โดยที่คือเมทริกซ์ของ Hessian (Eq. 7.33) สิ่งนี้หายไปในระยะกลางหรือไม่ การขยายตัวของเทย์เลอร์ควรเป็น: HHHf(w+ϵ)=f(w)+f′(w)⋅ϵ+12f′′(w)⋅ϵ2f(w+ϵ)=f(w)+f′(w)⋅ϵ+12f″(w)⋅ϵ2f(w+\epsilon)=f(w)+f'(w)\cdot\epsilon+\frac{1}{2}f''(w)\cdot\epsilon^2

11 neural-networks  deep-learning  loss-functions  derivative 

จากความเข้าใจของฉัน CNN ประกอบด้วยสองส่วน ส่วนแรก (Conv / พูลเลเยอร์) ซึ่งทำการแยกคุณสมบัติและส่วนที่สอง (fc layer) ซึ่งทำการจำแนกจากฟีเจอร์ เนื่องจากมุ้งที่เชื่อมต่ออย่างสมบูรณ์ไม่ใช่ตัวแยกประเภทที่ดีที่สุด (เช่นพวกเขาได้รับประสิทธิภาพที่ดีกว่าโดย SVM และ RF ส่วนใหญ่) ทำไม CNNs จึงสรุปด้วยเลเยอร์ FC แทนที่จะเป็น SVM หรือ RF?

11 neural-networks  svm  random-forest  conv-neural-network 

เพื่อเป็นตัวอย่างลองสมมติว่าเรากำลังสร้างตัวประมาณอายุตามภาพของบุคคล ด้านล่างเรามีคนสองคนในชุดสูท แต่คนแรกอายุน้อยกว่าคนที่สองอย่างชัดเจน (ที่มา: tinytux.com ) มีคุณสมบัติมากมายที่บ่งบอกถึงสิ่งนี้เช่นโครงสร้างใบหน้า อย่างไรก็ตามคุณสมบัติที่บอกได้มากที่สุดคืออัตราส่วนของขนาดหัวต่อขนาดร่างกาย : (ที่มา: wikimedia.org ) สมมติว่าเราได้ฝึกการถดถอยของซีเอ็นเอ็นเพื่อทำนายอายุของบุคคล ในการทำนายอายุจำนวนมากที่ฉันได้ลองภาพข้างบนของเด็กดูเหมือนจะหลอกการคาดการณ์ในการคิดว่าเขาแก่กว่าเพราะเหมาะสมและน่าจะเป็นเพราะพวกเขาใช้ใบหน้าเป็นหลัก: ฉันสงสัยว่าสถาปัตยกรรมวานิลลาของซีเอ็นเอ็นจะมีอัตราส่วนที่ดีต่อร่างกายได้ดีแค่ไหน? เมื่อเปรียบเทียบกับ RCNN ระดับภูมิภาคซึ่งสามารถรับกล่องขอบเขตบนร่างกายและศีรษะวานิลลาซีเอ็นเอ็นจะทำงานแย่กว่านี้หรือไม่? ก่อนที่โลกจะแบนราบในวานิลลาซีเอ็นเอ็น (เช่นหลังจากการโน้มน้าวใจทั้งหมด) แต่ละเอาต์พุตมีเขตข้อมูลที่เปิดกว้างที่สอดคล้องกันซึ่งควรมีความรู้สึกของขนาด ฉันรู้ว่า RCNN ใช้ประโยชน์จากสิ่งนี้ได้เร็วขึ้นโดยการทำข้อเสนอกรอบขอบเขตในขั้นตอนนี้ดังนั้นตัวกรอง convolutional ก่อนหน้านี้จะทำการฝึกอบรมให้กับเครื่องชั่งทั้งหมดโดยอัตโนมัติ ดังนั้นฉันคิดว่า Vanilla CNN น่าจะสามารถอนุมานอัตราส่วนของหัวต่อขนาดลำตัวได้หรือไม่? ถูกต้องหรือไม่ ถ้าเป็นเช่นนั้นจะเป็นประโยชน์เพียงอย่างเดียวของการใช้กรอบ RCNN ที่เร็วขึ้นเพื่อใช้ประโยชน์จากความจริงที่ว่าอาจได้รับการฝึกฝนก่อนการตรวจจับคน

11 neural-networks  computer-vision 

นี่คือสิ่งที่ผมอ่านในหนังสือเอียน Goodfellow ของการเรียนรู้ลึก ในบริบทของเครือข่ายนิวรัล "การปรับค่าพารามิเตอร์ของพารามิเตอร์ L2 เป็นที่รู้กันทั่วไปว่าเป็นการลดน้ำหนักกลยุทธ์การทำให้เป็นมาตรฐานนี้ทำให้น้ำหนักใกล้เคียงกับแหล่งกำเนิด [... ] โดยทั่วไปเราสามารถทำให้ค่าพารามิเตอร์อยู่ใกล้กับจุดใด ๆ ในช่องว่าง "แต่มันเป็นเรื่องธรรมดามากที่จะทำให้พารามิเตอร์ของโมเดลเป็นศูนย์ (การเรียนรู้อย่างลึก Goodfellow และคณะ) ฉันแค่อยากรู้ ฉันเข้าใจว่าเพียงเพิ่มคำ normalizing ในฟังก์ชันต้นทุนของเราและด้วยการลดค่าใช้จ่ายทั้งหมดJJJเราสามารถส่งผลต่อพารามิเตอร์ของแบบจำลองให้มีขนาดเล็กลง: J(Θ,X,y)=L(Θ,X,y)+λ||w||22J(Θ,X,Y)=L(Θ,X,Y)+λ||W||22J(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) = L(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) + \lambda||\boldsymbol{w}||_{2}^{2} แต่เราจะใช้กลยุทธ์การทำให้เป็นมาตรฐานนี้ได้อย่างไรซึ่งจะนำพารามิเตอร์ไปสู่จุดใด ๆ (กล่าวว่าเราต้องการบรรทัดฐานมีแนวโน้มที่จะ 5)

11 machine-learning  neural-networks  deep-learning  regularization 

ฉันกำลังอ่านเอกสารการทำให้เป็นมาตรฐานของแบทช์ [1] และมันมีส่วนหนึ่งที่ต้องผ่านตัวอย่างพยายามที่จะแสดงว่าทำไมการทำให้เป็นมาตรฐานต้องทำอย่างระมัดระวัง ฉันอย่างจริงใจไม่เข้าใจวิธีการทำงานของตัวอย่างและฉันอยากรู้อยากเห็นจริง ๆ เข้าใจพวกเขากระดาษมากที่สุดเท่าที่จะทำได้ ก่อนอื่นให้ฉันพูดที่นี่: ตัวอย่างเช่นพิจารณาชั้นด้วยการป้อนข้อมูลที่ยูที่เพิ่มเรียนรู้อคติ B และ normalizes ที่ x = U + B , x = { x 1 . . N }คือชุดของค่าของxในชุดฝึกอบรมและE [ x ] = ∑ N i = 1 x ix^= x - E[ x ]x^=x-E[x]\hat{x} = x − E[x]x = u + …

11 machine-learning  neural-networks  conv-neural-network