คำถามติดแท็ก perceptron

ฉันกำลังอ่านบันทึกการบรรยายของ Andrew Ng เกี่ยวกับ Machine Learning บันทึกแนะนำให้รู้จักกับการถดถอยโลจิสติกและจากนั้นเพื่อ perceptron ในขณะที่อธิบาย Perceptron บันทึกย่อบอกว่าเราเพิ่งเปลี่ยนนิยามของฟังก์ชันขีด จำกัด ที่ใช้สำหรับการถดถอยโลจิสติก หลังจากนั้นเราสามารถใช้แบบจำลอง Perceptron สำหรับการจำแนกประเภท ดังนั้นคำถามของฉันคือ - ถ้าจำเป็นต้องระบุและเราถือว่า Perceptron เป็นเทคนิคการจำแนกประเภทแล้วการถดถอยโลจิสติกคืออะไร? ใช้เพื่อให้ได้ความน่าจะเป็นของจุดข้อมูลที่เป็นหนึ่งในคลาสหรือไม่

30 regression  machine-learning  self-study  logistic  perceptron 

โดยพื้นฐานแล้วคำถามของฉันคือใน Multilayer Perceptrons, Perceptrons นั้นใช้กับฟังก์ชั่นการเปิดใช้งาน sigmoid ดังนั้นในการอัปเดตกฎจะถูกคำนวณดังนี้y^y^\hat{y} y^=11+exp(−wTxi)y^=11+exp⁡(−wTxi)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} Perceptron "sigmoid" นี้แตกต่างจากการถดถอยโลจิสติกอย่างไร ฉันจะบอกว่า sigmoid perceptron ชั้นเดียวเทียบเท่ากับการถดถอยโลจิสติกในแง่ที่ว่าทั้งสองใช้ในกฎการอัพเดท นอกจากนี้ทั้งสองส่งกลับในการทำนาย อย่างไรก็ตามในมัลติเลเยอร์ Perceptrons ฟังก์ชั่นการเปิดใช้งาน sigmoid จะใช้เพื่อคืนความน่าจะเป็นไม่ใช่สัญญาณเปิดปิดในทางตรงกันข้ามกับการถดถอยโลจิสติกและ perceptron ชั้นเดียวy^=11+exp(−wTxi)y^=11+exp⁡(−wTxi)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}sign(y^=11+exp(−wTxi))sign⁡(y^=11+exp⁡(−wTxi))\operatorname{sign}(\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}) ฉันคิดว่าการใช้คำว่า "Perceptron" อาจจะคลุมเครือเล็กน้อยดังนั้นให้ฉันให้พื้นหลังตามความเข้าใจในปัจจุบันของฉันเกี่ยวกับ perceptrons ชั้นเดียว: กฎ Perceptron แบบคลาสสิก ประการแรกคลาสสิก perceptron โดย F. Rosenblatt ที่เรามีฟังก์ชั่นขั้นตอน: Δ wd= η( yผม- yผม^) xฉันdYผม, yผม^∈ …

21 logistic  classification  neural-networks  gradient-descent  perceptron 

นี่เป็นคำถามของคำศัพท์ บางครั้งฉันเห็นคนพูดถึงเครือข่ายประสาทลึกว่า "perceptrons หลายชั้น" ทำไมถึงเป็นเช่นนี้ ฉันได้รับการสอน perceptron เป็นตัวแยกประเภทเลเยอร์เดี่ยว (หรือ regressor) ที่มีเอาต์พุต threshold แบบไบนารีโดยใช้วิธีเฉพาะในการฝึกน้ำหนัก (ไม่ใช่ back-prop) หากผลลัพธ์ของ perceptron ไม่ตรงกับผลลัพธ์ที่เป็นเป้าหมายเราจะเพิ่มหรือลบเวกเตอร์อินพุตให้กับน้ำหนัก (ขึ้นอยู่กับว่า Perceptron ให้ผลบวกปลอมหรือลบเป็นลบ) มันเป็นอัลกอริทึมการเรียนรู้เครื่องดั้งเดิมค่อนข้าง ขั้นตอนการฝึกอบรมไม่ปรากฏว่าจะพูดถึงกรณีทั่วไปหลายชั้น (อย่างน้อยก็ไม่ใช่โดยไม่มีการดัดแปลง) โครงข่ายประสาทเทียมแบบลึกผ่านการฝึกอบรมผ่าน backprop ซึ่งใช้กฎลูกโซ่เพื่อเผยแพร่การไล่ระดับสีของฟังก์ชันต้นทุนย้อนกลับไปจนถึงน้ำหนักทั้งหมดของเครือข่าย ดังนั้นคำถามคือ "perceptron หลายชั้น" เป็นสิ่งเดียวกับ "เครือข่ายประสาทลึก" หรือไม่? ถ้าใช่ทำไมคำศัพท์นี้ใช้? ดูเหมือนจะสับสนโดยไม่จำเป็น นอกจากนี้สมมติว่าคำศัพท์นั้นใช้แทนกันได้ฉันเห็นเพียงคำศัพท์ "multi-layer perceptron" เมื่อกล่าวถึงเครือข่าย feed-forward ซึ่งประกอบด้วยเลเยอร์ที่เชื่อมต่ออย่างสมบูรณ์ (ไม่มีชั้น convolutional หรือการเชื่อมต่อซ้ำ) คำศัพท์นี้กว้างแค่ไหน? หนึ่งจะใช้คำว่า "หลายชั้น perceptron" เมื่อกล่าวถึงเช่น Inception …

16 neural-networks  perceptron 

ฉันทดลองใช้งาน Perceptron ต่างกันเล็กน้อยและต้องการตรวจสอบให้แน่ใจว่าฉันเข้าใจ "การทำซ้ำ" อย่างถูกต้องหรือไม่ กฎ perceptron ดั้งเดิมของ Rosenblatt เท่าที่ฉันเข้าใจในอัลกอริทึม Perceptron แบบคลาสสิกของ Rosenblatt น้ำหนักถูกปรับปรุงพร้อมกันหลังจากทุกตัวอย่างการฝึกอบรมผ่าน Δw(t+1)=Δw(t)+η(target−actual)xiΔw(t+1)=Δw(t)+η(target−actual)xi\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + \eta(target - actual)x_i ที่etaetaetaคือกฎการเรียนรู้ที่นี่ และเป้าหมายและที่เกิดขึ้นจริงมีทั้งเกณฑ์ (-1 หรือ 1) ฉันใช้มันเป็น 1 ซ้ำ = 1 ผ่านตัวอย่างการฝึกอบรม แต่เวกเตอร์น้ำหนักถูกปรับปรุงหลังจากแต่ละตัวอย่างการฝึกอบรม และฉันคำนวณค่า "จริง" เป็น sign(wwTxx)=sign(w0+w1x1+...+wdxd)sign(wwTxx)=sign(w0+w1x1+...+wdxd) sign ({\pmb{w}^T\pmb{x}}) = sign( w_0 + w_1 x_1 + ... + w_d x_d) …

15 optimization  gradient-descent  perceptron 

มีคำว่า "เครือข่ายประสาท" และ "perceptron" ต่างกันไหม?

12 machine-learning  neural-networks  terminology  perceptron 

ฉันพยายามพล็อตขอบเขตการตัดสินใจของอัลกอริทึม Perceptron และฉันสับสนมากเกี่ยวกับบางสิ่ง อินสแตนซ์อินพุตของฉันอยู่ในรูปแบบโดยทั่วไปอินสแตนซ์อินพุต 2D ( x 1และx 2 ) และค่าเป้าหมายคลาสไบนารี ( y ) [1 หรือ 0][ ( x1, x2) ,y][(x1,x2),Y][(x_{1},x_{2}), y]x1x1x_{1}x2x2x_{2}YYy เวกเตอร์น้ำหนักของฉันจึงอยู่ในรูปแบบ: ][ w1, w2][W1,W2][w_{1}, w_{2}] ตอนนี้ฉันต้องรวมพารามิเตอร์ bias เพิ่มเติมและด้วยเหตุนี้เวกเตอร์น้ำหนักของฉันกลายเป็นเวกเตอร์3 × 1หรือไม่ มันคือ1 × 3เวกเตอร์ ฉันคิดว่าควรเป็น1 × 3เนื่องจากเวกเตอร์มีเพียง 1 แถวและคอลัมน์ nW0W0w_{0}3 × 13×13 \times 11 ×31×31 \times 31 × 31×31 …

11 machine-learning  neural-networks  python  decision-theory  perceptron 

ปัญหาการจัดหมวดหมู่ที่มีขอบเขตไม่เชิงเส้นไม่สามารถแก้ไขได้โดยง่ายตรอน รหัส R ต่อไปนี้มีวัตถุประสงค์เพื่อเป็นตัวอย่างและเป็นไปตามตัวอย่างนี้ใน Python): nonlin <- function(x, deriv = F) { if (deriv) x*(1-x) else 1/(1+exp(-x)) } X <- matrix(c(-3,1, -2,1, -1,1, 0,1, 1,1, 2,1, 3,1), ncol=2, byrow=T) y <- c(0,0,1,1,1,0,0) syn0 <- runif(2,-1,1) for (iter in 1:100000) { l1 <- nonlin(X %*% syn0) l1_error <- y - l1 …

10 r  neural-networks  svm  kernel-trick  perceptron