คำถามติดแท็ก neural-networks

ฉันต้องการเสนอความท้าทายด้านการเล่นกอล์ฟแบบอื่นให้กับชุมชนนี้: (ประดิษฐ์) โครงข่ายประสาทเทียมเป็นรูปแบบการเรียนรู้ของเครื่องที่ได้รับความนิยมอย่างมากซึ่งสามารถออกแบบและฝึกอบรมให้ใกล้เคียงกับฟังก์ชั่นใด ๆ พวกเขากำลังมักจะใช้ในการแก้ปัญหาที่ซับซ้อนมากที่เราไม่ทราบวิธีการที่จะแก้ปัญหาอัลกอริทึมเช่นการรับรู้คำพูดบางชนิดของการจำแนกประเภทภาพงานต่างๆในระบบการขับขี่อิสระ ... สำหรับไพรเมอร์ในเครือข่ายประสาทการพิจารณาที่ยอดเยี่ยมนี้ บทความวิกิพีเดีย เนื่องจากนี่เป็นครั้งแรกในสิ่งที่ฉันหวังว่าจะเป็นชุดของการเรียนรู้ทักษะการเล่นกอล์ฟฉันต้องการที่จะทำให้สิ่งต่าง ๆ เป็นไปอย่างง่ายดาย: ในภาษาและกรอบที่คุณเลือกออกแบบและฝึกอบรมโครงข่ายประสาทเทียมที่กำหนดคำนวณผลิตภัณฑ์ของพวกเขาสำหรับจำนวนเต็มทั้งหมดระหว่าง (และรวมถึงและ )( x1, x2)(x1,x2)(x_1, x_2)x1⋅ x2x1⋅x2x_1 \cdot x_2x1, x2x1,x2x_1, x_2- 10−10-10101010 เป้าหมายประสิทธิภาพ เพื่อให้มีคุณสมบัติโมเดลของคุณอาจไม่เบี่ยงเบนมากกว่าจากผลลัพธ์ที่ถูกต้องในรายการใด ๆ เหล่านั้น0.50.50.5 กฎระเบียบ โมเดลของคุณ จะต้องเป็น 'โครงข่ายประสาท' แบบดั้งเดิม '(ค่าของโหนดนั้นคำนวณเป็นชุดแบบเชิงเส้นแบบถ่วงน้ำหนักของบางโหนดในเลเยอร์ก่อนหน้าตามด้วยฟังก์ชันการเปิดใช้งาน) อาจใช้ฟังก์ชันการเปิดใช้งานมาตรฐานต่อไปนี้เท่านั้น: เชิงเส้น ( x ) = xlinear(x)=x\textrm{linear}(x) = x , softmax ( x⃗ )ผม= exผมΣJอีxJsoftmax(x→)i=exi∑jexj\textrm{softmax}(\vec{x})_i = \frac{e^{x_i}}{\sum_j …

68 arithmetic  atomic-code-golf  neural-networks 

พื้นหลัง การตระหนักถึงความเป็นดั้งเดิมดูเหมือนว่าจะเหมาะสมสำหรับเครือข่ายประสาทเทียม อย่างไรก็ตามทฤษฎีบทการประมาณสากลระบุว่าเครือข่ายประสาทสามารถประมาณฟังก์ชันต่อเนื่องใด ๆ ดังนั้นโดยเฉพาะอย่างยิ่งมันควรจะเป็นไปได้ที่จะเป็นตัวแทนของฟังก์ชั่นการสนับสนุนที่มีขอบเขตอย่างใดอย่างหนึ่งปรารถนา งั้นลองพยายามจดจำช่วงเวลาทั้งหมดในจำนวนล้านแรก แม่นยำยิ่งขึ้นเพราะนี่คือเว็บไซต์การเขียนโปรแกรมเราไปถึง 2 ^ 20 = 1,048,576 จำนวนช่วงเวลาที่ต่ำกว่าเกณฑ์นี้คือ 82,025 หรือประมาณ 8% ท้าทาย คุณจะพบว่าเครือข่ายประสาทมีขนาดเล็กเพียงใดซึ่งจำแนกประเภทจำนวนเต็ม 20 บิตทั้งหมดให้เป็นไพร์มหรือไม่ไพร์มได้อย่างถูกต้อง? สำหรับวัตถุประสงค์ของการท้าทายนี้ขนาดของโครงข่ายประสาทเทียมคือจำนวนน้ำหนักและอคติทั้งหมดที่ต้องใช้ในการเป็นตัวแทน รายละเอียด เป้าหมายคือเพื่อลดขนาดของเครือข่ายประสาทเดี่ยวที่ชัดเจน อินพุตไปยังเครือข่ายของคุณจะเป็นเวกเตอร์ที่มีความยาว 20 ซึ่งประกอบด้วยบิตแต่ละส่วนของจำนวนเต็มซึ่งแสดงด้วย 0s และ 1s หรืออีกทางเลือกด้วย -1s และ + 1s การเรียงลำดับเหล่านี้อาจเป็นบิตที่มีนัยสำคัญมากที่สุดก่อนหรือมีนัยสำคัญน้อยที่สุดก่อน ผลลัพธ์ของเครือข่ายของคุณควรเป็นตัวเลขเดียวเช่นที่ด้านบนบางส่วนของการตัดออกที่ได้รับการยอมรับว่าดีที่สุดและต่ำกว่าการตัดสัญญาณเดียวกันที่ได้รับการยอมรับว่าไม่สำคัญ ตัวอย่างเช่นค่าบวกอาจหมายถึงค่านายก (และค่าลบไม่ถึงค่านายก) หรืออีกทางเลือกหนึ่งที่มากกว่า 0.5 อาจหมายถึงจำนวนเฉพาะ (และน้อยกว่า 0.5 ไม่ใช่จำนวนเฉพาะ) เครือข่ายจะต้องมีความถูกต้อง 100% สำหรับอินพุตที่เป็นไปได้ทั้งหมด 2 ^ 20 …

26 code-challenge  primes  optimization  bitwise  neural-networks 

ประสาทความท้าทายในการเล่นกอล์ฟสุทธิก่อนหน้า ( นี้และว่า ) แรงบันดาลใจที่จะก่อให้เกิดความท้าทายใหม่: ความท้าทาย ค้นหาเครือข่ายนิวรัล feedforward ที่เล็กที่สุดซึ่งให้เวกเตอร์อินพุต 4 มิติใด ๆ(a,b,c,d)(a,b,c,d)(a,b,c,d)กับรายการจำนวนเต็มใน[−10,10][−10,10][-10,10] , เครือข่ายเอาต์พุตsort(a,b,c,d)sort(a,b,c,d)\textrm{sort}(a,b,c,d)ด้วย ข้อผิดพลาดการประสานงานที่ชาญฉลาดอย่างเคร่งครัดมีขนาดเล็กกว่า0.50.50.50.5 ภัณฑ์ สำหรับความท้าทายนี้เป็นเครือข่ายประสาท feedforwardถูกกำหนดให้เป็นองค์ประกอบของชั้น ชั้นเป็นฟังก์ชันL:Rn→RmL:Rn→RmL\colon\mathbf{R}^n\to\mathbf{R}^mที่ระบุโดยเมทริกซ์A∈Rm×nA∈Rm×nA\in\mathbf{R}^{m\times n}ของน้ำหนัก , เวกเตอร์b∈Rmb∈Rmb\in\mathbf{R}^mของอคติและฟังก์ชั่นการเปิดใช้งาน f:R→Rf:R→Rf\colon\mathbf{R}\to\mathbf{R}ที่ใช้พิกัด - ฉลาด L(x):=f(Ax+b),x∈Rn.L(x):=f(Ax+b),x∈Rn. L(x) := f(Ax+b), \qquad x\in\mathbf{R}^n. เนื่องจากสามารถเปิดใช้งานฟังก์ชั่นการเปิดใช้งานสำหรับงานที่กำหนดเราจำเป็นต้อง จำกัด คลาสของฟังก์ชั่นการเปิดใช้งานเพื่อให้ความท้าทายนี้น่าสนใจ อนุญาตให้ใช้งานฟังก์ชั่นต่อไปนี้: เอกลักษณ์ f(t)=tf(t)=tf(t)=t Relu f(t)=max(t,0)f(t)=max⁡(t,0)f(t)=\operatorname{max}(t,0) Softplus f(t)=ln(et+1)f(t)=ln⁡(et+1)f(t)=\ln(e^t+1) แทนเจนต์ซึ่งเกินความจริง f(t)=tanh(t)f(t)=tanh⁡(t)f(t)=\tanh(t) sigmoid f(t)=etet+1f(t)=etet+1f(t)=\frac{e^t}{e^t+1} โดยรวมแล้ว, โครงข่ายประสาทที่ยอมรับได้ใช้รูปแบบLk∘Lk−1∘⋯∘L2∘L1Lk∘Lk−1∘⋯∘L2∘L1L_k\circ L_{k-1}\circ\cdots \circ L_2\circ …

15 code-challenge  optimization  neural-networks 

ความท้าทาย ค้นหาเครือข่ายนิวรัล feedforward ที่เล็กที่สุดเช่นที่ให้เวกเตอร์อินพุต 3 มิติ(a,b,c)(a,b,c)(a,b,c)มีรายการจำนวนเต็มใน[−10,10][−10,10][-10,10]เครือข่ายเอาท์พุตรากที่ใหญ่ที่สุด (เช่น "บวกที่สุด") พหุนามx3+ax2+bx+cx3+ax2+bx+cx^3+ax^2+bx+cด้วยข้อผิดพลาดอย่างเคร่งครัดมีขนาดเล็กกว่า0.10.10.10.1 ภัณฑ์ แนวคิดเรื่องความสามารถในการยอมรับในความท้าทายการเล่นกอล์ฟสุทธิของประสาทก่อนหน้านี้ของฉันดูเหมือนจะมีข้อ จำกัด ดังนั้นสำหรับความท้าทายนี้เรากำลังใช้คำจำกัดความเสรีของเครือข่ายประสาท feedforward: เซลล์ประสาทเป็นฟังก์ชันν:Rn→Rν:Rn→R\nu\colon\mathbf{R}^n\to\mathbf{R}ที่ระบุไว้โดยเวกเตอร์w∈Rnw∈Rnw\in\mathbf{R}^{n}ของน้ำหนักเป็นอคติ b∈Rb∈Rb\in\mathbf{R}และฟังก์ชั่นการเปิดใช้งาน f:R→Rf:R→Rf\colon\mathbf{R}\to\mathbf{R}ในลักษณะต่อไปนี้: ν(x):=f(w⊤x+b),x∈Rn.ν(x):=f(w⊤x+b),x∈Rn. \nu(x) := f(w^\top x+b), \qquad x\in\mathbf{R}^n. เครือข่ายนิวรัลไปข้างหน้าพร้อมโหนดอินพุต {1,…,n}{1,…,n}\{1,\ldots,n\}เป็นฟังก์ชันของ(x1,…,xn)∈Rn(x1,…,xn)∈Rn(x_1,\ldots,x_n)\in\mathbf{R}^nที่สามารถสร้างขึ้นจากลำดับ(νk)Nk=n+1(νk)k=n+1N(\nu_k)_{k=n+1}^Nของเซลล์ประสาท โดยที่แต่ละνk:Rk−1→Rνk:Rk−1→R\nu_k\colon\mathbf{R}^{k-1}\to\mathbf{R}ใช้อินพุตจาก(x1,…,xk−1)(x1,…,xk−1)(x_1,\ldots,x_{k-1})และผลเกลาxkxkx_k k ได้รับบางส่วนที่ระบุชุดS⊆{1,…,N}S⊆{1,…,N}S\subseteq\{1,\ldots,N\}ของโหนดที่ส่งออกแล้วส่งออกของเครือข่ายประสาทเป็นเวกเตอร์(xk)k∈S(xk)k∈S(x_k)_{k\in S} S เนื่องจากสามารถเปิดใช้งานฟังก์ชั่นการเปิดใช้งานสำหรับงานที่กำหนดเราจำเป็นต้อง จำกัด คลาสของฟังก์ชั่นการเปิดใช้งานเพื่อให้ความท้าทายนี้น่าสนใจ อนุญาตให้ใช้งานฟังก์ชั่นต่อไปนี้: เอกลักษณ์ f(t)=tf(t)=tf(t)=t Relu f(t)=max(t,0)f(t)=max⁡(t,0)f(t)=\operatorname{max}(t,0) SoftPlus f(t)=ln(et+1)f(t)=ln⁡(et+1)f(t)=\ln(e^t+1) sigmoid f(t)=etet+1f(t)=etet+1f(t)=\frac{e^t}{e^t+1} sinusoid f(t)=sintf(t)=sin⁡tf(t)=\sin t โดยรวมแล้วโครงข่ายประสาทที่ยอมรับได้นั้นถูกระบุโดยโหนดอินพุตลำดับของเซลล์ประสาทและโหนดเอาต์พุตในขณะที่แต่ละเซลล์ประสาทถูกระบุโดยเวกเตอร์ของน้ำหนักอคติและฟังก์ชั่นการเปิดใช้งานจากรายการด้านบน ตัวอย่างเช่นตาข่ายประสาทต่อไปนี้สามารถใช้ได้แม้ว่าจะไม่เป็นไปตามเป้าหมายประสิทธิภาพของการท้าทายนี้: โหนดอินพุต: {1,2}{1,2}\{1,2\} …

11 code-challenge  optimization  polynomials  neural-networks