ประสาทความท้าทายในการเล่นกอล์ฟสุทธิก่อนหน้า ( นี้และว่า ) แรงบันดาลใจที่จะก่อให้เกิดความท้าทายใหม่:

ความท้าทาย

ค้นหาเครือข่ายนิวรัล feedforward ที่เล็กที่สุดซึ่งให้เวกเตอร์อินพุต 4 มิติใด ๆ $(a,b,c,d)$ กับรายการจำนวนเต็มใน $[-10,10]$ , เครือข่ายเอาต์พุต $\textrm{sort}(a,b,c,d)$ ด้วย ข้อผิดพลาดการประสานงานที่ชาญฉลาดอย่างเคร่งครัดมีขนาดเล็กกว่า0.5 $0.5$

ภัณฑ์

สำหรับความท้าทายนี้เป็นเครือข่ายประสาท feedforwardถูกกำหนดให้เป็นองค์ประกอบของชั้น ชั้นเป็นฟังก์ชัน $L\colon\mathbf{R}^n\to\mathbf{R}^m$ ที่ระบุโดยเมทริกซ์ $A\in\mathbf{R}^{m\times n}$ ของน้ำหนัก , เวกเตอร์ $b\in\mathbf{R}^m$ ของอคติและฟังก์ชั่นการเปิดใช้งาน $f\colon\mathbf{R}\to\mathbf{R}$ ที่ใช้พิกัด - ฉลาด

L (x) := f (A x + b), x \in R^{n} .

$L(x) := f(Ax+b), \qquad x\in\mathbf{R}^n.$

เนื่องจากสามารถเปิดใช้งานฟังก์ชั่นการเปิดใช้งานสำหรับงานที่กำหนดเราจำเป็นต้อง จำกัด คลาสของฟังก์ชั่นการเปิดใช้งานเพื่อให้ความท้าทายนี้น่าสนใจ อนุญาตให้ใช้งานฟังก์ชั่นต่อไปนี้:

เอกลักษณ์ $f(t)=t$
Relu $f(t)=\operatorname{max}(t,0)$
Softplus $f(t)=\ln(e^t+1)$
แทนเจนต์ซึ่งเกินความจริง $f(t)=\tanh(t)$
sigmoid $f(t)=\frac{e^t}{e^t+1}$

โดยรวมแล้ว, โครงข่ายประสาทที่ยอมรับได้ใช้รูปแบบ $L_k\circ L_{k-1}\circ\cdots \circ L_2\circ L_1$ สำหรับบาง $k$ , ซึ่งแต่ละชั้น $L_i$ ถูกระบุโดยน้ำหนัก $A_i$ , อคติ $b_i$ , และฟังก์ชั่นการเปิดใช้งาน $f_i$ จากรายการด้านบน ตัวอย่างเช่นตาข่ายประสาทต่อไปนี้สามารถใช้ได้ (แม้ว่าจะไม่เป็นไปตามเป้าหมายประสิทธิภาพของการท้าทายนี้ แต่อาจเป็นอุปกรณ์ที่มีประโยชน์):

[\begin{matrix} min (a, b) \\ max (a, b) \end{matrix}] = [\begin{array}{rrrr} 1 & - 1 & - \frac{1}{2} & - \frac{1}{2} \\ 1 & - 1 & \frac{1}{2} & \frac{1}{2} \end{array}] R e L U [\begin{array}{rr} \frac{1}{2} & \frac{1}{2} \\ - \frac{1}{2} & - \frac{1}{2} \\ 1 & - 1 \\ - 1 & 1 \end{array}] [\begin{matrix} a \\ b \end{matrix}]

$\left[\begin{array}{c}\min(a,b)\\\max(a,b)\end{array}\right]=\left[\begin{array}{rrrr}1&-1&-\frac{1}{2}&-\frac{1}{2}\\1&-1&\frac{1}{2}&\frac{1}{2}\end{array}\right]\mathrm{ReLU}\left[\begin{array}{rr}\frac{1}{2}&\frac{1}{2}\\-\frac{1}{2}&-\frac{1}{2}\\1&-1\\-1&1\end{array}\right]\left[\begin{array}{c}a\\b\end{array}\right]$

ตัวอย่างนี้แสดงสองชั้น เลเยอร์ทั้งสองไม่มีศูนย์อคติ เลเยอร์แรกใช้การเปิดใช้งาน ReLU ในขณะที่ชั้นที่สองใช้การเปิดใช้งานข้อมูลเฉพาะตัว

เกณฑ์การให้คะแนน

คะแนนของคุณคือจำนวนรวมของน้ำหนักและอคติที่ไม่ใช่ศูนย์ทั้งหมด

(เช่นตัวอย่างด้านบนมีคะแนน 16 เนื่องจากเวกเตอร์อคติเป็นศูนย์)

code-challenge optimization neural-networks

— Dustin G. Mixon
แหล่งที่มา

@ Close-voter: อะไรที่ไม่ชัดเจน? ฉันไม่คิดว่าความท้าทาย NN ก่อนหน้านี้ถูกระบุไว้อย่างดี

— ข้อบกพร่อง

ไม่อนุญาตการข้ามการเชื่อมต่อ

— Dustin G. Mixon

@ DustinG.Mixon จริง ๆ แล้วฉันเพิ่งพบวิธีการสำหรับสูงสุด / นาทีที่ใช้เพียง 15 น้ำหนักแทน 16 แต่มันสง่างามน้อยลงมาก :)

— 27419

นี่เป็นความท้าทายที่ระบุไว้อย่างดีซึ่งฉันคิดว่าสามารถใช้เป็นแบบจำลองสำหรับความท้าทายโครงข่ายประสาทในอนาคต

— xnor

ฉันพบว่าเป็นการยากที่จะปรับให้เหมาะสมโดยไม่ต้องข้ามการเชื่อมต่อ นี่เป็นเพราะจำเป็นต้องมีการเรียงลำดับ NN เพื่อส่งออกตัวเลขที่อยู่ใกล้กับอินพุตเพียงพอ ดังนั้นจึงจำเป็นต้อง 'จดจำ' / 'สร้างใหม่' อินพุตข้ามเลเยอร์ ฉันไม่เห็นวิธีการที่สามารถทำได้อย่างง่ายดายเพียงครั้งเดียว

มีส่วนเกี่ยวข้องตั้งแต่มีแปรผกผันของฟังก์ชันเหล่านั้นไม่ได้รับอนุญาตให้เปิดใช้งานเป็น ดังนั้นเราจึงเหลือเฉพาะ ReLUs ที่พื้นฐาน (พร้อมการปรับปรุงเล็กน้อยตามที่แสดงในคำตอบของข้อบกพร่อง) ใกล้ดีที่สุดแล้ว

e^{t}

$e^t$

— โจเอล

เสียงคู่แปด , 96 88 87 84 76 54 50 น้ำหนักและอคติ

โครงข่ายประสาท 6 ชั้นนี้เป็นเครือข่ายการเรียงลำดับ 3 ขั้นตอนที่สร้างขึ้นจากง่ายมากmin/max เครือข่ายเครือข่ายที่โดยพื้นฐานแล้วมันเป็นเครือข่ายตัวอย่างจากวิกิพีเดียดังที่แสดงด้านล่างโดยมีการดัดแปลงเล็กน้อย: การเปรียบเทียบสองรายการแรกนั้นทำแบบขนาน ในการหลีกเลี่ยงตัวเลขที่เป็นลบแม้ว่า ReLU เราเพิ่งบวก 100 ก่อนแล้วจึงลบ 100 อีกครั้งในตอนท้าย

ดังนั้นนี่จึงควรได้รับการพิจารณาว่าเป็นพื้นฐานเพราะเป็นการดำเนินการที่ไร้เดียงสา อย่างไรก็ตามมันจะเรียงลำดับหมายเลขที่เป็นไปได้ทั้งหมดที่ไม่มีขนาดใหญ่เกินไปอย่างสมบูรณ์แบบ (เราสามารถปรับช่วงโดยแทนที่ 100 ด้วยหมายเลขอื่น)

ลองออนไลน์!

สูงสุด / นาทีส่วนประกอบ

มีวิธี (ที่~~สวยงามน้อยกว่า~~วิธีที่~~สวยงาม~~กว่าตอนนี้ขอบคุณ @ xnor!) วิธีหาจำนวนต่ำสุดและสูงสุดของสองตัวเลขโดยใช้พารามิเตอร์น้อยลง:

\begin{aligned} min & = a - R e L U (a - b) \\ max & = b + R e L U (a - b) \end{aligned}

$\begin{align} \min &= a - ReLU(a-b) \\ \max &= b + ReLU(a-b) \end{align}$

ซึ่งหมายความว่าเราต้องใช้น้ำหนักและอคติน้อยลงมาก

ขอบคุณ @Joel ที่ชี้ให้เห็นว่ามันเพียงพอที่จะทำให้ตัวเลขทั้งหมดเป็นบวกในขั้นตอนแรกและย้อนกลับไปในตัวเลขสุดท้ายซึ่งทำให้น้ำหนัก -8 ขอบคุณ @xnor สำหรับการชี้ให้เห็นว่าวิธี max / min ที่สั้นกว่านั้นทำให้น้ำหนัก -22! ขอบคุณ @ DustinG.Mixon สำหรับเคล็ดลับในการรวมเมทริกซ์บางอย่างซึ่งทำให้น้ำหนักเพิ่มอีก -4!

function z = net(u)
a1 = [100;100;0;100;100;0];
A1 = [1 0 0 0;0 0 1 0;1 0 -1 0;0 1 0 0;0 0 0 1;0 1 0 -1];
B1 = [1 0 -1 0 0 0;0 0 0 1 0 -1;0 1 1 0 0 0;0 0 0 0 1 1];
A2 = [1 0 0 0;0 1 0 0;1 -1 0 0;0 0 1 0;0 0 0 1;0 0 1 -1];
A3 = [1 0 -1 0 0 0;0 1 1 0 0 0;0 0 0 1 0 -1;0 1 1 -1 0 1;0 0 0 0 1 1];
B3 = [1 0 0 0 0;0 1 0 -1 0;0 0 1 1 0;0 0 0 0 1];
b3 = -[100;100;100;100];
relu = @(x)x .* (x>0);
id = @(x)x;
v = relu(A1 * u + a1);
w = id(B1 * v) ;
x = relu(A2 * w);
y = relu(A3 * x);
z = id(B3 * y + b3);
% disp(nnz(a1)+nnz(A1)+nnz(B1)+nnz(A2)+nnz(A3)+nnz(B3)+nnz(b3)); %uncomment to count the total number of weights
end

ลองออนไลน์!

— flawr
แหล่งที่มา

Offsets คงที่โดยทั่วไปจะใช้เพื่อให้อินพุตไม่เป็นลบ เมื่อทำในชั้นแรกผลลัพธ์กลางทั้งหมดของบล็อกเปรียบเทียบไม่เป็นลบและพอเพียงที่จะเปลี่ยนกลับในชั้นสุดท้ายเท่านั้น

— Joel

คุณจะได้รับ min-max ที่สั้นกว่าด้วย(a - relu(a-b), b + relu(a-b))หรือไม่

— xnor

@joel โอ้ตอนนี้ฉันเห็นแล้วว่ามันเป็นเรื่องที่สมเหตุสมผล :)