ความท้าทาย

ค้นหาเครือข่ายนิวรัล feedforward ที่เล็กที่สุดเช่นที่ให้เวกเตอร์อินพุต 3 มิติ$(a,b,c)$มีรายการจำนวนเต็มใน$[-10,10]$เครือข่ายเอาท์พุตรากที่ใหญ่ที่สุด (เช่น "บวกที่สุด") พหุนาม$x^3+ax^2+bx+c$ด้วยข้อผิดพลาดอย่างเคร่งครัดมีขนาดเล็กกว่า0.1$0.1$

ภัณฑ์

แนวคิดเรื่องความสามารถในการยอมรับในความท้าทายการเล่นกอล์ฟสุทธิของประสาทก่อนหน้านี้ของฉันดูเหมือนจะมีข้อ จำกัด ดังนั้นสำหรับความท้าทายนี้เรากำลังใช้คำจำกัดความเสรีของเครือข่ายประสาท feedforward:

เซลล์ประสาทเป็นฟังก์ชัน$\nu\colon\mathbf{R}^n\to\mathbf{R}$ที่ระบุไว้โดยเวกเตอร์$w\in\mathbf{R}^{n}$ของน้ำหนักเป็นอคติ $b\in\mathbf{R}$และฟังก์ชั่นการเปิดใช้งาน $f\colon\mathbf{R}\to\mathbf{R}$ในลักษณะต่อไปนี้:

$$\nu(x) := f(w^\top x+b), \qquad x\in\mathbf{R}^n.$$

เครือข่ายนิวรัลไปข้างหน้าพร้อมโหนดอินพุต $\{1,\ldots,n\}$เป็นฟังก์ชันของ$(x_1,\ldots,x_n)\in\mathbf{R}^n$ที่สามารถสร้างขึ้นจากลำดับ$(\nu_k)_{k=n+1}^N$ของเซลล์ประสาท โดยที่แต่ละ$\nu_k\colon\mathbf{R}^{k-1}\to\mathbf{R}$ใช้อินพุตจาก$(x_1,\ldots,x_{k-1})$และผลเกลา$x_k$ k ได้รับบางส่วนที่ระบุชุด$S\subseteq\{1,\ldots,N\}$ของโหนดที่ส่งออกแล้วส่งออกของเครือข่ายประสาทเป็นเวกเตอร์$(x_k)_{k\in S}$ S

เนื่องจากสามารถเปิดใช้งานฟังก์ชั่นการเปิดใช้งานสำหรับงานที่กำหนดเราจำเป็นต้อง จำกัด คลาสของฟังก์ชั่นการเปิดใช้งานเพื่อให้ความท้าทายนี้น่าสนใจ อนุญาตให้ใช้งานฟังก์ชั่นต่อไปนี้:

• เอกลักษณ์ $f(t)=t$

• Relu $f(t)=\operatorname{max}(t,0)$

• SoftPlus $f(t)=\ln(e^t+1)$

• sigmoid $f(t)=\frac{e^t}{e^t+1}$

• sinusoid $f(t)=\sin t$

โดยรวมแล้วโครงข่ายประสาทที่ยอมรับได้นั้นถูกระบุโดยโหนดอินพุตลำดับของเซลล์ประสาทและโหนดเอาต์พุตในขณะที่แต่ละเซลล์ประสาทถูกระบุโดยเวกเตอร์ของน้ำหนักอคติและฟังก์ชั่นการเปิดใช้งานจากรายการด้านบน ตัวอย่างเช่นตาข่ายประสาทต่อไปนี้สามารถใช้ได้แม้ว่าจะไม่เป็นไปตามเป้าหมายประสิทธิภาพของการท้าทายนี้:

• โหนดอินพุต: $\{1,2\}$

• เซลล์ประสาท: $\nu_k(x_1,\ldots,x_{k-1}):=x_{k-2}+x_{k-1}$สำหรับ$k\in\{3,\ldots,10\}$

• โหนดเอาต์พุต: $\{5,9,10\}$

เครือข่ายนี้ประกอบด้วย 8 เซลล์ประสาทซึ่งแต่ละศูนย์มีอคติและเปิดใช้งานข้อมูลประจำตัว ในคำพูดเครือข่ายนี้คำนวณลำดับฟีโบนัชชีทั่วไปที่สร้างขึ้นโดย$x_1$และ$x_2$แล้วส่งออกหมายเลขลำดับที่ 5, 9 และ 10 จากลำดับนี้ตามลำดับ

เกณฑ์การให้คะแนน

รับจำนวนจริง$x$ด้วยการยุติการขยายทศนิยมปล่อยให้$p(x)$เป็นจำนวนเต็ม nonnegative ที่น้อยที่สุด$p$ซึ่ง$10^{-p}\cdot |x|<1$และให้$q(x)$เป็นจำนวนเต็มที่ไม่ใช่ค่าลบน้อยที่สุด$q$ซึ่ง$10^q \cdot x$เป็นจำนวนเต็ม แล้วเราบอกว่า$p(x)+q(x)$เป็นความแม่นยำของx$x$

ยกตัวอย่างเช่น$x=1.001$มีความแม่นยำของ$4$ขณะที่$x=0$มีความแม่นยำของ0$0$

คะแนนของคุณคือผลรวมของการชั่งน้ำหนักและอคติในเครือข่ายประสาทของคุณ

(เช่นตัวอย่างข้างต้นมีคะแนน 16)

การตรวจสอบ

ในขณะที่รากสามารถแสดงออกในรูปของสูตรลูกบาศก์ได้แต่รากที่ใหญ่ที่สุดอาจเข้าถึงได้ง่ายที่สุดด้วยวิธีตัวเลข ต่อไปนี้ @ ข้อเสนอแนะ XNOR ผมคำนวณรากที่ใหญ่ที่สุดสำหรับการเลือกทุกจำนวนเต็ม, ข, ค∈ [ - 10 , 10 ]และผลที่สามารถพบได้ที่นี่ บรรทัดของแฟ้มข้อความนี้แต่ละคนจะอยู่ในรูป ยกตัวอย่างเช่นรายงานบรรทัดแรกว่ารากที่ใหญ่ที่สุดของx 3 - 10 x 2 - 10 x - 10จะอยู่ที่ประมาณ10.99247140445449$a,b,c\in[-10,10]$a,b,c,root$x^3-10x^2-10x-10$$10.99247140445449$

แก้ไข:ไฟล์ต้นฉบับที่ฉันโพสต์มีข้อผิดพลาดในกรณีที่พหุนามแสดงหลายรูต เวอร์ชันปัจจุบันควรปราศจากข้อผิดพลาดดังกล่าว

14,674,000,667 5,436,050 5,403,448 10,385 5,994 4,447
3,806 ความแม่นยำทั้งหมด

$M,\delta,\epsilon>0$$p(x)=x^3+ax^2+bx+c$

$$S:=\{-M,-M+\delta,-M+2\delta,\ldots,M\},$$

$s^\star\in S$$p(s^\star)<\epsilon$$0.1$$p$$M=11$$\delta=0.1$$\epsilon=10^{-4}$

$S$$s\in S$

$$x_{1,s} = s^2\cdot a + s\cdot b + 1\cdot c + s^3.$$

$\epsilon=10^{-4}$$s\in S$$p(s)<10^{-4}$$p(s)\leq 0$

$$\frac{\mathrm{relu}(10^{-4}-t) - \mathrm{relu}(-t)}{10^{-4}} = \left\{\begin{array}{cl}1&\text{if }t\leq 0\\0&\text{if }t\geq 10^{-4}.\end{array}\right.$$

เราใช้สิ่งนี้กับเซลล์ประสาทสองสามชั้น:

$$\begin{aligned} x_{2,s} &= \mathrm{relu}(-1\cdot x_{1,s}+10^{-4}), \\ x_{3,s} & = \mathrm{relu}(-1\cdot x_{1,s}), \\ x_{4,s} &= 10^{4}\cdot x_{2,s}-10^{4}\cdot x_{3,s}. \end{aligned}$$

$x_{4,s}=1$$p(s)<10^{-4}$$x_{4,s}=0$$s^\star$$x_{4,s^\star}=1$$x_{4,M}$$x_{5,M}$$k\geq 1$เรากำหนดซ้ำ ๆ

$$x_{5,M-k\delta} = 1\cdot x_{4,M-k\delta}+2\cdot x_{5,M-(k-1)\delta} = \sum_{j=0}^k 2^{k-j}x_{4,M-j\delta}.$$

$x_{5,s}$$s^\star$$s$$x_{5,s}=1$$s^\star$

$$\mathrm{relu}(t-2)-2\cdot\mathrm{relu}(t-1)+t = \left\{\begin{array}{cl}1&\text{if }t=1\\0&\text{if }t\in\mathbf{Z}_{\geq 0}\setminus\{1\}.\end{array}\right.$$

อย่างชัดเจนเรากำหนดเซลล์ประสาทโดย

$$\begin{aligned} x_{6,s} &= \mathrm{relu}(1\cdot x_{5,s} - 2), \\ x_{7,s} &= \mathrm{relu}(1\cdot x_{5,s} - 1), \\ x_{8,s} &= 1\cdot x_{6,s} - 2\cdot x_{7,s} + 1\cdot x_{5s}. \end{aligned}$$

$x_{8,s}=1$$s=s^\star$$x_{8,s}=0$

$$x_9 = \sum_{s\in S} s\cdot x_{8,s} = s^\star.$$

$6+3+1+9=19$$1+4=5$$1$$5+5=10$$1+1=2$$1+1=2$$1+1=2$$1+1+1=3$$3|S|$$|S|=221$$|S|-1$$1$

แก้ไข: การปรับปรุง: (1) เราสามารถสุ่มตัวอย่างพหุนามได้อย่างมีประสิทธิภาพมากขึ้นโดยใช้ความแตกต่างอัน จำกัด (2) เราสามารถข้ามเลเยอร์ 2 ถึง 4 โดยใช้การเปิดใช้งาน sigmoid แทน (3) ปัญหาโอเวอร์โฟลว์ในเลเยอร์ 5 สามารถย้อนกลับ (และสามารถรวมเลเยอร์ต่อมา) โดยการเปิดใช้งาน relu อย่างระมัดระวังมากขึ้น (4) ผลรวมสุดท้ายคือราคาถูกที่มีผลบวกโดยชิ้นส่วน

สิ่งที่ตามมาคือรหัส MATLAB เพื่อความชัดเจนprecเป็นฟังก์ชัน (พบได้ที่นี่ ) ซึ่งคำนวณความแม่นยำของเวกเตอร์ของน้ำหนักหรืออคติ

function sstar = findsstar2(a,b,c)

relu = @(x) x .* (x>0);

totprec = 0;

% x1 samples the polynomial on -11:0.1:11
x1=[];
for s = -11:0.1:11
    if length(x1) < 5
        w1 = [s^2 s 1];
        b1 = s^3;
        x1(end+1,:) = w1 * [a; b; c] + b1;
        totprec = totprec + prec(w1) + prec(b1);
    else
        w1 = [-1 4 -6 4];
        x1(end+1,:) = w1 * x1(end-3:end,:);
        totprec = totprec + prec(w1);
    end
end

% x4 indicates whether the polynomial is nonpositive
w4 = -6e5;
b4 = 60;
x4=[];
for ii=1:length(x1)
    x4(end+1) = sigmf(w4 * x1(ii) + b4, [1,0]);
    totprec = totprec + prec(w4) + prec(b4);
end

% x6 indicates which entries are less than or equal to sstar
x5 = zeros(size(x1));
x6 = zeros(size(x1));
x5(end) = 0;
x6(end) = 0;
for ii = 1:length(x5)-1
    w5 = [-1 -1];
    b5 = 1;
    x5(end-ii) = relu(w5 * [x4(end-ii); x6(end-ii+1)] + b5);
    totprec = totprec + prec(w5) + prec(b5);
    w6 = -1;
    b6 = 1;
    x6(end-ii) = w6 * x5(end-ii) + b6;
    totprec = totprec + prec(w6) + prec(b6);
end

% a linear combination produces sstar
w7 = 0.1*ones(1,length(x1));
w7(1) = -11;
sstar = w7 * x6;

%disp(totprec) % uncomment to display score

end

53,268 29,596 29,306 ความแม่นยำโดยรวม

$f\colon S\to\mathbf{R}$$S$

$$f(x) = \sum_{s\in S}f(s)\cdot \left\{\begin{array}{cl}1&\text{if }x=s\\0&\text{else}\end{array}\right\}.$$

$f$

$$\mathrm{relu}(t-1)-2\cdot\mathrm{relu}(t)+\mathrm{relu}(t+1) = \left\{\begin{array}{cl}1&\text{if } t=0\\0&\text{if }t\in\mathbf{Z}\setminus\{0\}.\end{array}\right.$$

สิ่งที่ตามมาคือการนำ MATLAB ไปใช้ในแนวทางนี้ เพื่อความชัดเจนroots.txtคือไฟล์รูทที่โพสต์ไว้ด้านบน (พบได้ที่นี่ ) และprecเป็นฟังก์ชั่น (พบที่นี่ ) ซึ่งคำนวณความแม่นยำโดยรวมของเวกเตอร์ของน้ำหนักหรืออคติ

แก้ไข 1:การปรับปรุงสองอย่างเหนือกว่าแบบดั้งเดิม: (1) ฉันแยกเซลล์ประสาทบางส่วนออกจากลูป (2) ฉันใช้งาน " Lebesgue Integration " ในผลรวมสุดท้ายโดยรวมคำแรกจากชุดระดับเดียวกัน ด้วยวิธีนี้ฉันจ่ายค่าความแม่นยำสูงกว่าของเอาต์พุตเพียงครั้งเดียวทุกระดับที่ตั้งค่า นอกจากนี้ก็มีความปลอดภัยในผลรอบที่ห้าที่ใกล้ที่สุดโดยทฤษฎีบทรากเหตุผล

แก้ไข 2:การปรับปรุงเล็กน้อยเพิ่มเติม: (1) ฉันแยกเซลล์ประสาทออกจากลูปเป็นจำนวนมาก (2) ฉันไม่รำคาญที่จะคำนวณคำในผลรวมสุดท้ายที่ผลลัพธ์เป็นศูนย์อยู่แล้ว

function r = approxroot(a,b,c)

relu = @(x)x .* (x>0);

totalprec=0;

% x4 indicates which entry of (-10:10) is a
w1 = ones(21,1);   b1 = -(-10:10)'-1;    x1 = relu(w1 * a + b1);
w2 = ones(21,1);   b2 = -(-10:10)';      x2 = relu(w2 * a + b2);
w3 = ones(21,1);   b3 = -(-10:10)'+1;    x3 = relu(w3 * a + b3);
w4p1 = ones(21,1); w4p2 = -2*ones(21,1); w4p3 = ones(21,1);
x4 = w4p1 .* x1 + w4p2 .* x2 + w4p3 .* x3;
totalprec = totalprec + prec(w1) + prec(w2) + prec(w3) + prec(b1) + prec(b2) + prec(b3) + prec(w4p1) + prec(w4p2) + prec(w4p3);

% x8 indicates which entry of (-10:10) is b
w5 = ones(21,1);   b5 = -(-10:10)'-1;    x5 = relu(w5 * b + b5);
w6 = ones(21,1);   b6 = -(-10:10)';      x6 = relu(w6 * b + b6);
w7 = ones(21,1);   b7 = -(-10:10)'+1;    x7 = relu(w7 * b + b7);
w8p1 = ones(21,1); w8p2 = -2*ones(21,1); w8p3 = ones(21,1);
x8 = w8p1 .* x5 + w8p2 .* x6 + w8p3 .* x7;
totalprec = totalprec + prec(w5) + prec(w6) + prec(w7) + prec(b5) + prec(b6) + prec(b7) + prec(w8p1) + prec(w8p2) + prec(w8p3);

% x12 indicates which entry of (-10:10) is c
w9 = ones(21,1);    b9 = -(-10:10)'-1;     x9 = relu(w9 * c + b9);
w10 = ones(21,1);   b10 = -(-10:10)';      x10 = relu(w10 * c + b10);
w11 = ones(21,1);   b11 = -(-10:10)'+1;    x11 = relu(w11 * c + b11);
w12p1 = ones(21,1); w12p2 = -2*ones(21,1); w12p3 = ones(21,1);
x12 = w12p1 .* x9 + w12p2 .* x10 + w12p3 .* x11;
totalprec = totalprec + prec(w9) + prec(w10) + prec(w11) + prec(b9) + prec(b10) + prec(b11) + prec(w12p1) + prec(w12p2) + prec(w12p3);

% x15 indicates which row of the roots file is relevant
x15=[];
for aa=-10:10
    w13 = 1;
    b13 = -2;
    x13 = w13 * x4(aa+11) + b13;
    totalprec = totalprec + prec(w13) + prec(b13);
    for bb=-10:10
        w14p1 = 1;
        w14p2 = 1;
        x14 = w14p1 * x13 + w14p2 * x8(bb+11);
        totalprec = totalprec + prec(w14p1) + prec(w14p2);
        for cc=-10:10
            w15p1 = 1;
            w15p2 = 1;
            x15(end+1,1) = relu(w15p1 * x14 + w15p2 * x12(cc+11));
            totalprec = totalprec + prec(w15p1) + prec(w15p2);
        end
    end
end

% r is the desired root, rounded to the nearest fifth
A = importdata('roots.txt');
outputs = 0.2 * round(5 * A(:,4)');
uniqueoutputs = unique(outputs);
x16 = [];
for rr = uniqueoutputs
    if rr == 0
        x16(end+1,:) = 0;
    else
        lvlset = find(outputs == rr);
        w16 = ones(1,length(lvlset));
        x16(end+1,:) = w16 * x15(lvlset);
        totalprec = totalprec + prec(w16);
    end
end
w17 = uniqueoutputs;
r = w17 * x16;
totalprec = totalprec + prec(w17);

%disp(totalprec) % uncomment to display score

end