ทำไมกลับเผยแพร่ผ่านเวลาใน RNN

ในเครือข่ายประสาทที่เกิดขึ้นอีกคุณมักจะส่งต่อการแพร่กระจายผ่านหลายขั้นตอน "ปลด" เครือข่ายและจากนั้นกลับแพร่กระจายไปตามลำดับของอินพุต

ทำไมคุณไม่เพียงแค่อัปเดตน้ำหนักหลังจากแต่ละขั้นตอนตามลำดับ (เทียบเท่ากับการใช้ความยาวของการตัดทอนที่ 1 ดังนั้นจึงไม่มีสิ่งใดที่จะคลี่คลาย) สิ่งนี้ขจัดปัญหาการไล่ระดับสีที่หายไปอย่างสมบูรณ์ลดความซับซ้อนของอัลกอริทึมอย่างมากอาจจะลดโอกาสที่จะติดอยู่ในท้องถิ่น . ฉันฝึกรูปแบบด้วยวิธีนี้เพื่อสร้างข้อความและผลลัพธ์ที่ได้นั้นเทียบได้กับผลลัพธ์ที่ฉันเห็นจากแบบจำลองที่ผ่านการฝึกอบรมของ BPTT ฉันสับสนเพียงแค่นี้เพราะทุกบทช่วยสอนเกี่ยวกับ RNN ฉันเห็นว่าใช้ BPTT เกือบราวกับว่าจำเป็นสำหรับการเรียนรู้ที่เหมาะสมซึ่งไม่ใช่กรณี

อัปเดต: ฉันเพิ่มคำตอบ

— Frobot
แหล่งที่มา

ทิศทางที่น่าสนใจในการทำวิจัยนี้คือการเปรียบเทียบผลลัพธ์ที่คุณประสบความสำเร็จกับปัญหาของคุณกับการเปรียบเทียบที่ตีพิมพ์ในวรรณกรรมเกี่ยวกับปัญหา RNN มาตรฐาน นั่นจะทำให้บทความที่ยอดเยี่ยมจริงๆ

— Sycorax พูดว่า Reinstate Monica

"อัปเดต: ฉันเพิ่มคำตอบ" ของคุณแทนที่การแก้ไขก่อนหน้าด้วยคำอธิบายสถาปัตยกรรมและภาพประกอบของคุณ มันตั้งใจหรือไม่

— อะมีบาพูดว่า Reinstate Monica

ใช่ฉันเอามันออกมาเพราะมันดูเหมือนจะไม่เกี่ยวข้องกับคำถามจริง ๆ และมันก็ใช้พื้นที่มาก แต่ฉันสามารถเพิ่มมันกลับมาได้ถ้ามันช่วยได้

— Frobot

ผู้คนดูเหมือนจะมีปัญหาอย่างมากกับการเข้าใจสถาปัตยกรรมของคุณดังนั้นฉันเดาว่าคำอธิบายเพิ่มเติมใด ๆ ที่เป็นประโยชน์ คุณสามารถเพิ่มลงในคำตอบของคุณแทนคำถามของคุณหากคุณต้องการ

— อะมีบากล่าวว่า Reinstate Monica

คำตอบ:

แก้ไข: ฉันทำผิดพลาดครั้งใหญ่เมื่อเปรียบเทียบทั้งสองวิธีและต้องเปลี่ยนคำตอบ มันกลับกลายเป็นว่าฉันกำลังทำอยู่เพียงแค่ย้อนกลับไปเผยแพร่ในขั้นตอนเวลาปัจจุบันจริง ๆ แล้วเริ่มเรียนรู้เร็วขึ้น การอัปเดตด่วนจะเรียนรู้รูปแบบพื้นฐานที่สุดอย่างรวดเร็ว แต่ในชุดข้อมูลที่มีขนาดใหญ่ขึ้นและด้วยเวลาการฝึกอบรมที่ยาวนานขึ้น BPTT ก็ออกมาด้านบน ฉันกำลังทดสอบกลุ่มตัวอย่างเพียงไม่กี่ยุคและคิดว่าใครก็ตามที่ชนะการแข่งขันจะเป็นผู้ชนะ แต่นี่ทำให้ฉันพบสิ่งที่น่าสนใจ หากคุณเริ่มต้นการฝึกอบรมกลับเผยแพร่เพียงขั้นตอนเดียวจากนั้นเปลี่ยนเป็น BPTT และค่อยๆเพิ่มระยะเวลาที่คุณเผยแพร่คุณจะได้รับการลู่เข้าที่เร็วขึ้น

— Frobot
แหล่งที่มา

ขอบคุณสำหรับการอัปเดตของคุณ ในแหล่งที่มาของภาพสุดท้ายนั้นเขากล่าวสิ่งนี้เกี่ยวกับการตั้งค่าแบบหนึ่งต่อหนึ่ง : "โหมดการประมวลผลวานิลลาที่ไม่มี RNN จากอินพุตขนาดคงที่ไปยังเอาต์พุตขนาดคงที่ (เช่นการจัดประเภทภาพ)" นั่นคือสิ่งที่เรากำลังพูด หากเป็นไปตามที่คุณอธิบายไว้มันไม่มีสถานะและไม่ใช่ RNN "การส่งต่อไปยังการส่งผ่านอินพุตเดียวก่อนการเผยแพร่กลับ" - ฉันเรียกว่า ANN แต่สิ่งเหล่านี้จะไม่ทำงานได้ดีกับข้อความดังนั้นมีอะไรเกิดขึ้นและฉันก็ไม่รู้ว่าเพราะฉันไม่มีรหัส

— Ragagpr

ฉันไม่ได้อ่านส่วนนั้นและคุณถูกต้อง แบบจำลองที่ฉันใช้นั้นแท้จริงแล้วคือ "หลายต่อหลาย" ทางด้านขวาสุด ฉันสันนิษฐานว่าในส่วน "หนึ่งต่อหนึ่ง" มีสิ่งเหล่านี้เชื่อมต่อกันอยู่มากมายและภาพวาดเพิ่งปล่อยออกมา แต่ที่จริงแล้วเป็นหนึ่งในตัวเลือกทางด้านขวาสุดที่ฉันไม่ได้สังเกตเห็น (มันแปลกที่มีหนึ่งในนั้นในบล็อกเกี่ยวกับ RNN ดังนั้นฉันคิดว่าพวกเขาทั้งหมดเกิดขึ้นอีก) ฉันจะแก้ไขส่วนนั้นของคำตอบเพื่อให้เข้าใจมากขึ้น

— Frobot

ฉันคิดว่าเป็นกรณีนั่นคือเหตุผลที่ฉันยืนยันที่จะเห็นฟังก์ชั่นการสูญเสียของคุณ ถ้ามันหลายหลายสูญเสียของคุณจะคล้ายกับ

และก็เหมือนกัน RNN และคุณขยายพันธุ์กำลัง / inputing ทั้งลำดับ แต่แล้วก็ตัดทอน BPTT คือคุณ' d คำนวณส่วนสีแดงในโพสต์ของฉัน แต่ไม่ชดเชยเพิ่มเติม

e r r o r = \sum_{t} (y_{t} - {\hat{y}}_{t})^{2}

$error=\sum_t(y_t-\hat{y}_t)^2$

— ragulpr

ฟังก์ชั่นการสูญเสียของฉันไม่ได้รวมอยู่ตลอดเวลา ฉันรับหนึ่งอินพุทรับเอาท์พุทหนึ่งตัวจากนั้นคำนวณการสูญเสียและอัปเดตตุ้มน้ำหนักจากนั้นไปยัง t + 1 ดังนั้นจึงไม่มีผลรวมใด ๆ ฉันจะเพิ่มฟังก์ชั่นการสูญเสียที่แน่นอนในโพสต์ต้นฉบับ

— Frobot

เพียงโพสต์รหัสของคุณฉันไม่ได้คาดเดาอีกต่อไปนี่เป็นเรื่องโง่

— ragulpr

RNN เป็น Deep Neural Network (DNN) ซึ่งแต่ละชั้นอาจรับอินพุตใหม่ แต่มีพารามิเตอร์เดียวกัน BPT เป็นคำแฟนซีสำหรับการแพร่กระจายย้อนกลับบนเครือข่ายซึ่งเป็นคำแฟนซีสำหรับการไล่ระดับสี

บอกว่า RNN เอาท์พุทในแต่ละขั้นตอนและ $\hat{y}_t$

อี R R โอ R_{เสื้อ} = (Y_{เสื้อ} - {\hat{Y}}_{เสื้อ})^{2}

$\begin{equation} error_t=(y_t-\hat{y}_t)^2 \end{equation}$

เพื่อเรียนรู้น้ำหนักเราต้องการการไล่ระดับสีสำหรับฟังก์ชันเพื่อตอบคำถาม"การเปลี่ยนแปลงของพารามิเตอร์มีผลต่อฟังก์ชันการสูญเสียมากแค่ไหน" และย้ายพารามิเตอร์ไปในทิศทางที่กำหนดโดย:

\nabla อี R R โอ R_{เสื้อ} = - 2 (Y_{เสื้อ} - {\hat{Y}}_{เสื้อ}) \nabla {\hat{Y}}_{เสื้อ}

$\begin{equation} \nabla error_t=-2(y_t-\hat{y}_t)\nabla \hat{y}_t \end{equation}$

คือเรามี DNN ที่เราได้รับคำติชมว่าการทำนายแต่ละชั้นนั้นดีแค่ไหน เนื่องจากการเปลี่ยนแปลงของพารามิเตอร์จะเปลี่ยนทุกเลเยอร์ใน DNN (การประทับเวลา) และทุกเลเยอร์มีส่วนร่วมกับเอาท์พุตที่กำลังจะมาถึงซึ่งจำเป็นต้องนำมาพิจารณา

ใช้เครือข่ายเลเยอร์หนึ่งเดียวที่เรียบง่ายเพื่อดูสิ่งนี้อย่างชัดเจน:

\begin{aligned} {\hat{Y}}_{เสื้อ + 1} = & ฉ (a + ข x_{เสื้อ} + ค {\hat{Y}}_{เสื้อ}) \\ \frac{\partial}{\partial a} {\hat{Y}}_{เสื้อ + 1} = & ฉ^{'} (a + ข x_{เสื้อ} + ค {\hat{Y}}_{เสื้อ}) \cdot ค \cdot \frac{\partial}{\partial a} {\hat{Y}}_{เสื้อ} \\ \frac{\partial}{\partial ข} {\hat{Y}}_{เสื้อ + 1} = & ฉ^{'} (a + ข x_{เสื้อ} + ค {\hat{Y}}_{เสื้อ}) \cdot (x_{เสื้อ} + ค \cdot \frac{\partial}{\partial ข} {\hat{Y}}_{เสื้อ}) \\ \frac{\partial}{\partial ค} {\hat{Y}}_{เสื้อ + 1} = & ฉ^{'} (a + ข x_{เสื้อ} + ค {\hat{Y}}_{เสื้อ}) \cdot ({\hat{Y}}_{เสื้อ} + ค \cdot \frac{\partial}{\partial ค} {\hat{Y}}_{เสื้อ}) \\ ⟺ \\ \nabla {\hat{Y}}_{เสื้อ + 1} = & ฉ^{'} (a + ข x_{เสื้อ} + ค {\hat{Y}}_{เสื้อ}) \cdot ([\begin{matrix} 0 \\ x_{เสื้อ} \\ {\hat{Y}}_{เสื้อ} \end{matrix}] + ค \nabla {\hat{Y}}_{เสื้อ}) \end{aligned}

$\begin{align*} \hat{y}_{t+1} =& f(a+bx_t+c\hat{y}_t)\\ \frac{\partial}{\partial a}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot c\cdot \frac{\partial}{\partial a}\hat{y}_{t} \\ \frac{\partial}{\partial b}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot (x_t+c\cdot\frac{\partial}{\partial b}\hat{y}_{t})\\ \frac{\partial}{\partial c}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot (\hat{y}_t+c\cdot\frac{\partial}{\partial c}\hat{y}_{t})\\ \iff\\ \nabla \hat{y}_{t+1} =& f'(a+bx_t+c\hat{y}_t)\cdot \left(\begin{bmatrix}0\\x_t\\\hat{y}_t \end{bmatrix} + c \mathbin{\color{red}{\nabla \hat{y}_{t}}} \right) \end{align*}$

ด้วยอัตราการเรียนรู้ขั้นตอนการฝึกอบรมหนึ่งแล้ว: $\delta$

[\begin{matrix} \tilde{a} \\ \tilde{b} \\ \tilde{c} \end{matrix}] \leftarrow [\begin{matrix} a \\ b \\ c \end{matrix}] + δ (y_{t} - {\hat{y}}_{t}) \nabla {\hat{y}}_{t}

$\begin{equation} \begin{bmatrix}\tilde{a}\\\tilde{b}\\\tilde{c}\end{bmatrix} \leftarrow \begin{bmatrix}a\\b\\c\end{bmatrix} + \delta (y_{t}-\hat{y}_{t})\nabla \hat{y}_t \end{equation}$

สิ่งที่เราเห็นก็คือว่าในการคำนวณที่คุณต้องการในการคำนวณคือม้วนออกเสื้อสิ่งที่คุณเสนอคือการ~~ไม่สนใจส่วนสีแดง~~คำนวณส่วนสีแดงสำหรับแต่จะไม่เรียกเก็บเพิ่มเติม ฉันคิดว่าการสูญเสียของคุณเป็นอย่างไร $\nabla \hat{y}_{t+1}$ $\nabla \hat{y}_{t}$ $t$

e r r o r = \sum_{t} (y_{t} - {\hat{y}}_{t})^{2}

$\begin{equation} error=\sum_t(y_t-\hat{y}_t)^2 \end{equation}$

บางทีแต่ละขั้นตอนจะมีส่วนร่วมในทิศทางที่หยาบซึ่งเพียงพอในการรวม? สิ่งนี้สามารถอธิบายผลลัพธ์ของคุณ แต่ฉันสนใจที่จะรับฟังเพิ่มเติมเกี่ยวกับวิธี / ฟังก์ชั่นการสูญเสียของคุณ! และจะสนใจในการเปรียบเทียบกับการประทับเวลาสองครั้งที่หน้าต่าง ANN

edit4: หลังจากอ่านความคิดเห็นดูเหมือนว่าสถาปัตยกรรมของคุณไม่ใช่ RNN

$h_t$

~~แบบจำลองของคุณ: ไร้รัฐ - สถานะที่ซ่อนสร้างใหม่ในแต่ละขั้นตอนการแก้ไข 2~~ : เพิ่มผู้อ้างอิงเพิ่มเติมไปยัง DNNs edit3: gradstep คงที่และการแก้ไขสัญลักษณ์ 5: แก้ไขการตีความโมเดลของคุณหลังจากคำตอบ / การชี้แจง

— ragulpr
แหล่งที่มา

ขอบคุณสำหรับคำตอบ. ฉันคิดว่าคุณอาจเข้าใจผิดว่าฉันกำลังทำอะไรอยู่ ในการแพร่กระจายไปข้างหน้าฉันทำเพียงขั้นตอนเดียวดังนั้นในการขยายพันธุ์หลังมันก็เป็นเพียงขั้นตอนเดียว ฉันจะไม่ส่งต่อการแพร่กระจายไปยังหลายอินพุตในลำดับการฝึกอบรม ฉันเห็นสิ่งที่คุณหมายถึงเกี่ยวกับทิศทางที่หยาบคายที่เพียงพอในการรวมเพื่อให้การเรียนรู้ แต่ฉันได้ตรวจสอบการไล่ระดับสีของฉันกับการไล่ระดับสีที่คำนวณด้วยตัวเลขและพวกเขาตรงกับตำแหน่งทศนิยม 10+ เสาหลังทำงานได้ดี ฉันกำลังใช้การสูญเสียเอนโทรปีข้าม

— Frobot

ฉันกำลังทำงานกับการใช้แบบจำลองเดียวกันของฉันและฝึกกับ BPTT อีกครั้งเนื่องจากเราพูดว่ามีการเปรียบเทียบที่ชัดเจน ฉันยังได้ฝึกฝนแบบจำลองโดยใช้อัลกอริทึม "ขั้นตอนเดียว" เพื่อทำนายว่าราคาหุ้นจะสูงขึ้นหรือลดลงในวันถัดไปซึ่งได้รับความแม่นยำที่เหมาะสมดังนั้นฉันจะมีสองรุ่นที่แตกต่างกันเพื่อเปรียบเทียบ BPTT

— Frobot

หากคุณส่งต่อไปข้างหน้าเพียงขั้นตอนเดียว ANN สองชั้นนี้ไม่ได้มีการป้อนข้อมูลคุณลักษณะของขั้นตอนสุดท้ายไปที่เลเยอร์แรกให้ป้อนคุณสมบัติไปยังขั้นตอนปัจจุบันที่เลเยอร์ที่สอง แต่มีน้ำหนัก / พารามิเตอร์เดียวกันสำหรับทั้งสองเลเยอร์ ฉันคาดหวังผลลัพธ์ที่คล้ายกันหรือดีกว่าด้วย ANN ที่รับอินพุต

{\hat{y}}_{t + 1} = f (x_{t}, x_{t - 1})

$\hat{y}_{t+1}=f(x_t,x_{t-1})$ นั่นคือใช้ขนาดเวลาที่แน่นอนของหน้าต่าง 2 หากดำเนินไปข้างหน้าเพียงหนึ่งขั้นตอนจะสามารถเรียนรู้การพึ่งพาระยะยาวได้หรือไม่

— ragulpr

ฉันกำลังใช้หน้าต่างแบบเลื่อนขนาด 1 แต่ผลลัพธ์แตกต่างอย่างมากจากการสร้างหน้าต่างแบบเลื่อนขนาด 2 ANN ที่มีอินพุต (xt, xt − 1) ฉันจงใจปล่อยให้มันมากเกินไปเมื่อเรียนรู้เนื้อหาขนาดใหญ่และสามารถทำซ้ำข้อความทั้งหมดด้วย 0 ข้อผิดพลาดซึ่งต้องรู้การพึ่งพาระยะยาวที่จะเป็นไปไม่ได้ถ้าคุณมี (xt, xt − 1) เป็นเพียงอินพุต คำถามเดียวที่ฉันทิ้งไว้คือถ้าใช้ BPTT จะอนุญาตให้การพึ่งพากลายเป็นอีกต่อไป แต่จริง ๆ แล้วมันดูเหมือนจะไม่เป็นเช่นนั้น

— Frobot

ดูโพสต์ที่อัปเดตของฉัน สถาปัตยกรรมของคุณไม่ได้เป็น RNN มันไร้สัญชาติดังนั้นการพึ่งพาในระยะยาวที่ไม่ได้ถูกอบเข้าสู่คุณสมบัติอย่างชัดเจน การคาดการณ์ก่อนหน้าไม่มีผลต่อการทำนายอนาคต คุณสามารถเห็นสิ่งนี้ราวกับว่า

\frac{\partial}{\partial {\hat{y}}_{t - 2}} {\hat{y}}_{t} = 0

$\frac{\partial}{\partial \hat{y}_{t-2}}\hat{y}_t =0$ สำหรับสถาปัตยกรรมของคุณ BPTT มีทฤษฎีเหมือนกับ BP แต่เล่นบนสถาปัตยกรรม RNN ดังนั้นคุณทำไม่ได้ แต่ฉันเห็นว่าคุณหมายถึงอะไรและคำตอบคือไม่ จะน่าสนใจมากที่จะเห็นการทดลองใน stateful RNN แต่ OneStep BPTT แม้ว่า ^^

— ragulpr

"การแฉผ่านเวลา" เป็นเพียงการประยุกต์กฎลูกโซ่

\frac{d F (ก. (x), ชั่วโมง (x), ม. (x))}{d x} = \frac{\partial F}{\partial ก.} \frac{d ก.}{d x} + \frac{\partial F}{\partial ชั่วโมง} \frac{d ชั่วโมง}{d x} + \frac{\partial F}{\partial ม.} \frac{d ม.}{d x}

$\frac{dF(g(x), h(x), m(x))}{dx} = \frac{\partial F}{\partial g}\frac{dg}{dx} + \frac{\partial F}{\partial h}\frac{dh}{dx} + \frac{\partial F}{\partial m}\frac{dm}{dx}$

เอาต์พุตของ RNN ในขั้นตอนเวลา $t$ , $H_t$ เป็นฟังก์ชั่นของพารามิเตอร์ $\theta$ การป้อนข้อมูล $x_t$ และสถานะก่อนหน้า $H_{t-1}$ (โปรดทราบว่าแทน $H_t$ อาจถูกเปลี่ยนอีกครั้งในขั้นตอนเวลา $t$ เพื่อให้ได้ผลลัพธ์ที่ไม่สำคัญที่นี่) จำเป้าหมายของการไล่ระดับสี: ให้ฟังก์ชันข้อผิดพลาดบางอย่าง $L$ ลองดูที่ข้อผิดพลาดของเราสำหรับตัวอย่างปัจจุบัน (หรือตัวอย่าง) แล้วลองปรับ $\theta$ ในลักษณะที่ให้ตัวอย่างเดียวกันอีกครั้งข้อผิดพลาดของเราจะลดลง

ทำยังไงกันแน่ $\theta$ นำไปสู่ข้อผิดพลาดในปัจจุบันของเรา? เราได้ผลรวมถ่วงน้ำหนักกับข้อมูลปัจจุบันของเรา $x_t$ ดังนั้นเราจะต้อง backpropagate ผ่านอินพุตเพื่อค้นหา $\nabla_\theta a(x_t, \theta)$ เพื่อหาวิธีปรับตัว $\theta$ . แต่ข้อผิดพลาดของเราก็เป็นผลมาจากการมีส่วนร่วมจาก $H_{t-1}$ ซึ่งเป็นหน้าที่ของ $\theta$ ใช่มั้ย ดังนั้นเราต้องหาคำตอบ $\nabla_\theta H_{t-1}$ ซึ่งเป็นหน้าที่ของ $x_{t-1}$ , $\theta$ และ $H_{t-2}$ . แต่ $H_{t-2}$ ยังเป็นฟังก์ชั่นหน้าที่ของ $\theta$ . และอื่น ๆ

— Matthew Hampsey
แหล่งที่มา

ฉันเข้าใจว่าทำไมคุณกลับเผยแพร่เมื่อเวลาผ่านไปในแบบดั้งเดิม RNN ฉันกำลังพยายามหาสาเหตุที่ RNN แบบดั้งเดิมใช้อินพุตหลายตัวพร้อมกันสำหรับการฝึกอบรมเมื่อใช้เพียงครั้งละหนึ่งครั้งก็ง่ายขึ้นและใช้งานได้

— Frobot

ความรู้สึกเดียวที่คุณสามารถป้อนได้ในหลายอินพุตพร้อมกันใน RNN คือการป้อนตัวอย่างการฝึกอบรมหลาย ๆ ตัวอย่างเป็นส่วนหนึ่งของแบทช์ ขนาดแบตช์นั้นไม่มีกฎเกณฑ์และการประกันการบรรจบกันสำหรับขนาดใดก็ได้ แต่ขนาดแบตช์ที่สูงกว่าอาจนำไปสู่การประมาณค่าการไล่ระดับสีที่แม่นยำยิ่งขึ้นและการคอนเวอร์เจนซ์ที่เร็วขึ้น

— Matthew Hampsey

นั่นไม่ใช่สิ่งที่ฉันหมายถึง "หลายอินพุตพร้อมกัน" ฉันพูดไม่ค่อยเก่ง ฉันหมายถึงคุณมักจะส่งต่อแพร่กระจายผ่านอินพุตหลายชุดในลำดับการฝึกอบรมจากนั้นย้อนกลับแพร่กระจายกลับไปทั้งหมดจากนั้นอัปเดตน้ำหนัก ดังนั้นคำถามคือทำไมการแพร่กระจายผ่านลำดับทั้งหมดเมื่อทำเพียงหนึ่งอินพุตในเวลานั้นง่ายกว่ามากและยังใช้งานได้

— Frobot

ฉันคิดว่าต้องการคำอธิบายบางอย่างที่นี่ เมื่อคุณพูดว่า "อินพุต" คุณหมายถึงตัวอย่างการฝึกอบรมหลายรายการหรือคุณอ้างถึงขั้นตอนหลายขั้นตอนภายในตัวอย่างการฝึกอบรมเดียวหรือไม่

— Matthew Hampsey

ฉันจะโพสต์คำตอบสำหรับคำถามนี้ภายในสิ้นวันนี้ ฉันสร้างเวอร์ชัน BPTT เสร็จแล้วเพียงแค่ต้องฝึกอบรมและเปรียบเทียบ หลังจากนั้นถ้าคุณยังต้องการเห็นโค้ดให้ฉันรู้ว่าคุณต้องการเห็นอะไรและฉันเดาว่าฉันยังสามารถโพสต์มันได้

— Frobot