ควรมีการสุ่มตัวอย่างตัวอย่างการฝึกอบรมสำหรับโครงข่ายประสาทการฝึกอบรมขนาดเล็กแบบสุ่มโดยไม่ต้องเปลี่ยนใหม่หรือไม่?

เรากำหนดยุคเมื่อผ่านตัวอย่างการฝึกอบรมที่มีทั้งหมดและขนาดมินิ - แบทช์เป็นจำนวนตัวอย่างที่เราเฉลี่ยเพื่อค้นหาการอัปเดตสำหรับน้ำหนัก / อคติที่จำเป็นในการไล่ระดับสี

คำถามของฉันคือเราควรวาดโดยไม่เปลี่ยนจากชุดตัวอย่างการฝึกอบรมเพื่อสร้าง mini-batch แต่ละชุดภายในยุค ฉันรู้สึกว่าเราควรหลีกเลี่ยงการแทนที่เพื่อให้แน่ใจว่าเรา "ดึงตัวอย่างทั้งหมด" เพื่อตอบสนองความต้องการในตอนท้ายของยุค แต่มีปัญหาในการหาคำตอบที่ชัดเจนไม่ทางใดก็ทางหนึ่ง

ฉันได้ลองใช้ Google และอ่าน Ch 1 ในเครือข่ายประสาทและการเรียนรู้เชิงลึกของ Nielsen แต่ไม่พบคำตอบที่ชัดเจน ในข้อความนั้น Nielsen ไม่ได้ระบุว่าการสุ่มตัวอย่างจะทำได้โดยไม่ต้องเปลี่ยน แต่ดูเหมือนจะบอกเป็นนัยว่า

การฝึกอบรมอย่างเป็นทางการที่ชัดเจนในยุคนี้สามารถดูได้ที่นี่หากต้องการ - /stats//a/141265/131630

แก้ไข: คำถามนี้ดูเหมือนกับฉัน แต่มันก็ไม่ชัดเจนว่าจะใช้ความจริงที่ว่าความเป็นเส้นตรงของความคาดหวังไม่แยแสกับความเป็นอิสระกับสถานการณ์นี้ - ควรสุ่มตัวอย่างเกิดขึ้นโดยมีหรือไม่มีการเปลี่ยน

การวิเคราะห์เชิงทฤษฎีที่ดีของทั้งที่มีและไม่มีสคีมาทดแทนในบริบทของอัลกอริธึมแบบวนซ้ำตามการสุ่มจับ (ซึ่งเป็นจำนวนเครือข่าย Deep Neural Discriminative (DNNs) ที่มีการเลือกปฏิบัติ) สามารถพบได้ที่นี่

ในระยะสั้นปรากฎว่าการสุ่มตัวอย่างโดยไม่มีการทดแทนนำไปสู่การลู่เข้าที่เร็วกว่าการสุ่มตัวอย่างด้วยการแทนที่

ฉันจะให้การวิเคราะห์สั้น ๆ ที่นี่ตามตัวอย่างของเล่นที่พวกเขาให้: สมมติว่าเราต้องการเพิ่มประสิทธิภาพฟังก์ชั่นวัตถุประสงค์ต่อไปนี้:

$$x_{\text{opt}} = \underset{x}{\arg\min} \frac{1}{2} \sum_{i=1}^{N}(x - y_i)^2$$

ที่เป้าหมาย ) ในตัวอย่างนี้เราพยายามที่จะหาค่าx ที่เหมาะสมโดยระบุN label ของy iอย่างชัดเจน$y_i \sim \mathcal{N}(\mu, \sigma^2)$$x$$N$$y_i$

ตกลงดังนั้นถ้าเราจะแก้ปัญหาที่ดีที่สุดสำหรับในข้างต้นโดยตรงแล้วเราจะใช้เวลาอนุพันธ์ของฟังก์ชั่นการสูญเสียที่นี่ให้ตั้งเป็น 0 และแก้ปัญหาสำหรับx ดังนั้นสำหรับตัวอย่างข้างต้นการสูญเสียคือ$x$$x$

$$L = \frac{1}{2} \sum_{i=1}^{N}(x - y_i)^2$$

และมันคืออนุพันธ์อันดับแรกคือ:

$$\frac{\delta L}{\delta x} = \sum_{i=1}^{N}(x - y_i)$$

การตั้งค่า 0 และแก้สำหรับxอัตราผลตอบแทน:$\frac{\delta L}{\delta x}$$x$

$$x_{\text{opt}} = \frac{1}{N} \sum_{i=1}^{N} y_i$$

ในคำอื่น ๆ วิธีการแก้ปัญหาที่ดีที่สุดคืออะไร แต่ค่าเฉลี่ยของกลุ่มตัวอย่างทั้งหมดตัวอย่างY$N$$y$

ตอนนี้ถ้าเราไม่สามารถทำการคำนวณข้างต้นทั้งหมดได้ในครั้งเดียวเราจะต้องทำมันซ้ำ ๆ ผ่านสมการการปรับปรุงแบบลาดลงทางลาดด้านล่าง:

$$x_i = x_{i-1} - \lambda_i \nabla(f(x_{i-1}))$$

และเพียงแค่ใส่เงื่อนไขของเราที่นี่ให้ผลตอบแทน:

$$x_{i} = x_{i-1} - \lambda_i (x_{i-1} - y_{i})$$

ถ้าเราทำงานข้างต้นทั้งหมดของเราจะทำการอัพเดทนี้อย่างมีประสิทธิภาพโดยไม่ต้องเปลี่ยนใหม่ จากนั้นกลายเป็นคำถามเราจะได้ค่าx ที่ดีที่สุดด้วยวิธีนี้ได้ไหม? (จำไว้ว่าค่าที่ดีที่สุดของxคืออะไรนอกจากค่าเฉลี่ยตัวอย่างของy ) คำตอบคือใช่ถ้าคุณให้λ ฉัน = 1 /ฉัน หากต้องการดูสิ่งนี้เราขยาย:$i \in {1, 2, ... N}$$x$$x$$y$$\lambda_i = 1/i$

$$x_{i} = x_{i-1} - \lambda_i (x_{i-1} - y_{i}) \\\ x_{i} = x_{i-1} - \frac{1}{i} (x_{i-1} - y_{i}) \\\ x_{i} = \frac{i x_{i-1} - (x_{i-1} - y_{i})}{i} \\\ x_{i} = \frac{(i - 1)x_{i-1} + y_{i}}{i} \\\ i x_{i} = (i - 1)x_{i-1} + y_{i} \\\ $$

อย่างไรก็ตามสมการสุดท้ายคืออะไรนอกจากสูตรสำหรับค่าเฉลี่ยการวิ่ง! ดังนั้นเมื่อเราวนรอบชุดจาก , i = 2 , ไปจนถึงi = Nเราจะทำการอัปเดตของเราโดยไม่มีการแทนที่และสูตรการอัพเดทของเราจะให้ทางออกที่ดีที่สุดของxซึ่งเป็น ค่าเฉลี่ยตัวอย่าง!$i=1$$i=2$$i=N$$x$

$$N x_{N} = (N - 1)x_{N-1} + y_{N} ==> x_N = \frac{1}{N}\sum_{i=1}^{N} y_i = \mu$$

อย่างไรก็ตามในทางกลับกันถ้าเราวาดด้วยการแทนที่แล้วในขณะที่การจับของเราจะเป็นอิสระอย่างแท้จริงค่าที่ปรับให้เหมาะสมจะแตกต่างจากค่าเฉลี่ย (เหมาะสม) μและข้อผิดพลาดของสแควร์จะได้รับจาก:$x_N$$\mu$

$$\mathop{E}\{(x_N - \mu)^2\}$$

ซึ่งจะเป็นค่าบวกและตัวอย่างของเล่นง่าย ๆ นี้สามารถขยายไปยังมิติที่สูงขึ้นได้ นี่คือผลลัพธ์ที่เราต้องการจะทำการสุ่มตัวอย่างโดยไม่ต้องเปลี่ยนเป็นวิธีการแก้ปัญหาที่เหมาะสมที่สุด

หวังว่านี่จะทำให้ชัดเจนมากขึ้น!

ตามรหัสในที่เก็บของ Nielsen จะมีการวาดมินิแบทช์โดยไม่มีการแทนที่:

    def SGD(self, training_data, epochs, mini_batch_size, eta, test_data=None):
    n = len(training_data)
    for j in range(epochs):
            random.shuffle(training_data)
            mini_batches = [
                training_data[k:k+mini_batch_size]
                for k in range(0, n, mini_batch_size)
            ]
            for mini_batch in mini_batches:
                self.update_mini_batch(mini_batch, eta)

เราจะเห็นได้ว่าไม่มีการเปลี่ยนตัวอย่างการฝึกอบรมภายในช่วงเวลา ที่น่าสนใจคือเราสามารถเห็นได้ว่า Nielsen เลือกที่จะไม่กังวลเกี่ยวกับการปรับeta(อัตราการเรียนรู้) สำหรับขนาด mini_batch สุดท้ายซึ่งอาจไม่ได้มีตัวอย่างการฝึกอบรมมากเท่ากับชุดมินิก่อนหน้านี้ สันนิษฐานว่านี่เป็นการดัดแปลงขั้นสูงที่เขาทิ้งไว้สำหรับบทต่อ ๆ มา **

** แก้ไข: ที่จริงแล้วสเกลนี้เกิดขึ้นในdef update_mini_batchฟังก์ชั่น ตัวอย่างเช่นด้วยน้ำหนัก:

self.weights = [w-(eta/len(mini_batch))*nw for w, nw in zip(self.weights, nabla_w)]     

สิ่งนี้จำเป็นเนื่องจาก mini_batch สุดท้ายอาจเล็กกว่า mini_batches ก่อนหน้าหากจำนวนตัวอย่างการฝึกอบรมต่อ mini_batch ไม่แบ่งเท่า ๆ กันเป็นจำนวนตัวอย่างการฝึกอบรมทั้งหมดที่มี

mylist = ['1', '2', '3', '4', '5', '6', '7', '8', '9', '10']
n = len(mylist)
mini_batch_size = 2
mini_batches = [
    mylist[k:k+mini_batch_size]
    for k in range(0, n, mini_batch_size)
    ]
for mini_batch in mini_batches:
    print(mini_batch)

เอาท์พุท:

['1', '2']
['3', '4']
['5', '6']
['7', '8']
['9', '10']

การเปลี่ยนmini_batch_sizeไปใช้3ซึ่งไม่ได้แบ่งตัวอย่างการฝึกอบรม 10 ตัวอย่าง สำหรับผลลัพธ์เราได้รับ:

['1', '2', '3']
['4', '5', '6']
['7', '8', '9']
['10']

เมื่อประเมินช่วงเหนือดัชนีรายการ (บางสิ่งบางอย่างของรูปแบบ[x:y]ที่xและyเป็นดัชนีบางส่วนในรายการ) ถ้ามูลค่าทางด้านขวาของเราเกินความยาวของรายการหลามเพียงส่งคืนรายการจากรายการจนถึงค่าออกไปนอกช่วงดัชนี .

ดังนั้นมินิแบทช์สุดท้ายอาจมีขนาดเล็กกว่าแบตช์ก่อนหน้านี้ แต่ถ้ามีการถ่วงน้ำหนักเหมือนกันetaตัวอย่างการฝึกอบรมเหล่านั้นจะมีส่วนช่วยในการเรียนรู้มากกว่าตัวอย่างในชุดอื่นมินิแบตช์ขนาดใหญ่ เนื่องจากนี่เป็นเพียงมินิแบทช์สุดท้ายจึงอาจไม่คุ้มค่าที่จะกังวลมากเกินไป แต่สามารถแก้ไขได้อย่างง่ายดายโดยการปรับขนาดetaตามความยาวของมินิแบทช์