ดาวน์โหลดไฟล์ขนาดใหญ่ในไพ ธ อนพร้อมคำขอ

คำขอเป็นห้องสมุดที่ดีจริงๆ ฉันต้องการใช้เพื่อดาวน์โหลดไฟล์ขนาดใหญ่ (> 1GB) ปัญหาคือมันเป็นไปไม่ได้ที่จะเก็บไฟล์ทั้งหมดไว้ในหน่วยความจำฉันต้องอ่านมันเป็นชิ้น ๆ และนี่เป็นปัญหาของรหัสต่อไปนี้

import requests

def DownloadFile(url)
    local_filename = url.split('/')[-1]
    r = requests.get(url)
    f = open(local_filename, 'wb')
    for chunk in r.iter_content(chunk_size=512 * 1024): 
        if chunk: # filter out keep-alive new chunks
            f.write(chunk)
    f.close()
    return 

ด้วยเหตุผลบางอย่างมันไม่ทำงานด้วยวิธีนี้ มันยังโหลดการตอบสนองลงในหน่วยความจำก่อนบันทึกลงในไฟล์

UPDATE

หากคุณต้องการลูกค้าขนาดเล็ก (หลาม 2.x /3.x) ซึ่งสามารถดาวน์โหลดไฟล์ขนาดใหญ่จาก FTP, คุณสามารถค้นหาได้ที่นี่ มันรองรับมัลติเธรด & เชื่อมต่อใหม่ (มันเชื่อมต่อจอภาพ) และยังปรับซ็อกเก็ตสำหรับงานดาวน์โหลด

ด้วยรหัสการสตรีมต่อไปนี้การใช้หน่วยความจำ Python จะถูก จำกัด โดยไม่คำนึงถึงขนาดของไฟล์ที่ดาวน์โหลด:

def download_file(url):
    local_filename = url.split('/')[-1]
    # NOTE the stream=True parameter below
    with requests.get(url, stream=True) as r:
        r.raise_for_status()
        with open(local_filename, 'wb') as f:
            for chunk in r.iter_content(chunk_size=8192): 
                # If you have chunk encoded response uncomment if
                # and set chunk_size parameter to None.
                #if chunk: 
                f.write(chunk)
    return local_filename

โปรดทราบว่าจำนวนไบต์ที่ส่งคืนโดยใช้iter_contentไม่ตรงchunk_size; คาดว่าจะเป็นตัวเลขสุ่มที่มักจะใหญ่กว่าและคาดว่าจะแตกต่างกันในการคำนวณซ้ำทุกครั้ง

ดูhttps://requests.readthedocs.io/en/latest/user/advanced/#body-content-workflowและhttps://requests.readthedocs.io/en/latest/api/#requests.Response.iter_contentสำหรับเพิ่มเติม การอ้างอิง

มันง่ายกว่าถ้าคุณใช้Response.rawและshutil.copyfileobj():

import requests
import shutil

def download_file(url):
    local_filename = url.split('/')[-1]
    with requests.get(url, stream=True) as r:
        with open(local_filename, 'wb') as f:
            shutil.copyfileobj(r.raw, f)

    return local_filename

สตรีมไฟล์นี้ไปยังดิสก์โดยไม่ต้องใช้หน่วยความจำมากเกินไปและรหัสง่าย

ไม่ว่า OP จะขออะไร แต่ ... มันเป็นเรื่องง่ายที่จะทำเช่นนั้นด้วยurllib:

from urllib.request import urlretrieve
url = 'http://mirror.pnl.gov/releases/16.04.2/ubuntu-16.04.2-desktop-amd64.iso'
dst = 'ubuntu-16.04.2-desktop-amd64.iso'
urlretrieve(url, dst)

หรือด้วยวิธีนี้หากคุณต้องการบันทึกเป็นไฟล์ชั่วคราว:

from urllib.request import urlopen
from shutil import copyfileobj
from tempfile import NamedTemporaryFile
url = 'http://mirror.pnl.gov/releases/16.04.2/ubuntu-16.04.2-desktop-amd64.iso'
with urlopen(url) as fsrc, NamedTemporaryFile(delete=False) as fdst:
    copyfileobj(fsrc, fdst)

ฉันดูกระบวนการ:

watch 'ps -p 18647 -o pid,ppid,pmem,rsz,vsz,comm,args; ls -al *.iso'

และฉันเห็นไฟล์เพิ่มขึ้น แต่การใช้หน่วยความจำอยู่ที่ 17 MB ฉันพลาดอะไรไปรึเปล่า?

ขนาดก้อนของคุณอาจใหญ่เกินไปคุณลองลดขนาดนั้นลงทีละ 1024 ไบต์หรือไม่? (เช่นคุณสามารถใช้withเพื่อจัดระเบียบไวยากรณ์)

def DownloadFile(url):
    local_filename = url.split('/')[-1]
    r = requests.get(url)
    with open(local_filename, 'wb') as f:
        for chunk in r.iter_content(chunk_size=1024): 
            if chunk: # filter out keep-alive new chunks
                f.write(chunk)
    return 

อนึ่งคุณคิดว่าการตอบสนองนั้นถูกโหลดเข้าสู่หน่วยความจำอย่างไร

ดูเหมือนว่าไพ ธ อนไม่ได้ล้างข้อมูลไปยังไฟล์จากคำถาม SOอื่น ๆ ที่คุณสามารถลองf.flush()และos.fsync()บังคับให้ไฟล์เขียนและหน่วยความจำว่าง

    with open(local_filename, 'wb') as f:
        for chunk in r.iter_content(chunk_size=1024): 
            if chunk: # filter out keep-alive new chunks
                f.write(chunk)
                f.flush()
                os.fsync(f.fileno())