วิธีดาวน์โหลดรูปภาพโดยใช้คำขอ

ฉันกำลังพยายามดาวน์โหลดและบันทึกภาพจากเว็บโดยใช้requestsโมดูลของไพธ อน

นี่คือรหัส (ที่ใช้งานได้) ที่ฉันใช้:

img = urllib2.urlopen(settings.STATICMAP_URL.format(**data))
with open(path, 'w') as f:
    f.write(img.read())

นี่คือรหัสใหม่ (ไม่ทำงาน) โดยใช้requests:

r = requests.get(settings.STATICMAP_URL.format(**data))
if r.status_code == 200:
    img = r.raw.read()
    with open(path, 'w') as f:
        f.write(img)

คุณสามารถช่วยฉันในสิ่งที่แอตทริบิวต์จากการตอบสนองต่อการใช้งานจากrequests?

คุณสามารถใช้response.rawวัตถุไฟล์หรือทำซ้ำมากกว่าการตอบสนอง

หากต้องการใช้response.rawวัตถุคล้ายไฟล์จะไม่ถอดรหัสการตอบกลับที่ถูกบีบอัด (ด้วย GZIP หรือยุบ) คุณสามารถบังคับให้คลายการบีบอัดสำหรับคุณได้โดยตั้งค่าdecode_contentแอตทริบิวต์เป็นTrue( requestsตั้งค่าเป็นFalseควบคุมการถอดรหัสเอง) จากนั้นคุณสามารถใช้shutil.copyfileobj()เพื่อให้ Python สตรีมข้อมูลไปยังวัตถุไฟล์:

import requests
import shutil

r = requests.get(settings.STATICMAP_URL.format(**data), stream=True)
if r.status_code == 200:
    with open(path, 'wb') as f:
        r.raw.decode_content = True
        shutil.copyfileobj(r.raw, f)        

หากต้องการวนซ้ำการตอบกลับให้ใช้การวนซ้ำ การวนซ้ำเช่นนี้ทำให้มั่นใจได้ว่าข้อมูลจะถูกขยายโดยขั้นตอนนี้:

r = requests.get(settings.STATICMAP_URL.format(**data), stream=True)
if r.status_code == 200:
    with open(path, 'wb') as f:
        for chunk in r:
            f.write(chunk)

นี่จะอ่านข้อมูลในหน่วยจำนวน 128 ไบต์; หากคุณรู้สึกว่าขนาดก้อนอื่นทำงานได้ดีขึ้นให้ใช้Response.iter_content()วิธีการที่มีขนาดก้อนแบบกำหนดเอง:

r = requests.get(settings.STATICMAP_URL.format(**data), stream=True)
if r.status_code == 200:
    with open(path, 'wb') as f:
        for chunk in r.iter_content(1024):
            f.write(chunk)

โปรดทราบว่าคุณต้องเปิดไฟล์ปลายทางในโหมดไบนารี่เพื่อให้มั่นใจว่าไพ ธ อนไม่ได้พยายามแปลบรรทัดใหม่สำหรับคุณ นอกจากนี้เรายังตั้งค่าstream=Trueเพื่อrequestsไม่ให้ดาวน์โหลดภาพทั้งหมดลงในหน่วยความจำก่อน

รับวัตถุเหมือนไฟล์จากคำขอและคัดลอกไปยังไฟล์ นอกจากนี้ยังจะหลีกเลี่ยงการอ่านสิ่งทั้งหมดลงในหน่วยความจำทันที

import shutil

import requests

url = 'http://example.com/img.png'
response = requests.get(url, stream=True)
with open('img.png', 'wb') as out_file:
    shutil.copyfileobj(response.raw, out_file)
del response

วิธีนี้เป็นวิธีแก้ปัญหาอย่างรวดเร็ว

import requests

url = "http://craphound.com/images/1006884_2adf8fc7.jpg"
response = requests.get(url)
if response.status_code == 200:
    with open("/Users/apple/Desktop/sample.jpg", 'wb') as f:
        f.write(response.content)

ฉันต้องการดาวน์โหลดภาพโดยใช้คำขอเดียวกัน ฉันลองคำตอบของ Martijn Pieters ก่อนและมันใช้ได้ดี แต่เมื่อฉันทำโปรไฟล์ในฟังก์ชั่นง่าย ๆ นี้ฉันพบว่ามันใช้ฟังก์ชั่นการโทรจำนวนมากเมื่อเทียบกับ urllib และ urllib2

จากนั้นฉันก็ลองวิธีที่ผู้เขียนร้องขอโมดูลนั้น

import requests
from PIL import Image
# python2.x, use this instead  
# from StringIO import StringIO
# for python3.x,
from io import StringIO

r = requests.get('https://example.com/image.jpg')
i = Image.open(StringIO(r.content))

สิ่งนี้ยิ่งลดจำนวนการเรียกฟังก์ชั่นลงดังนั้นจึงทำให้แอปพลิเคชันของฉันเร็วขึ้น นี่คือรหัสของ profiler ของฉันและผลลัพธ์

#!/usr/bin/python
import requests
from StringIO import StringIO
from PIL import Image
import profile

def testRequest():
    image_name = 'test1.jpg'
    url = 'http://example.com/image.jpg'

    r = requests.get(url, stream=True)
    with open(image_name, 'wb') as f:
        for chunk in r.iter_content():
            f.write(chunk)

def testRequest2():
    image_name = 'test2.jpg'
    url = 'http://example.com/image.jpg'

    r = requests.get(url)

    i = Image.open(StringIO(r.content))
    i.save(image_name)

if __name__ == '__main__':
    profile.run('testUrllib()')
    profile.run('testUrllib2()')
    profile.run('testRequest()')

ผลลัพธ์สำหรับ testRequest:

343080 function calls (343068 primitive calls) in 2.580 seconds

และผลลัพธ์สำหรับ testRequest2:

3129 function calls (3105 primitive calls) in 0.024 seconds

requestsนี้อาจจะง่ายกว่าการใช้ นี่เป็นครั้งเดียวที่ฉันจะไม่แนะนำให้ใช้requestsเพื่อทำสิ่ง HTTP

สองซับใช้urllib:

>>> import urllib
>>> urllib.request.urlretrieve("http://www.example.com/songs/mp3.mp3", "mp3.mp3")

นอกจากนี้ยังมีโมดูล Python ที่ดีชื่อว่าwgetใช้งานง่าย พบที่นี่

นี่แสดงให้เห็นถึงความเรียบง่ายของการออกแบบ:

>>> import wget
>>> url = 'http://www.futurecrew.com/skaven/song_files/mp3/razorback.mp3'
>>> filename = wget.download(url)
100% [................................................] 3841532 / 3841532>
>> filename
'razorback.mp3'

สนุก.

แก้ไข:คุณยังสามารถเพิ่มoutพารามิเตอร์เพื่อระบุเส้นทาง

>>> out_filepath = <output_filepath>    
>>> filename = wget.download(url, out=out_filepath)

ข้อมูลโค้ดต่อไปนี้จะดาวน์โหลดไฟล์

ไฟล์ถูกบันทึกด้วยชื่อไฟล์ตามที่ระบุใน URL

import requests

url = "http://example.com/image.jpg"
filename = url.split("/")[-1]
r = requests.get(url, timeout=0.5)

if r.status_code == 200:
    with open(filename, 'wb') as f:
        f.write(r.content)

มี 2 ​​วิธีหลัก:

1. ใช้.content(ง่ายที่สุด / เป็นทางการ) (ดูคำตอบของ Zhenyi จาง ):

   import io  # Note: io.BytesIO is StringIO.StringIO on Python2.
   import requests
   
   r = requests.get('http://lorempixel.com/400/200')
   r.raise_for_status()
   with io.BytesIO(r.content) as f:
       with Image.open(f) as img:
           img.show()

2. ใช้.raw(ดูคำตอบของ Pieters Martijn ):

   import requests
   
   r = requests.get('http://lorempixel.com/400/200', stream=True)
   r.raise_for_status()
   r.raw.decode_content = True  # Required to decompress gzip/deflate compressed responses.
   with PIL.Image.open(r.raw) as img:
       img.show()
   r.close()  # Safety when stream=True ensure the connection is released.

เวลาทั้งสองไม่แสดงความแตกต่างที่เห็นได้ชัดเจน

ง่ายเหมือนกับการนำเข้ารูปภาพและคำขอ

from PIL import Image
import requests

img = Image.open(requests.get(url, stream = True).raw)
img.save('img1.jpg')

นี่คือคำตอบที่เป็นมิตรกับผู้ใช้มากกว่าที่ยังคงใช้การสตรีม

getImage()เพียงแค่กำหนดฟังก์ชั่นเหล่านี้และการโทร มันจะใช้ชื่อไฟล์เดียวกับ URL และเขียนไปยังไดเรกทอรีปัจจุบันโดยค่าเริ่มต้น แต่ทั้งสองสามารถเปลี่ยนแปลงได้

import requests
from StringIO import StringIO
from PIL import Image

def createFilename(url, name, folder):
    dotSplit = url.split('.')
    if name == None:
        # use the same as the url
        slashSplit = dotSplit[-2].split('/')
        name = slashSplit[-1]
    ext = dotSplit[-1]
    file = '{}{}.{}'.format(folder, name, ext)
    return file

def getImage(url, name=None, folder='./'):
    file = createFilename(url, name, folder)
    with open(file, 'wb') as f:
        r = requests.get(url, stream=True)
        for block in r.iter_content(1024):
            if not block:
                break
            f.write(block)

def getImageFast(url, name=None, folder='./'):
    file = createFilename(url, name, folder)
    r = requests.get(url)
    i = Image.open(StringIO(r.content))
    i.save(file)

if __name__ == '__main__':
    # Uses Less Memory
    getImage('http://www.example.com/image.jpg')
    # Faster
    getImageFast('http://www.example.com/image.jpg')

requestguts ของgetImage()จะขึ้นอยู่กับคำตอบที่นี่และความกล้าของgetImageFast()จะขึ้นอยู่กับคำตอบดังกล่าวข้างต้น

ฉันจะโพสต์คำตอบเนื่องจากฉันมีตัวแทนไม่เพียงพอที่จะแสดงความคิดเห็น แต่ด้วย wget ที่โพสต์โดย Blairg23 คุณสามารถระบุพารามิเตอร์ out สำหรับพา ธ

 wget.download(url, out=path)

นี่คือการตอบกลับครั้งแรกที่เกิดขึ้นสำหรับการค้นหาของ Google เกี่ยวกับวิธีการดาวน์โหลดไฟล์ไบนารีพร้อมคำขอ ในกรณีที่คุณต้องการดาวน์โหลดไฟล์โดยพลการพร้อมคำขอคุณสามารถใช้:

import requests
url = 'https://s3.amazonaws.com/lab-data-collections/GoogleNews-vectors-negative300.bin.gz'
open('GoogleNews-vectors-negative300.bin.gz', 'wb').write(requests.get(url, allow_redirects=True).content)

นี่คือวิธีที่ฉันทำ

import requests
from PIL import Image
from io import BytesIO

url = 'your_url'
files = {'file': ("C:/Users/shadow/Downloads/black.jpeg", open('C:/Users/shadow/Downloads/black.jpeg', 'rb'),'image/jpg')}
response = requests.post(url, files=files)

img = Image.open(BytesIO(response.content))
img.show()

คุณสามารถทำสิ่งนี้:

import requests
import random

url = "https://images.pexels.com/photos/1308881/pexels-photo-1308881.jpeg? auto=compress&cs=tinysrgb&dpr=1&w=500"
name=random.randrange(1,1000)
filename=str(name)+".jpg"
response = requests.get(url)
if response.status_code.ok:
   with open(filename,'w') as f:
    f.write(response.content)