ส่งไฟล์โดยใช้ POST จากสคริปต์ Python


คำตอบ:


214

จาก: https://requests.readthedocs.io/en/latest/user/quickstart/#post-a-multipart-encoded-file

คำขอทำให้การอัปโหลดไฟล์ที่เข้ารหัสด้วย Multipart ทำได้ง่ายมาก:

with open('report.xls', 'rb') as f:
    r = requests.post('http://httpbin.org/post', files={'report.xls': f})

แค่นั้นแหละ. ฉันไม่ได้ล้อเล่น - นี่คือรหัสหนึ่งบรรทัด ไฟล์ถูกส่ง ตรวจสอบกัน:

>>> r.text
{
  "origin": "179.13.100.4",
  "files": {
    "report.xls": "<censored...binary...data>"
  },
  "form": {},
  "url": "http://httpbin.org/post",
  "args": {},
  "headers": {
    "Content-Length": "3196",
    "Accept-Encoding": "identity, deflate, compress, gzip",
    "Accept": "*/*",
    "User-Agent": "python-requests/0.8.0",
    "Host": "httpbin.org:80",
    "Content-Type": "multipart/form-data; boundary=127.0.0.1.502.21746.1321131593.786.1"
  },
  "data": ""
}

2
ฉันกำลังลองสิ่งเดียวกันและมันทำงานได้ดีถ้าขนาดไฟล์น้อยกว่า ~ 1.5 MB อื่นของการขว้างปาข้อผิดพลาด .. โปรดดูได้ที่นี่
Niks Jain

1
สิ่งที่ฉันพยายามทำคือลงชื่อเข้าใช้บางเว็บไซต์โดยใช้คำขอที่ฉันทำเสร็จแล้ว แต่ตอนนี้ฉันต้องการอัปโหลดวิดีโอหลังจากลงชื่อเข้าใช้และแบบฟอร์มมีฟิลด์อื่นที่ต้องกรอกก่อนส่ง ดังนั้นฉันจะส่งผ่านค่าเหล่านั้นเช่นคำอธิบายวิดีโอชื่อวิดีโอ ฯลฯ ได้อย่างไร
TaraGurung

15
คุณอาจต้องการทำwith open('report.xls', 'rb') as f: r = requests.post('http://httpbin.org/post', files={'report.xls': f})แทนดังนั้นจึงปิดไฟล์อีกครั้งหลังจากเปิด
Hjulle

3
ฮะ? ตั้งแต่เมื่อมีการส่งคำขอเป็นเรื่องง่ายมาก ?
palsch

1
คำตอบนี้ควรได้รับการอัพเดตเพื่อรวมคำแนะนำของ Hjulle เกี่ยวกับการใช้ตัวจัดการบริบทเพื่อให้แน่ใจว่าไฟล์ถูกปิด
bmoran

28

ใช่. คุณต้องการใช้urllib2โมดูลและเข้ารหัสโดยใช้multipart/form-dataประเภทเนื้อหา นี่คือตัวอย่างโค้ดที่จะช่วยให้คุณเริ่มต้น - มันเป็นมากกว่าแค่การอัปโหลดไฟล์ แต่คุณควรจะสามารถอ่านและดูว่ามันทำงานอย่างไร:

user_agent = "image uploader"
default_message = "Image $current of $total"

import logging
import os
from os.path import abspath, isabs, isdir, isfile, join
import random
import string
import sys
import mimetypes
import urllib2
import httplib
import time
import re

def random_string (length):
    return ''.join (random.choice (string.letters) for ii in range (length + 1))

def encode_multipart_data (data, files):
    boundary = random_string (30)

    def get_content_type (filename):
        return mimetypes.guess_type (filename)[0] or 'application/octet-stream'

    def encode_field (field_name):
        return ('--' + boundary,
                'Content-Disposition: form-data; name="%s"' % field_name,
                '', str (data [field_name]))

    def encode_file (field_name):
        filename = files [field_name]
        return ('--' + boundary,
                'Content-Disposition: form-data; name="%s"; filename="%s"' % (field_name, filename),
                'Content-Type: %s' % get_content_type(filename),
                '', open (filename, 'rb').read ())

    lines = []
    for name in data:
        lines.extend (encode_field (name))
    for name in files:
        lines.extend (encode_file (name))
    lines.extend (('--%s--' % boundary, ''))
    body = '\r\n'.join (lines)

    headers = {'content-type': 'multipart/form-data; boundary=' + boundary,
               'content-length': str (len (body))}

    return body, headers

def send_post (url, data, files):
    req = urllib2.Request (url)
    connection = httplib.HTTPConnection (req.get_host ())
    connection.request ('POST', req.get_selector (),
                        *encode_multipart_data (data, files))
    response = connection.getresponse ()
    logging.debug ('response = %s', response.read ())
    logging.debug ('Code: %s %s', response.status, response.reason)

def make_upload_file (server, thread, delay = 15, message = None,
                      username = None, email = None, password = None):

    delay = max (int (delay or '0'), 15)

    def upload_file (path, current, total):
        assert isabs (path)
        assert isfile (path)

        logging.debug ('Uploading %r to %r', path, server)
        message_template = string.Template (message or default_message)

        data = {'MAX_FILE_SIZE': '3145728',
                'sub': '',
                'mode': 'regist',
                'com': message_template.safe_substitute (current = current, total = total),
                'resto': thread,
                'name': username or '',
                'email': email or '',
                'pwd': password or random_string (20),}
        files = {'upfile': path}

        send_post (server, data, files)

        logging.info ('Uploaded %r', path)
        rand_delay = random.randint (delay, delay + 5)
        logging.debug ('Sleeping for %.2f seconds------------------------------\n\n', rand_delay)
        time.sleep (rand_delay)

    return upload_file

def upload_directory (path, upload_file):
    assert isabs (path)
    assert isdir (path)

    matching_filenames = []
    file_matcher = re.compile (r'\.(?:jpe?g|gif|png)$', re.IGNORECASE)

    for dirpath, dirnames, filenames in os.walk (path):
        for name in filenames:
            file_path = join (dirpath, name)
            logging.debug ('Testing file_path %r', file_path)
            if file_matcher.search (file_path):
                matching_filenames.append (file_path)
            else:
                logging.info ('Ignoring non-image file %r', path)

    total_count = len (matching_filenames)
    for index, file_path in enumerate (matching_filenames):
        upload_file (file_path, index + 1, total_count)

def run_upload (options, paths):
    upload_file = make_upload_file (**options)

    for arg in paths:
        path = abspath (arg)
        if isdir (path):
            upload_directory (path, upload_file)
        elif isfile (path):
            upload_file (path)
        else:
            logging.error ('No such path: %r' % path)

    logging.info ('Done!')

1
ใน python 2.6.6 ฉันได้รับข้อผิดพลาดในการแยกวิเคราะห์ Multipart ขอบเขตขณะใช้รหัสนี้บน Windows ฉันต้องเปลี่ยนจาก string.letters เป็น string.ascii_letters ตามที่กล่าวไว้ที่stackoverflow.com/questions/2823316/…เพื่อให้ใช้งานได้ ข้อกำหนดเกี่ยวกับขอบเขตมีการกล่าวถึงที่นี่: stackoverflow.com/questions/147451/…
amit

การเรียกใช้ run_upload ({'เซิร์ฟเวอร์': '', 'เธรด': ''}, path = ['/ path / to / file.txt']) ทำให้เกิดข้อผิดพลาดในบรรทัดนี้: upload_file (พา ธ ) เนื่องจากต้องใช้ไฟล์ "upload" 3 พารามิเตอร์ดังนั้นฉันแทนที่มันด้วยบรรทัดนี้ upload_file (เส้นทาง, 1, 1)
เรเดียน

4

สิ่งเดียวที่ทำให้คุณไม่สามารถใช้ urlopen โดยตรงกับวัตถุไฟล์คือข้อเท็จจริงที่ว่าวัตถุไฟล์ในตัวไม่มีคำจำกัดความlen วิธีง่ายๆคือการสร้างคลาสย่อยซึ่งให้ urlopen ด้วยไฟล์ที่ถูกต้อง ฉันได้แก้ไขส่วนหัว Content-Type ในไฟล์ด้านล่าง

import os
import urllib2
class EnhancedFile(file):
    def __init__(self, *args, **keyws):
        file.__init__(self, *args, **keyws)

    def __len__(self):
        return int(os.fstat(self.fileno())[6])

theFile = EnhancedFile('a.xml', 'r')
theUrl = "http://example.com/abcde"
theHeaders= {'Content-Type': 'text/xml'}

theRequest = urllib2.Request(theUrl, theFile, theHeaders)

response = urllib2.urlopen(theRequest)

theFile.close()


for line in response:
    print line

@robert ฉันทดสอบโค้ดของคุณใน Python2.7 แต่มันไม่ทำงาน urlopen (คำขอ (theUrl, theFile, ... )) เพียงแค่เข้ารหัสเนื้อหาของไฟล์ราวกับโพสต์ปกติ แต่ไม่สามารถระบุฟิลด์แบบฟอร์มที่ถูกต้องได้ ฉันลอง urlopen ตัวแปร (theUrl, urlencode ({'serverside_field_name': EnhancedFile ('my_file.txt')})) มันอัปโหลดไฟล์ แต่ (แน่นอน!) ด้วยเนื้อหาที่ไม่ถูกต้องเป็น <open file 'my_file.txt', โหมด 'r' ที่ 0x00D6B718> ฉันพลาดอะไรไปหรือเปล่า?
RayLuo

ขอบคุณสำหรับคำตอบ . โดยใช้รหัสข้างต้นฉันได้ถ่ายโอนไฟล์ภาพดิบขนาด 2.2 GB โดยใช้คำขอ PUT ไปยังเว็บเซิร์ฟเวอร์
Akshay Patil


2

ห้องสมุดโปสเตอร์ของ Chris Atlee ใช้งานได้ดีในเรื่องนี้ (โดยเฉพาะฟังก์ชั่นอำนวยความสะดวกposter.encode.multipart_encode()) โบนัสสนับสนุนการสตรีมไฟล์ขนาดใหญ่โดยไม่ต้องโหลดไฟล์ทั้งหมดในหน่วยความจำ ดูเพิ่มเติมปัญหาหลาม 3244


2

ฉันพยายามที่จะทดสอบส่วนที่เหลือ django api และทำงานให้ฉัน:

def test_upload_file(self):
        filename = "/Users/Ranvijay/tests/test_price_matrix.csv"
        data = {'file': open(filename, 'rb')}
        client = APIClient()
        # client.credentials(HTTP_AUTHORIZATION='Token ' + token.key)
        response = client.post(reverse('price-matrix-csv'), data, format='multipart')

        print response
        self.assertEqual(response.status_code, status.HTTP_200_OK)

1
รหัสนี้ให้การรั่วไหลของหน่วยความจำ - คุณลืมclose()ไฟล์
Chiefir

0

นอกจากนี้คุณยังอาจต้องการที่จะมีลักษณะที่httplib2กับตัวอย่าง ฉันพบว่าการใช้ httplib2 นั้นกระชับกว่าการใช้โมดูล HTTP ในตัว


2
ไม่มีตัวอย่างที่แสดงวิธีจัดการกับการอัปโหลดไฟล์
dland

ลิงก์ล้าสมัยแล้ว + ไม่มีตัวอย่างที่ขีดเส้นใต้
jlr

3
มันได้ย้ายตั้งแต่github.com/httplib2/httplib2 ในทางกลับกันทุกวันนี้ฉันอาจแนะนำrequestsแทน
pdc

0
def visit_v2(device_code, camera_code):
    image1 = MultipartParam.from_file("files", "/home/yuzx/1.txt")
    image2 = MultipartParam.from_file("files", "/home/yuzx/2.txt")
    datagen, headers = multipart_encode([('device_code', device_code), ('position', 3), ('person_data', person_data), image1, image2])
    print "".join(datagen)
    if server_port == 80:
        port_str = ""
    else:
        port_str = ":%s" % (server_port,)
    url_str = "http://" + server_ip + port_str + "/adopen/device/visit_v2"
    headers['nothing'] = 'nothing'
    request = urllib2.Request(url_str, datagen, headers)
    try:
        response = urllib2.urlopen(request)
        resp = response.read()
        print "http_status =", response.code
        result = json.loads(resp)
        print resp
        return result
    except urllib2.HTTPError, e:
        print "http_status =", e.code
        print e.read()
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.