Ruby: จะโพสต์ไฟล์ผ่าน HTTP เป็น Multipart / form-data ได้อย่างไร?


113

ฉันต้องการทำ HTTP POST ที่ดูเหมือนฟอร์ม HMTL ที่โพสต์จากเบราว์เซอร์ โดยเฉพาะอย่างยิ่งโพสต์ฟิลด์ข้อความและฟิลด์ไฟล์

การโพสต์ช่องข้อความนั้นตรงไปตรงมามีตัวอย่างอยู่ใน net / http rdocs แต่ฉันคิดไม่ออกว่าจะโพสต์ไฟล์ร่วมกับมันอย่างไร

Net :: HTTP ดูเหมือนไม่ใช่แนวคิดที่ดีที่สุด ขอบถนนดูดี

คำตอบ:


103

ฉันชอบRestClient มันห่อหุ้ม net / http ด้วยคุณสมบัติที่ยอดเยี่ยมเช่นข้อมูลในรูปแบบหลายส่วน:

require 'rest_client'
RestClient.post('http://localhost:3000/foo', 
  :name_of_file_param => File.new('/path/to/file'))

นอกจากนี้ยังรองรับการสตรีม

gem install rest-client จะช่วยให้คุณเริ่มต้น


ฉันเอาคืนตอนนี้การอัปโหลดไฟล์ใช้งานได้แล้ว ปัญหาที่ฉันพบตอนนี้คือเซิร์ฟเวอร์ให้ 302 และไคลเอนต์ที่เหลือทำตาม RFC (ซึ่งไม่มีเบราว์เซอร์ทำ) และแสดงข้อยกเว้น (เนื่องจากเบราว์เซอร์ควรเตือนเกี่ยวกับพฤติกรรมนี้) ทางเลือกอื่นคือขอบถนน แต่ฉันไม่เคยโชคดีในการติดตั้งขอบหน้าต่างใน windows
Matt Wolfe

7
API มีการเปลี่ยนแปลงเล็กน้อยตั้งแต่โพสต์ครั้งแรกตอนนี้มีการเรียกหลายส่วนเช่น RestClient.post ' localhost: 3000 / foo ',: upload => File.new ('/ path / tofile')) ดูgithub.com/ archiloque / rest-clientสำหรับรายละเอียดเพิ่มเติม
คลินตัน

2
rest_client ไม่สนับสนุนการจัดหาส่วนหัวของคำขอ แอ็พพลิเคชัน REST จำนวนมากต้องการ / คาดหวังประเภทของส่วนหัวที่เฉพาะเจาะจงดังนั้นไคลเอนต์ที่เหลือจะไม่ทำงานในกรณีนั้น ตัวอย่างเช่น JIRA ต้องการโทเค็น X-Atlassian-Token
onknows

เป็นไปได้ไหมที่จะได้รับความคืบหน้าในการอัพโหลดไฟล์ เช่นอัปโหลด 40%
Ankush

1
+1 สำหรับการเพิ่มgem install rest-clientและrequire 'rest_client'ส่วนต่างๆ ข้อมูลดังกล่าวถูกทิ้งไว้ในตัวอย่างทับทิมมากเกินไป
dansalmo

36

ฉันไม่สามารถพูดสิ่งที่ดีพอเกี่ยวกับไลบรารีแบบหลายส่วนของ Nick Sieger

เพิ่มการสนับสนุนสำหรับการโพสต์หลายส่วนโดยตรงไปยัง Net :: HTTP ทำให้คุณไม่ต้องกังวลเกี่ยวกับขอบเขตหรือไลบรารีขนาดใหญ่ที่อาจมีเป้าหมายที่แตกต่างจากของคุณเอง

นี่คือตัวอย่างเล็กน้อยเกี่ยวกับวิธีการใช้งานจากREADME :

require 'net/http/post/multipart'

url = URI.parse('http://www.example.com/upload')
File.open("./image.jpg") do |jpg|
  req = Net::HTTP::Post::Multipart.new url.path,
    "file" => UploadIO.new(jpg, "image/jpeg", "image.jpg")
  res = Net::HTTP.start(url.host, url.port) do |http|
    http.request(req)
  end
end

คุณสามารถตรวจสอบห้องสมุดได้ที่นี่: http://github.com/nicksieger/multipart-post

หรือติดตั้งด้วย:

$ sudo gem install multipart-post

หากคุณกำลังเชื่อมต่อผ่าน SSL คุณต้องเริ่มการเชื่อมต่อดังนี้:

n = Net::HTTP.new(url.host, url.port) 
n.use_ssl = true
# for debugging dev server
#n.verify_mode = OpenSSL::SSL::VERIFY_NONE
res = n.start do |http|

3
สิ่งนั้นทำเพื่อฉันสิ่งที่ฉันกำลังมองหาและสิ่งที่ควรรวมไว้โดยไม่ต้องใช้อัญมณี ทับทิมอยู่ข้างหน้า แต่ยังอยู่ข้างหลัง
Trey

สุดยอดสิ่งนี้มาจากการส่งของพระเจ้า! ใช้สิ่งนี้เพื่อจับคู่อัญมณี OAuth เพื่อรองรับการอัปโหลดไฟล์ ฉันใช้เวลาเพียง 5 นาที
Matthias

@matthias ฉันพยายามอัปโหลดรูปภาพด้วยอัญมณี OAuth แต่ล้มเหลว คุณช่วยยกตัวอย่าง Monkeypatch ของคุณหน่อยได้ไหม
Hooopo

1
แพตช์ค่อนข้างเฉพาะเจาะจงสำหรับสคริปต์ของฉัน (รวดเร็วและสกปรก) แต่ลองดูแล้วและบางทีคุณอาจใช้วิธีการทั่วไปมากกว่านี้ ( gist.github.com/974084 )
Matthias

3
Multipart ไม่รองรับส่วนหัวของคำขอ ตัวอย่างเช่นหากคุณต้องการใช้อินเทอร์เฟซ JIRA REST มัลติพาร์ทจะเป็นการเสียเวลาอันมีค่าไปโดยเปล่าประโยชน์
onknows

30

curbดูเหมือนจะเป็นทางออกที่ดี แต่ในกรณีที่มันไม่ตรงกับความต้องการของคุณคุณสามารถNet::HTTPทำมันได้ด้วย โพสต์รูปแบบหลายส่วนเป็นเพียงสตริงที่มีการจัดรูปแบบอย่างรอบคอบโดยมีส่วนหัวพิเศษบางส่วน ดูเหมือนว่าโปรแกรมเมอร์ Ruby ทุกคนที่ต้องทำโพสต์แบบหลายส่วนจะลงเอยด้วยการเขียนไลบรารีเล็ก ๆ ของตัวเองซึ่งทำให้ฉันสงสัยว่าทำไมฟังก์ชันนี้ไม่ได้อยู่ในตัว บางทีมันอาจจะเป็น ... อย่างไรก็ตามเพื่อความสุขในการอ่านของคุณฉันจะแก้ไขปัญหาของฉันที่นี่ รหัสนี้อ้างอิงจากตัวอย่างที่ฉันพบในสองบล็อก แต่ฉันเสียใจที่ไม่พบลิงก์อีกต่อไป ดังนั้นฉันเดาว่าฉันต้องใช้เครดิตทั้งหมดสำหรับตัวเอง ...

โมดูลที่ฉันเขียนสำหรับสิ่งนี้มีคลาสสาธารณะหนึ่งคลาสสำหรับการสร้างข้อมูลฟอร์มและส่วนหัวจากแฮชStringและFileอ็อบเจ็กต์ ตัวอย่างเช่นหากคุณต้องการโพสต์ฟอร์มที่มีพารามิเตอร์สตริงชื่อ "title" และพารามิเตอร์ไฟล์ชื่อ "document" คุณจะต้องดำเนินการดังต่อไปนี้:

#prepare the query
data, headers = Multipart::Post.prepare_query("title" => my_string, "document" => my_file)

จากนั้นคุณก็ทำตามปกติPOSTกับNet::HTTP:

http = Net::HTTP.new(upload_uri.host, upload_uri.port)
res = http.start {|con| con.post(upload_uri.path, data, headers) }

หรือ POSTแต่ก็ได้ที่คุณต้องการจะทำ ประเด็นคือMultipartส่งคืนข้อมูลและส่วนหัวที่คุณต้องส่ง แค่นี้แหละ! ง่ายใช่มั้ย? นี่คือรหัสสำหรับโมดูล Multipart (คุณต้องมีmime-typesอัญมณี):

# Takes a hash of string and file parameters and returns a string of text
# formatted to be sent as a multipart form post.
#
# Author:: Cody Brimhall <mailto:brimhall@somuchwit.com>
# Created:: 22 Feb 2008
# License:: Distributed under the terms of the WTFPL (http://www.wtfpl.net/txt/copying/)

require 'rubygems'
require 'mime/types'
require 'cgi'


module Multipart
  VERSION = "1.0.0"

  # Formats a given hash as a multipart form post
  # If a hash value responds to :string or :read messages, then it is
  # interpreted as a file and processed accordingly; otherwise, it is assumed
  # to be a string
  class Post
    # We have to pretend we're a web browser...
    USERAGENT = "Mozilla/5.0 (Macintosh; U; PPC Mac OS X; en-us) AppleWebKit/523.10.6 (KHTML, like Gecko) Version/3.0.4 Safari/523.10.6"
    BOUNDARY = "0123456789ABLEWASIEREISAWELBA9876543210"
    CONTENT_TYPE = "multipart/form-data; boundary=#{ BOUNDARY }"
    HEADER = { "Content-Type" => CONTENT_TYPE, "User-Agent" => USERAGENT }

    def self.prepare_query(params)
      fp = []

      params.each do |k, v|
        # Are we trying to make a file parameter?
        if v.respond_to?(:path) and v.respond_to?(:read) then
          fp.push(FileParam.new(k, v.path, v.read))
        # We must be trying to make a regular parameter
        else
          fp.push(StringParam.new(k, v))
        end
      end

      # Assemble the request body using the special multipart format
      query = fp.collect {|p| "--" + BOUNDARY + "\r\n" + p.to_multipart }.join("") + "--" + BOUNDARY + "--"
      return query, HEADER
    end
  end

  private

  # Formats a basic string key/value pair for inclusion with a multipart post
  class StringParam
    attr_accessor :k, :v

    def initialize(k, v)
      @k = k
      @v = v
    end

    def to_multipart
      return "Content-Disposition: form-data; name=\"#{CGI::escape(k)}\"\r\n\r\n#{v}\r\n"
    end
  end

  # Formats the contents of a file or string for inclusion with a multipart
  # form post
  class FileParam
    attr_accessor :k, :filename, :content

    def initialize(k, filename, content)
      @k = k
      @filename = filename
      @content = content
    end

    def to_multipart
      # If we can tell the possible mime-type from the filename, use the
      # first in the list; otherwise, use "application/octet-stream"
      mime_type = MIME::Types.type_for(filename)[0] || MIME::Types["application/octet-stream"][0]
      return "Content-Disposition: form-data; name=\"#{CGI::escape(k)}\"; filename=\"#{ filename }\"\r\n" +
             "Content-Type: #{ mime_type.simplified }\r\n\r\n#{ content }\r\n"
    end
  end
end

Hi! ใบอนุญาตของรหัสนี้คืออะไร? นอกจากนี้: อาจเป็นการดีที่จะเพิ่ม URL สำหรับโพสต์นี้ในความคิดเห็นที่ด้านบน ขอบคุณ!
docwhat

5
รหัสในโพสต์นี้ได้รับอนุญาตภายใต้ WTFPL ( sam.zoy.org/wtfpl ) สนุก!
Cody Brimhall

คุณไม่ควรส่งผ่านไฟล์สตรีมไปยังการโทรเริ่มต้นของFileParamคลาส การกำหนดในto_multipartวิธีการคัดลอกเนื้อหาไฟล์อีกครั้งซึ่งไม่จำเป็น! แทนที่จะผ่านเพียงอธิบายไฟล์และอ่านจากมันในto_multipart
mober

1
รหัสนี้ดีมาก! เพราะมันทำงาน. Rest-client และ Siegers Multipart-post DON'T support request headers หากคุณต้องการส่วนหัวของคำขอคุณจะเสียเวลาอันมีค่าไปกับลูกค้าที่เหลือและโพสต์ของ Siegers Multipart
onknows

ที่จริงแล้ว @Onno ตอนนี้รองรับส่วนหัวของคำขอแล้ว ดูความคิดเห็นของฉันเกี่ยวกับคำตอบของ eric
alexanderbird

24

อีกอันหนึ่งใช้ไลบรารีมาตรฐานเท่านั้น:

uri = URI('https://some.end.point/some/path')
request = Net::HTTP::Post.new(uri)
request['Authorization'] = 'If you need some headers'
form_data = [['photos', photo.tempfile]] # or File.open() in case of local file

request.set_form form_data, 'multipart/form-data'
response = Net::HTTP.start(uri.hostname, uri.port, use_ssl: true) do |http| # pay attention to use_ssl if you need it
  http.request(request)
end

พยายามหลายวิธี แต่เพียงแค่นี้ได้ผลสำหรับฉัน


3
ขอบคุณสำหรับสิ่งนี้. จุดเล็กน้อยบรรทัดที่ 1 ควรเป็น uri = URI('https://some.end.point/some/path') วิธีนี้คุณสามารถโทรuri.portและuri.hostไม่มีข้อผิดพลาดในภายหลัง
davidkovsky

1
หนึ่งในการเปลี่ยนแปลงเล็ก ๆ น้อย ๆ ถ้าไม่ tempfile และคุณต้องการอัปโหลดไฟล์จากแผ่นดิสก์ของคุณคุณควรใช้File.openไม่ได้File.read
คราม Yanduri

1
กรณีส่วนใหญ่ต้องใช้ชื่อไฟล์นี่คือรูปแบบที่ฉันเพิ่ม: form_data = [['file', File.read (file_name), {filename: file_name}]]
ZsJoska

4
นี่คือคำตอบที่ถูกต้อง ผู้คนควรหยุดใช้อัญมณีกระดาษห่อหุ้มเมื่อเป็นไปได้และกลับไปที่พื้นฐาน
Carlos Roque

18

นี่คือวิธีแก้ปัญหาของฉันหลังจากลองใช้ตัวอื่นที่มีอยู่ในโพสต์นี้ฉันใช้มันเพื่ออัปโหลดรูปภาพบน TwitPic:

  def upload(photo)
    `curl -F media=@#{photo.path} -F username=#{@username} -F password=#{@password} -F message='#{photo.title}' http://twitpic.com/api/uploadAndPost`
  end

1
แม้จะดูเหมือนแฮ็คเล็กน้อย แต่นี่อาจเป็นทางออกที่ดีที่สุดสำหรับฉันขอบคุณมากสำหรับคำแนะนำนี้!
Bo Jeanes

เป็นเพียงบันทึกสำหรับผู้ไม่ระวังสื่อ = @ ... คือสิ่งที่ทำให้ curl เป็นสิ่งที่ ... เป็นไฟล์ไม่ใช่แค่สตริง สับสนเล็กน้อยกับไวยากรณ์ของ Ruby แต่ @ # {photo.path} ไม่เหมือนกับ #{@photo.path} วิธีแก้ปัญหานี้เป็นหนึ่งใน imho ที่ดีที่สุด
Evgeny

7
มันดูดี แต่ถ้าชื่อ @ ของคุณมี "foo && rm -rf /" สิ่งนี้จะไม่ดีเลย :-P
gaspard

8

กรอไปข้างหน้าในปี 2017 ruby stdlib net/httpมีสิ่งนี้ในตัวตั้งแต่ 1.9.3

Net :: HTTPRequest # set_form): เพิ่มเพื่อรองรับทั้ง application / x-www-form-urlencoded และ multipart / form-data

https://ruby-doc.org/stdlib-2.3.1/libdoc/net/http/rdoc/Net/HTTPHeader.html#method-i-set_form

เรายังสามารถใช้IOที่ไม่รองรับ:sizeการสตรีมข้อมูลแบบฟอร์ม

หวังว่าคำตอบนี้จะช่วยใครสักคนได้จริงๆ :)

ปล. ฉันทดสอบสิ่งนี้ใน Ruby 2.3.1 เท่านั้น


7

โอเคนี่คือตัวอย่างง่ายๆในการใช้ขอบ

require 'yaml'
require 'curb'

# prepare post data
post_data = fields_hash.map { |k, v| Curl::PostField.content(k, v.to_s) }
post_data << Curl::PostField.file('file', '/path/to/file'), 

# post
c = Curl::Easy.new('http://localhost:3000/foo')
c.multipart_form_post = true
c.http_post(post_data)

# print response
y [c.response_code, c.body_str]

3

restclient ไม่ทำงานให้ฉันจนกว่าฉันจะลบล้าง create_file_field ใน RestClient :: Payload :: Multipart

มันถูกสร้าง'Disposition เนื้อหา: multipart / form ข้อมูล'ในแต่ละส่วนที่มันควรจะเป็น'เนื้อหา-Disposition: แบบฟอร์มข้อมูล'

http://www.ietf.org/rfc/rfc2388.txt

ส้อมของฉันอยู่ที่นี่หากคุณต้องการ: git@github.com: kcrawford / rest-client.git


สิ่งนี้ได้รับการแก้ไขแล้วใน restclient ล่าสุด

1

วิธีแก้ปัญหาด้วย NetHttp มีข้อเสียคือเมื่อโพสต์ไฟล์ขนาดใหญ่จะโหลดไฟล์ทั้งหมดลงในหน่วยความจำก่อน

หลังจากเล่นไปสักหน่อยฉันก็คิดวิธีแก้ปัญหาต่อไปนี้:

class Multipart

  def initialize( file_names )
    @file_names = file_names
  end

  def post( to_url )
    boundary = '----RubyMultipartClient' + rand(1000000).to_s + 'ZZZZZ'

    parts = []
    streams = []
    @file_names.each do |param_name, filepath|
      pos = filepath.rindex('/')
      filename = filepath[pos + 1, filepath.length - pos]
      parts << StringPart.new ( "--" + boundary + "\r\n" +
      "Content-Disposition: form-data; name=\"" + param_name.to_s + "\"; filename=\"" + filename + "\"\r\n" +
      "Content-Type: video/x-msvideo\r\n\r\n")
      stream = File.open(filepath, "rb")
      streams << stream
      parts << StreamPart.new (stream, File.size(filepath))
    end
    parts << StringPart.new ( "\r\n--" + boundary + "--\r\n" )

    post_stream = MultipartStream.new( parts )

    url = URI.parse( to_url )
    req = Net::HTTP::Post.new(url.path)
    req.content_length = post_stream.size
    req.content_type = 'multipart/form-data; boundary=' + boundary
    req.body_stream = post_stream
    res = Net::HTTP.new(url.host, url.port).start {|http| http.request(req) }

    streams.each do |stream|
      stream.close();
    end

    res
  end

end

class StreamPart
  def initialize( stream, size )
    @stream, @size = stream, size
  end

  def size
    @size
  end

  def read ( offset, how_much )
    @stream.read ( how_much )
  end
end

class StringPart
  def initialize ( str )
    @str = str
  end

  def size
    @str.length
  end

  def read ( offset, how_much )
    @str[offset, how_much]
  end
end

class MultipartStream
  def initialize( parts )
    @parts = parts
    @part_no = 0;
    @part_offset = 0;
  end

  def size
    total = 0
    @parts.each do |part|
      total += part.size
    end
    total
  end

  def read ( how_much )

    if @part_no >= @parts.size
      return nil;
    end

    how_much_current_part = @parts[@part_no].size - @part_offset

    how_much_current_part = if how_much_current_part > how_much
      how_much
    else
      how_much_current_part
    end

    how_much_next_part = how_much - how_much_current_part

    current_part = @parts[@part_no].read(@part_offset, how_much_current_part )

    if how_much_next_part > 0
      @part_no += 1
      @part_offset = 0
      next_part = read ( how_much_next_part  )
      current_part + if next_part
        next_part
      else
        ''
      end
    else
      @part_offset += how_much_current_part
      current_part
    end
  end
end

Class StreamPart คืออะไร
Marlin Pierce

1

นอกจากนี้ยังมีการโพสต์หลายส่วนของ Nick Sieger เพื่อเพิ่มลงในรายการโซลูชันที่เป็นไปได้


1
หลายส่วน - โพสต์ไม่รองรับส่วนหัวของคำขอ
onknows

ที่จริงแล้ว @Onno ตอนนี้รองรับส่วนหัวของคำขอแล้ว ดูความคิดเห็นของฉันเกี่ยวกับคำตอบของ eric
alexanderbird

0

ฉันมีปัญหาเดียวกัน (ต้องโพสต์ไปที่เว็บเซิร์ฟเวอร์ jboss) Curb ทำงานได้ดีสำหรับฉันยกเว้นว่ามันทำให้ทับทิมพัง (ทับทิม 1.8.7 บน ubuntu 8.10) เมื่อฉันใช้ตัวแปรเซสชันในโค้ด

ฉันเจาะลึกเอกสารไคลเอนต์ที่เหลือไม่พบข้อบ่งชี้ของการสนับสนุนหลายส่วน ฉันลองใช้ตัวอย่างไคลเอนต์ที่เหลือด้านบน แต่ jboss บอกว่าโพสต์ http ไม่ใช่หลายส่วน


0

อัญมณีหลายส่วน - โพสต์ทำงานได้ดีกับ Rails 4 Net :: HTTP ไม่มีอัญมณีพิเศษอื่น ๆ

def model_params
  require_params = params.require(:model).permit(:param_one, :param_two, :param_three, :avatar)
  require_params[:avatar] = model_params[:avatar].present? ? UploadIO.new(model_params[:avatar].tempfile, model_params[:avatar].content_type, model_params[:avatar].original_filename) : nil
  require_params
end

require 'net/http/post/multipart'

url = URI.parse('http://www.example.com/upload')
Net::HTTP.start(url.host, url.port) do |http|
  req = Net::HTTP::Post::Multipart.new(url, model_params)
  key = "authorization_key"
  req.add_field("Authorization", key) #add to Headers
  http.use_ssl = (url.scheme == "https")
  http.request(req)
end

https://github.com/Feuda/multipart-post/tree/patch-1

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.