วิธีการโอนปริมาณข้อมูลอย่างเดียวจากโฮสต์หนึ่งไปยังอีกโฮสต์หนึ่ง

ตามที่อธิบายไว้ในเอกสาร Docker เกี่ยวกับการทำงานกับไดรฟ์ข้อมูลมีแนวคิดของสิ่งที่เรียกว่าคอนเทนเนอร์ข้อมูลเท่านั้นซึ่งจัดเตรียมไดรฟ์ข้อมูลที่สามารถต่อเข้ากับคอนเทนเนอร์อื่น ๆ ได้ไม่ว่าคอนเทนเนอร์ข้อมูลอย่างเดียวจะทำงานจริงหรือไม่ก็ตาม

โดยทั่วไปสิ่งนี้ฟังดูน่ากลัว แต่มีสิ่งหนึ่งที่ฉันไม่เข้าใจ

ไดรฟ์ข้อมูลเหล่านี้ (ซึ่งไม่ได้แมปกับโฟลเดอร์บนโฮสต์อย่างชัดเจนด้วยเหตุผลด้านความสามารถในการพกพาเนื่องจากสถานะเอกสารประกอบ) ถูกสร้างและจัดการโดย Docker ในโฟลเดอร์ภายในบางโฟลเดอร์บนโฮสต์ ( /var/docker/volumes/…)

สมมติว่าฉันใช้โวลุ่มดังกล่าวแล้วฉันต้องย้ายจากโฮสต์หนึ่งไปยังอีกโฮสต์หนึ่ง - ฉันจะโอนโวลุ่มได้อย่างไร AFAICS มี ID เฉพาะ - ฉันสามารถไปและคัดลอกโวลุ่มและคอนเทนเนอร์ตามข้อมูลเท่านั้นไปยังโฮสต์ใหม่ได้หรือไม่ ฉันจะค้นหาไฟล์ที่จะคัดลอกได้อย่างไร หรือมีการสนับสนุนในตัวสำหรับ Docker ที่ฉันยังไม่ค้นพบหรือไม่?

คำตอบอย่างเป็นทางการมีอยู่ในส่วน"สำรองคืนค่าหรือย้ายปริมาณข้อมูล" :

สำรอง:

sudo docker run --rm --volumes-from DATA -v $(pwd):/backup busybox tar cvf /backup/backup.tar /data

• --rm: ถอดภาชนะออกเมื่อออก
• --volumes-from DATA: แนบกับไดรฟ์ข้อมูลที่ใช้ร่วมกันโดยคอนเทนเนอร์ DATA
• -v $(pwd):/backup: ผูกติดตั้งไดเร็กทอรีปัจจุบันลงในคอนเทนเนอร์ เพื่อเขียนไฟล์ tar เป็น
• busybox: ภาพขนาดเล็กที่เรียบง่าย - เหมาะสำหรับการบำรุงรักษาอย่างรวดเร็ว
• tar cvf /backup/backup.tar /data: สร้างไฟล์ tar ที่ไม่มีการบีบอัดของไฟล์ทั้งหมดในไดเร็กทอรี / data

เรียกคืน:

# create a new data container
$ sudo docker create -v /data --name DATA2 busybox true
# untar the backup files into the new container᾿s data volume
$ sudo docker run --rm --volumes-from DATA2 -v $(pwd):/backup busybox tar xvf /backup/backup.tar
data/
data/sven.txt
# compare to the original container
$ sudo docker run --rm --volumes-from DATA -v `pwd`:/backup busybox ls /data
sven.txt

คุณสามารถส่งออกโวลุ่มไปยังน้ำมันดินและโอนไปยังเครื่องอื่นได้ และนำเข้าข้อมูลด้วยน้ำมันดินบนเครื่องที่สอง. สิ่งนี้ไม่ได้ขึ้นอยู่กับรายละเอียดการใช้งานของไดรฟ์ข้อมูล

# you can list shared directories of the data container
docker inspect <data container> | grep "/vfs/dir/"

# you can export data container directory to tgz
docker run --cidfile=id.tmp --volumes-from <data container> ubuntu tar -cO <volume path> | gzip -c > volume.tgz

# clean up: remove exited container used for export and temporary file
docker rm `cat id.tmp` && rm -f id.tmp

ขยายคำตอบอย่างเป็นทางการจากDocker docsและคำตอบยอดนิยมที่นี่คุณสามารถมีนามแฝงต่อไปนี้ใน. bashrc หรือ. zshrc ของคุณ

# backup files from a docker volume into /tmp/backup.tar.gz
function docker-volume-backup-compressed() {
  docker run --rm -v /tmp:/backup --volumes-from "$1" debian:jessie tar -czvf /backup/backup.tar.gz "${@:2}"
}
# restore files from /tmp/backup.tar.gz into a docker volume
function docker-volume-restore-compressed() {
  docker run --rm -v /tmp:/backup --volumes-from "$1" debian:jessie tar -xzvf /backup/backup.tar.gz "${@:2}"
  echo "Double checking files..."
  docker run --rm -v /tmp:/backup --volumes-from "$1" debian:jessie ls -lh "${@:2}"
}
# backup files from a docker volume into /tmp/backup.tar
function docker-volume-backup() {
  docker run --rm -v /tmp:/backup --volumes-from "$1" busybox tar -cvf /backup/backup.tar "${@:2}"
}
# restore files from /tmp/backup.tar into a docker volume
function docker-volume-restore() {
  docker run --rm -v /tmp:/backup --volumes-from "$1" busybox tar -xvf /backup/backup.tar "${@:2}"
  echo "Double checking files..."
  docker run --rm -v /tmp:/backup --volumes-from "$1" busybox ls -lh "${@:2}"
}

โปรดทราบว่าการสำรองข้อมูลจะถูกบันทึกลงใน/tmpดังนั้นคุณจึงสามารถย้ายไฟล์สำรองที่บันทึกไว้ระหว่างโฮสต์นักเทียบท่าได้

นอกจากนี้ยังมีนามแฝงสำรอง / กู้คืนสองคู่ หนึ่งโดยใช้การบีบอัดและเดเบียน: jessie และอื่น ๆ ที่ไม่มีการบีบอัด แต่มี busybox ชอบใช้การบีบอัดหากไฟล์ที่จะสำรองข้อมูลมีขนาดใหญ่

ฉันจะเพิ่มเครื่องมือใหม่ล่าสุดที่นี่จาก IBM ซึ่งสร้างขึ้นสำหรับการโอนย้ายไดรฟ์ข้อมูลจากโฮสต์คอนเทนเนอร์หนึ่งไปยังอีกโฮสต์หนึ่ง นี่เป็นโครงการที่กำลังดำเนินอยู่ ดังนั้นคุณอาจพบเวอร์ชันอื่นพร้อมคุณสมบัติเพิ่มเติมในอนาคต

Cargoได้รับการพัฒนาเพื่อโยกย้ายตู้คอนเทนเนอร์จากโฮสต์หนึ่งไปยังอีกโฮสต์หนึ่งพร้อมกับข้อมูลโดยมีเวลาหยุดทำงานน้อยที่สุด Cargo ใช้ความสามารถในการรวมข้อมูลของระบบไฟล์แบบร่วมเพื่อสร้างมุมมองข้อมูลแบบรวม (ส่วนใหญ่เป็นระบบไฟล์รูท) ข้ามโฮสต์ต้นทางและปลายทาง สิ่งนี้ช่วยให้ Cargo สามารถเริ่มการทำงานของคอนเทนเนอร์ได้เกือบจะในทันที (ภายในมิลลิวินาที) บนโฮสต์เป้าหมายเนื่องจากข้อมูลจากระบบไฟล์รูทต้นทางจะถูกคัดลอกไปยังโฮสต์เป้าหมายไม่ว่าจะตามความต้องการ (โดยใช้พาร์ติชันcopy-on-write (COW) ) หรืออย่างเกียจคร้าน ในพื้นหลัง(ใช้ rsync)

ประเด็นสำคัญคือ - centralizedเซิร์ฟเวอร์จัดการกระบวนการย้ายข้อมูล

ลิงค์ไปยังโครงการมีให้ที่นี่:

https://github.com/nadgowdas/cargo

ในกรณีที่เครื่องของคุณอยู่ใน VPC ที่แตกต่างกันหรือคุณต้องการคัดลอกจาก / ไปยังเครื่องภายใน (เช่นในกรณีของฉัน) คุณสามารถใช้dvsync ที่ฉันสร้างขึ้น โดยทั่วไปแล้วngrokรวมกับrsyncSSH ที่บรรจุเป็นภาพขนาดเล็กสองภาพ (ทั้ง ~ 25MB) ขั้นแรกคุณเริ่มต้นdvsync-serverบนเครื่องที่คุณต้องการคัดลอกข้อมูล (คุณจะต้องใช้ข้อมูลNGROK_AUTHTOKENที่หาได้จากแดชบอร์ด ngrok ):

$ docker run --rm -e NGROK_AUTHTOKEN="$NGROK_AUTHTOKEN" \
  --mount source=MY_VOLUME,target=/data,readonly \
  quay.io/suda/dvsync-server

จากนั้นคุณสามารถเริ่มการทำงานdvsync-clientบนเครื่องที่คุณต้องการคัดลอกไฟล์โดยส่งผ่านDVSYNC_TOKENเซิร์ฟเวอร์ที่แสดง:

docker run -e DVSYNC_TOKEN="$DVSYNC_TOKEN" \
  --mount source=MY_TARGET_VOLUME,target=/data \
  quay.io/suda/dvsync-client 

เมื่อเสร็จสิ้นการคัดลอกไคลเอนต์จะออก ซึ่งใช้ได้กับ Docker CLI, Compose, Swarm และ Kubernetes เช่นกัน