ฉันจะคัดลอกเทมเพลต VM ระหว่างศูนย์ข้อมูล vSphere ได้อย่างไร

พื้นหลัง / สถาปัตยกรรมสิ่งแวดล้อม:

สภาพแวดล้อมปัจจุบันของฉันสำหรับการ$corp_overlords$ตั้งค่าในรูปแบบฮับและพูดกับฮับโฮมออฟฟิศที่มีเทคโนโลยีที่ดี (SAN, bladecenter / Bladeystem คลัสเตอร์ ESXi, การเชื่อมต่ออินเทอร์เน็ตไฟเบอร์เป็นต้น) เชื่อมต่อกับซี่ไซต์ระยะไกลจำนวนมาก ไม่ค่อยดีนักและโดยทั่วไปจะมีเซิร์ฟเวอร์โฮสต์ ESXi ตัวเดียวและเชื่อมต่อกับโฮมออฟฟิศผ่านทาง T1 การรับส่งข้อมูลทั้งหมดที่เกิดขึ้นในเส้นทางไซต์ระยะไกลใด ๆ กลับไปที่โฮมออฟฟิศผ่าน "เครือข่าย MPLS" (ซึ่งจริงๆแล้วเป็นเพียง T1 ที่เชื่อมต่อไซต์ระยะไกลกับโฮมออฟฟิศ)

ที่โฮมออฟฟิศบน SAN เรามีเทมเพลต VM จำนวนหนึ่งที่ฉันสร้างขึ้นเพื่อปรับใช้ VM จาก พวกเขาจะถูกเก็บไว้ในปริมาณ NFS นั่นคือ vSphere datastore ที่แนบมากับวัตถุดาต้าเซ็นเตอร์สำนักงานที่บ้านภายใน vSphere

ไซต์ระยะไกลแต่ละแห่งมีวัตถุ vSphere datacenter ที่สอดคล้องกันซึ่งมีวัตถุที่เก็บข้อมูลที่เชื่อมต่อกับที่เก็บข้อมูลที่เชื่อมต่อแบบโลคัลบนโฮสต์เซิร์ฟเวอร์ ESXi ซึ่งตั้งอยู่ที่ไซต์ระยะไกล

เนื่องจากเทมเพลต VM เหล่านี้มีอยู่บนวอลุ่ม NFS จึงมีขนาด ~ 40 GiB (thin-provisioning) ในฐานะที่เป็นไฟล์บน NTFS (หรือ Linux FS) ไฟล์จะมีขนาดประมาณ 100 GiB

คำถาม:

ฉันจะคัดลอกข้อมูลแบบ thin-provisioned 40 GiB (ที่ใช้พื้นที่ระบบไฟล์ 100 GiB) ระหว่างไซต์ของฉันได้อย่างไร

ฉันอยู่ภายใต้ข้อ จำกัด ที่ฉันมีเวลาประมาณ 5 วันในการทำเช่นนั้นและไม่สามารถแทรกแซง "เครือข่ายการรับส่งข้อมูลปกติ" อย่างชัดเจน (เห็นได้ชัด)

วิธีการเกี่ยวกับการใช้ ovftool เพื่อคัดลอกแม่แบบโดยตรงระหว่างโฮสต์?

ฉันเคยใช้สิ่งนี้กับ VMs มาก่อนและใช้งานได้ดีทีเดียว ไม่แน่ใจว่าใช้งานได้กับเทมเพลตหรือไม่ แต่ถ้าไม่คุณสามารถซ่อนเทมเพลตไปยัง VMs ชั่วคราวเพื่อคัดลอกเทมเพลต

คำแนะนำด้วยตัวอย่างอยู่ที่นี่

คุณสามารถใช้ ovftool เพื่อแปลงเทมเพลตของคุณเป็น.ovfแพ็คเกจซึ่งควรมีขนาดกะทัดรัดมากจากนั้นโอนแพ็กเกจระหว่างศูนย์ข้อมูลด้วย BITS หรือ FTP หรือ SCP หรือโปรโตคอลใด ๆ ที่คุณต้องการ

ตัวเลือก:

วิธีที่ฉันเห็นฉันมีสามวิธีที่เป็นไปได้แม้ว่าฉันหวังเป็นอย่างยิ่งว่าฉันจะพลาดวิธีที่ดีกว่าที่ใครบางคนที่นี่สามารถชี้ให้ฉันได้ (เป็นการดีที่จะให้ฉันย้ายข้อมูลจริง 40 GiB เท่านั้นและใน "พื้นหลัง" หรือวิธีการควบคุมความเร็ว)

1. คัดลอกไฟล์ระหว่างดาต้าสโตร์ผ่านไคลเอนต์ vSphere
   • ข้อได้เปรียบ: การย้ายเพียง ~ 40 GiB ไม่ใช่ ~ 100 GiB
   • ข้อเสีย: ทุกอย่างอื่น - ไม่กลับมาทำงานต่อพื้นหลังไม่ได้ / ผ่อนคันเร่งความเร็วอินเตอร์เฟซSUCKS
     
     
2. คัดลอกไฟล์ระหว่างผู้เยี่ยมชม Windows โดยใช้ BITS
   • ข้อได้เปรียบ: กลับมาทำงานได้, ถ่ายโอนพื้นหลัง
   • ข้อเสีย: การย้ายข้อมูล ~ 60 GiB ที่ไม่มีอยู่จริง
   • โบนัส: ใช้ PowerShell <3
   • โบนัสคุมประพฤติลับคู่: การรีโมท PowerShell ทำให้สามารถทำได้ในคำสั่งเดียว
     
     
3. คัดลอกไฟล์ระหว่างโฮสต์ ESXi ผ่าน SCP
   • ข้อได้เปรียบ: เร่งความเร็วและกลับมาทำงานต่อได้
   • ข้อเสีย: การย้ายข้อมูล ~ 60 GiB ที่ไม่มีอยู่จริง ไม่ใช่การถ่ายโอนพื้นหลัง
   • โบนัส: เคราคอ เคราคอเสริมสำหรับการเริ่มต้นใหม่
     
     
4. ตัวเลือกที่ดีกว่าแนะนำเกี่ยวกับความผิดพลาดของเซิร์ฟเวอร์
   • ข้อได้เปรียบ: การถ่ายโอนข้อมูลพื้นหลังที่ทำงานต่อเนื่องได้อย่างรวดเร็วและต่อเนื่องซึ่งจะย้ายข้อมูลที่มีอยู่ประมาณ 40 GiB เท่านั้น
   • ข้อเสีย: การมอบรางวัลค่าใช้จ่ายตัวแทน
   • โบนัส: เรียนรู้สิ่งใหม่ปรับการเล่น ServerFault ในที่ทำงาน

นี่เป็นแนวคิดที่น่าสนใจสำหรับคุณ มันจะไม่ช่วยในการเริ่มต้นของคุณ แต่ฉันสงสัยว่าการใช้ผลิตภัณฑ์ฟรีของ Crashplan จะช่วยแม่แบบของคุณหรือไม่

https://www.code42.com/store/

มันทำหน้าที่ขจัดความแตกต่างและระดับบล็อกดังนั้นคุณสามารถติดตั้งลงในเซิร์ฟเวอร์ภายในเครื่องเดียวที่ HQ ในฐานะ "seeder" และบนเซิร์ฟเวอร์ที่พูดแต่ละตัว (ใน VM ฉันเดา) เป็น "ผู้รับ" ตั้งค่าข้อมูลสำรองเพื่อรวมเฉพาะโฟลเดอร์ที่จะเก็บแม่แบบไว้ใน HQ Server นอกจากนี้ยังสามารถสำรองข้อมูลไปยังปลายทางหลายแห่ง (เช่น "ก้าน" แต่ละเส้นทาง) https://support.code42.com/CrashPlan/Latest/Getting_Started/Choosing_Destinations

ขั้นตอน (หลังจากตั้งค่าแอพ Crashplan ในแต่ละด้าน) จะทำงานดังนี้:

1. คัดลอกแม่แบบจากที่เก็บข้อมูลไปยังเซิร์ฟเวอร์ "seed" ไปยังไดเรกทอรีที่ Crashplan กำลังตรวจสอบอยู่ ในเครือข่ายกิกะบิตอาจใช้เวลาสักครู่ แต่ไม่ควรเลวร้ายเกินไป
2. Crashplan ควรตรวจสอบและเริ่มการสำรองไฟล์ไปยังซี่ / ผู้รับ เห็นได้ชัดว่าจะใช้เวลาสักครู่
3. หลังจากการเริ่มต้น / การสำรองข้อมูลเริ่มต้นเมื่อเทมเพลตในอนาคตเปลี่ยนการคัดลอกจากที่เก็บข้อมูลจริงไปยังไดเรกทอรีของเซิร์ฟเวอร์ "seed" Crashplan กำลังตรวจสอบและเขียนทับเทมเพลตสำเนาต้นฉบับ จากนั้น Crashplan จะขจัดข้อมูลซ้ำซ้อนและเปลี่ยนระดับบล็อกเป็นแบบจำลองเท่านั้น

แค่ความคิด ... อาจเป็นหนทางที่น่าสนใจที่จะเสี่ยงและดูว่ามันทำหน้าที่เหมือนการจำลองระดับ / บล็อกระดับของคนจนสำหรับไฟล์เหล่านี้หรือไม่

ฉันได้ย้ายประเภทนี้หลายวิธี แต่ได้รับสิ่งที่คุณอธิบาย ...

FedEx หรือ UPSด้วยแรงบิด ...

ฉันรู้ว่าเซิร์ฟเวอร์ที่ใช้คือเซิร์ฟเวอร์ HP ProLiant และ Dell PowerEdge VMware ไม่ได้รับการสนับสนุนที่ดีสำหรับอุปกรณ์แบบถอดได้ (เช่น USB) เป็นเป้าหมายของที่เก็บข้อมูล อย่างไรก็ตามการใช้ไดรฟ์แบบลอจิก RAID 0 ไดรฟ์เดียว (ใน HP-speak) ที่ไซต์หลักสามารถทำงานได้ คุณสามารถเพิ่มและลบดิสก์ที่เชื่อมต่อแบบโลคัลบนระบบ HP และ Dell และใช้วิธีนี้ในการขนส่งดาต้าสโตร์

เป็นแม่แบบคุณสามารถย้าย / คัดลอกไปยังดิสก์ภายในเครื่องของคุณผ่าน vCenter จัดส่งดิสก์ แทรกลงในเซิร์ฟเวอร์สแตนด์อะโลนที่ได้รับ อาร์เรย์และดาต้าสโตร์จะถูกจดจำผ่าน rescan ของระบบจัดเก็บข้อมูล คัดลอกข้อมูล กำไร.

ฉันยังใช้สิ่งนี้เป็นวิธีในการคัดลอกสำเนาสำหรับการจำลองแบบ vSphere เนื่องจากเดลตา 24 ชั่วโมงนั้นง่ายต่อการจัดการมากกว่าการซิงค์แบบเต็มจำนวนมาก

นี่เป็นวิธีที่ฉันใช้บ่อยสำหรับสถานการณ์ประเภทนี้ ดูเหมือนต่อต้านได้ง่ายเพราะคุณกำลังอัปโหลดไฟล์จากภายใน VM ที่เก็บไว้ในที่เก็บข้อมูลไปยังที่เก็บข้อมูลของตัวเอง อย่างไรก็ตามวิธีนี้ช่วยให้คุณสามารถควบคุมวิธีการถ่ายโอนได้สำเร็จ

• ใช้ WinRAR หรือ 7Zip เพื่อแยกแม่แบบของคุณออกเป็นชิ้นขนาด 1GB-2GB
• สร้าง VM บนเซิร์ฟเวอร์ ESXi ที่แต่ละไซต์ระยะไกล ต้องการทรัพยากรน้อยที่สุดนี่เป็นเพียงพื้นที่จัดเตรียม
• แนบ VMDK กับ VM เหล่านี้แต่ละตัวที่ใหญ่พอที่จะเก็บข้อมูลที่คุณถ่ายโอน
• ติดตั้งระบบปฏิบัติการและถ่ายโอนเครื่องมือที่คุณเลือก (ฉันใช้เซิร์ฟเวอร์ SFTP สำหรับสิ่งนี้)
• อัปโหลดเทมเพลต RAR ลงใน staging VM
• คลายการบีบอัดเทมเพลต RAR
• ใช้ vSphere หรือ web UI เพื่ออัพโหลดเทมเพลตจาก staging VM ไปยังที่เก็บข้อมูล ESXI (นี่จะเป็นการโอนแบบ FAST)

ข้อดี:

โดยการแบ่งเทมเพลตออกเป็นชิ้นเล็ก ๆ จะช่วยลดความเสี่ยงที่ข้อมูลจะเสียหายระหว่างการถ่ายโอน (หากไฟล์เกิดความเสียหายคุณจะต้องอัปโหลดชิ้นส่วนของ RAR นั้นใหม่แทนที่จะเป็นไฟล์ 40GB ทั้งหมด)

คุณถ่ายโอน 40GB เท่านั้น (อาจน้อยกว่าเนื่องจาก RAR'ing จะบีบอัดเพิ่มเติม)

คุณจะได้รับยูทิลิตีการถ่ายโอนที่คุณเลือกใช้ภายในระบบปฏิบัติการที่คุณเลือก

จุดด้อย:

คุณต้องสร้างการแสดงละคร VM ฉันทำให้มันง่ายขึ้นโดยการมีเทมเพลตที่สร้างไว้ล่วงหน้าคือ <1GB ที่มีเพียงการติดตั้งระบบปฏิบัติการ + เซิร์ฟเวอร์ SFTP เปล่า

การบีบอัด / คลายการบีบอัดแม่แบบ 40GB จะใช้เวลาประมาณ 4-6 ชั่วโมงขึ้นอยู่กับทรัพยากร CPU ของคุณ

ฉันจัดการกับปัญหาเดียวกันนี้หลายครั้งและประมาณครึ่งเวลาฉันพบว่าฉันดีกว่ามากแค่สร้างเครื่องจักรใหม่ในที่ห่างไกล สิ่งนี้เป็นจริงอย่างยิ่งสำหรับสิ่งที่ฉันเรียกว่าเครื่อง "เทมเพลต" รุ่นของฉันนั้นเป็นเครื่องจักรพื้นฐานที่น่ารัก เวอร์ชันของคุณอาจแตกต่างออกไปเล็กน้อย