ฉันจะแบ่งไฟล์สำรอง MySql ขนาดใหญ่เป็นหลายไฟล์ได้อย่างไร

ฉันมีไฟล์ SQL สำรองข้อมูล 250 MB แต่ขีด จำกัด ของโฮสติ้งใหม่นั้นมีขนาดเพียง 100 MB ...

มีโปรแกรมที่ให้คุณแยกไฟล์ SQL ออกเป็นหลายไฟล์ SQL หรือไม่?

ดูเหมือนว่าผู้คนกำลังตอบคำถามที่ผิด ... ดังนั้นฉันจะอธิบายเพิ่มเติม:

ฉันมีไฟล์ 250 MB เท่านั้นและมีโฮสติ้งใหม่โดยใช้ phpMyAdmin ซึ่งปัจจุบันไม่มีข้อมูลในฐานข้อมูล ฉันต้องใช้ไฟล์ 250 MB และอัปโหลดไปยังโฮสต์ใหม่ แต่มีขีด จำกัด ขนาดการอัปโหลดไฟล์สำรอง SQL 100 MB ฉันเพียงแค่ต้องใช้ไฟล์เดียวที่มีขนาดใหญ่เกินไปและแบ่งออกเป็นหลายไฟล์แต่ละไฟล์มีคำสั่ง SQL ที่ถูกต้องเท่านั้น (ไม่มีคำสั่งใดสามารถแยกระหว่างสองไฟล์)

จากฉันจะแยกเอาต์พุตจาก mysqldump เป็นไฟล์ขนาดเล็กได้อย่างไร

เริ่มแรกให้สคีมา (มันพอดีใน 2Mb ไม่ใช่เหรอ)

mysqldump -d --all-databases

และเรียกคืน

หลังจากนั้นดัมพ์เฉพาะข้อมูลในคำสั่ง insert ที่แยกต่างหากดังนั้นคุณสามารถแยกไฟล์และเรียกคืนไฟล์เหล่านั้นโดยไม่ต้องต่อเชื่อมกับเซิร์ฟเวอร์ระยะไกล

mysqldump --all-databases --extended-insert=FALSE --no-create-info=TRUE

วิธีที่ง่ายที่สุดในการแบ่งไฟล์สำรองคือการใช้ซอฟต์แวร์sqldumpsplitterซึ่งช่วยให้คุณสามารถแยกไฟล์ db ออกเป็นหลายไฟล์ db ดาวน์โหลดได้ที่นี่

มิฉะนั้นให้ใช้คำสั่งเทอร์มินัลนี้

split -l 600 ./path/to/source/file.sql ./path/to/dest/file-

ที่นี่ 600 คือจำนวนบรรทัดที่คุณต้องการให้มีในไฟล์แยกของคุณ และทั้งสองข้อโต้แย้งคือแหล่งที่มาและปลายทางของไฟล์ตามลำดับ

หมายเหตุ: คุณต้องตรวจสอบไฟล์แยกคุณไม่ต้องแยกคำสั่งใด ๆ

ฉันเขียนmysqldumpsplitter (shell script) ซึ่งแยกฐานข้อมูล / ตารางตามคำแนะนำอย่างรวดเร็วและง่ายดาย ดูทุกกรณีการใช้งานเป็นไปได้ของวิธีการสกัดจาก mysqldump

sh mysqldumpsplitter.sh --source mysqldump-file.sql --extract DB --match_str database-name

รหัสนี้จะทำสิ่งที่คุณต้องการ (และเป็นโอเพ่นซอร์ส):

https://web.archive.org/web/20160313044916/http://rodo.nl/index.php?page=mysql-splitter

จะช่วยให้คุณสามารถแยกไฟล์ SQL ใด ๆ เป็นไฟล์ขนาดเล็กหลายไฟล์ (คุณสามารถกำหนดขนาดสูงสุด) ไวยากรณ์ SQL จะถูกเก็บไว้อย่างถูกต้องและจะทำงานร่วมกับไวยากรณ์แบบสอบถาม 'แทรกหลาย'

หวังว่านี่จะช่วยได้!

1) คุณมีตัวเลือกในการอัปโหลดไฟล์ด้วยวิธีอื่นเช่น: scp หรือ ftp แล้วกู้คืนจากไฟล์ภายในเครื่องหรือไม่?

2) ISP ของคุณจะใช้ไฟล์บน CD และโหลดให้คุณหรือไม่

3) คุณสามารถกู้คืนไฟล์ไปยังเซิร์ฟเวอร์ภายในแล้วสร้างชุดของไฟล์สำรองจากไฟล์โดยใช้เกณฑ์เฉพาะเพื่อลดขนาดไฟล์ลง

4) คุณสามารถแบ่งไฟล์ด้วยตนเองแล้วจัดระเบียบคำสั่ง SQL ที่ท้ายไฟล์ได้หรือไม่

คุณสามารถแยกไฟล์ขนาดใหญ่ใน Eclipse ฉันได้ลองใช้ไฟล์ 105GB ใน Windows สำเร็จแล้ว:

เพียงเพิ่มห้องสมุด MySQLDumpSplitter ในโครงการของคุณ: http://dl.bintray.com/verace/MySQLDumpSplitter/jar/

บันทึกย่อเกี่ยวกับวิธีการนำเข้า:

- In Eclipse, Right click on your project --> Import
- Select "File System" and then "Next"
- Browse the path of the jar file and press "Ok"
- Select (thick) the "MySQLDumpSplitter.jar" file and then "Finish"
- It will be added to your project and shown in the project folder in Package Explorer in Eclipse
- Double click on the jar file in Eclipse (in Package Explorer)
- The "MySQL Dump file splitter" window opens which you can specify the address of your dump file and proceed with split.

ฉันมีปัญหานี้เช่นกันและตัดสินใจที่จะเขียนโค้ดหน่วยความจำและ CPU ที่มีประสิทธิภาพอย่างมากซึ่งแยกไฟล์. sql ไฟล์เดียวออกเป็นหลาย ๆ ไฟล์ (หนึ่งต่อตาราง)

ฉันต้องเขียนเพราะวิธีแก้ปัญหาอื่นที่ฉันพบว่าทำงานได้ไม่ดีพอ ในการถ่ายโอนข้อมูลจริง 16GB ฉันจัดการเพื่อแยกมันในเวลาน้อยกว่า 2 นาที

รหัสและคำแนะนำมีอยู่ที่หน้าโครงการใน GitHub

มีสองตัวเลือกถ้าคุณสามารถเรียกใช้สคริปต์ทุบตีหรือ perl ลองอันนี้จากyoodey.com

#!/usr/bin/perl -w
#
# splitmysqldump - split mysqldump file into per-database dump files.
use strict;
use warnings;
my $dbfile;
my $dbname = q{};
my $header = q{};
while (<>) {    

# Beginning of a new database section:
    # close currently open file and start a new one
    if (m/-- Current Database\: \`([-\w]+)\`/) {
    if (defined $dbfile && tell $dbfile != -1) {
        close $dbfile or die "Could not close file!"
    }
    $dbname = $1;
    open $dbfile, ">>", "$1_dump.sql" or die "Could not create file!";
    print $dbfile $header;
    print "Writing file $1_dump.sql ...\n";
    }
    if (defined

$dbfile && tell $dbfile != -1) {
    print $dbfile $_;
    }
    # Catch dump file header in the beginning
    # to be printed to each separate dump file.
    if (!

$dbname) { $header .= $_; }
}
close $dbfile or die "Could not close file!"

แทนที่จะแยกไฟล์คุณสามารถใช้ไคลเอนต์ MySQL บนเครื่องของคุณและเชื่อมต่อกับฐานข้อมูล MySQL ระยะไกล ฉันใช้HeidiSQLและพบว่ามันดีมาก

แน่นอนว่าอาจใช้เวลาสักครู่ในการส่งคำสั่ง SQL 250MB ผ่านอินเทอร์เน็ต

คุณสามารถลองBigDump ได้เช่นกัน