ไฟล์เฉพาะของ Linux (mv หรือ cp) จากรายการข้อความของไฟล์?

ฉันมีไดเรกทอรีหลายไฟล์บางอย่างเช่นไฟล์ 50,000 ไฟล์และไฟล์อื่น ๆ บนเซิร์ฟเวอร์ ฉันต้องการย้ายไฟล์เฉพาะไปยังไดเรกทอรีอื่น ฉันสามารถสร้างรายการไฟล์ที่ต้องย้ายในรูปแบบ csv หรือรูปแบบข้อความอื่น ๆ

สิ่งที่ฉันต้องทำคือเรียกใช้สคริปต์ทุบตีและย้ายหรือคัดลอกไฟล์ที่ระบุไว้ในไฟล์ข้อความไปยังไดเรกทอรีอื่น

มีวิธีง่าย ๆ ในการทำเช่นนี้? ข้อเสนอแนะหรือทรัพยากรใด ๆ จะได้รับการชื่นชมอย่างมาก

rsync มีหลายตัวเลือกที่สามารถนำรายชื่อของไฟล์ที่จะดำเนินการ ( --files-from, --include-fromฯลฯ )

ตัวอย่างเช่นนี้จะทำเคล็ดลับ:

rsync -a /source/directory --files-from=/full/path/to/listfile /destination/directory

เพื่อหลีกเลี่ยงการใช้cat(และหากคุณไม่ได้ใช้rsync):

xargs -a file_list.txt mv -t /path/to/dest

การดำเนินการนี้จะจัดการชื่อไฟล์ที่ถูกต้องยกเว้นว่ามีบรรทัดใหม่หากไฟล์ถูกแสดงรายการหนึ่งรายการต่อบรรทัด

for file in `cat listoffiles`; do mv "$file" /path/of/destination ; done

สมมติว่าทุบตีบวกlistoffilesที่มีหนึ่งไฟล์ต่อบรรทัด ข้อคัดค้านเพียงอย่างเดียวของฉันในเส้นทาง rsync คือ OP ขอวิธีการย้ายไฟล์ไม่ใช่การคัดลอก rsync มีธงมากกว่างานอภิเษกดังนั้นฉันแน่ใจว่ามันสามารถแก้ไขเพิ่มเติมเพื่อทำเช่นนั้น แต่บางครั้งง่ายกว่าจะดีกว่า!

ขึ้นอยู่กับรูปแบบของไฟล์ข้อความที่คุณมี ตัวอย่างเช่นหากคุณมีรายการไฟล์ที่เขียนเช่นนั้นแต่ละไฟล์จะอยู่ในบรรทัดใหม่ คุณสามารถใช้ xargs เช่น:

$ cat your_text_file | xargs cp -t /path/to/destination

นอกจากนี้คุณยังสามารถใช้findคำสั่งพร้อม-execตัวเลือก เพื่อคัดลอก / ย้ายไฟล์

rsync --files-from=file_list.txt /path/to/source/ /path/to/dest/

Rsync มีประโยชน์เพิ่มเติมมากกว่าcpหรือmvคำสั่งเพราะมันจะสร้างโฟลเดอร์โดยอัตโนมัติหากพวกเขาไม่อยู่

ฉันคิดว่าคำตอบ rsync เป็นคำตอบที่ดีกว่า แต่สำหรับตัวเลือกอื่น:

tar -cf - -T FILE_OF_FILENAMES_TO_MOVE.txt |(cd /path/to/new/dir && tar -xvf -)

ฉันตั้งใจคัดลอกเนื้อหาทั้งหมดของไดเรกทอรีไปยังไดเรกทอรีปลายทางแทนที่จะย้ายไดเรกทอรีเต็ม สิ่งนี้ส่งผลให้มีไดเร็กทอรีปลายทางที่ยุ่งเหยิงแทนที่จะเป็นไดเร็กทอรีต้นทางที่ถูกเพิ่มเข้ากับไดเร็กทอรี

ในการแก้ไขปัญหานี้ฉันได้ทำสิ่งต่อไปนี้:

ls -rt /path/to/cluttered/destination/directory/ > /opt/dircheck/filestomove คำสั่งดังกล่าวจะสร้างไฟล์ filestomove ที่จะเป็นรายการเนื้อหาทั้งหมดของไดเรกทอรีปลายทางย้อนกลับเรียงตามเวลาหมายถึงเก่าที่สุดถึงใหม่ที่สุด

จากนั้นฉันสร้างไดเรกทอรีย่อยของไดเรกทอรีปลายทางที่ยุ่งเหยิงในขณะนี้เพื่อย้ายข้อมูลไปไว้

mkdir /path/to/cluttered/destination/directory/newsubdirectory

จากนั้นฉันทำซ้ำรายการไดเรกทอรียกเว้นรายชื่อไปที่หน้าจอและแสดงรายละเอียดเพิ่มเติม

ls -lrht /path/to/cluttered/destination/directory/ บรรทัดนี้แสดงรายการไดเรกทอรีเรียงตามวันที่จากน้อยไปมาก (เรียงลำดับย้อนกลับตามเวลา) และแสดงข้อมูลเพิ่มเติมรวมถึงการประทับวันที่ / เวลาของแต่ละไฟล์ในไดเรกทอรีปลายทางที่รกในขณะนี้ ฉันอ้างถึงสิ่งนี้เริ่มต้นที่ด้านบนเพื่อแสดงสิ่งที่ไดเรกทอรีและไฟล์ที่ฉันต้องการให้พวกเขาอยู่ที่ไหน จะมีช่องว่างในการประทับวันที่ / เวลาของไฟล์ที่ไฟล์ใหม่ทั้งหมดเริ่มต้นซึ่งไม่ควรมี

จากนั้นฉันจะแก้ไขไฟล์ filestomove ที่สร้างขึ้นในขั้นตอนแรกข้างต้น (ซึ่งจัดเรียงตามวันที่) และลบบางส่วนออกจากรายการที่มีก่อนหน้านี้ที่ฉันต้องการอยู่จากไดเรกทอรีเดิม

vim /opt/dircheck/filestomove ลบจากด้านบนไฟล์ทั้งหมดที่คุณไม่ต้องการย้าย

จากนั้นฉันก็ใช้คำสั่งที่ระบุไว้ก่อนหน้าในโพสต์นี้เพื่อย้ายไฟล์ในรายการของฉันไปยังไดเรกทอรีใหม่ที่ฉันทำ

sudo xargs -a /opt/dircheck/filestomove mv -t /path/to/cluttered/destination/directory/newsubdirectory

สิ่งนี้ย้ายไฟล์ทั้งหมดในเสี้ยววินาที (หมายเหตุ: คุณอาจไม่จำเป็นต้องใช้ sudo ในตอนแรกนี่เป็นเรื่องของการอนุญาตไฟล์)

ตอนนี้ไดเรกทอรีปลายทางดั้งเดิมของฉันนั้นดีและสะอาดและมีไดเรกทอรีใหม่ที่มีไฟล์และไดเรกทอรีทั้งหมดที่รกอยู่

หาก (และเฉพาะในกรณีที่) คุณไม่มีตัวละครที่น่ารังเกียจในชื่อไฟล์ (ช่องว่าง, การขึ้นบรรทัดใหม่, ซึ่งจะทำให้เกิดความสับสน xargs เกี่ยวกับวิธีการแบ่งสิ่งต่าง ๆ ออกเป็นอาร์กิวเมนต์แต่ละตัว) และคุณสร้างรายการไฟล์ที่คั่นด้วยบรรทัดใหม่ ต่อบรรทัด) คุณสามารถทำสิ่งที่ชอบ

cat filenames.txt | xargs mv -t /path/to/move/files/to

(โดยทั่วไปดู man xargsมันยอดเยี่ยม)

หาก mv เฉพาะของคุณไม่มีตัวเลือก -t คุณสามารถทำเล่ห์เหลี่ยมบางอย่างเช่น

( cat filenames.txt; echo; echo /path/to/move/files/to ) | xargs mv

หมายเหตุ - สิ่งเหล่านี้จะไม่ทำงานอย่างที่คาดไว้หากมีชื่อไฟล์ที่มีการขึ้นบรรทัดใหม่

ลองสิ่งที่ชอบ:

cat list.txt | while read line; do mv "$line" /images; done

ต่อไปนี้ทำงานสำหรับฉันที่ฉันต้องการคัดลอกไฟล์ PNG ทั้งหมดจากเส้นทางเฉพาะ (และส่วนย่อยทั้งหมด) ไปยังตำแหน่งใหม่ในขณะที่รักษาโครงสร้างไดเรกทอรี:

rsync -av --prune-empty-dirs --include='*/' --include='*.png' --exclude='*' source/ destination/

เนื่องจาก RSYNC สร้างมิเรอร์ของโครงสร้างไดเรกทอรีก่อนจากนั้นจึงซิงค์ไฟล์คุณจึงสามารถจบด้วยโฟลเดอร์ส่วนเกินที่ว่างเปล่า ฉันใช้แฟล็ก --prune-empty-dirs เพื่อลบไดเร็กทอรีว่างเหล่านี้

ฉันไม่มีส่วนเกี่ยวข้อง แต่คิดว่าถูกต้องที่จะให้เครดิตกับแหล่งที่เป็นแรงบันดาลใจให้กับโซลูชันนี้: http://techblog.zabuchy.net/2011/transfer-only-selected-file-types-with-rsync/