บางครั้งเมื่อคุณดาวน์โหลดรูปภาพและการเชื่อมต่อหยุดกลางสตรีมคุณจะเหลือครึ่งหนึ่งของรูปภาพที่ดาวน์โหลด หากคุณพยายามที่จะดูมันคุณจะได้รับส่วนบนของภาพและส่วนล่างมักจะเป็นสีเทาหรือสีเขียวหรือสีอื่น ๆ กล่าวอีกนัยหนึ่งมันเสียหาย
มีวิธีการตรวจสอบหรือไม่ว่าภาพเสียหายหรือเป็นอย่างอื่น?
คำตอบ:
หากคุณกำลังพูดถึงไฟล์ JPEG แสดงว่ายูทิลิตี้jpeginfoเป็นสิ่งที่คุณต้องการอย่างแท้จริง มันสามารถตรวจสอบไฟล์สำหรับข้อผิดพลาด JPEG และข้อผิดพลาดประเภทต่างๆและส่งคืนรหัสข้อผิดพลาด (สิ่งที่มีประโยชน์ที่สุดสำหรับการเขียนสคริปต์) หรือเพียงแค่ลบไฟล์ที่มีข้อผิดพลาด
ฉันใช้สิ่งนี้เป็นส่วนหนึ่งของการถ่ายโอนไฟล์เริ่มต้นของฉันเพื่อให้แน่ใจว่าทุกอย่างที่คัดลอกไม่เป็นไรโดยไม่ต้องพึ่งพาการตรวจสอบด้วยตนเอง (หลังจากนั้นฉันตรวจสอบให้แน่ใจว่า checksums ของพวกเขาไม่เปลี่ยนแปลงเนื่องจากเป็นส่วนหนึ่งของการป้องกันสำรอง / bitrot ปกติของฉัน)
โปรแกรมดังกล่าวเป็นบรรทัดคำสั่งและมาเป็นซอร์สโค้ด แต่มันควรจะง่ายต่อการสร้างและใช้งานบนการกระจาย Linux หรือบน Mac ด้วยการตั้งค่าสภาพแวดล้อมการพัฒนาที่เหมาะสม ฉันแน่ใจว่าคุณสามารถทำได้บน Windows ด้วย Cygwin หรือ MinGW (ตัวอย่างเช่นแม้ว่าฉันจะไม่สามารถรับรองความถูกต้องได้ แต่บล็อกโพสต์นี้ดูเหมือนถูกต้องและมีการดาวน์โหลดที่คอมไพล์แล้ว) ในการสร้างด้วยตนเอง:
$ git clone https://github.com/tjko/jpeginfo.git
Cloning into 'jpeginfo'...
[...]
Checking connectivity... done
$ cd jpeginfo/
$ ./configure && make
สิ่งนี้ควรสร้างjpeginfoคำสั่งที่คุณสามารถรันหรือคัดลอกได้ทุกที่ที่คุณต้องการ (อาจใช้make install)
จากนั้นคุณเรียกใช้ดังนี้:
$ ./jpeginfo -c *.jpg
test1.jpg 1996 x 2554 24bit Exif P 6582168 [OK]
test2.jpg 1996 x 2554 24bit Exif P 6582116 Premature end of JPEG file [WARNING]
test3.jpg Corrupt JPEG data: 1 extraneous bytes before marker 0xe2 1996 x 2554 24bit Exif P 6582169 [WARNING]
ที่นี่ test1.jpg ใช้ได้อย่างสมบูรณ์แบบและ test2.jpg ฉันลบสองสามไบต์จากจุดสิ้นสุดและ test3.jpg ฉันเปลี่ยนบางส่วนของการสุ่มไบต์ในส่วนหัว
หากคุณมีไฟล์ RAW ให้ตรวจสอบหน้านี้จาก American Society of Media Photographers เกี่ยวกับการตรวจสอบความถูกต้องของDNGหรือรายละเอียดการตรวจสอบความถูกต้องของข้อมูลซึ่งครอบคลุมการใช้ตัวแปลง DNG ของ Adobe เพื่อตรวจสอบรูปแบบ RAW ที่เป็นกรรมสิทธิ์ (น่าเสียดายนี่คือการใช้งาน GUI และไม่จำเป็นต้องเป็นสคริปต์ได้อย่างง่ายดาย)
หากคุณมีกล้องที่ให้ผลผลิต DNG รุ่น 1.2 ได้ดีกว่าเนื่องจากมีการตรวจสอบ MD5 ในตัวของข้อมูลภาพ น่าเสียดายที่นี่ดูเหมือนจะไม่ถูกจัดเก็บด้วยข้อมูลเมตาของภาพปกติหรืออย่างน้อย exiftool และ exiv2 ไม่รู้จักและพวกเขาอ่านไฟล์ 1.2 DNG โดยทั่วไป - ซึ่งหมายความว่าเท่าที่ฉันรู้ว่าการตรวจสอบ Adobe ในปัจจุบัน เครื่องมือเป็นวิธีเดียวที่จะใช้ประโยชน์จากสิ่งนั้นเช่นกัน
ImageVerifier ทำในสิ่งที่คุณต้องการ น่าเสียดายที่มันไม่สามารถดาวน์โหลดได้อีกต่อไปและการสนับสนุนได้ถูกยกเลิกในวันที่ 31 ธันวาคม 2017 (ดูIngestive และ ImageVerifier ที่ไม่มีขายอีกต่อไป )
ImageVerifier (สั้น ๆ สำหรับ IV) สำรวจลำดับชั้นของโฟลเดอร์เพื่อค้นหาไฟล์รูปภาพเพื่อตรวจสอบ มันสามารถตรวจสอบ TIFFs, JPEGs PSDs, DNGs และไม่ใช่ดิบ DNG (เช่น NEF, CR2)
IV ถูกออกแบบมาเพื่อประมวลผลภาพจำนวนมาก ลำดับชั้นของโฟลเดอร์ที่มี 100,000 ภาพหรือมากกว่านั้นจะไม่มีปัญหา ในการทดสอบครั้งเดียว IV จะใช้เวลา 14 ชั่วโมง
การตรวจสอบมีสองประเภทที่ IV ดำเนินการ: การตรวจสอบโครงสร้างและการตรวจสอบแฮช
ถ้าไม่เกี่ยวกับการดาวน์โหลดภาพจากกล้องของคุณ แต่คอมพิวเตอร์กับคอมพิวเตอร์โอนแนวทางร่วมกันเพื่อความสมบูรณ์ของไฟล์มีchecksums
น่าเสียดายที่รูปแบบภาพ "ผู้ใช้ทั่วไป" ทั่วไป (jpeg, png, gif, …) นั้นไม่ได้ผ่านการตรวจสอบด้วยตนเอง แต่เมื่อฉันเข้าใจคำถามที่บอกเป็นนัยถึงการประมวลผลอัตโนมัติการรวมเครื่องมือตรวจสอบ ( CRC32 , MD5 , …) เข้ากับเวิร์กโฟลว์อาจเป็นทางออกที่ทำงานได้ img123.jpg → img123.jpg.md5วิธีการทั่วไปในการจัดเก็บการตรวจสอบคือการมีไฟล์ที่มีชื่อไฟล์เดียวกันเพียงกับส่วนขยายที่เพิ่มเช่น:
วิธีนี้มีประโยชน์เพิ่มเติมที่คุณสามารถตรวจสอบความสมบูรณ์ของ (เช่น) ไฟล์ sidecar หรือสิ่งอื่นที่คุณต้องการถ่ายโอนในกลไกที่คล้ายกัน และถ้าคุณเก็บไฟล์เช็คซัมไว้รอบ ๆ แม้ในอนาคต (และมันมีข้อเสียของการไม่รวมอยู่ใน PS, LR หรือเครื่องมือทั่วไปอื่น ๆ ในขอบเขตของความรู้ที่ จำกัด ของฉัน)
ฉันพัฒนาcheck_media_integrityสคริปต์ python ง่าย ๆcheck_mi.pyคุณสามารถดาวน์โหลดได้จาก GitHub:
https://github.com/ftarlao/check-media-integrity
ฉันพูดคำแนะนำคำนำ:
check-mi เป็นสคริปต์ Python 2.7 ที่ตรวจสอบความถูกต้องของไฟล์สื่อโดยอัตโนมัติ (รูปภาพ, วิดีโอ, เสียง) คุณสามารถตรวจสอบความสมบูรณ์ของไฟล์เดียวหรือชุดของไฟล์ในโฟลเดอร์และโฟลเดอร์ย่อยซ้ำในที่สุดคุณสามารถเลือกที่จะแสดงรายการของไฟล์ที่ไม่ดีพร้อมเส้นทางและรายละเอียดในรูปแบบ CSV
เครื่องมือทดสอบความสมบูรณ์ของไฟล์โดยใช้ไลบรารีทั่วไป (Pillow, ImageMagik, FFmpeg) และตรวจสอบเมื่อพวกเขาสามารถถอดรหัสไฟล์สื่อได้อย่างมีประสิทธิภาพ รูปแบบคำเตือนรูปภาพเสียงและวิดีโอมีความยืดหยุ่นมากต่อข้อบกพร่องและความเสียหายด้วยเหตุนี้เครื่องมือจึงไม่สามารถตรวจพบไฟล์ที่เสียหายทั้งหมด
check-mi สามารถมั่นใจได้ 100% ในการตรวจจับไฟล์ที่มีส่วนหัว / เมทาดาทาที่ไม่สมบูรณ์ไฟล์ภาพที่ถูกตัดทอน (ที่เข้มงวด _ ระดับ> 0) และข้อผิดพลาด i / o อุปกรณ์
การตรวจสอบ mi มักจะไม่สามารถตรวจพบความเสียหายเล็กน้อยทั้งหมด - เช่นส่วนเล็ก ๆ ของไฟล์สื่อที่เขียนทับด้วยค่าที่ต่างกัน ในรายละเอียดฉันได้ทดสอบเข้มงวด _level 1 ด้วยการทดลองแบบสุ่มขนาดเล็กดำเนินการในรูปภาพ jpeg ขนาด 5MB เดียว:
เขียนทับส่วน (ช่วงเวลา) ของไฟล์รูปภาพด้วยศูนย์คุณต้องการขนาดช่วงเวลา = 1024KBytes เพื่อรับโอกาส 50% ในการตรวจจับความเสียหาย เขียนทับส่วน (ช่วงเวลา) ของไฟล์รูปภาพที่มีค่าสุ่มต่างกันคุณจะได้อัตราส่วนการตรวจจับประมาณ 85% สำหรับขนาดช่วงเวลาตั้งแต่ 4096bytes ถึง 1024Kbytes
ในกรณีที่คุณรู้วิธีสอน Pillow, Wand และ FFmpeg ให้เข้มงวดขึ้นเมื่อถอดรหัสโปรดบอกฉัน
คำตอบที่ได้รับการยอมรับหมายถึงการใช้ jpeginfo ซึ่งเป็นเครื่องมือที่เก่าและไม่ได้รับการบำรุงรักษาที่เขียนด้วยภาษา C (และยังไม่แยกส่วน / ขยายได้) นอกจากนี้เครื่องมือดังกล่าวดูเหมือนจะมองหาจุดข้อมูล EXIF บางจุดเท่านั้น (อ่านผ่านซอร์สโค้ดประมาณ ~ 5 นาที)
IMO ซึ่งเป็นเครื่องมือที่ดีกว่าที่เรียกว่าประเภทไฟล์นั้นใช้งานง่ายมากโดยทั่วไปให้คัดลอกโค้ดตัวอย่างของพวกเขาและแก้ไขชื่อไฟล์หากคุณไม่รู้วิธีการใช้รหัส มันจะตรวจสอบหมายเลขเวทย์มนตร์ที่เกี่ยวข้องกับประเภทไฟล์ที่รู้จักและช่วยให้คุณรู้ว่าคุณกำลังติดต่อกับไฟล์ประเภทใด
ฉันยังคงมองหาเลเยอร์การป้องกันมากกว่านี้ ตัวอย่างเช่นหากมีการเก็บข้อมูลโดยพลการในอดีต (หรือใน) เมตาดาต้า EXIF หรือหลังตัวเลขเวทย์มนตร์นั้นอาจทำให้เกิดปัญหาด้านความปลอดภัย ฉันจะตรวจสอบมาตรการรักษาความปลอดภัยต่อไปและหวังว่าจะได้รับคำตอบในภายหลัง
นี่คือตัวอย่างโค้ดที่คัดลอกมาจากหน้าเว็บของพวกเขาสำหรับคนขี้เกียจ:
// Node.js
const readChunk = require('read-chunk');
const fileType = require('file-type');
const buffer = readChunk.sync('unicorn.png', 0, fileType.minimumBytes);
fileType(buffer);
//=> {ext: 'png', mime: 'image/png'}
FYI เครื่องมือนี้ได้รับการอัปเดตอย่างต่อเนื่อง (3 วันที่ผ่านมาเป็นอัปเดตล่าสุดตามคำตอบดั้งเดิมของฉันที่นี่) และปัจจุบันพวกเขามีการดาวน์โหลดสัปดาห์ละ 3,691,850 รายซึ่งอาจเป็นข้อบ่งชี้ที่ดี
file(ซึ่งทำงานในลักษณะเดียวกันนี้) จะรายงานอย่างถูกต้อง แต่จะไม่สามารถแสดงผลได้เนื่องจากข้อมูลส่วนใหญ่ขาดหายไป