Raster diff: วิธีตรวจสอบว่าภาพมีค่าเหมือนกันหรือไม่?

มีวิธีตรวจสอบเพื่อดูว่าเลเยอร์แรสเตอร์ที่กำหนด 2 รายการมีเนื้อหาเหมือนกันหรือไม่?

เรามีปัญหาเกี่ยวกับปริมาณพื้นที่เก็บข้อมูลที่ใช้ร่วมกันในองค์กรของเรา: ขณะนี้มีขนาดใหญ่มากซึ่งใช้เวลามากกว่า 3 วันในการสำรองข้อมูลเต็มรูปแบบ การตรวจสอบเบื้องต้นพบว่าหนึ่งในผู้ร้ายที่กินพื้นที่มากที่สุดคือเปิด / ปิดแรสเตอร์ที่ควรเก็บเป็นเลเยอร์ 1 บิตด้วยการบีบอัด CCITT

อิมเมจตัวอย่างนี้เป็น 2 บิตในปัจจุบัน (ดังนั้นค่าที่เป็นไปได้ 3 ค่า) และบันทึกเป็นไฟล์บีบอัด LZW ขนาด 11 MB ในระบบไฟล์ หลังจากแปลงเป็น 1 บิต (เพื่อให้มี 2 ค่าที่เป็นไปได้) และใช้การบีบอัด CCITT Group 4 เราได้รับการลดลงเหลือ 1.3 MB เกือบเต็มตามลำดับความสำคัญของการออม

(อันที่จริงแล้วเป็นพลเมืองที่ประพฤติตัวดีมีคนอื่นเก็บไว้เป็น 32 บิตลอย!)

นี่เป็นข่าวที่น่าอัศจรรย์! อย่างไรก็ตามมีเกือบ 7,000 ภาพที่จะใช้เช่นกัน มันจะตรงไปตรงมาในการเขียนสคริปต์เพื่อบีบอัดพวกเขา:

for old_img in [list of images]:
    convert_to_1bit_and_compress(old_img)
    remove(old_img)
    replace_with_new(old_img, new_img)

... แต่มันขาดการทดสอบที่สำคัญ: เป็นรุ่นเนื้อหาบีบอัดใหม่เหมือนกันหรือไม่

  if raster_diff(old_img, new_img) == "Identical":
      remove(old_img)
      rename(new_img, old_img)

มีเครื่องมือหรือวิธีการที่สามารถ (dis) พิสูจน์ได้โดยอัตโนมัติว่าเนื้อหาของ Image-A นั้นมีคุณค่าเหมือนกันกับเนื้อหาของ Image-B หรือไม่?

ฉันมีสิทธิ์เข้าถึง ArcGIS 10.2 และ QGIS แต่ฉันก็ยังเปิดรับสิ่งอื่น ๆ ส่วนใหญ่เกินกว่าที่จะสามารถกำจัดความจำเป็นในการตรวจสอบภาพเหล่านี้ทั้งหมดด้วยตนเองเพื่อให้แน่ใจว่าถูกต้องก่อนเขียนทับ มันจะน่ากลัวที่จะผิดพลาดการแปลงและเขียนทับภาพที่จริงๆไม่ได้มากไปกว่าการเปิด / ปิดค่าในนั้น ค่าใช้จ่ายส่วนใหญ่หลายพันดอลลาร์เพื่อรวบรวมและสร้าง

อัปเดต:ผู้กระทำผิดที่ใหญ่ที่สุดคือ 32 บิตลอยตัวในช่วงที่สูงถึง 100,000px ข้างหนึ่งดังนั้น ~ 30GB ที่ไม่บีบอัด

ลองแปลงแรสเตอร์ของคุณให้เป็นอาร์เรย์แบบ numpy แล้วตรวจสอบดูว่ามีรูปร่างและองค์ประกอบเดียวกันกับarray_equalหรือไม่ หากเหมือนกันผลลัพธ์ควรเป็นTrue:

ArcGIS:

import arcpy, numpy

raster1 = r'C:\path\to\raster.tif'
raster2 = r'C:\path\to\raster.tif'

r1 = arcpy.RasterToNumPyArray(raster1)
r2 = arcpy.RasterToNumPyArray(raster2)

d = numpy.array_equal(r1,r2)

if d == False:
    print "They differ"

else:
    print "They are the same"

GDAL:

import numpy
from osgeo import gdal        

raster1 = r'C:\path\to\raster.tif'
raster2 = r'C:\path\to\raster.tif'

ds1 = gdal.Open(raster1)
ds2 = gdal.Open(raster2)

r1 = numpy.array(ds1.ReadAsArray())
r2 = numpy.array(ds2.ReadAsArray())

d = numpy.array_equal(r1,r2)

if d == False:
    print "They differ"

else:
    print "They are the same"

คุณสามารถมีลองกับสคริปต์ gdalcompare.py http://www.gdal.org/gdalcompare.html ซอร์สโค้ดของสคริปต์อยู่ที่http://trac.osgeo.org/gdal/browser/trunk/gdal/swig/python/scripts/gdalcompare.pyและเนื่องจากเป็นสคริปต์ไพ ธ จึงควรลบสิ่งที่ไม่จำเป็นออกได้ง่าย ทดสอบและเพิ่มรายการใหม่เพื่อให้เหมาะกับความต้องการในปัจจุบันของคุณ สคริปต์ดูเหมือนว่าจะทำการเปรียบเทียบแบบพิกเซลต่อพิกเซลโดยการอ่านข้อมูลภาพจากวงภาพสองภาพต่อวงและนั่นอาจเป็นวิธีที่ค่อนข้างรวดเร็วและสามารถนำมาใช้ซ้ำได้

ฉันขอแนะนำให้คุณสร้างตารางแอตทริบิวต์ rasterสำหรับแต่ละภาพจากนั้นคุณสามารถเปรียบเทียบตาราง นี่ไม่ใช่การตรวจสอบที่สมบูรณ์ (เช่นการคำนวณความแตกต่างระหว่างสอง) แต่ความน่าจะเป็นที่ภาพของคุณแตกต่างกันด้วยค่าฮิสโตแกรมเดียวกันนั้นเล็กมาก นอกจากนี้ยังให้จำนวนค่าที่ไม่ซ้ำกับ NoData (จากจำนวนแถวในตาราง) หากจำนวนรวมของคุณน้อยกว่าขนาดภาพคุณจะรู้ว่าคุณมีพิกเซล NoData

ทางออกที่ง่ายที่สุดที่ฉันพบคือการคำนวณสถิติสรุปเกี่ยวกับ rasters และเปรียบเทียบ ฉันมักจะใช้ค่าเบี่ยงเบนมาตรฐานและค่าเฉลี่ยซึ่งมีความทนทานต่อการเปลี่ยนแปลงส่วนใหญ่แม้ว่ามันจะเป็นไปได้ที่จะหลอกพวกเขาด้วยการจัดการข้อมูลโดยเจตนา

mean_obj = arcpy.GetRasterProperties(input_raster, 'MEAN')
mean = float(mean_obj.getOutput(0))
if round(mean, 4) != 0.2010:
    print("raster differs from expected mean.")

std_obj = arcpy.GetRasterProperties(input_raster, 'STD')
std = float(std_obj.getOutput(0))
if round(std, 4) != 0.0161:
    print("raster differs from expected standard deviation.")

วิธีที่ง่ายที่สุดคือการลบแรสเตอร์หนึ่งอันจากอีกอันหากผลลัพธ์คือ 0 ภาพทั้งคู่จะเหมือนกัน นอกจากนี้คุณสามารถดูฮิสโตแกรมหรือพล็อตตามสีผลลัพธ์