ตาราง ZFS dedupe ของฉันมีขนาดใหญ่เพียงใดในขณะนี้

ฉันได้อ่านข้อมูลจำนวนมากเกี่ยวกับการวางแผนข้อกำหนด RAM สำหรับการลดความซ้ำซ้อนของ ZFS ฉันเพิ่งอัปเกรด RAM ของเซิร์ฟเวอร์ไฟล์ของฉันเพื่อรองรับการ จำกัด การซ้ำซ้อนบางอย่างบน ZFS zvols ซึ่งฉันไม่สามารถใช้สแน็ปช็อตและการโคลนนิ่งบน

ฉันต้องการตรวจสอบให้แน่ใจว่า RAM ใหม่ที่ฉันเพิ่มจะรองรับการขจัดข้อมูลซ้ำซ้อนแบบ จำกัด ที่ฉันตั้งใจจะทำ ในการวางแผนหมายเลขของฉันดูดี แต่ผมต้องการที่จะแน่ใจว่า

ฉันจะบอกขนาดปัจจุบันของตาราง ZD dedupe (DDTs) บนระบบถ่ายทอดสดของฉันได้อย่างไร ฉันอ่านชุดข้อความของรายชื่อผู้รับจดหมายแต่ฉันไม่ชัดเจนว่าพวกเขาเข้าถึงหมายเลขเหล่านั้นได้อย่างไร (ฉันสามารถโพสต์ผลลัพธ์ได้zdb tankหากจำเป็น แต่ฉันกำลังมองหาคำตอบทั่วไปที่สามารถช่วยเหลือผู้อื่นได้)

คุณสามารถใช้zpool status -D poolnameคำสั่ง

ผลลัพธ์จะคล้ายกับ:

root@san1:/volumes# zpool status -D vol1
  pool: vol1
 state: ONLINE
 scan: scrub repaired 0 in 4h38m with 0 errors on Sun Mar 24 13:16:12 2013

DDT entries 2459286, size 481 on disk, 392 in core

bucket              allocated                       referenced          
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1    2.23M   35.6G   19.0G   19.0G    2.23M   35.6G   19.0G   19.0G
     2     112K   1.75G   1005M   1005M     240K   3.75G   2.09G   2.09G
     4    8.03K    129M   73.8M   73.8M    35.4K    566M    324M    324M
     8      434   6.78M   3.16M   3.16M    4.61K   73.8M   35.4M   35.4M
    16      119   1.86M    811K    811K    2.33K   37.3M   15.3M   15.3M
    32       24    384K   34.5K   34.5K    1.13K   18.1M   1.51M   1.51M
    64       19    304K     19K     19K    1.63K   26.1M   1.63M   1.63M
   128        7    112K      7K      7K    1.26K   20.1M   1.26M   1.26M
   256        3     48K      3K      3K     1012   15.8M   1012K   1012K
   512        3     48K      3K      3K    2.01K   32.1M   2.01M   2.01M
    1K        2     32K      2K      2K    2.61K   41.7M   2.61M   2.61M
    2K        1     16K      1K      1K    2.31K   36.9M   2.31M   2.31M
 Total    2.35M   37.5G   20.1G   20.1G    2.51M   40.2G   21.5G   21.5G

เขตข้อมูลสำคัญคือบล็อกที่จัดสรรรวมและบล็อกที่อ้างอิงทั้งหมด ในตัวอย่างด้านบนฉันมีอัตราส่วนการขจัดข้อมูลซ้ำซ้อนต่ำ 40.2G ถูกเก็บไว้ในดิสก์ในพื้นที่ 37.5G หรือ 2.51 ล้านบล็อกในมูลค่าพื้นที่ 2.35 ล้านบล็อก

เพื่อให้ได้ขนาดจริงของตารางให้ดู:

รายการ DDT 2459286 ขนาด 481 บนดิสก์ 392 ในแกน

2459286 * 392 = 964,040,112 ไบต์แบ่ง 1024 และ 1024 ได้รับ: 919.3MB ในแรม

หลังจากอ่านเธรดอีเมลดั้งเดิมและคำตอบของ @ ewwhiteซึ่งทำให้ชัดเจนแล้วฉันคิดว่าคำถามนี้ต้องการคำตอบที่อัปเดตเนื่องจากคำตอบข้างต้นครอบคลุมเพียงครึ่งหนึ่งเท่านั้น

ตัวอย่างเช่นลองใช้เอาต์พุตในพูลของฉัน zdb -U /data/zfs/zpool.cache -bDDD My_poolผมใช้คำสั่ง ในระบบของฉันฉันต้องการ-UARG พิเศษเพื่อค้นหาไฟล์แคช ZFS สำหรับกลุ่มที่ FreeNAS เก็บในตำแหน่งที่แตกต่างจากปกติ คุณอาจจะหรืออาจไม่จำเป็นต้องทำเช่นนั้น โดยทั่วไปแล้วลองzdbไม่ใช้-Uก่อนและหากคุณได้รับข้อผิดพลาดไฟล์แคชให้ใช้find / -name "zpool.cache"หรือคล้ายกันเพื่อค้นหาไฟล์ที่ต้องการ

นี่คือผลลัพธ์ที่แท้จริงของฉันและฉันตีความมันด้านล่าง:

DDT-sha256-zap-duplicate: 771295 entries, size 512 on disk, 165 in core

bucket              allocated                       referenced
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     2     648K   75.8G   68.6G   68.8G    1.39M    165G    149G    149G
     4    71.2K   8.07G   6.57G   6.62G     368K   41.7G   34.1G   34.3G
     8    28.1K   3.12G   2.34G   2.36G     281K   31.0G   23.1G   23.4G
    16    5.07K    424M    232M    241M     110K   9.10G   5.06G   5.24G
    32    1.09K   90.6M   51.8M   53.6M    45.8K   3.81G   2.21G   2.28G
    64      215   17.0M   8.51M   8.91M    17.6K   1.39G    705M    739M
   128       38   2.12M    776K    872K    6.02K    337M    118M    133M
   256       13    420K   21.5K     52K    4.63K    125M   7.98M   18.5M
   512        3      6K      3K     12K    1.79K   3.44M   1.74M   7.16M
    1K        1    128K      1K      4K    1.85K    237M   1.85M   7.42M
    2K        1     512     512      4K    3.38K   1.69M   1.69M   13.5M

DDT-sha256-zap-unique: 4637966 entries, size 478 on disk, 154 in core

bucket              allocated                       referenced
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1    4.42M    550G    498G    500G    4.42M    550G    498G    500G


DDT histogram (aggregated over all DDTs):

bucket              allocated                       referenced
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1    4.42M    550G    498G    500G    4.42M    550G    498G    500G
     2     648K   75.8G   68.6G   68.8G    1.39M    165G    149G    149G
     4    71.2K   8.07G   6.57G   6.62G     368K   41.7G   34.1G   34.3G
     8    28.1K   3.12G   2.34G   2.36G     281K   31.0G   23.1G   23.4G
    16    5.07K    424M    232M    241M     110K   9.10G   5.06G   5.24G
    32    1.09K   90.6M   51.8M   53.6M    45.8K   3.81G   2.21G   2.28G
    64      215   17.0M   8.51M   8.91M    17.6K   1.39G    705M    739M
   128       38   2.12M    776K    872K    6.02K    337M    118M    133M
   256       13    420K   21.5K     52K    4.63K    125M   7.98M   18.5M
   512        3      6K      3K     12K    1.79K   3.44M   1.74M   7.16M
    1K        1    128K      1K      4K    1.85K    237M   1.85M   7.42M
    2K        1     512     512      4K    3.38K   1.69M   1.69M   13.5M
 Total    5.16M    638G    576G    578G    6.64M    803G    712G    715G

dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39

มันหมายถึงอะไรทั้งหมดและหาขนาดของตาราง dedup ที่แท้จริง:

เอาต์พุตแสดงสองตารางย่อยหนึ่งรายการสำหรับบล็อกที่มีซ้ำกันอยู่ ( DDT-sha256-zap-ซ้ำกัน ) และหนึ่งรายการสำหรับบล็อกที่ไม่มีการทำซ้ำ ( DDT-sha256-zap-unique ) / ตารางที่สามด้านล่างแสดงผลรวมโดยรวมของทั้งคู่และมีแถวสรุปด้านล่าง การดูเฉพาะแถว "รวม" และสรุปให้สิ่งที่เราต้องการ:

ขนาด DDT สำหรับบล็อกทั้งหมดที่ปรากฏมากกว่าหนึ่งครั้ง ("DDT-sha256-zap-ซ้ำ") :
771295 entries, size 512 bytes on disk, 165 bytes in RAM ("core")

ขนาด DDT สำหรับบล็อกที่ไม่ซ้ำกัน ("DDT-sha256-zap-unique") :
4637966 entries, size 478 bytes on disk, 154 bytes in RAM ("core")

สถิติ DDT ทั้งหมดสำหรับรายการ DDT ซ้ำ + ซ้ำ ("ฮิสโตแกรมฮิสโตแกรมรวมกับ DDT ทั้งหมด") :

                    allocated                       referenced
          (= disk space actually used)      (= amount of data deduped 
                                                 into that space)
______   ______________________________   ______________________________
         blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE

 Total    5.16M    638G    576G    578G    6.64M    803G    712G    715G

สรุป :
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39

ลองทำตัวเลขกันบ้าง

• จำนวนบล็อกทำงานดังนี้:จำนวนรายการที่เกี่ยวข้องกับบล็อกที่ซ้ำกัน = 771295 จำนวนรายการที่เกี่ยวข้องกับบล็อกที่ไม่ซ้ำกัน = 4637966 รายการรวมในตาราง DDT ควรเป็น 771295 + 4637966 = 5409261 ดังนั้นจำนวนบล็อกเป็นล้าน ๆ นั่นคือ!) จะเป็น 5409261 / (1024 ^ 2) = 5.158 ล้าน ในการสรุปที่เราพบว่ามี5.16M บล็อกแล้วทั้งหมด

• RAM ต้องการทำงานดังนี้:รายการ 771295 สำหรับบล็อกที่ซ้ำกันแต่ละรายการมี 165 ไบต์ใน RAM และรายการ 4637966 สำหรับบล็อกที่ไม่ซ้ำกันแต่ละรายการมีขนาด 154 ไบต์ใน RAM ดังนั้น RAM ทั้งหมดที่จำเป็นสำหรับตาราง dedup ตอนนี้ = 841510439 bytes = 841510439 / (1024 ^ 2) = 803 เมกะไบต์ MB = 0.78 GB of RAM
  
  (ขนาดของดิสก์ที่ใช้สามารถทำได้ด้วยวิธีเดียวกันโดยใช้ตัวเลข "ขนาดบนดิสก์" ชัดเจน ZFS พยายามใช้ดิสก์ I / O อย่างมีประสิทธิภาพและใช้ประโยชน์จากความจริงที่ว่าพื้นที่ดิสก์ที่ใช้งานโดย DDT ไม่ได้ โดยทั่วไปจะมีปัญหาดังนั้นดูเหมือนว่า ZFS จะจัดสรรเซกเตอร์ 512 ไบต์ที่สมบูรณ์สำหรับแต่ละรายการหรือบางสิ่งในบรรทัดเหล่านั้นแทนที่จะเป็นเพียง 154 หรือ 165 ไบต์เพื่อให้มีประสิทธิภาพซึ่งอาจไม่รวมค่าเผื่อสำหรับหลายรายการ สำเนาที่เก็บไว้บนดิสก์ซึ่งโดยปกติ ZFS จะทำ)

• จำนวนข้อมูลทั้งหมดที่จัดเก็บและผลประโยชน์จากการลดความซ้ำซ้อน:จากสถิติ DDT ทั้งหมด, 715 Gbytes ("715G") ของข้อมูลจะถูกเก็บไว้โดยใช้เพียง 578 GBytes ("578G") ของการจัดเก็บข้อมูลบนดิสก์ ดังนั้นอัตราส่วนการประหยัดพื้นที่ลดความซ้ำซ้อนของเราคือ(715 GB ของข้อมูล) / (พื้นที่ 578 GB ที่ใช้หลังจากการลดความซ้ำซ้อน) = 1.237 x ซึ่งเป็นสิ่งที่สรุปบอกเรา ("dedup = 1.24")