ประสิทธิภาพการซิงค์ DRBD แย่มากใน 10GigE

ฉันได้ตั้งค่าเซิร์ฟเวอร์ที่เหมือนกันคู่หนึ่งด้วยอาร์เรย์ RAID (8 คอร์, RAM 16GB, 12x2 TB RAID6), อินเทอร์เฟซ 3 10GigE เพื่อโฮสต์บริการที่พร้อมใช้งานบางอย่าง

ระบบกำลังใช้ Debian 7.9 Wheezy oldstable (เนื่องจาก corosync / pacemaker ไม่สามารถใช้งานได้ใน 8.x เสถียรหรือทดสอบ)

• ประสิทธิภาพของโลคัลดิสก์คือประมาณ 900 MB / s การเขียน 1600 MB / s การอ่าน
• ปริมาณงานเครือข่ายระหว่างเครื่องมากกว่า 700MB / s
• ผ่าน iSCSI แต่ละเครื่องสามารถเขียนไปยังที่เก็บข้อมูลของอีกฝ่ายได้มากกว่า 700 MB / s

อย่างไรก็ตามไม่ว่าฉันจะกำหนดค่า DRBD อย่างไรก็ตามปริมาณงานจะถูก จำกัด ที่ 100MB / s ดูเหมือนว่าขีด จำกัด ฮาร์ดโค้ดบางอย่างจริงๆ ฉันสามารถลดประสิทธิภาพได้อย่างน่าเชื่อถือโดยการปรับการตั้งค่า แต่มันไม่เคยเกิน 1Gbit (ถึง 122MB / s เป็นเวลาสองวินาทีในแต่ละครั้ง) ฉันดึงผมของฉันลงบนอันนี้

• เคอร์เนลวานิลลาธรรมดา 3.18.24 amd64
• drbd 8.9.2 ~ rc1-1 ~ bpo70 + 1

การกำหนดค่าแบ่งออกเป็นสองไฟล์global-common.conf::

global {
        usage-count no;
}

common {
        handlers {
        }

        startup {
        }

        disk {
                on-io-error             detach;
         #       no-disk-flushes ;
        }
        net {
                max-epoch-size          8192;
                max-buffers             8192;
                sndbuf-size             2097152;
        }
        syncer {
                rate                    4194304k;
                al-extents              6433;
        }
}

และcluster.res:

resource rd0 {
        protocol C;
        on cl1 {
                device /dev/drbd0;
                disk /dev/sda4;
                address 192.168.42.1:7788;
                meta-disk internal;
        }

        on cl2 {
                device /dev/drbd0;
                disk /dev/sda4;
                address 192.168.42.2:7788;
                meta-disk internal;
        }
}

เอาท์พุทจากcat /proc/drbdบนทาส:

version: 8.4.5 (api:1/proto:86-101)
srcversion: EDE19BAA3D4D4A0BEFD8CDE 
 0: cs:SyncTarget ro:Secondary/Secondary ds:Inconsistent/UpToDate C r-----
    ns:0 nr:4462592 dw:4462592 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:16489499884
        [>....................] sync'ed:  0.1% (16103024/16107384)M
        finish: 49:20:03 speed: 92,828 (92,968) want: 102,400 K/sec

เอาต์พุตจากvmstat 2บนต้นแบบ (ทั้งสองเครื่องไม่ได้ใช้งานเกือบสมบูรณ์):

procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 0  0      0 14952768 108712 446108    0    0   213   254   16    9  0  0 100  0
 0  0      0 14952484 108712 446136    0    0     0     4 10063 1361  0  0 99  0
 0  0      0 14952608 108712 446136    0    0     0     4 10057 1356  0  0 99  0
 0  0      0 14952608 108720 446128    0    0     0    10 10063 1352  0  1 99  0
 0  0      0 14951616 108720 446136    0    0     0     6 10175 1417  0  1 99  0
 0  0      0 14951748 108720 446136    0    0     0     4 10172 1426  0  1 99  0

เอาต์พุตจากiperfระหว่างเซิร์ฟเวอร์สองเครื่อง:

------------------------------------------------------------
Client connecting to cl2, TCP port 5001
TCP window size:  325 KByte (default)
------------------------------------------------------------
[  3] local 192.168.42.1 port 47900 connected with 192.168.42.2 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  6.87 GBytes  5.90 Gbits/sec

เห็นได้ชัดว่าการประสานเบื้องต้นควรจะเป็นค่อนข้างช้า แต่ไม่ช้านี้ ... drbdadm disk-options --resync-rate=800M allนอกจากนี้มันไม่ได้โดดตอบสนองต่อความพยายามที่จะมีอัตราการซิงค์เค้นเช่นใด

ใน DRBD เวอร์ชันใหม่กว่า (8.3.9 และใหม่กว่า) มีคอนโทรลเลอร์ resync แบบไดนามิกที่ต้องการการปรับแต่ง ในการตั้งค่า DRBD เวอร์ชันเก่าsyncer {rate;}นั่นก็เพียงพอแล้ว ตอนนี้มันถูกใช้เป็นสถานที่เริ่มต้นที่แนะนำเล็กน้อยสำหรับความเร็วการซิงก์แบบไดนามิก

คอนโทรลเลอร์การซิงค์แบบไดนามิกได้รับการปรับแต่งด้วย "c-settings" ในส่วนของดิสก์ของการกำหนดค่าของ DRBD (ดู$ man drbd.confรายละเอียดเกี่ยวกับการตั้งค่าแต่ละอย่าง)

ด้วย 10Gbe ระหว่างโหนดเหล่านี้และสมมติว่า latency ต่ำเนื่องจากใช้โปรโตคอล C การกำหนดค่าต่อไปนี้ควรทำให้สิ่งต่าง ๆ เคลื่อนที่เร็วขึ้น:

ทรัพยากร rd0 {
        โปรโตคอล C;
        ดิสก์ {
                c-fill-target 10M;
                c-max-rate 700M;
                c-plan-ahead 7;
                c-min-rate 4M;
        }
        บน cl1 {
                อุปกรณ์ / dev / drbd0;
                ดิสก์ / dev / sda4;
                ที่อยู่ 192.168.42.1:7788;
                เมตา - ดิสก์ภายใน
        }

        บน cl2 {
                อุปกรณ์ / dev / drbd0;
                ดิสก์ / dev / sda4;
                ที่อยู่ 192.168.42.2:7788;
                เมตา - ดิสก์ภายใน
        }
}

หากคุณยังไม่มีความสุขลองเปลี่ยนmax-buffersเป็น 12k หากคุณยังไม่มีความสุขคุณสามารถลองc-fill-targetเพิ่มจำนวนขึ้น 2M

มีคนอื่นแนะนำว่าฉันใช้การตั้งค่าเหล่านี้:

        disk {
                on-io-error             detach;
                c-plan-ahead 0;
        }
        net {
                max-epoch-size          20000;
                max-buffers             131072;
        }

และประสิทธิภาพนั้นยอดเยี่ยม

แก้ไข: ตาม @Matt Kereczman และคำแนะนำอื่น ๆ ในที่สุดฉันก็เปลี่ยนเป็น:

disk {
        on-io-error             detach;
        no-disk-flushes ;
        no-disk-barrier;
        c-plan-ahead 0;
        c-fill-target 24M;
        c-min-rate 80M;
        c-max-rate 720M;
} 
net {
        # max-epoch-size          20000;
        max-buffers             36k;
        sndbuf-size            1024k ;
        rcvbuf-size            2048k;
}

ความเร็วในการซิงค์ใหม่สูง:

cat /proc/drbd
version: 8.4.5 (api:1/proto:86-101)
srcversion: EDE19BAA3D4D4A0BEFD8CDE
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r---n-
    ns:133246146 nr:0 dw:2087494 dr:131187797 al:530 bm:0 lo:0 pe:5 ua:106 ap:0 ep:1 wo:d oos:4602377004
        [>....................] sync'ed:  2.8% (4494508/4622592)M
        finish: 1:52:27 speed: 682,064 (646,096) K/sec

ความเร็วในการเขียนนั้นยอดเยี่ยมในระหว่างการซิงค์กับการตั้งค่าเหล่านี้ (80% ของความเร็วในการเขียนในตัวเครื่อง, ความเร็วสายเต็ม):

# dd if=/dev/zero of=./testdd bs=1M count=20k
20480+0 enregistrements lus
20480+0 enregistrements écrits
21474836480 octets (21 GB) copiés, 29,3731 s, 731 MB/s

ความเร็วในการอ่านก็โอเค:

# dd if=testdd bs=1M count=20k of=/dev/null
20480+0 enregistrements lus
20480+0 enregistrements écrits
21474836480 octets (21 GB) copiés, 29,4538 s, 729 MB/s

แก้ไขภายหลัง:

หลังจากการซิงค์แบบเต็มประสิทธิภาพจะดีมาก (การเขียนความเร็วของสายไฟการอ่านความเร็วในท้องถิ่น) Resync นั้นรวดเร็ว (5/6 ชั่วโมง) และไม่ส่งผลเสียต่อประสิทธิภาพการทำงานมากเกินไป (การอ่านความเร็วของสายไฟ, การเขียนความเร็วของสายไฟ) ฉันจะอยู่กับ c-plan- ล่วงหน้าที่ศูนย์แน่นอน ด้วยค่าที่ไม่เป็นศูนย์ resync ยาวเกินไป

c-plan- ล่วงหน้าต้องตั้งค่าเป็นบวกเพื่อเปิดใช้งานตัวควบคุมอัตราการซิงค์แบบไดนามิก ดิสก์ c-plan-ahead 15; // 5 * RTT / 0.1s unit,in my case is 15 c-fill-target 24; c-max-rate 720M;