mdadm RAID 1 แบบง่ายไม่เปิดใช้งานอะไหล่


24

ฉันสร้างพาร์ติชั่น HDD 2TB สองตัว ( /dev/sdb1และ/dev/sdc1) ในอาร์เรย์ RAID 1 ที่เรียกว่า/dev/md0ใช้mdadmบน Ubuntu 12.04 LTS Precise Pangolin

คำสั่งที่sudo mdadm --detail /dev/md0ใช้ในการแสดงทั้งสองไดรฟ์เป็นซิงค์ที่ใช้งาน

จากนั้นสำหรับการทดสอบฉันล้มเหลว/dev/sdb1ลบออกแล้วเพิ่มอีกครั้งด้วยคำสั่งsudo mdadm /dev/md0 --add /dev/sdb1

watch cat /proc/mdstat แสดงแถบความคืบหน้าของการสร้างอาร์เรย์ขึ้นใหม่ แต่ฉันจะไม่ใช้เวลาเป็นชั่วโมงในการดูดังนั้นฉันจึงสันนิษฐานว่าซอฟต์แวร์รู้ว่ามันกำลังทำอะไรอยู่

หลังจากที่แถบความคืบหน้าไม่แสดงอีกต่อไปแสดงcat /proc/mdstat:

md0 : active raid1 sdb1[2](S) sdc1[1]
      1953511288 blocks super 1.2 [2/1] [U_]

และsudo mdadm --detail /dev/md0แสดงให้เห็นว่า:

/dev/md0:
        Version : 1.2
  Creation Time : Sun May 27 11:26:05 2012
     Raid Level : raid1
     Array Size : 1953511288 (1863.01 GiB 2000.40 GB)
  Used Dev Size : 1953511288 (1863.01 GiB 2000.40 GB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Mon May 28 11:16:49 2012
          State : clean, degraded 
 Active Devices : 1
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 1

           Name : Deltique:0  (local to host Deltique)
           UUID : 49733c26:dd5f67b5:13741fb7:c568bd04
         Events : 32365

    Number   Major   Minor   RaidDevice State
       1       8       33        0      active sync   /dev/sdc1
       1       0        0        1      removed

       2       8       17        -      spare   /dev/sdb1

ฉันได้รับการบอกว่า mdadm อัตโนมัติแทนที่ไดรฟ์ลบออกด้วยเครื่อง แต่/dev/sdb1ไม่ได้ถูกย้ายเข้ามาคาดว่าตำแหน่ง 1RaidDevice


UPDATE (30 พฤษภาคม 2555): การทดสอบbadblocksการอ่าน - เขียนแบบทำลายล้างซึ่ง/dev/sdbไม่ทำให้เกิดข้อผิดพลาดตามที่คาดไว้; HDD ทั้งสองเป็นของใหม่

จากการแก้ไขล่าสุดฉันรวบรวมอาร์เรย์ด้วยคำสั่งนี้:

sudo mdadm --assemble --force --no-degraded /dev/md0 /dev/sdb1 /dev/sdc1

ผลลัพธ์คือ:

mdadm: /dev/md0 has been started with 1 drive (out of 2) and 1 rebuilding.

การสร้างใหม่ดูเหมือนว่ากำลังดำเนินการตามปกติ:

md0 : active raid1 sdc1[1] sdb1[2]
      1953511288 blocks super 1.2 [2/1] [U_]
      [>....................]  recovery =  0.6% (13261504/1953511288) finish=2299.7min speed=14060K/sec

unused devices: <none>

ตอนนี้ฉันกำลังรอการสร้างใหม่ แต่ฉันหวังว่า/dev/sdb1จะเป็นอะไหล่เหมือนห้าหรือหกครั้งที่ฉันได้ลองสร้างใหม่มาก่อน


อัพเดท (31 พฤษภาคม 2555):ใช่มันยังคงว่างอยู่ ฮึ


UPDATE (1 มิถุนายน 2555):ฉันกำลังลองใช้คำสั่งที่แนะนำของAdrian Kelly :

sudo mdadm --assemble --update=resync /dev/md0 /dev/sdb1 /dev/sdc1

รอการสร้างใหม่ในขณะนี้ ...


UPDATE (02 มิถุนายน 2555):ไม่ยังคงว่าง ...


UPDATE (4 มิถุนายน 2012): PBนำขึ้นกังวลว่าผมมองข้าม: อาจจะ/dev/sdc1มีการเผชิญหน้ากับ I / O ผิดพลาด ฉันไม่ได้สนใจที่จะตรวจสอบ/dev/sdc1เพราะดูเหมือนว่าจะทำงานได้ดีและเป็นแบรนด์ใหม่ แต่ข้อผิดพลาด I / O ที่ส่วนท้ายของไดรฟ์นั้นเป็นไปได้อย่างสมเหตุสมผล

ฉันซื้อ HDDs มาเพื่อขายดังนั้นจึงไม่แปลกใจเลยที่หนึ่งในนั้นจะล้มเหลว ยิ่งกว่านั้นพวกเขาทั้งสองไม่ได้รับการสนับสนุนสมาร์ดังนั้นจึงไม่น่าแปลกใจที่ราคาถูกมาก ...

นี่คือขั้นตอนการกู้คืนข้อมูลที่ฉันทำขึ้นและต่อไปนี้:

  1. sudo mdadm /dev/md0 --fail /dev/sdb1เพื่อที่ฉันจะได้ออก/dev/sdb1ไป
  2. sudo mdadm /dev/md0 --remove /dev/sdb1เพื่อลบออก/dev/sdb1จากอาร์เรย์
  3. /dev/sdc1 ติดตั้งที่ /media/DtkBk
  4. จัดรูปแบบ/dev/sdb1เป็น ext4
  5. ติดไป/dev/sdb1/media/DtkBkTemp
  6. cd /media เพื่อทำงานในพื้นที่นั้น
  7. sudo chown deltik DtkBkTempเพื่อให้สิทธิ์ฉัน (ชื่อผู้ใช้deltik) แก่พาร์ติชัน
  8. ทำสำเนาไฟล์และไดเรกทอรีทั้งหมด: sudo rsync -avzHXShP DtkBk/* DtkBkTemp

UPDATE (6 มิถุนายน 2555):ฉันbadblocksทำการทดสอบโหมดการเขียนแบบทำลาย/dev/sdcซึ่งทำตามขั้นตอนต่อไปนี้:

  1. sudo umount /media/DtkBk เพื่อให้การฉีกขาดของอาร์เรย์
  2. sudo mdadm --stop /dev/md0 เพื่อหยุดอาร์เรย์
  3. sudo badblocks -w -p 1 /dev/sdc -s -vเพื่อล้างฮาร์ดไดรฟ์ที่สงสัยและในกระบวนการตรวจสอบข้อผิดพลาดของ I / O หากมีข้อผิดพลาด I / O นั่นไม่ใช่สัญญาณที่ดี หวังว่าฉันจะได้รับเงินคืน ...

ผมได้รับการยืนยันแล้วว่าไม่มีปัญหาอินพุต / เอาต์พุตบนฮาร์ดดิสก์อย่างใดอย่างหนึ่ง

จากการตรวจสอบทั้งหมดคำถามดั้งเดิมสองข้อของฉันยังคงอยู่


คำถามของฉันคือ:

  1. เหตุใดไดรฟ์สำรองจึงไม่ซิงค์กัน
  2. ฉันจะทำให้ไดรฟ์สำรองใช้งานได้อย่างไร

คำตอบ:


14

การทำเช่นนี้จะทำให้ไดรฟเข้าไปในอาเรย์โดยไม่ได้ทำอะไรเลยนั่นคือมันเป็นสมาชิกของอาเรย์ แต่ไม่ได้ทำงานอยู่ โดยค่าเริ่มต้นสิ่งนี้จะเปลี่ยนเป็นอะไหล่:

sudo mdadm /dev/md0 --add /dev/sdb1

หากคุณมีอะไหล่คุณสามารถเพิ่มได้โดยบังคับให้จำนวนไดรฟ์ที่ใช้งานอยู่นั้นขยายตัว ด้วย 3 ไดรฟ์และ 2 คาดว่าจะใช้งานได้คุณจะต้องเพิ่มจำนวนการใช้งานเป็น 3

mdadm --grow /dev/md0 --raid-devices=3

โปรแกรมควบคุมอาเรย์การตรวจค้นจะสังเกตเห็นว่าคุณเป็น "ไดรฟ์" สั้น ๆ และมองหาอะไหล่ การหาอะไหล่มันจะรวมเข้าไปในอาเรย์เป็นไดรฟ์ที่ใช้งานอยู่ เปิดเทอร์มินัลสำรองและปล่อยให้บรรทัดคำสั่งนี้ค่อนข้างหยาบรันอยู่เพื่อให้แท็บอยู่ระหว่างการซิงค์อีกครั้ง ตรวจสอบให้แน่ใจว่าพิมพ์เป็นหนึ่งบรรทัดหรือใช้อักขระตัวแบ่งบรรทัด (\) และเมื่อการสร้างใหม่เสร็จสิ้นให้พิมพ์ Ctrl-C ในเทอร์มินัล

while true; do sleep 60; clear; sudo mdadm --detail /dev/md0; echo; cat /proc/mdstat; done

ตอนนี้อาเรย์ของคุณจะมีไดรฟ์ที่ใช้งานอยู่สองตัวที่ซิงค์กัน แต่เนื่องจากไม่มีไดรฟ์ 3 ตัวจึงไม่สะอาด 100% ลบไดรฟ์ที่ล้มเหลวจากนั้นปรับขนาดอาร์เรย์ โปรดทราบว่า--growธงเป็นบิตของการเรียกชื่อผิด - มันอาจหมายถึงทั้งการเจริญเติบโตหรือหด:

sudo mdadm /dev/md0 --fail /dev/{failed drive}
sudo mdadm /dev/md0 --remove /dev/{failed drive}
sudo mdadm --grow /dev/md0 --raid-devices=2

เกี่ยวกับข้อผิดพลาดปัญหาการเชื่อมโยงกับไดรฟ์ (เช่นพอร์ต PATA / SATA, สายเคเบิลหรือตัวเชื่อมต่อไดรฟ์) ไม่เพียงพอที่จะทำให้เกิดความล้มเหลวของ hot spare เนื่องจากเคอร์เนลมักจะสลับไปใช้ "ดี" อื่น ๆ ไดรฟ์ขณะที่รีเซ็ตลิงค์ไปยังไดรฟ์ "ไม่ดี" ฉันรู้สิ่งนี้เพราะฉันเรียกใช้อาเรย์ 3 ไดรฟ์ 2 ร้อน 1 อะไหล่และหนึ่งในไดรฟ์เพิ่งตัดสินใจที่จะ barf ขึ้นเล็กน้อยในบันทึก เมื่อฉันทดสอบไดรฟ์ทั้งหมดในอาเรย์ทั้ง 3 ผ่านการทดสอบ SMART รุ่น "ยาว" ดังนั้นจึงไม่เป็นปัญหากับจานอุปกรณ์ส่วนประกอบเชิงกลหรือตัวควบคุมออนบอร์ดซึ่งทำให้สายลิงค์ที่ไม่สม่ำเสมอหรือ พอร์ต SATA ไม่ดี บางทีนี่อาจเป็นสิ่งที่คุณเห็น ลองเปลี่ยนไดรฟ์เป็นพอร์ตมาเธอร์บอร์ดอื่นหรือใช้สายเคเบิลอื่นและดูว่าได้รับการปรับปรุงหรือไม่


การติดตามผล: ฉันเสร็จสิ้นการขยายตัวของมิเรอร์เป็น 3 ไดรฟ์ล้มเหลวและลบไดรฟ์ที่ไม่สม่ำเสมอออกจากอาร์เรย์ md สลับสายเคเบิลสำหรับฮอทใหม่ (เมนบอร์ดรองรับสิ่งนี้) และเพิ่มไดรฟ์อีกครั้ง เมื่อเพิ่มใหม่อีกครั้งระบบจะเริ่มซิงค์ไดรฟ์ใหม่ทันที จนถึงขณะนี้มีข้อผิดพลาดไม่ปรากฏในบันทึกแม้จะมีการใช้ไดรฟ์อย่างหนัก ดังนั้นใช่สายเคเบิลของไดรฟ์อาจไม่สม่ำเสมอ


สายเชื่อมโยงที่ไม่สม่ำเสมอ? ฉันซื้อคำอธิบายนั้น แต่ฉันไม่สามารถทดสอบได้อีกต่อไปเพราะฉันได้นำเสนอทั้งสองไดรฟ์เมื่อหลายเดือนก่อน ฉันยอมรับคำตอบนี้เป็นคำตอบที่ดีที่สุดสำหรับปัญหาโดยเฉพาะอย่างยิ่งของฉัน แต่อีกคำตอบที่ดีคือคนนี้
Deltik

เป็นการอัปเดตคำตอบนี้ยังคงมีประโยชน์มากที่สุดกับคนส่วนใหญ่ซึ่งเป็นสาเหตุที่ฉันยอมรับ แต่สิ่งที่เกิดขึ้นจริงก็คือไดรฟ์ตัวหนึ่งในอาร์เรย์ RAID 1 ของฉันไม่ดีน่าจะ/dev/sdc1เป็นเพราะ/dev/sdc1ในขณะนั้นกำลังอ่านอยู่/dev/sdb1กำลังถูกเขียนและส่วนที่ไม่ดีใน/dev/sdb1จะถูกแมปใหม่อย่างโปร่งใสในระหว่างการเขียน
Deltik

1
ในการคงแท็บไว้ในกระบวนการซิงโครไนซ์ให้ทำwatch -n 60 cat /proc/mdstatโดยที่60จำนวนวินาทีระหว่างการรีเฟรช
เอิร์ก

8

ฉันมีปัญหาเดียวกันทั้งหมดและในกรณีของฉันฉันพบว่าดิสก์ RAID ที่แอ็คทีฟประสบปัญหาข้อผิดพลาดในการอ่านระหว่างการซิงโครไนซ์ ดังนั้นดิสก์ใหม่นั้นใหม่กว่าจะซิงโครไนซ์สำเร็จจึงถูกทำเครื่องหมายเป็นอะไหล่

คุณอาจต้องการตรวจสอบ / var / log / ข้อความและบันทึกระบบอื่น ๆ เพื่อหาข้อผิดพลาด นอกจากนี้อาจเป็นความคิดที่ดีที่จะตรวจสอบสถานะ SMART ของดิสก์ของคุณ:
1) ทำการทดสอบสั้น ๆ :

"smartctl -t short / dev / sda"

2) แสดงผลการทดสอบ:

"smartctl -l selftest / dev / sda"

ในกรณีของฉันสิ่งนี้คืนเป็นดังนี้:

=== จุดเริ่มต้นของการอ่านส่วนข้อมูลสมาร์
ท=== โครงสร้างการบันทึกการทดสอบตัวเองของ SMART หมายเลขการแก้ไข 1
Num Test_Description สถานะที่เหลืออายุการใช้งาน (ชั่วโมง) LBA_of_first_error
1 ขยายออฟไลน์เสร็จสมบูรณ์: อ่านล้มเหลว 90% 7564 27134728
2 7467 1408449701

ฉันต้องบูตเครื่อง distro สดและคัดลอกข้อมูลจากแผ่นดิสก์ที่ชำรุดไปยังเครื่องใหม่ (ปัจจุบัน "ว่าง") ด้วยตนเอง


Aha! ฉันไม่คิดว่าจะสงสัยว่าไดรฟ์ที่ใช้งานอยู่สำหรับข้อผิดพลาด I / O ด้วยเหตุผลบางอย่าง SMART ไม่รองรับ HDD เหล่านี้ ข้อผิดพลาดของ I / O นี้และที่เป็นไปได้ใน HDDs ใหม่เอี่ยมสองเครื่องหรือไม่ ฉันคิดว่าฉันซื้อไม่ดี ... อย่างไรก็ตามฉันกำลังใช้วิธีการกู้คืนข้อมูลในตอนนี้ลง HDD ที่ฉันรู้ว่าดี ฉันจะอัปเดตในไม่ช้า
Deltik

50 ตัวแทนให้คุณPB ไม่มีใครสามารถตอบคำถามของฉันได้อย่างถูกต้อง แต่ฉันคิดว่าแทนที่จะเสีย 50 คะแนนชื่อเสียงไปเป็นอะไรฉันจะให้พวกเขาเป็นของขวัญต้อนรับ ยินดีต้อนรับสู่ Stack Exchange!
Deltik

3

ฉันมีปัญหาเดียวกันทั้งหมดและคิดเสมอว่าดิสก์ที่สองซึ่งฉันต้องการเพิ่มอีกครั้งในอาเรย์นั้นมีข้อผิดพลาด แต่มันเป็นดิสก์ดั้งเดิมของฉันอ่านข้อผิดพลาด

คุณสามารถตรวจสอบได้ด้วยและเห็นผลในไม่กี่นาทีต่อมาด้วยsmartctl -t short /dev/sdX smartctl -l selftest /dev/sdXสำหรับฉันมันดูเหมือนว่านี้:

=== START OF READ SMART DATA SECTION ===
SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed: read failure       20%     25151         734566647

ฉันพยายามแก้ไขด้วยคู่มือนี้ นั้นน่าสนุก :-). ฉันรู้ว่าคุณได้ตรวจสอบดิสก์ทั้งสองเพื่อหาข้อผิดพลาด แต่ฉันคิดว่าปัญหาของคุณคือดิสก์ที่ยังอยู่ในอาร์เรย์ md ได้อ่านข้อผิดพลาดดังนั้นการเพิ่มดิสก์ที่สองจึงล้มเหลว

ปรับปรุง

คุณควรเรียกใช้เพิ่มเติมsmartctl -a /dev/sdX หากคุณเห็น Current_Pending_Sector> 0 มีบางอย่างผิดปกติ

197 ปัจจุบัน_Pending_Sector 0x0012 098 098 000 Old_age เสมอ - 69

สำหรับฉันมันเป็นปัญหาที่ฉันลบดิสก์จากการโจมตีเพียงเพื่อการทดสอบและการซิงค์ซ้ำไม่สามารถทำได้เนื่องจากการอ่านล้มเหลว การซิงค์ถูกยกเลิกไปครึ่งทาง เมื่อฉันตรวจสอบดิสก์ของฉันซึ่งยังอยู่ในอาร์เรย์ RAID smartctl รายงานปัญหา

ฉันสามารถแก้ไขได้ด้วยคู่มือด้านบนและเห็นว่าจำนวนภาคส่วนที่รอดำเนินการลดลง แต่มีอยู่มากมายและเป็นขั้นตอนที่ยาวและน่าเบื่อดังนั้นฉันจึงใช้การสำรองข้อมูลและกู้คืนข้อมูลบนเซิร์ฟเวอร์อื่น

ในขณะที่คุณไม่มีโอกาสใช้ SMART ฉันคิดว่าการทดสอบตัวเองของคุณไม่ได้แสดงภาคที่เสียหาย

สำหรับฉันมันเป็นบทเรียนที่เรียนรู้: ตรวจสอบดิสก์ของคุณก่อนที่จะลบออกจากอาร์เรย์ของคุณ


เมื่อถึงเวลาที่คุณตอบอาร์เรย์ RAID 1 หยุดทำงานและพบว่าไดรฟ์ทั้งสองไม่มีข้อผิดพลาด I / O คุณสามารถยืนยันว่าคำตอบของคุณใช้ได้หรือไม่?
Deltik

ในที่สุดก็ยอมรับ คำตอบนี้น่าจะช่วยผู้เข้าชมในอนาคตได้มากที่สุด ฉันฉันยอมแพ้กับ RAID โดยทั่วไป ไม่ใช่ว่าฉันเป็นเจ้าของดาต้าเซ็นเตอร์
Deltik

นี่ไม่ใช่คำตอบที่ได้รับการยอมรับอีกต่อไป แต่ยังคงเป็นคำตอบที่ดีและอาจช่วยเหลือคนอื่นได้ คำตอบนี้ใช้ได้กับฉันมากที่สุด แต่คำตอบนี้น่าจะใช้ได้กับคนอื่นมากที่สุด นอกจากนี้ฉันจะนำสิ่งที่ฉันพูดเกี่ยวกับ RAIDกลับมาในความคิดเห็นนี้
Deltik

3

ฉันมีปัญหาที่คล้ายกันและแก้ไขโดยการเพิ่มจำนวนอาร์เรย์ RAID ของดิสก์จาก 1 เป็น 2

mdadm --grow --raid-devices=2 /dev/md1

3

อัปเดต (24 พฤษภาคม 2558):หลังจากสามปีที่ผ่านมาฉันตรวจสอบสาเหตุที่แท้จริงของอาร์เรย์ RAID 1 ที่กำลังลดระดับลง

tl; dr: หนึ่งในไดรฟ์ไม่ดีและฉันไม่ได้สังเกตสิ่งนี้เพราะฉันได้ทำการทดสอบพื้นผิวเต็มรูปแบบในไดรฟ์ที่ดี

สามปีที่แล้วฉันไม่คิดว่าจะตรวจสอบบันทึกใด ๆ เกี่ยวกับปัญหา I / O ถ้าฉันคิดว่าจะตรวจสอบ/var/log/syslogฉันจะได้เห็นบางสิ่งเช่นนี้เมื่อmdadmเลิกสร้างอาร์เรย์:

May 24 14:08:32 node51 kernel: [51887.853786] sd 8:0:0:0: [sdi] Unhandled sense code
May 24 14:08:32 node51 kernel: [51887.853794] sd 8:0:0:0: [sdi]
May 24 14:08:32 node51 kernel: [51887.853798] Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
May 24 14:08:32 node51 kernel: [51887.853802] sd 8:0:0:0: [sdi]
May 24 14:08:32 node51 kernel: [51887.853805] Sense Key : Medium Error [current]
May 24 14:08:32 node51 kernel: [51887.853812] sd 8:0:0:0: [sdi]
May 24 14:08:32 node51 kernel: [51887.853815] Add. Sense: Unrecovered read error
May 24 14:08:32 node51 kernel: [51887.853819] sd 8:0:0:0: [sdi] CDB:
May 24 14:08:32 node51 kernel: [51887.853822] Read(10): 28 00 00 1b 6e 00 00 00 01 00
May 24 14:08:32 node51 kernel: [51887.853836] end_request: critical medium error, dev sdi, sector 14381056
May 24 14:08:32 node51 kernel: [51887.853849] Buffer I/O error on device sdi, logical block 1797632

เพื่อให้ได้ผลลัพธ์นั้นในบันทึกฉันพยายามค้นหา LBA ที่มีปัญหาแรก (14381058 ในกรณีของฉัน) ด้วยคำสั่งนี้:

root@node51 [~]# dd if=/dev/sdi of=/dev/zero bs=512 count=1 skip=14381058
dd: error reading ‘/dev/sdi’: Input/output error
0+0 records in
0+0 records out
0 bytes (0 B) copied, 7.49287 s, 0.0 kB/s

ไม่น่าแปลกใจที่mdยอมแพ้! ไม่สามารถสร้างอาร์เรย์จากไดรฟ์ที่ไม่ดีได้

เทคโนโลยีใหม่ ( smartmontoolsความเข้ากันได้ของฮาร์ดแวร์ที่ดีกว่า) ทำให้ฉันสามารถรับข้อมูลSMARTจากไดรฟ์รวมถึงข้อผิดพลาดห้าข้อสุดท้าย (จากข้อผิดพลาด 1393 ครั้ง):

root@node51 [~]# smartctl -a /dev/sdi
smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.13.0-43-generic] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Hitachi Deskstar 5K3000
Device Model:     Hitachi HDS5C3020ALA632
Serial Number:    ML2220FA040K9E
LU WWN Device Id: 5 000cca 36ac1d394
Firmware Version: ML6OA800
User Capacity:    2,000,398,934,016 bytes [2.00 TB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    5940 rpm
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS T13/1699-D revision 4
SATA Version is:  SATA 2.6, 6.0 Gb/s (current: 3.0 Gb/s)
Local Time is:    Sun May 24 14:13:35 2015 CDT
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART STATUS RETURN: incomplete response, ATA output registers missing
SMART overall-health self-assessment test result: PASSED
Warning: This result is based on an Attribute check.

General SMART Values:
Offline data collection status:  (0x84) Offline data collection activity
                                        was suspended by an interrupting command from host.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                (21438) seconds.
Offline data collection
capabilities:                    (0x5b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   1) minutes.
Extended self-test routine
recommended polling time:        ( 358) minutes.
SCT capabilities:              (0x003d) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   016    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0005   136   136   054    Pre-fail  Offline      -       93
  3 Spin_Up_Time            0x0007   172   172   024    Pre-fail  Always       -       277 (Average 362)
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       174
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       8
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   146   146   020    Pre-fail  Offline      -       29
  9 Power_On_Hours          0x0012   097   097   000    Old_age   Always       -       22419
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       161
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       900
193 Load_Cycle_Count        0x0012   100   100   000    Old_age   Always       -       900
194 Temperature_Celsius     0x0002   127   127   000    Old_age   Always       -       47 (Min/Max 19/60)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       8
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       30
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       2

SMART Error Log Version: 1
ATA Error Count: 1393 (device log contains only the most recent five errors)
        CR = Command Register [HEX]
        FR = Features Register [HEX]
        SC = Sector Count Register [HEX]
        SN = Sector Number Register [HEX]
        CL = Cylinder Low Register [HEX]
        CH = Cylinder High Register [HEX]
        DH = Device/Head Register [HEX]
        DC = Device Command Register [HEX]
        ER = Error register [HEX]
        ST = Status register [HEX]
Powered_Up_Time is measured from power on, and printed as
DDd+hh:mm:SS.sss where DD=days, hh=hours, mm=minutes,
SS=sec, and sss=millisec. It "wraps" after 49.710 days.

Error 1393 occurred at disk power-on lifetime: 22419 hours (934 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 06 02 70 db 00  Error: UNC 6 sectors at LBA = 0x00db7002 = 14381058

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  25 00 08 00 70 db 40 00   1d+03:59:34.096  READ DMA EXT
  25 00 08 00 70 db 40 00   1d+03:59:30.334  READ DMA EXT
  b0 d5 01 09 4f c2 00 00   1d+03:57:59.057  SMART READ LOG
  b0 d5 01 06 4f c2 00 00   1d+03:57:58.766  SMART READ LOG
  b0 d5 01 01 4f c2 00 00   1d+03:57:58.476  SMART READ LOG

Error 1392 occurred at disk power-on lifetime: 22419 hours (934 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 06 02 70 db 00  Error: UNC 6 sectors at LBA = 0x00db7002 = 14381058

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  25 00 08 00 70 db 40 00   1d+03:59:30.334  READ DMA EXT
  b0 d5 01 09 4f c2 00 00   1d+03:57:59.057  SMART READ LOG
  b0 d5 01 06 4f c2 00 00   1d+03:57:58.766  SMART READ LOG
  b0 d5 01 01 4f c2 00 00   1d+03:57:58.476  SMART READ LOG
  b0 d5 01 00 4f c2 00 00   1d+03:57:58.475  SMART READ LOG

Error 1391 occurred at disk power-on lifetime: 22419 hours (934 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 06 02 70 db 00  Error: UNC 6 sectors at LBA = 0x00db7002 = 14381058

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  25 00 08 00 70 db 40 00   1d+03:56:28.228  READ DMA EXT
  25 00 08 00 70 db 40 00   1d+03:56:24.549  READ DMA EXT
  25 00 08 00 70 db 40 00   1d+03:56:06.711  READ DMA EXT
  25 00 10 f0 71 db 40 00   1d+03:56:06.711  READ DMA EXT
  25 00 f0 00 71 db 40 00   1d+03:56:06.710  READ DMA EXT

Error 1390 occurred at disk power-on lifetime: 22419 hours (934 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 06 02 70 db 00  Error: UNC 6 sectors at LBA = 0x00db7002 = 14381058

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  25 00 08 00 70 db 40 00   1d+03:56:24.549  READ DMA EXT
  25 00 08 00 70 db 40 00   1d+03:56:06.711  READ DMA EXT
  25 00 10 f0 71 db 40 00   1d+03:56:06.711  READ DMA EXT
  25 00 f0 00 71 db 40 00   1d+03:56:06.710  READ DMA EXT
  25 00 10 f0 70 db 40 00   1d+03:56:06.687  READ DMA EXT

Error 1389 occurred at disk power-on lifetime: 22419 hours (934 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 06 02 70 db 00  Error: UNC 6 sectors at LBA = 0x00db7002 = 14381058

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  25 00 08 00 70 db 40 00   1d+03:56:06.711  READ DMA EXT
  25 00 10 f0 71 db 40 00   1d+03:56:06.711  READ DMA EXT
  25 00 f0 00 71 db 40 00   1d+03:56:06.710  READ DMA EXT
  25 00 10 f0 70 db 40 00   1d+03:56:06.687  READ DMA EXT
  25 00 f0 00 70 db 40 00   1d+03:56:03.026  READ DMA EXT

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed: read failure       90%     21249         14381058

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

อ่า…ที่ทำมัน

ตอนนี้ฉันได้แก้ไขคำถามนี้ด้วยสามขั้นตอนง่ายๆ:

  1. เป็นผู้ดูแลระบบในสามปี
  2. ตรวจสอบบันทึก
  3. กลับมาที่ Super User และเสียงหัวเราะที่วิธีการของฉันจากสามปีที่ผ่านมา

อัปเดต (19 กรกฎาคม 2558):สำหรับทุกคนที่อยากรู้อยากเห็นในที่สุดไดรฟ์วิ่งออกจากภาคเพื่อทำการแมปใหม่:

root@node51 [~]# smartctl -a /dev/sdg
smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.13.0-43-generic] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Hitachi Deskstar 5K3000
Device Model:     Hitachi HDS5C3020ALA632
Serial Number:    ML2220FA040K9E
LU WWN Device Id: 5 000cca 36ac1d394
Firmware Version: ML6OA800
User Capacity:    2,000,398,934,016 bytes [2.00 TB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    5940 rpm
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS T13/1699-D revision 4
SATA Version is:  SATA 2.6, 6.0 Gb/s (current: 3.0 Gb/s)
Local Time is:    Sun Jul 19 14:00:33 2015 CDT
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART STATUS RETURN: incomplete response, ATA output registers missing
SMART overall-health self-assessment test result: FAILED!
Drive failure expected in less than 24 hours. SAVE ALL DATA.
See vendor-specific Attribute list for failed Attributes.

General SMART Values:
Offline data collection status:  (0x85) Offline data collection activity
                                        was aborted by an interrupting command from host.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      ( 117) The previous self-test completed having
                                        the read element of the test failed.
Total time to complete Offline
data collection:                (21438) seconds.
Offline data collection
capabilities:                    (0x5b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   1) minutes.
Extended self-test routine
recommended polling time:        ( 358) minutes.
SCT capabilities:              (0x003d) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   099   099   016    Pre-fail  Always       -       2
  2 Throughput_Performance  0x0005   136   136   054    Pre-fail  Offline      -       93
  3 Spin_Up_Time            0x0007   163   163   024    Pre-fail  Always       -       318 (Average 355)
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       181
  5 Reallocated_Sector_Ct   0x0033   001   001   005    Pre-fail  Always   FAILING_NOW 1978
  7 Seek_Error_Rate         0x000b   086   086   067    Pre-fail  Always       -       1245192
  8 Seek_Time_Performance   0x0005   146   146   020    Pre-fail  Offline      -       29
  9 Power_On_Hours          0x0012   097   097   000    Old_age   Always       -       23763
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       167
192 Power-Off_Retract_Count 0x0032   092   092   000    Old_age   Always       -       10251
193 Load_Cycle_Count        0x0012   092   092   000    Old_age   Always       -       10251
194 Temperature_Celsius     0x0002   111   111   000    Old_age   Always       -       54 (Min/Max 19/63)
196 Reallocated_Event_Count 0x0032   001   001   000    Old_age   Always       -       2927
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       33
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       2

SMART Error Log Version: 1
ATA Error Count: 2240 (device log contains only the most recent five errors)
        CR = Command Register [HEX]
        FR = Features Register [HEX]
        SC = Sector Count Register [HEX]
        SN = Sector Number Register [HEX]
        CL = Cylinder Low Register [HEX]
        CH = Cylinder High Register [HEX]
        DH = Device/Head Register [HEX]
        DC = Device Command Register [HEX]
        ER = Error register [HEX]
        ST = Status register [HEX]
Powered_Up_Time is measured from power on, and printed as
DDd+hh:mm:SS.sss where DD=days, hh=hours, mm=minutes,
SS=sec, and sss=millisec. It "wraps" after 49.710 days.

Error 2240 occurred at disk power-on lifetime: 23763 hours (990 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  10 51 f0 18 0f 2f 00  Error: IDNF 240 sectors at LBA = 0x002f0f18 = 3084056

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  35 00 f0 18 0f 2f 40 00      00:25:01.942  WRITE DMA EXT
  35 00 f0 28 0e 2f 40 00      00:25:01.168  WRITE DMA EXT
  35 00 f0 38 0d 2f 40 00      00:25:01.157  WRITE DMA EXT
  35 00 f0 48 0c 2f 40 00      00:25:01.147  WRITE DMA EXT
  35 00 f0 58 0b 2f 40 00      00:25:01.136  WRITE DMA EXT

Error 2239 occurred at disk power-on lifetime: 23763 hours (990 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  10 51 5a 4e f7 2e 00  Error: IDNF 90 sectors at LBA = 0x002ef74e = 3077966

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  35 00 f0 b8 f6 2e 40 00      00:24:57.967  WRITE DMA EXT
  35 00 f0 c8 f5 2e 40 00      00:24:57.956  WRITE DMA EXT
  35 00 f0 d8 f4 2e 40 00      00:24:57.945  WRITE DMA EXT
  35 00 f0 e8 f3 2e 40 00      00:24:57.934  WRITE DMA EXT
  35 00 f0 f8 f2 2e 40 00      00:24:57.924  WRITE DMA EXT

Error 2238 occurred at disk power-on lifetime: 23763 hours (990 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  10 51 40 a8 c6 2e 00  Error: IDNF 64 sectors at LBA = 0x002ec6a8 = 3065512

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  35 00 f0 f8 c5 2e 40 00      00:24:49.444  WRITE DMA EXT
  35 00 f0 08 c5 2e 40 00      00:24:49.433  WRITE DMA EXT
  35 00 f0 18 c4 2e 40 00      00:24:49.422  WRITE DMA EXT
  35 00 f0 28 c3 2e 40 00      00:24:49.412  WRITE DMA EXT
  35 00 f0 38 c2 2e 40 00      00:24:49.401  WRITE DMA EXT

Error 2237 occurred at disk power-on lifetime: 23763 hours (990 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  10 51 ea be ba 2e 00  Error: IDNF 234 sectors at LBA = 0x002ebabe = 3062462

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  35 00 f0 b8 ba 2e 40 00      00:24:39.263  WRITE DMA EXT
  35 00 f0 c8 b9 2e 40 00      00:24:38.885  WRITE DMA EXT
  35 00 f0 d8 b8 2e 40 00      00:24:38.874  WRITE DMA EXT
  35 00 f0 e8 b7 2e 40 00      00:24:38.862  WRITE DMA EXT
  35 00 f0 f8 b6 2e 40 00      00:24:38.852  WRITE DMA EXT

Error 2236 occurred at disk power-on lifetime: 23763 hours (990 days + 3 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  10 51 86 c2 2a 2e 00  Error: IDNF 134 sectors at LBA = 0x002e2ac2 = 3025602

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  35 00 f0 58 2a 2e 40 00      00:24:25.605  WRITE DMA EXT
  35 00 f0 68 29 2e 40 00      00:24:25.594  WRITE DMA EXT
  35 00 f0 78 28 2e 40 00      00:24:25.583  WRITE DMA EXT
  35 00 f0 88 27 2e 40 00      00:24:25.572  WRITE DMA EXT
  35 00 f0 98 26 2e 40 00      00:24:25.561  WRITE DMA EXT

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short captive       Completed: read failure       50%     23763         869280
# 2  Extended offline    Completed without error       00%     22451         -
# 3  Short offline       Completed without error       00%     22439         -
# 4  Extended offline    Completed: read failure       90%     21249         14381058
1 of 2 failed self-tests are outdated by newer successful extended offline self-test # 2

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

1
ใช่สิ่งที่เพิ่งเกิดขึ้นกับ RAID ของฉัน! นี่คือคำตอบที่แท้จริงสำหรับคำถามของคุณเอง! ขอขอบคุณที่รักษาข้อมูลนี้ให้เป็นปัจจุบัน !!!
Preexo

1

ในกรณีของฉันมันเป็นดิสก์ต้นทางที่ไม่ดีเช่นกัน แม้ว่ามันจะดูในเวลาที่มันไม่ได้ (/ proc / mdstat ก้าวหน้ากว่า 99.9% ตามปกติ - แต่จริง ๆ แล้วมันล้มเหลวที่ 99.97% ซึ่งสอดคล้องกับเมื่อซิงค์ปกติจะเสร็จสิ้น) ดังนั้นคุณต้องตรวจสอบdmesg(1)ผลลัพธ์ - มันจะบอกคุณว่ามีข้อผิดพลาดในการอ่าน

ท่านสามารถเข้าดูรายละเอียดของคดีของฉันในDebian ข้อผิดพลาด # ในที่สุดฉันก็จัดการให้เสร็จสิ้นการซิงค์โดยบังคับให้เขียนทับส่วนที่ไม่ดีไม่กี่แห่งบนดิสก์ต้นทาง (ซึ่งโชคดีมากที่กรณีของฉันไม่เช่นนั้นจะมีการสูญหายของข้อมูล)


0

คุณสามารถลอง

sudo mdadm --assemble --update=resync /dev/md0 /dev/sdb1 /dev/sdc1

เพื่ออัปเดตไดรฟ์และซิงค์ใหม่อีกครั้ง


ลองทำตอนนี้ ... ฉันจะรายงานกลับเมื่อการสร้างใหม่เสร็จสมบูรณ์
Deltik

ใช้งานไม่ได้ /dev/sdb1ยังไม่กลายเป็น "ใช้งานอยู่" หลังจากสร้างเป็นอะไหล่
Deltik

0

ไม่แน่ใจว่าจะใช้งานได้หรือไม่เนื่องจากคุณได้ทำการ--addแก้ไขดิสก์ แต่--re-addดูเหมือนจะเป็นตัวเลือกที่คุณต้องการ

หรือบางทีคุณอาจจะต้องมี--growอุปกรณ์ 2 ดิสก์ที่ใช้งานmdadm --grow -n 2? ไม่ผ่านการทดสอบดังนั้นควรระมัดระวัง


sudo mdadm --grow -n 2เป็นหนึ่งในสิ่งแรกที่ฉันทำดังนั้นจึงsudo mdadm --detail /dev/md0แสดงสองช่อง ขออภัยมันไม่ทำงาน
Deltik

0

ฉันอยากจะแนะนำการลบ sdc1 zeroing super block บน sdc1 แล้วเพิ่มใหม่อีกครั้ง

mdadm /dev/md0 -r /dev/sdc1
mdadm --zero-superblock /dev/sdc1
mdadm /dev/md0 -a /dev/sdc1

ฉันย้ายข้อมูลของฉันไปที่ HDD แต่ละตัวในขณะที่ฉันปรับ superblock ของ HDD อื่นเป็นศูนย์ ปัญหาที่ฉันเกิดขึ้นอีกแม้จะมีการพักผ่อนที่สมบูรณ์ของอาร์เรย์ RAID 1
Deltik
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.