ฉันควรใช้“ Raid 5 + spare” หรือ“ Raid 6” หรือไม่


12

"Raid 5 + Spare" คืออะไร (ตัดตอนมาจากคู่มือผู้ใช้ตอนที่ 4.17.2, P.54 ):

RAID5 + Spare: RAID 5 + Spare เป็นอาร์เรย์ RAID 5 ซึ่งใช้ดิสก์หนึ่งแผ่นเป็นอะไหล่เพื่อสร้างระบบใหม่ทันทีที่ดิสก์ล้มเหลว (รูปที่ 79) ต้องมีดิสก์อย่างน้อยสี่แผ่น หากฟิสิคัลดิสก์หนึ่งล้มเหลวข้อมูลจะยังคงอยู่เนื่องจากถูกอ่านจากบล็อกพาริตี ข้อมูลจากดิสก์ที่ล้มเหลวจะถูกสร้างขึ้นมาใหม่บนดิสก์ hot spare เมื่อมีการเปลี่ยนดิสก์ที่ล้มเหลวการเปลี่ยนจะกลายเป็น hot spare ใหม่ ไม่มีข้อมูลสูญหายในกรณีที่ดิสก์ล้มเหลวเดียว แต่หากดิสก์ที่สองล้มเหลวก่อนที่ระบบจะสามารถสร้างข้อมูลไปยัง hot spare ได้ข้อมูลทั้งหมดในอาร์เรย์จะหายไป


"Raid 6" คืออะไร (ตัดตอนมาจากคู่มือผู้ใช้ตอนที่ 4.17.2, P.54 ):

RAID6: ใน RAID 6 ข้อมูลจะถูกสตริปในดิสก์ทั้งหมด (อย่างน้อยสี่ชิ้น) และบล็อกสองพาริตี้สำหรับแต่ละบล็อคข้อมูล (p และ q ในรูปที่ 80) จะถูกเขียนลงบนแถบเดียวกัน หากฟิสิคัลดิสก์หนึ่งล้มเหลวข้อมูลจากดิสก์ที่ล้มเหลวสามารถสร้างขึ้นใหม่บนดิสก์ทดแทน โหมด RAID นี้สามารถรองรับความล้มเหลวของดิสก์ได้สูงสุดสองรายการโดยไม่มีการสูญหายของข้อมูล RAID 6 ช่วยให้การสร้างข้อมูลเร็วขึ้นจากดิสก์ที่ล้มเหลว


ทั้ง "Raid 5 + spare" และ "Raid 6" คล้ายกันมาก ... ฉันไม่สามารถบอกความแตกต่างได้

เมื่อใดที่ "Raid 5 + Spare" จะเหมาะสมที่สุด?

และเมื่อไรที่ "Raid 6" จะดีที่สุด "?

คู่มือการใช้งานจะปิดการโจมตีต่าง ๆ ด้วยการจัดอันดับ 5 ดาว "Raid 5 + Spare" ได้รับ 4 ดาวเท่านั้น แต่ "Raid 6" ได้รับ 5 ดาว หากฉันเชื่อใจในคู่มือคนตาบอดฉันจะสรุปได้ว่า "Raid 6" ดีกว่าเสมอ "Raid 6" ดีกว่าเสมอหรือไม่


1
ServerFaultมีการสนทนาที่ดีในเรื่องนี้
Brian

1
ไม่ว่าคุณจะทำอะไรก็ตามแค่จู่โจมด้วยตัวควบคุมการจู่โจมไม่ใช่ตัวควบคุมซอฟต์ออนบอร์ดที่มาพร้อมกับมือถือของคุณ หากโทรศัพท์มือถือของคุณดับคุณกำลังขอปัญหา
sound2man

การจู่โจมกำลังถูกลงโดยตัวควบคุมฮาร์ดแวร์ (lol ฉันได้ยินสิ่งต่าง ๆ มากเกินไปต่อตัวควบคุมการจู่โจมซอฟต์แวร์)
เทรเวอร์บอยด์สมิ ธ

คำตอบ:


17

ในระยะสั้น:

  • หากความปลอดภัยเป็นสิ่งที่คุณกังวลเป็นหลักให้ไปที่ RAID6 เพราะมันสามารถอยู่รอดได้ทั้งสองไดรฟ์ที่ล้มเหลวในเวลาเดียวกัน หากไดรฟ์ล้มเหลวในการจัดเรียง R5 + คุณจะไม่ปลอดภัยจากความล้มเหลวอื่นจนกว่าอะไหล่จะได้รับความเร็วที่สูงซึ่งอาจใช้เวลาพอสมควรกับไดรฟ์ขนาดใหญ่ สำหรับทุกวัยเช่นอะไหล่ของคุณที่จะล้มเหลวในการหมุนเมื่อเรียกในที่สุด)

  • หากผลการดำเนินงานเป็นกษัตริย์ไปกับ 5 + อะไหล่สมรรถนะในการเขียนจะดีขึ้นเมื่ออาร์เรย์ที่ไม่อยู่ในสภาพที่เสื่อมโทรม - แม้ว่าความแตกต่างของผลการดำเนินงานระหว่าง R5 และ R6 อย่างมีนัยสำคัญมีขนาดเล็กกว่าความแตกต่างระหว่าง R5 และการแก้ปัญหาอื่น ๆถ้าคุณมี ตัวควบคุมที่ดี (คือครั้งหนึ่งที่ทำให้การดำเนินการเขียนบล็อกบางส่วน "สอง / สามพร้อมกันอ่านแล้วคำนวณความเท่าเทียมกันแล้วสอง / สามเขียนพร้อมกัน" ส่วนใหญ่เวลามากกว่า "อ่านแล้วแล้วอ่าน (-then-read) แล้ว -Parity -calc-then-write-then-write (-then-write) "ซึ่งเป็นสิ่งที่คอนโทรลเลอร์ราคาถูกและซอฟต์แวร์ RAID อาจทำ

แก้ไข:ฉันพลาดจุดสำคัญที่อาจเกิดขึ้นในครั้งแรก:

  • หากการใช้พลังงานเป็นเรื่องที่กังวล R5 + สำรองจะมีข้อได้เปรียบเพิ่มเติมหากคอนโทรลเลอร์ของคุณเก็บไดรฟ์สำรองไว้จนกว่าจะจำเป็น

ส่วนใหญ่เขียนได้ดี / รัดกุม (ระบุข้อดี / ข้อเสียที่ชัดเจนในสองคำแรกของแต่ละหัวข้อย่อย ... ดีมาก)
เทรเวอร์บอยด์สมิ ธ

ฉันอยากรู้อยากเห็นเมื่อใดก็ตามที่การดึงพลังของไดรฟ์เสริมเดียวนั้นจะเป็น "ข้อกังวล" จริงๆเมื่อเปรียบเทียบกับทุกอย่างในศูนย์ข้อมูล / ห้องเซิร์ฟเวอร์ / อื่น ๆ
warren

ไดรฟ์เดียวในเครื่องเดียวอาจจะไม่ แต่ใน colo ที่คุณได้ X-amps-per-rack และจ่ายมากเกินไป (หรือส่วนเกินนั้นไม่ได้รับอนุญาต - บางครั้งถ้าคุณข้ามคุณไปมืด) อาจสังเกตได้ พลังงาน "บริโภค" ก็เป็นสองเท่าเช่นกัน: มันถูกแปลงเป็นเสียงรบกวนและความร้อนและคุณต้องใช้พลังงานมากขึ้นในการเคลื่อนย้ายความร้อนออกไป และสำหรับกรงทั้งชุดหรือชุดที่ใหญ่กว่าการจับไดรฟ์เสริมต่อหน่วยการคำนวณในไม่ช้าก็จะเพิ่มสิ่งที่นักบัญชีจู้จี้จุกจิกพอสังเกตเห็น
David Spillett

7

RAID 5 + อะไหล่สำรอง:

  • บนฮาร์ดแวร์คอนโทรลเลอร์ที่เท่ากันประสิทธิภาพที่ดีกว่า RAID 6
  • คุณไม่สามารถสูญเสีย 2 ดิสก์ในเวลาเดียวกัน เมื่อคุณสูญเสียดิสก์มีการสร้างเวลา (ที่มีอะไหล่ร้อน) ในที่ที่คุณต้องไม่ซ้ำซ้อน สิ่งใดก็ตามที่ล้มเหลวในเวลานี้สร้างความสูญเสียอย่างสมบูรณ์ (ย่อมาจากการส่งข้อมูลไปยังบริษัท กู้ข้อมูลที่ดีและจ่ายจริง $$$$)

RAID 6:

  • ประสิทธิภาพที่แย่กว่า RAID 5 (ขึ้นอยู่กับคอนโทรลเลอร์ซึ่งสามารถอยู่ในช่วงตั้งแต่ที่สังเกตเห็นได้ชัดเจนจนถึงแทบไม่แตกต่างกัน)
  • คุณสามารถสูญเสีย 2 ดิสก์ในเวลาเดียวกัน

สำหรับ RAID 5 หรือ 6 ใด ๆ คุณจะต้องระมัดระวังในการใช้ดิสก์ที่ไม่ได้มาจากการใช้งานจริง มันสามารถเกิดขึ้นได้ (ฉันเคยเห็นมัน!) ว่าหลังจากเกิดความล้มเหลวครั้งเดียวเมื่อสร้างดิสก์ใหม่ครั้งต่อไปเนื่องจากความกดดันที่เพิ่มขึ้น ดิสก์จากการรันเดียวกันมีเฟิร์มแวร์เดียวกันแน่นอนและอาจมีคุณสมบัติทางกายภาพที่คล้ายกันมาก

แก้ไข: สิ่งที่ต้องเลือก

(สิ่งนี้ยังขึ้นอยู่กับข้อกำหนดด้านประสิทธิภาพของเซิร์ฟเวอร์และความเสี่ยงที่ยอมรับได้)

หากสภาพแวดล้อมของเซิร์ฟเวอร์นั้นค่อนข้างดีสำหรับฮาร์ดแวร์ (colo, climatized ฯลฯ ) คุณจะสามารถใช้งาน RAID5 + hot spare ได้

หากสภาพแวดล้อมทำให้เป็นไปได้มากกว่าที่ดิสก์มากกว่าหนึ่งตัวจะล้มเหลวภายในเวลาอันสั้น (การสั่นสะเทือนความชื้นสิ่งสกปรก) จากนั้นไปที่ RAID 6

มีการสำรองข้อมูลและทดสอบการกู้คืนที่เพียงพอเสมอ

แก้ไข 2:คอนโทรลเลอร์ RAID ที่เหมาะสมมีการขัดถูซึ่งจะตรวจสอบทุกส่วนเป็นระยะ


+1 สำหรับ "มีข้อมูลสำรองเพียงพอและกู้คืนทดสอบ" นั่นคือสิ่งแรกที่ทุกคนควรมีก่อนที่พวกเขาจะเริ่มกังวลเกี่ยวกับระดับ RAID
วอร์เร

3

RAID5 ใช้หนึ่งแถบความเท่าเทียมกัน มีความจำเป็นต้องคำนวณการแก้ไขข้อผิดพลาด Reed Solomon และเขียนสองแถบสำหรับ RAID6 กับหนึ่งสำหรับ RAID5 RAID5 ใช้สำหรับแอพพลิเคชั่นฐานข้อมูลที่มีการจัดเก็บข้อมูลจำนวนมากเนื่องจากราคาของ RAID10 ราคา RAID5 แตกต่างจากความพร้อมใช้งานดิสก์ 67% ถึง 94% โดยที่ RAID10 คือ 50% (ค่าใช้จ่ายในการเก็บข้อมูลที่สูงขึ้น) ในขณะที่ RAID6 มีเวลาแฝงการอ่านต่ำกว่าในปริมาณเล็กน้อยเนื่องจากการแฝงในการหมุน การคำนวณการแก้ไขข้อผิดพลาดและการเขียนเพิ่มเติมของบิตพาริตี

การใช้เวลาเฉลี่ยระหว่างความล้มเหลว (MTBF) สำหรับไดรฟ์ความน่าจะเป็นของสองไดรฟ์ที่ล้มเหลวทันทีหลังจากที่อื่นหรือในเวลาเดียวกันมีค่าประมาณ(0.1% x 0.1%)*12หรือ0.001 x 0.001 * 12; หากคุณมี 1,000 ไดรฟ์ที่ทำงานอยู่คุณจะสูญเสียไดรฟ์โดยเฉลี่ยประมาณ 1.2 ไดรฟ์ต่อปี สองไดรฟ์จะล้มเหลวทันทีหลังจากนั้นอีกประมาณ 8.3 ปี ขณะนี้เนื่องจากความล้มเหลวของไดรฟ์ไม่ใช่การกระจายแบบปัวซองเนื่องจากการโหลดจำนวนมากบนไดรฟ์ในระหว่างการสร้างใหม่ความล้มเหลวของไดรฟ์ที่สองมีแนวโน้มที่จะเกิดขึ้นในช่วงเวลานี้และการกระจายจะใกล้เคียงกับการกระจายแกมมา ความล้มเหลวเกิดขึ้น

บรรทัดล่างคือประสิทธิภาพสำหรับ RAID5 เหนือกว่า RAID6 สำหรับการเขียนและสำหรับแอปพลิเคชัน DB - ดีกว่ามาก สำหรับแอปพลิเคชั่นที่อ่านเป็นส่วนใหญ่เช่นเว็บเซิร์ฟเวอร์มันไม่สร้างความแตกต่างและคุณควรใช้ RAID6 ประโยชน์ด้านต้นทุนของการใช้ RAID5 เหนือ RAID10 มีขนาดใหญ่สำหรับการจัดเก็บข้อมูลขนาดใหญ่ หากคุณสามารถจ่ายค่าโสหุ้ยได้ให้ใช้ RAID10 สำหรับแอพพลิเคชั่นที่ใช้ดิสก์มาก RAID10 จะทำงานได้ดีขึ้นเสมอ

สิ่งที่พลาดไม่ได้คือ RAID ไม่ได้สำรองไว้ แต่เป็นวิธีการ จำกัด การหยุดทำงานโดยให้ความซ้ำซ้อน หากข้อมูลมีความสำคัญคุณควรสำรองข้อมูล (และทดสอบกระบวนการกู้คืนของคุณ)

หาก RAID RAID หนึ่งตัวของ 10 SAS 2TB ล้มเหลวการกู้คืนจะมีค่าใช้จ่ายหลายพันดอลลาร์และใช้เวลาหลายสัปดาห์ในการกู้คืนหากสามารถทำได้

อาร์เรย์ RAID ทั้งหมดล้มเหลวในที่สุด!


1

พูดอย่างเคร่งครัดจากมุมมองความถูกต้องของข้อมูลใช่ คุณสามารถสูญเสียใด ๆ สองไดรฟ์แม้ว่ามันจะเป็นเหตุการณ์ที่หายากที่จะสูญเสียทั้งสองเข้าด้วยกันสั้น ๆ ของการบาดเจ็บทางร่างกายอย่างรุนแรงต่อระบบ

ด้านการเงินไม่ค่อยมากเท่าไหร่ อะไหล่สำรองสามารถปิดลงได้ตามต้องการซึ่งหมายความว่าจะไม่ใช้พลังงานและไม่เกิดการสึกหรอ

และเช่นเคย RAID ไม่ใช่สิ่งทดแทนแผนสำรองนอกสถานที่ที่เหมาะสม


1

คุณถือว่า 10 หรือไม่? หากคุณมีดิสก์เพียงพอสำหรับการโจมตี 6 คุณมีเพียงพอที่จะทำโวลุ่ม 10 ในกรณีส่วนใหญ่ 10 จะเร็วกว่าและซ้ำซ้อนกันมากขึ้น (ในบางพื้นที่ดิสก์)


10 รองรับ 4 ดิสก์เท่านั้น ดังนั้นการโจมตี 10 ไม่ใช่ตัวเลือก IMO
เทรเวอร์บอยด์สมิ ธ

1
@Trevor Raid 10 รองรับจำนวนของดิสก์ที่เท่ากัน> = 4 หากคุณสามารถทำการโจมตี 6 คุณสามารถทำการโจมตี 10
Joel Coehoorn

1

คำตอบเหล่านี้ดูเหมือนจะไม่ถูกต้องเพราะขึ้นอยู่กับประสิทธิภาพของไดรฟ์ตามทฤษฎีเท่านั้น พิจารณาถ้าคุณมีตัวควบคุม RAID ที่มีแคชขนาด 1 GB การเขียน (โดยปกติจะอยู่ภายใต้การโหลดปกติ - ไม่ใช่บางอย่างที่ไม่ใช่สถานการณ์การโหลดสูงมากปกติ) จะได้ทันทีจากมุมมองของผู้ใช้หรือแอปพลิเคชัน - ไปยังหน่วยความจำแล้ว การเขียน 'จริง' เกิดขึ้นที่ประสิทธิภาพของไดรฟ์

อย่างไรก็ตามการอ่านไม่สามารถ 'ปลอม' (เร่งความเร็วด้วยแคช) เว้นแต่ว่าข้อมูลเดียวกันนั้นเพิ่งถูกโหลดไปแล้วหรือเป็นปกติอยู่แล้ว Raid 6 ดีกว่าสำหรับการอ่านและมีความทนทานมากกว่า (2 ต่อ 1 ไดรฟ์) Raid 5 นั้นเขียนได้ช้ากว่าและช้ามากเมื่อสร้างใหม่

ดังนั้นในขณะที่ RAID 5 จะช้าในการเขียนที่เกิดขึ้นจริงมันจะถูกซ่อนไว้ด้วยตัวควบคุมการโจมตีที่ดี - ซึ่งการเขียนเกิดขึ้นในหน่วยความจำจากมุมมองของผู้ใช้ / แอปพลิเคชัน อย่างไรก็ตามการจู่โจม 5 อ่านได้ช้ากว่าจู่โจม 6 และนั่นจะไม่ได้รับการปรับปรุงด้วยตัวควบคุมเว้นแต่ว่าข้อมูลได้ถูกโหลดไปแล้วหรืออัลกอริทึมเก็บบันทึกการอ่านซ้ำ ๆ ในชีวิตจริง - การจู่โจมครั้งที่ 6 ชนะ

สรุปแล้วการเขียน Raid 5 ช้า แต่ซ่อนไว้ด้วยตัวควบคุมที่ดีและนั่นทำให้การจู่โจม 5 หรือ 6 โดยพื้นฐานแล้วเหมือนกันกับประสิทธิภาพการทำงานของ 'การรับรู้' ในการเขียน (มีข้อยกเว้นบางประการ) อย่างไรก็ตาม Raid 6 อ่านได้เร็วขึ้นและผู้ควบคุมจะไม่ช่วยในปริมาณงานจริงเพื่อปรับปรุงประสิทธิภาพการอ่าน ตอนนี้เพิ่มที่ Raid 6 สามารถใช้สองความล้มเหลวและ Raid 5 + 1 เพียงตัวเดียวที่จะเลือก Raid 6 เป็นตัวเลือกที่ดีกว่า: อย่าลืมว่าการสร้างใหม่บน Raid 5 นั้นช้ามากเช่นกัน ฉันได้เรียนรู้ด้วยว่ามีการใช้ไดรฟ์ Raid 6 (ทดสอบอย่างถูกวิธี) และไดรฟ์ที่ล้มเหลวมักล้มเหลวอย่างรวดเร็ว เมื่ออาร์เรย์เสร็จสิ้นเป็นเวลานานกว่า 30 วันมันจะมีอายุการใช้งานนานหลายปี อะไหล่สำรองยังไม่ผ่านการทดสอบและอาจล้มเหลวได้ทันทีเมื่อจำเป็น


0

นี่คือข้อเท็จจริงของคดีและพวกเขาไม่มีปัญหา (โดยใครก็ตามที่รู้ว่าพวกเขากำลังพูดถึงอะไร):

  1. RAID5 + hotspare คือตัวเลือก RAID ที่แย่ที่สุดที่คุณสามารถเลือกได้
  2. RAID10 ควรเป็นตัวเลือกเริ่มต้นหากคุณใส่ใจข้อมูลของคุณ (หมายถึงคุณต้องพึ่งพาข้อมูลนั้นเพื่อให้ธุรกิจของคุณดำเนินต่อไป)

หากคุณพิจารณาตัวเลือก RAID ที่เป็นไปได้ทั้งหมดไม่มีกรณีใดที่ RAID5 + hotspare เป็นตัวเลือกที่ดีที่สุดเพราะถ้าคุณมี RAID5 + hotspare นั่นหมายความว่าคุณมี 4 ไดรฟ์และ 4 ไดรฟ์คุณสามารถทำ RAID6 หรือแม้กระทั่ง ดีกว่าคุณสามารถทำ RAID10

ด้วย 4 ไดรฟ์คุณจะได้พื้นที่เก็บข้อมูลที่ใช้งานได้เหมือนกันทุกตัวเลือก (R5 + HS, R6, R10)

หากเป้าหมายของคุณคือประสิทธิภาพการทำงาน RAID10 จะเหนือกว่า RAID5 และ RAID6

หากเป้าหมายของคุณคือความปลอดภัย RAID6 หรือ RAID10 นั้นเหนือกว่า RAID5 ที่มีหรือไม่มีฮอตสปอต เป็นที่ถกเถียงกันว่าอันไหนปลอดภัยกว่า (6 vs 10) RAID6 สามารถรักษาความล้มเหลวของไดรฟ์ 2 ตัวได้ แต่เนื่องจากข้อผิดพลาดในการอ่านที่ไม่สามารถกู้คืนได้ (URE's) จึงเป็นไปได้ที่ความล้มเหลวของไดรฟ์เดียวใน RAID6 จะฆ่าอาเรย์ทั้งหมด

RAID10 เนื่องจากไม่ได้อิงพาริตีจึงไม่มีปัญหาเดียวกันกับ UREs หากพาริตี้ RAID (R5 ฯลฯ ) สูญเสียไดรฟ์แล้วพบ URE อาร์เรย์ทั้งหมดจะหายไป ด้วย RAID1 หรือ RAID10 ถ้าไดรฟ์หายไปและจากนั้นพบ URE บนดิสก์มิรเรอร์เฉพาะส่วนที่ไม่สามารถอ่านได้เท่านั้นที่จะหายไป

ดูที่นี่สำหรับคำอธิบายรายละเอียดว่าทำไม RAID5 เป็นตัวเลือกที่เลวร้ายที่สุด ยังเห็นที่นี่สำหรับรายการของตัวเลือก RAID ที่เหมาะสมจากจำนวนของไดรฟ์ โปรดสังเกตว่าไม่ว่าในกรณีใด RAID5 เป็นตัวเลือกที่ดีที่สุด (โดยไม่คำนึงถึงฮอตสปอต)


2
ฉันไม่เห็นด้วย. RAID5 มีการใช้งาน (เช่นเมื่องบประมาณ จำกัด และคุณต้องการพื้นที่ใช้งานจริง) และเนื่องจาก RAID ไม่ได้แทนที่การสำรองข้อมูลที่รอดชีวิตจากความล้มเหลวของดิสก์หนึ่งครั้งมีมากพอที่จะโจมตีคุณจนถึงเวลา 17.00 น. ซึ่งเป็นช่วงเวลาที่ผู้คนออกจากสำนักงานและคุณได้ทำการบำรุงรักษา
Hennes

มีความแตกต่างระหว่าง "ตัวเลือกที่ดีที่สุด" และ "ตัวเลือกที่ดีที่สุดที่คุณสามารถจ่ายได้" RAID5 ไม่ใช่ตัวเลือกที่ดีที่สุด ผู้คนมาที่นี่เพื่อรับคำตอบที่ดีที่สุดและผู้คนควรออกจากที่นี่เพราะรู้ว่า RAID5 น้อยกว่าที่ดีที่สุดเสมอ สามารถพิสูจน์ได้ทางคณิตศาสตร์ว่าในบางกรณี RAID0 มีความน่าเชื่อถือมากกว่า RAID5 นี่เป็นวิธีที่น่ากลัวสำหรับ RAID5 ในหลายกรณี RAID5 อาจไม่ถึง 5 โมงเย็น มีความแตกต่างอย่างมากระหว่างทฤษฎีและโลกแห่งความเป็นจริงเมื่อพูดถึง RAID5 ดูที่นี่
user1594322

มันไม่ชัดเจนเลยสำหรับฉันทำไมคุณบอกว่า RAID10 ไม่มีปัญหาเดียวกันกับ URE ด้วยการตั้งค่า RAID10 แบบสี่ไดรฟ์หากคุณสูญเสียไดรฟ์หนึ่งตัวและประสบ URE บนกระจกที่เกี่ยวข้อง
ChrisInEdmonton

หาก RAID10 มีไดรฟ์ที่ล้มเหลวและมี URE บนไดรฟ์ที่มีชีวิตคุณจะสูญเสียเซกเตอร์ที่อ่านไม่ได้ไม่ใช่อาเรย์ทั้งหมด อัปเดตคำตอบ
user1594322
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.