คำถามติดแท็ก storage

ปัญหา เรามีปัญหาเกี่ยวกับประสิทธิภาพการทำงานบนแพลตฟอร์มที่มีอยู่แล้วดังนั้นฉันจึงเปลี่ยนไปใช้ความคิดแบบกลุ่มเพื่อความเห็นที่สองเกี่ยวกับสิ่งนี้ ปัญหาด้านประสิทธิภาพนั้นเกี่ยวข้องกับ IOPS มากกว่าปริมาณงาน สถานการณ์ เบลดศูนย์กลาง 16 โฮสต์แต่ละตัวมี RAM 64GB (เป็น Dell M1000e w / M610s แต่อาจไม่เกี่ยวข้อง) 500 VMs เว็บเซิร์ฟเวอร์ทั้งหมด (หรือเทคโนโลยีเว็บที่เกี่ยวข้องเช่น MySQL, load balancer ฯลฯ ) ประมาณ 90% เป็น Linux และ Windows ที่เหลือ ไฮเปอร์ไวเซอร์คือ VMWare vSphere เราจำเป็นต้องจัดเตรียมโฮสต์ HA ดังนั้นที่เก็บข้อมูลในเครื่องจึงไม่พร้อมใช้งาน ดังนั้นโฮสต์จึงมีการ์ด SD สำหรับบูต พื้นหลังคิดเล็กน้อย ในขณะนี้เรามีโฮสต์ได้มากถึง 6 โฮสต์ (ศูนย์ใบมีดจะเต็มประสิทธิภาพในช่วงเวลาหนึ่งปีที่การเติบโตปัจจุบัน) และเรากำลังเรียกใช้ iSCSI …

15 virtualization  storage  nfs  storage-area-network  vmware-vsphere 

ตามที่ฉันเดาแล้วการดูที่ SAN และผู้ค้าส่วนใหญ่เสนอไดรฟ์ SAS ที่เหมาะสม "10" หรือ 10k ส่วนใหญ่ยังมีไดรฟ์ MDL MDL / Nearline SAS 7.2k ใครบ้างมีคำอธิบายเผด็จการของความแตกต่างโปรด?

15 storage  hard-drive  storage-area-network  sas  sata 

คำถามนี้ไม่น่าจะช่วยผู้เข้าชมในอนาคต มันเกี่ยวข้องเฉพาะกับพื้นที่ทางภูมิศาสตร์ขนาดเล็กช่วงเวลาที่เฉพาะเจาะจงหรือสถานการณ์ที่แคบเป็นพิเศษซึ่งโดยทั่วไปไม่สามารถใช้ได้กับผู้ชมทั่วโลกของอินเทอร์เน็ต สำหรับความช่วยเหลือในการทำคำถามนี้มากขึ้นบังคับในวงกว้างไปที่ศูนย์ช่วยเหลือ ปิดให้บริการใน8 ปีที่ผ่านมา เราตัดสินใจใช้โซลูชั่น NetApp เป็นอย่างดีสำหรับ SAN ตัวแรกของเรา ระบุว่าฉันได้รับมอบหมายให้ค้นหาเหตุผลมากมายไม่ให้ไปกับ NetApp เท่าที่จะทำได้ เราชอบทำสิ่งนี้ A) เพื่อให้เรารู้ว่าเรากำลังทำอะไรอยู่และ B) ดังนั้นเราจึงไม่ถูกทำให้สับสนโดยความรู้สึกสบาย ๆ ของผู้ขายโพสต์ที่หลีกเลี่ยงไม่ได้ ฉันขัดถูอินเทอร์เน็ตเพื่อหาข้อเสียและสามารถค้นหาได้เพียงหนึ่งเดียวเท่านั้น: ราคา คุณเคยมีประสบการณ์ฝันร้ายกับ NetApp หรือไม่ที่คุณต้องการจะออกจากอกของคุณ? โปรดเฉพาะผู้ที่มีประสบการณ์เน็ตแอพเท่านั้น ขอขอบคุณ!

15 storage  storage-area-network  netapp 

ฉันวางแผนที่จะใช้ ZFS บนระบบของฉัน (HP ML370 G5, Smart Array P400, ดิสก์ 8 SAS) ฉันต้องการให้ ZFS จัดการดิสก์ทั้งหมดทีละรายการเพื่อให้สามารถใช้การตั้งเวลาได้ดีขึ้น (เช่นฉันต้องการใช้คุณลักษณะ RAID ของซอฟต์แวร์ใน ZFS) ปัญหาคือฉันไม่สามารถหาวิธีปิดการใช้งานคุณสมบัติ RAID บนตัวควบคุม RAID ในตอนนี้คอนโทรลเลอร์จะรวมดิสก์ทั้งหมดลงในโวลุ่ม RAID-5 ขนาดใหญ่หนึ่งตัว ดังนั้น ZFS ไม่สามารถมองเห็นดิสก์เดี่ยว ๆ ได้ มีวิธีใดบ้างที่จะทำให้เข้าใจการตั้งค่านี้ได้?

15 raid  storage  zfs  hp-proliant  hp-smart-array 

Small Form Factor (SFF) / 2.5 "ดิสก์ดูเหมือนจะได้รับความนิยมมากกว่าดิสก์ LFF ในขณะนี้เนื่องจากพวกเขาเป็นที่นิยมมากกว่าดิสก์ LFF ในหลาย ๆ สถานการณ์ (ลดการใช้พลังงานความหนาแน่นสูง ฯลฯ ) อย่างไรก็ตามดิสก์ LFF ยังคงมีคุณสมบัติ ในข้อเสนอของผู้ขายรายใหญ่ (นำตัวอย่างเซิร์ฟเวอร์ Gen9 ที่เพิ่งวางจำหน่ายเมื่อไม่นานมานี้) ดูที่การกำหนดราคาของดิสก์ในความสามารถส่วนล่าง (500GB) ที่ต่ำกว่าส่วนใหญ่ดูเหมือนว่าจะมีความแตกต่างของราคาเล็กน้อยในวันนี้ นั่นเป็นคำถามทำไมพวกเขาถึงได้รับความนิยมมากพอที่ผู้ค้าจะรู้สึกว่ามันคุ้มค่าที่จะลงทุนเพื่อสนับสนุนพวกเขาในผลิตภัณฑ์ล่าสุดของพวกเขา มันเป็นอย่างหมดจดเพราะ LFF ดิสก์ฟอร์มแฟคเตอร์มีความจุสูงกว่าดิสก์ SFF หรือมีเหตุผลอื่นว่าทำไมจึงยังคงได้รับความนิยม สิ่งนี้คือข้อเท็จจริงที่ฉันพยายามทำความเข้าใจในสิ่งที่สมเหตุสมผลสำหรับการระบุเซิร์ฟเวอร์ที่ทันสมัยที่มีกรง / ดิสก์ LFF มากกว่า SSF สถานการณ์ / ความต้องการใดที่อาจหมายถึง LFF จะเป็นตัวเลือกที่ต้องการ คุณจะทำเช่นนี้จริง ๆ หรือไม่ถ้าคุณต้องการดิสก์ขนาดใหญ่หลายเทราไบต์ในราคาที่สมเหตุสมผลหรือมีเหตุผลอื่น ๆ

14 hard-drive  hardware  storage 

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้เป็นไปตามหัวข้อสำหรับข้อบกพร่องของเซิร์ฟเวอร์ ปิดให้บริการใน5 ปีที่ผ่านมา มีใครพบกับระบบจัดเก็บข้อมูลวัตถุที่เข้ากันได้กับ Amazon S3 RESTful API เกือบ 100% หรือไม่? สิ่งที่ฉันเป็นหลังจากนั้นคือเลเยอร์ที่อยู่ด้านบนของระบบไฟล์ (ควรเป็น POSIX) ที่มี API RESTful API ของ Amazon S3 ในการจัดเก็บ ( PUT), ดึง ( GET), สถิติ ( HEAD) และลบ ( DELETE) พร้อมการรับรองความถูกต้องที่เหมาะสม ยินดีต้อนรับโครงการ / แนวคิดเชิงพาณิชย์ด้วย บันทึก: ฉันเคยลองยูคาลิปตัสและคิวมูลัสมาแล้ว ยูคาลิปตัสตัวใดที่ดูเหมือนจะสุ่มสี่สุ่มห้าเรียกตนเองว่าเข้ากันได้กับ S3 เอกสาร XML การตอบกลับไม่สามารถใช้งานร่วมกันได้และสามารถแก้ไขได้ในบางสถานที่โดยไม่มีเอกสาร XML เลย …

14 storage  amazon-s3  cloud-storage  network-storage 

ฉันได้อ่านเกี่ยวกับพื้นที่เก็บข้อมูลชั่วคราวด้วย amazon ec2 และกำลังพยายามหาวิธีที่ดีที่สุดในการใช้ 100s GB ที่พวกเขาจัดหาให้คุณ ถ้ามันไม่ขัดขืนสิ่งที่ดีสำหรับมันคืออะไร?

14 amazon-ec2  storage  amazon-web-services 

ฉันกำลังมองหาการใช้เซิร์ฟเวอร์จัดเก็บข้อมูลขนาดใหญ่มากเพื่อใช้เป็น NAS สดสำหรับเซิร์ฟเวอร์อื่น ๆ (ตาม Linux ทั้งหมด) โดยขนาดใหญ่มากฉันหมายถึงพื้นที่ว่างระหว่าง 4TB ถึง 20TB (แม้ว่าจะไม่จริงเราจะทำให้มันเป็น 20TB) เซิร์ฟเวอร์จัดเก็บข้อมูลจะเป็น RAID 10 สำหรับความปลอดภัยของข้อมูลและประสิทธิภาพการทำงาน แต่เราจะยังต้องการโซลูชันสำรองซึ่งรวมถึงการสำรองข้อมูลนอกสถานที่ด้วย คำถามของฉันคือคุณสำรองข้อมูลจำนวนมากได้อย่างไร! ไม่ใช่ว่าฉันสามารถเชื่อมต่อฮาร์ดไดรฟ์แบบพกพาและถ่ายโอนไฟล์ผ่าน ขณะนี้เราไม่มีอุปกรณ์อื่นที่มีพื้นที่เก็บข้อมูลมากมาย ฉันต้องใช้งบประมาณสำหรับเซิร์ฟเวอร์เก็บข้อมูลสำรองนอกสถานที่แห่งที่สองหรือมีวิธีแก้ปัญหาที่ดีกว่าหรือไม่

14 backup  raid  storage  network-attached-storage 

เซิร์ฟเวอร์ SQL ของเรากำลังโหลดค่อนข้างหนักและตัวบ่งชี้ทั้งหมดชี้ไปที่ช่องดิสก์เป็นคอขวด เซิร์ฟเวอร์ HP ปัจจุบันมีการ์ดอาเรย์ค่อนข้างต่ำและเราต้องการเพิ่มเซิร์ฟเวอร์นี้ด้วยการ์ดสมาร์ทอาเรย์และหน่วยเก็บข้อมูลภายนอกที่มีไดรฟ์ SSD การกำหนดค่าปัจจุบันคือ: DL360 G7 Smart Array P410i Windows Server 2008R2 RAM 32Gb อาร์เรย์ปัจจุบันคือไดรฟ์แบบลอจิคัล 2 x 300Gb SAS RAID1 สำหรับบูต / OS และไดรฟ์ SATA SSD ขนาด 1 x 120Gb สำหรับข้อมูล เซิร์ฟเวอร์ฐานข้อมูลโฮสต์หนึ่งฐานข้อมูลขนาดใหญ่พอสมควร (~ 100Gb) ซึ่งมีทั้งข้อมูลสดและประวัติ ด้วยเหตุผลหลายประการการแยกฐานข้อมูลไม่ใช่ตัวเลือกดังนั้นการคิดในปัจจุบันคือการมีไดรฟ์แบบลอจิคัลหลายตัวในอาเรย์ใหม่แต่ละอันในช่องของตัวเองแล้วแยกฐานข้อมูลออกเป็นโลจิคัลพาร์ติชัน SQL ตัวอย่างเช่นอาร์เรย์อาจมี: 2 x SSD (RAID1) 2 x SSD (RAID1) …

14 storage  hp  hp-proliant  ssd  hp-smart-array 

ฉันได้ดู RAID5 Vs RAID6 เมื่อไม่นานมานี้และฉันก็เห็นว่า RAID5 นั้นไม่ปลอดภัยเพียงพออีกต่อไปเนื่องจากการจัดอันดับ URE และการเพิ่มขนาดของไดรฟ์ โดยทั่วไปเนื้อหาส่วนใหญ่ที่ฉันค้นพบบอกว่าใน RAID5 ในกรณีที่คุณมีความล้มเหลวของดิสก์ถ้าส่วนที่เหลือของคุณคือ 12TB คุณจะมีโอกาสเกือบ 100% ที่จะได้พบกับ URE และสูญเสียข้อมูลของคุณ รูปขนาด 12TB มาจากความจริงที่ว่าดิสก์มีการจัดอันดับที่ 10 ^ 14 บิตที่อ่านเพื่อเข้าถึงหนึ่ง URE มีบางอย่างที่ฉันไม่ได้มาที่นี่ การอ่านทำโดยหัวหน้าที่เกิดขึ้นในเซกเตอร์สิ่งที่สามารถทำให้การอ่านล้มเหลวคือทั้งหัวตายหรือเซกเตอร์ตาย มันอาจเป็นไปได้ว่าการอ่านไม่ทำงานด้วยเหตุผลอื่น (ฉันไม่รู้เหมือนการสั่นสะเทือนที่ทำให้หัวกระโดด ... ) ดังนั้นให้ฉันจัดการกับทั้ง 3 สถานการณ์: การอ่านไม่ทำงาน: นั่นไม่สามารถกู้คืนได้ใช่ไหม? สามารถลองได้อีกครั้ง หัวตาย: สิ่งนี้จะไม่สามารถกู้คืนได้อย่างแน่นอน แต่นั่นหมายความว่าแผ่นเสียงเต็มรูปแบบ (หรืออย่างน้อยด้านข้าง) จะอ่านไม่ได้มันน่ากลัวกว่านี้ไหม? เซกเตอร์เสียชีวิต: ไม่สามารถกู้คืนได้ทั้งหมด แต่ที่นี่ฉันไม่เข้าใจว่าทำไมดิสก์ 4TB ได้รับการจัดอันดับที่ 10 ^ …

14 raid  hard-drive  storage  drive-failure 

โดยทั่วไปฉันต้องการทราบว่าต้องขัดอาร์เรย์ RAID บ่อยครั้งเพียงใด สิ่งใดที่ทำให้ต้องขัดบ่อยขึ้น (อ่านข้อมูลเขียนข้อมูลปิดการทำงานที่ไม่คาดคิดอายุไดรฟ์ขนาดไดรฟ์จำนวนผู้ใช้ ฯลฯ ) ฉันอ่านอาร์ควิกิที่นี่และสิ่งที่มันพูดจริงๆก็คือควรขัดถูเป็นประจำ ฉันแค่สงสัยว่าเพียงพอเป็นประจำ เห็นได้ชัดว่ามันจะขึ้นอยู่กับ แต่ช่วงที่เหมาะสมคืออะไร? ประจำปี? เดือน? สัปดาห์ละครั้ง ทุกวัน? ขอบคุณมากสำหรับข้อมูลใด ๆ

13 raid  storage  hard-drive  maintenance 

เมื่อทำการคำนวณ IOPS สำหรับอาร์เรย์ RAID แบบดั้งเดิมใคร ๆ ก็สามารถใช้สูตรต่อไปนี้ได้ (ยืมมาจากการหยุดแฮงค์ของ IOPS v1.3บน Symantec Connect): Ieffective = (n * Isingle) / (READ% + (F * WRITE%)) ที่ไหน: ประสิทธิภาพคือจำนวน IOPS ที่มีประสิทธิภาพ Isingle เป็นIOPS เฉลี่ยของไดรฟ์เดียว n คือจำนวนดิสก์ในอาร์เรย์ READ% คือส่วนของการอ่านที่นำมาจากการทำโปรไฟล์ดิสก์ WRITE% เป็นส่วนของการเขียนที่นำมาจากการทำโปรไฟล์ดิสก์ F คือการลงโทษการเขียน RAID : RAID Level Write Penalty RAID-0 1 RAID-1 2 RAID-5 4 …

13 performance  storage  zfs 

ฉันได้อ่านเมื่อเร็ว ๆ นี้เกี่ยวกับการเขียนแคช NCQ ข้อบกพร่องเฟิร์มแวร์อุปสรรค ฯลฯ เกี่ยวกับไดรฟ์ SATA และฉันไม่แน่ใจว่าการตั้งค่าที่ดีที่สุดที่จะทำให้ข้อมูลของฉันปลอดภัยในกรณีที่ไฟฟ้าขัดข้อง จากสิ่งที่ฉันเข้าใจ NCQ อนุญาตให้ไดรฟ์จัดลำดับการเขียนใหม่เพื่อเพิ่มประสิทธิภาพขณะที่เคอร์เนลแจ้งให้ทราบว่าคำขอใดบ้างที่ถูกเขียนขึ้น แคชการเขียนทำให้ไดรฟ์ตอบสนองคำขอได้เร็วขึ้นมากเนื่องจากไม่ต้องรอข้อมูลที่จะเขียนลงในดิสก์ทางกายภาพ ฉันไม่แน่ใจว่า NCQ และการเขียนแคชผสมกันอย่างไรที่นี่ ... ระบบไฟล์ที่ถูกทำเจอร์นัลเป็นพิเศษต้องแน่ใจว่าเมื่อคำร้องขอเฉพาะถูกเขียนลง นอกจากนี้กระบวนการพื้นที่ผู้ใช้ใช้ fsync () เพื่อบังคับให้ล้างของไฟล์โดยเฉพาะ การเรียก fsync นั้น () ไม่ควรกลับมาจนกว่าระบบไฟล์จะแน่ใจว่าข้อมูลนั้นถูกเขียนลงดิสก์ มีฟีเจอร์ (FUA, Force Unit Access) ซึ่งฉันได้เห็นเฉพาะในไดรฟ์ SAS ซึ่งบังคับให้ไดรฟ์ผ่านการแคชและเขียนลงดิสก์โดยตรง สำหรับทุกสิ่งทุกอย่างนั้นมีอุปสรรคในการเขียนซึ่งเป็นกลไกที่เคอร์เนลจัดไว้ให้ซึ่งสามารถท สิ่งนี้บังคับให้แคชทั้งหมดถูกเขียนลงไม่ใช่เฉพาะข้อมูลที่สำคัญดังนั้นทำให้ทั้งระบบช้าลงหากใช้งานในทางที่ผิดด้วย fsync () จากนั้นมีไดรฟ์ที่มีข้อบกพร่องของเฟิร์มแวร์หรือจงใจอยู่เมื่อข้อมูลถูกเขียนทางกายภาพ มีหลายวิธีในการตั้งค่าไดรฟ์ / ระบบไฟล์: A) NCQ และแคชการเขียนถูกปิดใช้งาน B) เพียงแค่เปิดใช้งาน NCQ C) …

13 filesystems  storage  disk-cache 

ในระบบไฟล์เช่น btrfs คุณสามารถ preform ขัดซึ่งจะไปถึงข้อมูลทั้งหมดเพื่อดูว่าข้อมูลยังคงตรงกับการตรวจสอบระบบไฟล์ ฉันต้องการตรวจสอบข้อมูลใน ext4 หากถูกต้องก่อนทำการสำรองข้อมูล คำถาม ext4 ไม่มีการตรวจสอบระบบไฟล์ แต่สามารถทำสิ่งที่คล้ายกันได้หรือไม่

13 linux  storage  ext4  checksum  data-integrity 

ฉันมีการติดตั้งระบบโฮสต์ Qemu-KVM บน CentOS 6.3 HDD 1TB SATA สี่ตัวทำงานใน Software RAID10 Guest CentOS 6.3 ได้รับการติดตั้งใน LVM แยกต่างหาก ผู้คนบอกว่าพวกเขาเห็นการแสดงของแขกเกือบเท่ากับการเป็นเจ้าภาพ แต่ฉันไม่เห็น การทดสอบ i / o ของฉันแสดง 30-70% ประสิทธิภาพช้ากว่าแขกกว่าบนระบบโฮสต์ ฉันพยายามเปลี่ยนตัวกำหนดตารางเวลา (ตั้งค่าelevator=deadlineบนโฮสต์และelevator=noopแขก) ตั้งค่าblkio.weightเป็น 1,000 ใน cgroup เปลี่ยน io เป็น virtio ... แต่การเปลี่ยนแปลงเหล่านี้ไม่ได้ให้ผลลัพธ์ที่สำคัญอะไรเลย นี่เป็นส่วนกำหนดค่าแขก. xml: <disk type='file' device='disk'> <driver name='qemu' type='raw'/> <source file='/dev/vgkvmnode/lv2'/> <target dev='vda' …

13 linux  storage  software-raid  kvm-virtualization