คำถามติดแท็ก storage

ถ้าฉันจะเก็บข้อมูลบนฮาร์ดไดรฟ์ให้ถอดปลั๊กและวางไว้บนชั้นวาง (ไม่ใช่ฝุ่นที่ควบคุมอุณหภูมิ) ที่อื่นไดรฟ์นั้นจะแย่ลงหรือไม่ การเก็บรักษาข้อมูลของฮาร์ดไดรฟ์ที่ไม่ได้เสียบเปรียบเทียบกับเทปอย่างไร

44 backup  hard-drive  storage  physical-environment 

ฉันมีไฟล์หลายล้านไฟล์ในที่ฝากข้อมูล Amazon S3 และฉันต้องการย้ายไฟล์เหล่านี้ไปยังที่เก็บข้อมูลและโฟลเดอร์อื่น ๆ ด้วยค่าใช้จ่ายขั้นต่ำหรือไม่มีค่าใช้จ่ายหากเป็นไปได้ ถังทั้งหมดอยู่ในโซนเดียวกัน ฉันจะทำมันได้อย่างไร

44 storage  cloud  files  amazon-s3 

เมื่อที่เก็บข้อมูลเซิร์ฟเวอร์เริ่มพัฒนาน้อยทุกคนก็เริ่มคร่ำครวญว่า "ฉันจะได้รับ 1 TB ไดรฟ์ที่ Walmart ด้วยราคา 100 bucks ปัญหาคืออะไร" ความซับซ้อนของการจัดเก็บสามารถอธิบายให้ผู้พัฒนาเข้าใจได้อย่างไรว่าทำไม 1 TB ไดรฟ์จาก Walmart จึงไม่ทำงาน ป.ล. ฉันเป็นนักพัฒนาและต้องการทราบด้วย :)

40 storage 

HP Proliant ML110 G7 ของฉันมีช่องเสียบ SD ขนาดเต็มบนเมนบอร์ด กรณีการใช้งานคืออะไร? ไฟล์ PDFกล่าวบนpage 10: item 17เพียงเพื่อแสดงตำแหน่งของตน แต่ไม่มีอะไรเพิ่มเติม ในการแก้ไขในภายหลัง (Gen 9) กล่าวกันว่าสล็อตไม่สามารถเสียบปลั๊กได้ เมนบอร์ดมีช่องเสียบ USB (รายการที่ 11)

36 hardware  storage  hp-proliant 

ฉันเสนอสิ่งนี้เป็นคำถามที่ยอมรับได้เกี่ยวกับเครือข่ายพื้นที่จัดเก็บระดับองค์กร เครือข่ายพื้นที่จัดเก็บ (SAN) คืออะไรและทำงานอย่างไร มันแตกต่างจาก Network Attached Storage (NAS) อย่างไร กรณีการใช้งานเปรียบเทียบกับที่เก็บข้อมูลแบบต่อพ่วงโดยตรง (DAS) คืออะไร มันจะดีขึ้นหรือแย่ลงในทางใด ทำไมมันแพงจัง ฉันควรใช้ (หรือ บริษัท ของฉัน) หรือไม่

35 storage  storage-area-network  network-attached-storage 

ฉันเข้าใจว่า IOPS และปริมาณงานคืออะไร ทรูพุตวัดการไหลของข้อมูลในขณะที่ MB / s และ IOPS บอกว่ามีการดำเนินการ I / O กี่ครั้งต่อวินาที สิ่งที่ฉันไม่เข้าใจคือเหตุผลที่บริการจัดเก็บข้อมูลจำนวนมากแสดง IOPS ที่พวกเขาให้ ฉันไม่สามารถเห็นสถานการณ์ใด ๆ ที่ฉันต้องการทราบถึง IOPS แทนการรับส่งข้อมูล ทำไม IOPS ถึงสำคัญ? เหตุใด AWS จึงแสดงบทบัญญัติในการจัดเก็บเป็นส่วนใหญ่ใน IOPS IOPS เกี่ยวข้องกับปริมาณงาน (MB / s) ที่ไหนมากกว่ากัน แก้ไข: บางคนกำลังมองหาคำถามนี้ราวกับว่าฉันถามว่าการเข้าถึงแบบสุ่มคืออะไรและส่งผลอย่างไรต่อประสิทธิภาพการทำงานหรือการทำงานของ HDD และ SSD ... แม้ว่าฉันคิดว่าข้อมูลนี้มีประโยชน์สำหรับผู้ที่เพิ่งเริ่มพฤติกรรมการจัดเก็บข้อมูล และนี่ไม่ใช่เป้าหมายของคำถามคำถามคือเกี่ยวกับ"ฉันจะได้รับข้อมูลชิ้นใหม่เมื่อฉันเห็นหมายเลข IOPS ว่าฉันจะไม่เห็นหมายเลข throughput (MB / s)"

32 amazon-web-services  performance  storage  iops 

10 x 2TB WD RED'sผมต้องการที่จะสร้างเซิร์ฟเวอร์จัดเก็บข้อมูลและซื้อ HDD'sเพิ่งมาถึง มีเครื่องมือใดบ้างที่คุณใช้ตรวจสอบไดรฟ์ที่ไม่ดีหรือเพื่อป้องกันการเสียชีวิตของทารกก่อนที่จะคัดลอกข้อมูลจริงไปยังดิสก์ของคุณหรือไม่? ควรตรวจสอบแต่ละรายการHDDหรือทดสอบอาร์เรย์ ( ZFS raid-z2) ด้วยการคัดลอกข้อมูลจำนวนมากหรือไม่

31 storage 

ด้วยHadoopและCouchDBทั่วในบล็อกและข่าวที่เกี่ยวข้องว่าหน่วยเก็บข้อมูลที่ทนต่อความผิดพลาด (เอ็นจิ้น) ที่ใช้งานได้จริงคืออะไร CouchDB จริง ๆ แล้วไม่มีคุณสมบัติการแจกจ่ายใด ๆ อยู่ภายในความรู้ของฉันกาวเพื่อกระจายรายการโดยอัตโนมัติหรือแม้กระทั่งฐานข้อมูลทั้งหมดจะหายไป Hadoop ดูเหมือนจะใช้กันอย่างแพร่หลายมาก - อย่างน้อยมันก็ได้รับการกดดี แต่ก็ยังมีจุดล้มเหลวเพียงจุดเดียว: The NameNode นอกจากนี้มันสามารถติดตั้งได้ผ่าน FUSE เท่านั้นฉันเข้าใจว่า HDFS ไม่ใช่เป้าหมายหลักของ Hadoop GlusterFSไม่มีแนวคิดอะไรที่ใช้ร่วมกัน แต่เมื่อเร็ว ๆ นี้ฉันอ่านบทความหลายเรื่องที่ทำให้ฉันเห็นว่ามันไม่เสถียรเท่าไหร่ ความมันวาวมีจุดของความล้มเหลวเพียงจุดเดียวเนื่องจากมันใช้เซิร์ฟเวอร์เมทาดาทาโดยเฉพาะ Cephดูเหมือนจะเป็นผู้เล่นที่เลือก แต่หน้าแรกระบุว่ามันยังอยู่ในช่วงอัลฟา ดังนั้นคำถามคือระบบไฟล์แบบกระจายมีชุดคุณลักษณะต่อไปนี้ (ไม่มีลำดับเฉพาะ): POSIX ได้ การเพิ่ม / กำจัดโหนดอย่างง่ายดาย แนวคิดแบบไม่มีอะไรแชร์ ทำงานบนฮาร์ดแวร์ราคาถูก (AMD Geode หรือโปรเซสเซอร์ระดับ VIA Eden) การพิสูจน์ตัวตน / การอนุญาตในตัว ระบบไฟล์เครือข่าย (ฉันต้องการที่จะสามารถติดตั้งพร้อมกันในโฮสต์ที่แตกต่างกัน) ยินดีที่ได้: ไฟล์ที่สามารถเข้าถึงได้ในเครื่อง: …

31 linux  filesystems  storage 

ฉันจะเริ่มต้นด้วยการระบุว่าฉันไม่เชื่อว่านี่เป็นข้อมูลซ้ำซ้อนของเหตุใด Enterprise Storage จึงมีราคาแพง . คำถามของฉันเกี่ยวกับกล่องหุ้มไดรฟ์ SAS โดยเฉพาะและค่าใช้จ่ายที่สมเหตุสมผล ตัวอย่างประเภทของสิ่งห่อหุ้มที่ฉันอ้างถึงคือ: 1 HP D2700 2 Dell MD1220 IBM EXP3524 แต่ละข้อด้านบนเป็นกล่องหุ้มไดรฟ์ SAS ภายนอกแบบ 2U ที่ต่อพ่วงโดยตรงพร้อมพื้นที่สำหรับไดรฟ์ประมาณ 24 X 2.5 " ฉันกำลังพูดเกี่ยวกับกล่องเปล่าไม่ใช่ไดรฟ์ ฉันตระหนักถึงความแตกต่างระหว่างฮาร์ดไดรฟ์ระดับองค์กรและระดับผู้บริโภค ตัวอย่างของราคา "ball-park" ปัจจุบัน HP D2700 (25 X 2.5 ") อยู่ที่ประมาณ $ 1,750 โดยไม่มีไดรฟ์ใด ๆ (ตรวจสอบธันวาคม 2012 ใน Amazon US) เซิร์ฟเวอร์ HP DL360 …

30 hard-drive  sas  hardware  storage 

เราจะมีเครื่องที่ทำงานที่ประสิทธิภาพสูงสุดควรสามารถดัน50 ("หัวเขียน") x 75GBของข้อมูลต่อชั่วโมง นั่นคือประสิทธิภาพสูงสุดของความเร็วในการเขียนที่ ~ 1100MB / s ในการรับสิ่งนั้นจากเครื่องจะต้องใช้สองบรรทัด 10GBi คำถามของฉันคือเทคโนโลยีเซิร์ฟเวอร์ + ชนิดใดที่สามารถจัดการ / จัดเก็บการไหลของข้อมูลดังกล่าวได้ ปัจจุบันพื้นที่เก็บข้อมูลเราทำงานกับ ZFS แม้ว่าความเร็วในการเขียนจะไม่เป็นปัญหา (เราไม่ได้ใกล้เคียงกับความเร็วเหล่านี้) ZFS (zfs บน linux) จะเป็นตัวเลือกหรือไม่? เราจำเป็นต้องจัดเก็บข้อมูลจำนวนมาก "คำแนะนำด้านไอที" แนะนำบางส่วนระหว่าง 50-75 TB โดยรวม ดังนั้นจึงอาจไม่สามารถเป็น SSD ทั้งหมดเว้นแต่ว่าเราต้องการเสนอลูกคนโตของเรา เพิ่มเติมบางส่วนตามคำตอบที่ยอดเยี่ยม: สูงสุดคือ 50x75GB / ชั่วโมงในระหว่างที่มีการใช้งานน้อยกว่า 24 ชม. (เป็นไปได้ <6h) เราไม่คาดหวังว่าสิ่งนี้จะเกิดขึ้นในเร็ว ๆ นี้ส่วนใหญ่เราจะเรียกใช้ 5-10x75GB / ชั่วโมง เป็นเครื่องพรีอัลฟ่า …

29 performance  storage  zfs  write 

นี่เป็นคำถามที่ยอมรับได้เกี่ยวกับ iSCSI ที่เราสามารถใช้เป็นข้อมูลอ้างอิง iSCSI เป็นโปรโตคอลที่ทำให้คำสั่ง SCSI เป็นเพย์โหลดลงในแพ็กเก็ตเครือข่าย TCP ด้วยเหตุนี้มันจึงมีปัญหาที่แตกต่างไปจากไฟเบอร์แชนเนล ตัวอย่างเช่นหากลิงค์ได้รับความแออัดและบัฟเฟอร์ของสวิตช์เต็มโดยค่าเริ่มต้นอีเธอร์เน็ตจะดร็อปเฟรมแทนการบอกให้โฮสต์ช้าลง สิ่งนี้นำไปสู่การส่งสัญญาณใหม่ซึ่งนำไปสู่เวลาแฝงที่สูงสำหรับปริมาณการใช้พื้นที่เก็บข้อมูลที่น้อยมาก มีวิธีแก้ไขปัญหานี้ขึ้นอยู่กับระบบปฏิบัติการไคลเอนต์รวมถึงการปรับเปลี่ยนการตั้งค่าเครือข่าย สำหรับรายการระบบปฏิบัติการต่อไปนี้การกำหนดค่าไคลเอนต์ iSCSI ที่เหมาะสมจะมีลักษณะอย่างไร มันเกี่ยวข้องกับการเปลี่ยนการตั้งค่าบนสวิตช์หรือไม่? แล้วที่เก็บข้อมูลล่ะ? VMWare 4 และ 5 Windows Hyper-V 2008 และ 2008r2 Windows 2003 และ 2008 บนโลหะเปลือย Linux บนโลหะเปลือย AIX VIO ระบบปฏิบัติการอื่นใดที่คุณคิดว่าเกี่ยวข้อง

29 networking  storage  storage-area-network  tcp  iscsi 

ระบบลีนุกซ์ส่วนใหญ่ที่ฉันจัดการจะมีคอนโทรลเลอร์ RAID สำหรับฮาร์ดแวร์ (ส่วนใหญ่เป็นHP Smart Array ) พวกเขากำลังทำงาน RHEL หรือ CentOS ทั้งหมด ฉันกำลังมองหาที่ปรับได้ในโลกแห่งความจริงเพื่อช่วยเพิ่มประสิทธิภาพการตั้งค่าที่รวมตัวควบคุม RAID ของฮาร์ดแวร์ด้วยดิสก์ SAS (สมาร์ทอาเรย์, Perc, LSI, ฯลฯ ) และแคชสำรองแบตเตอรี่หรือแฟลชสำรอง สมมติว่า RAID 1 + 0 และแกนหมุนหลายอัน (4+ ดิสก์) ฉันใช้เวลาปรับแต่งการตั้งค่าเครือข่ายลีนุกซ์เป็นเวลานานสำหรับแอพพลิเคชั่นการซื้อขายทางการเงินที่มีความหน่วงแฝงและต่ำ แต่ตัวเลือกเหล่านั้นมีเอกสารครบถ้วน (เปลี่ยนบัฟเฟอร์การส่ง / รับการแก้ไขการตั้งค่าหน้าต่าง TCP ฯลฯ ) วิศวกรกำลังทำอะไรในด้านการจัดเก็บ? ในอดีตฉันได้ทำการเปลี่ยนแปลงการจัดตารางเวลา I / Oเมื่อเร็ว ๆ นี้การเลือกdeadlineและตัวตั้งnoopเวลาเพื่อปรับปรุงประสิทธิภาพภายในแอปพลิเคชันของฉัน เมื่อเวอร์ชัน RHEL ดำเนินไปฉันได้สังเกตเห็นว่าค่าเริ่มต้นที่คอมไพล์แล้วสำหรับอุปกรณ์บล็อก SCSI และ …

29 storage  hp  hardware-raid  performance-tuning  hp-smart-array 

ฉันสามารถรันได้อย่างน่าเชื่อถือด้วยการ์ดFusion-ioการ์ดเดียวที่ติดตั้งในเซิร์ฟเวอร์หรือฉันต้องติดตั้งการ์ดสองใบในการตั้งค่า RAID ของซอฟต์แวร์หรือไม่ Fusion-io ไม่ค่อยชัดเจน (เกือบจะทำให้เข้าใจผิด) ในหัวข้อเมื่อตรวจสอบสื่อการตลาดของพวกเขาด้วยราคาของบัตรฉันอยากรู้ว่าวิศวกรคนอื่นปรับใช้พวกเขาในสถานการณ์จริงได้อย่างไร ฉันวางแผนที่จะใช้HP ตรา Fusion-io ioDrive2บัตร 1.2TB สำหรับการแก้ปัญหาฐานข้อมูลแบบสแตนด์อโลนที่เป็นกรรมสิทธิ์ที่ทำงานบนลินุกซ์ นี่เป็นการตั้งค่าเซิร์ฟเวอร์เดียวโดยไม่มีตัวเลือกความพร้อมใช้งานสูงจริง ๆ มีคือการจำลองแบบไม่ตรงกันกับ 10 นาทีRPOว่าการทำธุรกรรมกระจกล็อกไปยังเซิร์ฟเวอร์ทางกายภาพที่สอง ตามเนื้อผ้าฉันจะระบุเซิร์ฟเวอร์ HP ProLiantระดับไฮเอนด์ที่มีซีพียูชั้นนำสำหรับแอปพลิเคชันนี้ ฉันต้องไปที่ SSD และฉันสามารถรับ Fusion-io ในราคาที่ต่ำกว่า SAS SSD ระดับองค์กรสำหรับความจุที่ต้องการ ฉันจำเป็นต้องเรียกใช้การ์ด ioDrive2 สองการ์ดและเข้าร่วมกับซอฟต์แวร์ RAID (md หรือ ZFS) หรือไม่นั้นจำเป็น ฉันควรกังวลเกี่ยวกับความล้มเหลวของ Fusion-io มากกว่าที่ฉันกังวลเกี่ยวกับความล้มเหลวของตัวควบคุม RAID หรือความล้มเหลวของเมนบอร์ดหรือไม่ ผู้ดูแลระบบเช่น RAID สิ่งนี้ต้องใช้ความคิดที่แตกต่างกันหรือไม่เนื่องจากมีอินเทอร์เฟซที่แตกต่างกันและการแก้ไขระดับการสึกหรอ / การแก้ไขข้อผิดพลาดบนการ์ดที่มีอยู่ในฟอร์มแฟคเตอร์นี้ อะไรคืออัตราความล้มเหลวของอุปกรณ์เหล่านี้หรือไม่ แก้ไข:ฉันเพิ่งอ่านกระดาษสีขาวความน่าเชื่อถือ Fusion-ioจาก …

27 raid  storage  hardware  ssd  fusionio 

FC สวิตช์ทำงานอย่างไรและฉันควรกำหนดค่าของฉันอย่างไร

27 storage  storage-area-network  fibre-channel 

ฉันกำลังมองหาการสร้าง ZFS Pool ขนาดใหญ่ (150TB +) และฉันอยากได้ยินประสบการณ์ของผู้คนเกี่ยวกับสถานการณ์การสูญเสียข้อมูลเนื่องจากฮาร์ดแวร์ที่ล้มเหลวโดยเฉพาะอย่างยิ่งการแยกแยะระหว่างอินสแตนซ์ที่ข้อมูลบางส่วนสูญหายไปกับระบบไฟล์ทั้งหมด ของหากมีความแตกต่างดังกล่าวใน ZFS) ตัวอย่างเช่นสมมติว่า vdev สูญหายเนื่องจากความล้มเหลวเช่นกล่องหุ้มไดรฟ์ภายนอกสูญเสียพลังงานหรือการ์ดคอนโทรลเลอร์ล้มเหลว จากสิ่งที่ฉันอ่านพูลควรเข้าสู่โหมดที่มีความผิดพลาด แต่ถ้า vdev ถูกส่งคืนพูลควรกู้คืนได้หรือไม่? หรือไม่? หรือถ้า vdev ได้รับความเสียหายบางส่วนหนึ่งจะสูญเสียพูลทั้งหมดบางไฟล์ ฯลฯ ? จะเกิดอะไรขึ้นหากอุปกรณ์ ZIL ล้มเหลว หรือแค่หนึ่งใน ZILs หลายอัน? เรื่องราวเล็ก ๆ น้อย ๆ หรือสถานการณ์สมมุติที่ได้รับการสนับสนุนโดยความรู้ทางเทคนิคอย่างแท้จริงจะได้รับการชื่นชม! ขอบคุณ! ปรับปรุง: เรากำลังทำสิ่งนี้ในราคาถูกเพราะเราเป็นธุรกิจขนาดเล็ก (9 คนหรือมากกว่านั้น) แต่เราสร้างข้อมูลภาพจำนวนพอสมควร ข้อมูลส่วนใหญ่เป็นไฟล์ขนาดเล็กโดยนับของฉันประมาณ 500k ไฟล์ต่อ TB ข้อมูลมีความสำคัญ แต่ไม่สำคัญมาก เราวางแผนที่จะใช้พูล ZFS เพื่อจำลองอาร์เรย์ข้อมูล "สด" 48TB …

27 backup  filesystems  storage  zfs