คำถามติดแท็ก storage

ฉันมีดิสก์ 4 x 4TB ในฮาร์ดแวร์ RAID1 (อาจเป็น LSI MegaRaid) ใน Debian Wheezy ขนาดบล็อกทางกายภาพคือ 4kB ฉันจะเก็บไฟล์ขนาดเล็ก 150-200 ล้านไฟล์ (ระหว่าง 3 ถึง 10kB) ฉันไม่ได้ขอประสิทธิภาพ แต่เพื่อระบบไฟล์และขนาดบล็อกที่ดีที่สุดเพื่อประหยัดพื้นที่จัดเก็บ ฉันได้คัดลอกไฟล์ขนาด 8200 ไบต์ไปยัง ext4 ด้วยขนาดบล็อก 4kB นี่ใช้ดิสก์ขนาด 32kB! กำลังบันทึกเหตุผลสำหรับสิ่งนั้นหรือไม่ ดังนั้นมีตัวเลือกอะไรบ้างในการบันทึกพื้นที่เก็บข้อมูลส่วนใหญ่สำหรับไฟล์ขนาดเล็กเช่นนี้?

10 linux  raid  filesystems  storage  block 

ฉันเปรียบเทียบมาตรฐานแอปพลิเคชันบนเซิร์ฟเวอร์ที่เหมือนกันสองตัวตัวหนึ่งคือ Centos 5.8 และอีกตัวหนึ่งคือ Centos 6.2 แอปพลิเคชันของฉันทำงานช้าลงมาก (50% หรือน้อยกว่า) บนเครื่อง Centos 6.2 ในการพยายามวินิจฉัยปัญหาฉันกำลังติดตาม CPU, RAM และ IO ตลอดการทดสอบประสิทธิภาพ ฉันเห็นว่าการอ่านดิสก์นั้นสูงขึ้นอย่างมากในกล่อง Centos 6.2 ซึ่งวัดด้วย iostat ทั้งสองระบบกำลังใช้งาน XFS ซึ่งเกณฑ์มาตรฐานของฉันกำลังทำงานอยู่ ทั้งสองเป็นเซิร์ฟเวอร์ HP ที่มีตัวควบคุม RAID 512MB ที่แคชกับ 8 x 300GB SAS ที่ใช้ RAID 10 นี่คือผลลัพธ์ของ xfs_info สำหรับแต่ละรายการ: CentOS5 meta-data=/dev/cciss/c0d0p5 isize=256 agcount=32, agsize=8034208 blks = sectsz=512 …

10 centos  storage  hp  xfs  hp-smart-array 

ฉันกำลังออกแบบคลัสเตอร์ vSphere 5 เล็กน้อยสำหรับหนึ่งในไซต์ระยะไกลของเรา เรามี IBM x3650 บางตัวที่มีไดรฟ์ 6x300GB 10K RPM ในตัวพร้อมกับซีพียูดูอัลคอร์คอร์และ 24GB RAM เนื่องจากเราใช้ HP P4500 G2s ที่ไซต์หลักของเราเรามีใบอนุญาตสำหรับ HP P4000 VSAs ฉันคิดว่านี่จะเป็นโอกาสที่สมบูรณ์แบบในการใช้งาน ด้านล่างนี้เป็นภาพวาดพื้นฐานของสิ่งที่ฉันต้องการทำให้สำเร็จ: ฉันต้องการเรียกใช้ P4000 VSA บนเซิร์ฟเวอร์แต่ละเครื่องและเรียกใช้ใน Network RAID-10 (Lefthand พูดถึงการทำมิเรอร์เครือข่ายคิดว่ามันเป็น RAID 1 ข้ามโหนดหรือเป็นคลัสเตอร์หน่วยเก็บข้อมูลที่ใช้งาน / ใช้งานอยู่) ฉันจะนำเสนอที่เก็บข้อมูลนี้แก่ผู้เข้าร่วมที่จะทำงานบนมินิคลัสเตอร์นี้ มันจะถูกจัดการโดย vCenter Server ในเว็บไซต์หลักของเรา การเชื่อมต่อทั้งหมดจะเป็น GbE โดยมีการจัดเก็บสองแบบ การจัดการและข้อมูลจะแบ่งปันการเชื่อมต่อคู่หนึ่งเนื่องจากฉันไม่คาดหวังว่าจะมีภาระสูง เซิร์ฟเวอร์เหล่านี้อยู่ตรงนั้นเพื่อให้บริการไดเรกทอรี, dhcp, การพิมพ์และอื่น ๆ …

10 vmware-esxi  storage  vmware-vsphere  hp-storageworks 

ฉันกำลังมองหาการเปรียบเทียบที่เปิดเผยต่อสาธารณชนระหว่างไดรฟ์ 2.5 นิ้วและไดรฟ์ 3.5 นิ้ว สิ่งที่ฉันสันนิษฐานว่าเป็นไดรฟ์ 2.5 นิ้ว 15k และไดรฟ์ 3.5 นิ้ว 15k จะมีประสิทธิภาพเหมือนกัน แต่ฉันก็แสดงให้เห็นว่ามาตรฐานบางตัวเมื่อเร็ว ๆ นี้ที่อ้างว่า 2.5 นิ้ว 15k นั้นเร็วกว่ามากและ 10k 2.5 นิ้วนั้นมีความเร็วเท่ากับ 15k 3.5 นิ้ว ปัญหาคือว่าคนส่วนใหญ่ไม่สามารถทำซ้ำเกณฑ์มาตรฐานได้เนื่องจากแพลตฟอร์มที่พวกเขาทำและยิ่งกว่านั้นคือดิสก์พื้นฐานที่ฉันหวังว่าจะเปรียบเทียบ โดยทั่วไปแล้วเมนเฟรมจะใช้ไดรฟ์ขนาด 3.5 นิ้ว 15k จำนวนหนึ่งในขณะนี้จะทำงานเหมือนกับเมนเฟรมโดยใช้การตั้งค่าที่เหมือนกันของไดรฟ์ 10k 2.5 นิ้วหรือไม่

10 storage  mainframe 

ด้วย VMFS5 ไม่มีขีด จำกัด 2TB สำหรับปริมาตร VMFS อีกต่อไปฉันกำลังพิจารณาสถานการณ์ที่จะเป็นประโยชน์โดยรวมมากขึ้น: - LUN ที่น้อยกว่าที่มีขนาดใหญ่กว่าหรือ LUN เพิ่มเติมที่มีขนาดเล็กกว่านี้ ในกรณีของฉันฉันมีอาร์เรย์หน่วยเก็บข้อมูล 24- ดิสก์ใหม่ที่มีดิสก์ 600GB ฉันจะใช้ RAID10 ขนาด 7.2TB คร่าวๆและพยายามตัดสินใจว่าจะใช้ดาต้าสโตร์ขนาดใหญ่ 1TB หรือ 1 ร้านค้าจำนวนมากที่ 1TB แต่ละแห่ง ข้อดีและข้อเสียของแต่ละวิธีคืออะไร อัปเดต : แน่นอนฉันไม่สนใจที่จะรวมอะไหล่ที่ร้อนแรงในการคำนวณของฉันดังนั้นมันจึงต่ำกว่า 7.2TB แต่แนวคิดทั่วไปก็เหมือนกัน :-) อัปเดต 2 : มี 60 VMs และ 3 โฮสต์ ไม่มี VMs ของเราโดยเฉพาะอย่างยิ่ง I / O …

10 vmware-esxi  storage  storage-area-network  vmfs 

เว็บเซิร์ฟเวอร์บางเว็บที่ฉันเคยใช้ / home เพื่อจัดเก็บไฟล์ของไซต์: /home/vhosts/www.example.com/ คนอื่นใช้ / var like: /var/www/www.example.com/ มีอะไรใหม่และสะอาดกว่า "Linuxy" เราทุกคนควรจะใช้/usr/local/www/? แหล่งที่เป็นไปได้: http://www.tuxfiles.org/linuxhelp/linuxdir.html

10 linux  web-server  storage  home-directory 

เราได้รับสวิตช์ 8Gb คู่ใหม่สำหรับผ้าแชนเนลไฟเบอร์ของเรา นี่คือสิ่งที่ดีเนื่องจากเราไม่มีพอร์ตในดาต้าเซ็นเตอร์หลักของเราและมันจะช่วยให้เรามี ISL 8Gb อย่างน้อยหนึ่งตัวที่ทำงานอยู่ระหว่างดาต้าเซ็นเตอร์สองตัวของเรา ศูนย์ข้อมูลสองแห่งของเราห่างกันประมาณ 3.2 กม. ขณะที่เส้นใยวิ่ง เราได้รับบริการ 4Gb ที่มั่นคงเป็นเวลาสองสามปีแล้วและฉันหวังเป็นอย่างยิ่งว่าจะสามารถสนับสนุน 8Gb ได้เช่นกัน ขณะนี้ฉันกำลังหาวิธีกำหนดค่าโครงสร้างของเราใหม่เพื่อยอมรับสวิตช์ใหม่เหล่านี้ เนื่องจากการตัดสินใจเรื่องค่าใช้จ่ายเมื่อสองสามปีก่อนเราไม่ได้ใช้ผ้าสองวงแยกกันอย่างสมบูรณ์ ค่าใช้จ่ายของความซ้ำซ้อนเต็มรูปแบบถูกมองว่ามีราคาแพงกว่าการหยุดทำงานที่ไม่น่าจะเกิดจากความล้มเหลวของสวิตช์ การตัดสินใจนั้นทำก่อนเวลาของฉันและตั้งแต่นั้นสิ่งต่าง ๆ ก็ไม่ได้ดีขึ้นมาก ฉันต้องการใช้โอกาสนี้เพื่อทำให้เนื้อผ้าของเรามีความยืดหยุ่นมากขึ้นเมื่อเผชิญกับความล้มเหลวของสวิตช์ (หรือการอัพเกรด FabricOS) นี่คือแผนภาพของสิ่งที่ฉันกำลังคิดสำหรับการจัดวาง รายการสีน้ำเงินเป็นรายการใหม่รายการสีแดงคือลิงค์ที่มีอยู่ซึ่งจะถูกย้าย (อีกครั้ง) (ที่มา: sysadmin1138.net ) เส้นลูกศรสีแดงคือลิงค์ของสวิตช์ ISL ปัจจุบัน ISL ทั้งสองมาจากสวิตช์เดียวกัน ขณะนี้ EVA6100 เชื่อมต่อกับสวิตช์ 16/4 ทั้งสองที่มี ISL สวิตช์ใหม่จะช่วยให้เรามีสวิตช์สองตัวใน DC ระยะไกลหนึ่งใน ISL ระยะยาวกำลังเคลื่อนที่ไปยังสวิตช์ใหม่ ข้อดีของการทำเช่นนี้คือแต่ละสวิตช์ไม่เกิน 2 กระโดดจากสวิตช์อื่นและทั้งสองรุ่นของ …

10 storage  storage-area-network  fibre-channel 

ฉันกำลังพยายามปรับการตั้งค่าการจัดเก็บข้อมูลบนฮาร์ดแวร์ Sun บางอย่างด้วย Linux ความคิดใด ๆ ที่จะได้รับการชื่นชมอย่างมาก เรามีฮาร์ดแวร์ดังต่อไปนี้: Sun Blade X6270 2 * คอนโทรลเลอร์ LSISAS1068E SAS 2 * Sun J4400 JBOD ที่มีดิสก์ 1 TB (24 ดิสก์ต่อ JBOD) Fedora Core 12 2.6.33 เคอร์เนลที่วางจำหน่ายจาก FC13 (ลองด้วยเคอร์เนล 2.6.31 ล่าสุดจาก FC12 ผลลัพธ์เดียวกัน) นี่คือแผ่นข้อมูลสำหรับฮาร์ดแวร์ SAS: http://www.sun.com/storage/storage_networking/hba/sas/PCIe.pdf มันใช้ PCI Express 1.0a, 8x เลน ด้วยแบนด์วิดท์ที่ 250 MB …

10 linux  storage  sun  sas  multipath 

มีคำถามมากมายเกี่ยวกับ Serverfault เกี่ยวกับการจัดเรียงดิสก์เซกเตอร์ 4k แต่สิ่งหนึ่งที่ยังไม่ชัดเจนสำหรับฉัน ฉันจัดแนว RAID1 + LVM สำเร็จแล้ว หนึ่งในสิ่งที่ฉันทำคือใช้ mdadm superblock รุ่น 1.0 (ซึ่งเก็บ superblock ที่ท้ายดิสก์) manpage กล่าวสิ่งนี้: เวอร์ชันย่อยที่แตกต่างกันจะจัดเก็บซุปเปอร์บล็อกในสถานที่ต่าง ๆ บนอุปกรณ์ไม่ว่าจะเป็นที่ส่วนท้าย (สำหรับ 1.0) ที่จุดเริ่มต้น (สำหรับ 1.1) หรือ 4K จากจุดเริ่มต้น (สำหรับ 1.2) "1" เทียบเท่ากับ "1.0" "default" เทียบเท่ากับ "1.2" เป็นเวอร์ชั่น 1.2 ซึ่งเป็นค่าเริ่มต้นสำหรับไดรฟ์เซ็กเตอร์ 4k หรือไม่? วิธีที่ฉันเห็นมันไม่ใช่เพราะ 4k จากจุดเริ่มต้น + ความยาวของ superblock …

10 linux  raid  storage  mdadm  advanced-format 

ฉันใช้พูล ZFS ขนาดใหญ่ที่สร้างขึ้นสำหรับ 256K + ตามลำดับขนาดการอ่านและการเขียนผ่าน iSCSI (สำหรับการสำรองข้อมูล) บน Ubuntu 18.04 เมื่อพิจารณาถึงความจำเป็นในการรับส่งข้อมูลและประสิทธิภาพพื้นที่ที่สูงและความต้องการบล็อกขนาดเล็กแบบสุ่มน้อยลงฉันจึงไปตรวจค้นลายทาง raidz2 บนกระจกลายทาง อย่างไรก็ตามประสิทธิภาพการอ่านตามลำดับ 256K นั้นต่ำกว่าที่ฉันคาดไว้มาก (100 - 200MBps สูงสุดถึง 600MBps) เมื่อ zvols กดปุ่ม ~ 99% iowait ใน iostat อุปกรณ์สำรองมักจะทำงานระหว่าง 10 และ 40% iowait ซึ่งแนะนำให้ฉันเห็นคอขวดเป็นสิ่งที่ฉันขาดการตั้งค่าเนื่องจากไม่ควรเป็น backplane หรือซีพียูใน ระบบนี้และปริมาณงานต่อเนื่องไม่ควรทำงานหนักเกินไป ฉันเล่นค่อนข้างน้อยด้วยพารามิเตอร์โมดูล (การตั้งค่าปัจจุบันด้านล่าง) อ่านบทความหลายร้อยเรื่องเกี่ยวกับ OpenZFS github ฯลฯ การปรับค่า prefetch และการรวมกันทำให้ฉันอยู่ในระดับประสิทธิภาพนี้ - โดยค่าเริ่มต้นฉันทำงานที่ประมาณ …

9 performance  storage  zfs  iscsi  zfsonlinux 

ฉันมีเครือข่ายที่มีเซิร์ฟเวอร์ Live, การยอมรับของผู้ใช้, การจัดเตรียมและการพัฒนา (ในกรณีนี้ windows ส่วนใหญ่ 2012r2, แขก Hyper-V ทั้งหมด) แต่ละส่วนเหล่านี้ของเครือข่ายมีเซิร์ฟเวอร์ส่วนหน้าและส่วนหลัง เซิร์ฟเวอร์ส่วนหลังมีข้อมูลจำนวนมากเป็นสัดส่วน ข้ามการยอมรับของผู้ใช้เซิร์ฟเวอร์การจัดเตรียมและการพัฒนาข้อมูลนี้จะไม่เปลี่ยนแปลง (นอกเหนือจากการรีเฟรชเป็นครั้งคราวจากการใช้งานจริง) และเข้าถึงได้ยากนอกวงจรการพัฒนา ในสภาพแวดล้อมประเภทนี้คุณจะลดปริมาณการใช้พื้นที่เก็บข้อมูลอย่างไรและหลีกเลี่ยงการเสียพื้นที่เก็บข้อมูลบนข้อมูลที่คงที่และเข้าถึงได้ยาก ข้อมูลประกอบด้วยไฟล์จำนวน 1,000 ไฟล์เช่น pdf, json, dwgs และ pngs สิ่งที่ฉันได้พิจารณา การลบเซิร์ฟเวอร์ในขณะที่ไม่ได้ใช้งาน - ไม่ใช่ตัวเลือกที่ยอดเยี่ยมเพราะบางครั้งเวลาในการกู้คืนเซิร์ฟเวอร์เหล่านี้จะให้น้ำหนักแก่เวลาที่นักพัฒนาซอฟต์แวร์จะใช้งาน โซลูชันสำรองของเราคือผู้จัดการการปกป้องข้อมูลของ MS การลบดิสก์ข้อมูลในขณะที่ไม่ได้ใช้งาน - ดีกว่าเล็กน้อยด้านบน แต่อีกครั้งเป็นปัจจัย การย้ายดิสก์ข้อมูลระหว่างเซิร์ฟเวอร์ - เนื่องจากเป็นแขก Hyper-V ฉันสามารถแนบดิสก์ข้อมูลได้ตามต้องการ แต่มีบางครั้งที่มีการใช้มากกว่าหนึ่งสภาพแวดล้อมในเวลาเดียวกัน

9 windows  hyper-v  storage 

ฉันมี HDD SAN ขนาด 36 * 4TB ตัวควบคุม RAID ไม่รองรับ RAID60 และไม่เกิน 16 HDD ในกลุ่ม RAID กลุ่มเดียว ฉันจึงตัดสินใจสร้างกลุ่ม RAID6 2 กลุ่มจาก 16HDD หรือ 4 จาก 8 HDD ฉันต้องการได้รับพื้นที่เก็บข้อมูลทั้งหมดเป็นหนึ่งพาร์ติชัน ดังนั้นสิ่งที่อาจผิดไปถ้าฉันจะใช้พูล zfs ที่ด้านบนของฮาร์ดแวร์ RAID6 ใช่ฉันรู้ว่าขอแนะนำอย่างยิ่งให้ใช้ HDD ดั้งเดิมหรือโหมดส่งผ่าน แต่ฉันไม่มีตัวเลือกนี้ หรือฉันควรอยู่ให้ห่างจาก ZFS และการบุกตรวจค้นซอฟต์แวร์ในสถานการณ์นี้ (ฉันส่วนใหญ่สนใจในการบีบอัดและภาพรวม)

9 storage  zfs  storage-area-network  hardware-raid 

ฉันมีเซิร์ฟเวอร์ล้มเหลวสองคลัสเตอร์และด้วยเหตุผลหลายประการ - พวกเขาอยู่บนฮาร์ดแวร์ที่ไม่ตรงกัน หนึ่งมีการติดตั้ง Emulex HBAs อีก Qlogic ฉันจะกระตุกด้วยการใช้การ์ดทำ / โมเดลสองแบบที่แตกต่างกันสำหรับการมัลติพา ธ ภายในกล่อง ฉันรู้สึกอึดอัดเล็กน้อยที่ทำในคลัสเตอร์ล้มเหลวของที่เก็บข้อมูลที่ใช้ร่วมกัน มีเหตุผลบางอย่างไหมว่าทำไมสิ่งนี้อาจเป็นความคิดที่ไม่ดี (หรือดี) หรือฉันเป็นเพียงความกังวลที่มากเกินไป?

9 storage  storage-area-network  hba 

ฉันใช้ Docker Toolbox บน OSX ฉันได้สร้างภาชนะปริมาณข้อมูลสำหรับการจัดเก็บข้อมูลแบบถาวร: https://docs.docker.com/userguide/dockervolumes/#creating-and-mounting-a-data-volume-container ฉันตรวจสอบว่าข้อมูลนี้ถูกเก็บไว้อย่างแน่นอนใน boot2docker VM (สร้างโดยเครื่องเชื่อมต่อ) และไม่ได้อยู่บนภาชนะเพื่อที่จะยังคงอยู่ อย่างไรก็ตาม "การรีสตาร์ทเครื่องนักเทียบท่า" จะล้างข้อมูลที่กำหนดเองนี้ออกไปใน vm ฉันไม่พบเอกสารเกี่ยวกับสิ่งที่เกิดขึ้น ฉันพบหนึ่งโพสต์ในฟอรั่มที่กล่าวถึงว่าข้อมูลใน / var / lib / docker จะถูกเก็บรักษาไว้ แต่ฉันไม่พบเอกสารที่เป็นทางการใด ๆ ที่ระบุว่าและดูเหมือนแปลกเมื่อพิจารณาจากคู่มือการจัดเก็บแบบถาวรด้านบนไม่ใช้เส้นทางนี้ ข้อมูลของคุณจะถูกลบ นี่เป็นสิ่งที่คาดหวังหรือไม่หากมีเอกสารอย่างเป็นทางการใด ๆ บนเส้นทางที่ถูกต้องในการจัดเก็บข้อมูลถาวร แก้ไข: การเพิ่มตัวอย่างของ senario ที่ล้มเหลว $ docker-machine ssh alt docker@alt:~$ docker run -v /data:/var/lib/mysql --name mydata busybox sh -c …

9 mac-osx  storage  boot  docker  disk-volume 

เราเพิ่งโอนย้ายสำหรับหน่วยเก็บข้อมูลไฟเบอร์ SAN เก่าของเราไปยัง IBM v3700 storwize พร้อมดิสก์ 24 SAS 600GB ที่เก็บข้อมูลนี้เชื่อมต่อโดยตรงกับเซิร์ฟเวอร์ IBM ESXi 5.5 สองตัวต่อตัวควบคุม 6Gbps multipath SAS สองตัว จนถึงตอนนี้ฉันได้กำหนดค่าที่เก็บข้อมูลที่ฉันใช้เป็นกลุ่ม RAID5 หลายกลุ่ม แต่ละกลุ่มจะเป็นเซิร์ฟเวอร์ / วัตถุประสงค์ที่แตกต่างกัน ส่วนใหญ่กลุ่ม RAID จะเป็น OracleDB, Oracle เก็บถาวร, SQL Server และส่วนที่เหลือ (ไฟล์เซิร์ฟเวอร์, จดหมาย, ฯลฯ ) แอปพลิเคชั่นที่สำคัญที่สุดคือ Oracle และ SQL Server ข้อกังวลแรกของฉันคือความปลอดภัยและประสิทธิภาพสำหรับการใช้งานของเรา ดังนั้นฉันจึงตัดสินใจไปกับ RAID6 + สำรอง ข้อกังวลหลักของฉันคือตอนนี้เนื่องจากเราใช้ ESXi …

9 raid  vmware-esxi  storage  database  ibm