คำถามติดแท็ก glusterfs

ฉันกำลังวางแผนโครงสร้างพื้นฐานที่เก็บข้อมูลที่ใช้ร่วมกันใหม่ของฉันสำหรับฟาร์มเว็บเซิร์ฟเวอร์ขนาดเล็ก ดังนั้นฉันจึงทำการทดสอบมากมายกับระบบไฟล์ NAS จำนวนมาก ด้วยการทำเช่นนั้นฉันได้รับผลลัพธ์ที่ไม่คาดคิดและต้องการทราบว่ามีคนที่นี่สามารถยืนยันสิ่งนี้ได้ไหม กล่าวโดยย่อ: Samba เร็วกว่า NFS และ GlusterFS อย่างมากสำหรับการเขียนไฟล์ขนาดเล็ก ที่นี่สิ่งที่ฉันทำ: ฉันรัน "rsync benchmark" ที่เรียบง่ายพร้อมไฟล์จำนวนมากเพื่อเปรียบเทียบประสิทธิภาพการเขียนสำหรับไฟล์ขนาดเล็ก เพื่อการทำสำเนาที่ง่ายขึ้นฉันเพิ่งรันอีกครั้งด้วยเนื้อหาของ wordpress tar.gz ปัจจุบัน GlusterFS จำลองแบบ 2: 32-35 วินาที , โหลด CPU สูง GlusterFS single: 14-16 วินาที , โหลด CPU สูง ไคลเอนต์ GlusterFS + NFS: 16-19 วินาที , โหลด CPU สูง เคอร์เนลเซิร์ฟเวอร์ NFS …

31 samba  nfs  network-attached-storage  glusterfs 

ขณะนี้ฉันกำลังคิดเกี่ยวกับการย้ายเซิร์ฟเวอร์และแอพของเราไปยังสภาพแวดล้อมcoreOS หนึ่งในปัญหาที่ฉันเห็นที่นี่คือการจัดการข้อมูลถาวรเนื่องจาก coreOS ไม่ได้จัดการกับโวลุ่มที่มีปริมาณ Docker เมื่อย้ายคอนเทนเนอร์ไปยังเครื่องใหม่ หลังจากการวิจัยบางอย่างฉันพบglusterFSซึ่งอ้างว่าเป็นระบบไฟล์คลัสเตอร์ที่สามารถแก้ปัญหาทั้งหมดของฉัน แนวคิดปัจจุบันของฉันคือ: ฉันมีคอนเทนเนอร์ glusterFS ซึ่งทำงานเป็นคอนเทนเนอร์ที่มีสิทธิพิเศษบนเครื่อง coreOS แต่ละเครื่องของฉันและแสดงที่เก็บข้อมูล/mnt/glusterตัวอย่างเช่น ในของDockerfileฉันฉันระบุว่าปริมาณทั้งหมดของฉันควรจะติดตั้งบนเส้นทางนี้ สิ่งต่อไปที่ฉันพิจารณาคือคอนเทนเนอร์ที่ควรรับวอลุ่มของตนเองและที่ควรแบ่งใช้ ตัวอย่างเช่นทุกmysqlคอนเทนเนอร์จะได้รับวอลลุ่มของมันเองเพราะมันสามารถจัดการกับการเรพลิเคทด้วยตัวมันเอง ฉันไม่ต้องการยุ่งกับสิ่งนั้น Webservers ที่ให้บริการเว็บไซต์เดียวกันจะใช้วอลลุ่มเดียวกันสำหรับสิ่งต่างๆเช่น "รูปภาพที่ผู้ใช้อัปโหลด" เป็นต้นเนื่องจากพวกเขาไม่สามารถจำลองข้อมูลเหล่านั้นได้ มีใครลองอะไรแบบนี้หรือมีอะไรที่ฉันพลาดไปบ้างไหม?

24 cluster  replication  docker  glusterfs  coreos 

ในกรณีเฉพาะของฉันฉันต้องการเริ่มremote-fsหน่วยหลังจากทั้งหมดglusterfsเริ่มต้นอย่างสมบูรณ์ ไฟล์ systemd ของฉัน: glusterfs กำหนดเป้าหมาย: node04:/usr/lib/systemd/system # cat glusterfsd.service [Unit] Description=GlusterFS brick processes (stopping only) After=network.target glusterd.service [Service] Type=oneshot ExecStart=/bin/true RemainAfterExit=yes ExecStop=/bin/sh -c "/bin/killall --wait glusterfsd || /bin/true" ExecReload=/bin/sh -c "/bin/killall -HUP glusterfsd || /bin/true" [Install] WantedBy=multi-user.target remote-fs กำหนดเป้าหมาย: node04:/usr/lib/systemd/system # cat remote-fs.target [Unit] Description=Remote File Systems Documentation=man:systemd.special(7) Requires=glusterfsd.service …

20 nfs  glusterfs  systemd 

กลุ่มของฉันในปัจจุบันมีเซิร์ฟเวอร์จัดเก็บข้อมูลขนาดใหญ่สองเซิร์ฟเวอร์ทั้ง NAS ที่ใช้ debian linux สิ่งแรกคือเซิร์ฟเวอร์ 24-all-in-one (SATA) all-in-one ที่มีอายุหลายปี เรามีฮาร์ดแวร์ RAIDS สองชุดที่ติดตั้งด้วย LVM เหนืออุปกรณ์เหล่านั้น เซิร์ฟเวอร์ตัวที่สองคือดิสก์ 64 ตัวที่แบ่งออกเป็น 4 ส่วนแต่ละตัวเป็นฮาร์ดแวร์ RAID 6 เชื่อมต่อผ่าน SAS ภายนอก เราใช้ XFS กับ LVM เพื่อสร้างพื้นที่เก็บข้อมูลที่ใช้งานได้ 100TB ทั้งหมดนี้ใช้งานได้ดี แต่เรากำลังพัฒนาระบบเหล่านี้ให้สูงขึ้น มีการสร้างเซิร์ฟเวอร์สองเครื่องดังกล่าวและยังคงเติบโตเราต้องการสร้างสิ่งที่ช่วยให้เรามีความยืดหยุ่นมากขึ้นในแง่ของการเติบโตในอนาคตตัวเลือกการสำรองข้อมูลที่ทำงานได้ดีขึ้นภายใต้ความล้มเหลวของดิสก์ (การตรวจสอบระบบไฟล์ ในสภาพแวดล้อมที่พร้อมกันอย่างมาก (คิดว่าคลัสเตอร์คอมพิวเตอร์ขนาดเล็ก) เราไม่มีการสนับสนุนการบริหารระบบ ดังนั้นสิ่งที่เรามองหาคือโซลูชั่นการจัดเก็บข้อมูลประสิทธิภาพต่ำที่ยอมรับได้ซึ่งจะช่วยให้เกิดการเติบโตในอนาคตและการกำหนดค่าที่ยืดหยุ่น (คิดว่า ZFS ที่มีพูลต่างกัน เราอาจอยู่นอกขอบเขตของ NAS เดียว เราคิดเกี่ยวกับการรวมกันของ ZFS (บน openindiana เป็นต้น) …

18 storage  storage-area-network  zfs  glusterfs 

ฉันใช้ GlusterFS เพื่อสร้างและติดตั้งไดรฟ์ข้อมูลใน 4 เครื่อง พูดเช่นเครื่องจะเรียกว่าmachine1, machine2, และmachine3machine4 เพื่อนของฉันได้รับการตรวจสอบเรียบร้อยแล้ว ฉันใช้คำสั่งต่อไปนี้เพื่อสร้างวอลลุ่มของฉัน: sudo gluster volume create ssl replica 2 transport tcp machine1:/srv/gluster/ssl machine2:/srv/gluster/ssl machine3:/srv/gluster/ssl machine4:/srv/gluster/ssl force จากนั้นฉันก็เริ่มโวลุ่มด้วย: sudo gluster volume start ssl ฉันได้ติดตั้งไดเรกทอรี/myproject/sslโดยใช้คำสั่งต่อไปนี้: sudo mount -t glusterfs machine1:/ssl /myproject/ssl เมื่อติดตั้งในแต่ละเครื่องทุกอย่างทำงานได้ตามที่คาดหวังและ/myproject/sslไดเรกทอรีมีข้อมูลที่ใช้ร่วมกันในทุกเครื่อง คำถามคือฉันจะทำสิ่งนี้ได้อย่างไรบนโลกใบนี้ นี่คือความพยายามของฉันในการทำทั้งสองคำสั่งด้วยวิธีที่เข้าใจได้ - name: Configure Gluster volume. gluster_volume: state: present name: "{{ …

16 ansible  glusterfs 

เป็นไปได้หรือไม่ที่จะสร้างคลัสเตอร์ ZFS? หรือคุณจะต้องไปตามเส้นทางที่ดูน่าเกลียด (กับฉันอย่างน้อย) ของ ZFS ด้วยรูปแบบพูล UFS ที่ควบคุมโดย GlusterFS? แนวคิดคือดูว่ามีความเป็นไปได้ที่จะขยายไปยังร้านค้าแบบกระจาย Multi-Petabyte ซึ่ง ZFS ควรสามารถจัดการได้โดยไม่ต้องสะดุด พอยน์เตอร์บล็อกโพสต์ใด ๆ

16 zfs  cluster  glusterfs  distributed-filesystems 

ฉันได้เล่นกับ gluster ในช่วง 2 วันที่ผ่านมาและถามคำถามที่นี่และในระบบคำถามของพวกเขา ฉันไม่เข้าใจบางสิ่งจริงๆ ฉันเห็นคนพูดสิ่งที่ชอบ ตั้งค่า bricks ที่จำลองแบบระหว่างเซิร์ฟเวอร์ (เนื่องจากคุณใช้เพียง 3, การจำลองแบบจะปลอดภัยยิ่งขึ้น) และแต่ละเซิร์ฟเวอร์จะเห็นไฟล์ของเซิร์ฟเวอร์อื่น ๆ ทั้งหมดว่าเป็น 'ภายใน' - แม้ว่าเซิร์ฟเวอร์หนึ่งล้มเหลวไฟล์จะถูกทำซ้ำไป เซิร์ฟเวอร์อื่น ๆ หรือ Gluster จะรักษาการซิงโครไนซ์ไฟล์ข้ามวอลุ่ม (Bricks) และมีความสามารถ 'การรักษาตัวเอง' ที่จะจัดการกับความไม่สอดคล้องใด ๆ เนื่องจากเซิร์ฟเวอร์หนึ่งออฟไลน์อยู่ ตั้งแต่ฉันเมานต์ไดรฟ์ข้อมูลระยะไกลจากเซิร์ฟเวอร์ไปยังไคลเอนต์วิธีการที่ gluster จัดการกับความล้มเหลวของโหนดเซิร์ฟเวอร์หนึ่งไดรฟ์ที่ติดตั้งมาจากไหน? จากสิ่งที่ฉันได้ลองใช้โฟลเดอร์บนไคลเอนต์ที่ติดตั้งไดรฟ์ข้อมูลไม่สามารถเข้าถึงได้และฉันต้องใช้ umount เพื่อเลิกบล็อก และหลังจากนั้นไม่มีเนื้อหาจากเซิร์ฟเวอร์ นี่คือสิ่งที่ฉันไม่เห็นในคำอธิบายใด ๆ : สิ่งที่เกิดขึ้นเมื่อโหนดเซิร์ฟเวอร์ล้มเหลวและเป็นไปได้หรือไม่ที่จะทำซ้ำเนื้อหาจริง ๆ เช่นเดียวกับที่พร้อมเพรียงหรือ rsync

12 high-availability  glusterfs 

Glusterfs ในขณะที่เป็นระบบไฟล์แบบกระจายที่ดีแทบไม่มีวิธีที่จะตรวจสอบความสมบูรณ์ของมัน เซิร์ฟเวอร์สามารถไปมาได้ก้อนอิฐอาจเหม็นอับหรือล้มเหลวและฉันกลัวที่จะรู้ว่าเมื่อมันอาจจะสายเกินไป เมื่อเร็ว ๆ นี้เรามีความล้มเหลวที่แปลกเมื่อทุกอย่างปรากฏว่าทำงาน แต่อิฐก้อนหนึ่งหล่นออกมาจากปริมาณ (พบโดยบังเอิญบริสุทธิ์) มีวิธีที่ง่ายและเชื่อถือได้ (สคริปต์ cron หรือไม่) ที่จะแจ้งให้ฉันทราบเกี่ยวกับสถานะสุขภาพของปริมาณGlusterFS 3.2ของฉัน

12 monitoring  glusterfs 

ฉันเพิ่งเล่นกับ glusterfs เมื่อเร็ว ๆ นี้ สิ่งที่ฉันต้องการลองคือรัน mysqld ที่ด้านบนของ glusterfs ด้วยวิธีที่คล้ายกันเพราะมันสามารถรันMySQL ที่ด้านบนของ DRBDได้ ฉันคุ้นเคยกับการจำลองแบบ MySQL และข้อดีของการใช้วิธีนี้แทนที่จะใช้วิธีนี้และฉันก็ตระหนักถึง MongoDB และโซลูชั่น NoSQL อื่น ๆ อย่างไรก็ตามมันจะเป็นวิธีแก้ปัญหาง่ายๆสำหรับโครงการเฉพาะบางโครงการที่ฉันมีอยู่ถ้าฉันสามารถออกจาก MySQL ได้และทำซ้ำระบบไฟล์พื้นฐาน เป็นไปได้หรือไม่และเป็นไปได้อย่างไร

12 mysql  mysql-replication  glusterfs 

ฉันเพิ่งตรวจสอบสถานะของปริมาณ glusterfs ของฉันและฉันมีหนึ่งกับรายการแยกสมองที่ไม่มีเส้นทาง: # gluster volume heal private_uploads info Brick server01:/var/lib/glusterfs/brick01/uploads/ <gfid:4c0edafb-0c28-427c-a162-e530280b3396> - Is in split-brain <gfid:42d62418-1be9-4f96-96c4-268230316869> - Is in split-brain Number of entries: 2 Brick server02:/var/lib/glusterfs/brick01/uploads/ <gfid:42d62418-1be9-4f96-96c4-268230316869> - Is in split-brain <gfid:4c0edafb-0c28-427c-a162-e530280b3396> - Is in split-brain Number of entries: 2 มันหมายความว่าอะไร? ฉันจะแก้ไขได้อย่างไร ฉันใช้ GlusterFS 3.5.9: # gluster --version glusterfs …

11 glusterfs 

เรามีคลัสเตอร์ GlusterFS ที่เราใช้สำหรับฟังก์ชั่นการประมวลผลของเรา เราต้องการรวม Windows เข้าไว้ด้วยกัน แต่กำลังมีปัญหาในการหาวิธีหลีกเลี่ยงความล้มเหลว ณ จุดเดียวซึ่งเป็นเซิร์ฟเวอร์ Samba ที่ให้บริการไดรฟ์ข้อมูล GlusterFS โฟลว์ไฟล์ของเราทำงานดังนี้: ไฟล์ถูกอ่านโดยโหนดการประมวลผล Linux ไฟล์จะถูกประมวลผล ผลลัพธ์ (มีขนาดเล็กอาจมีขนาดค่อนข้างใหญ่) ถูกเขียนกลับไปที่ปริมาณ GlusterFS เมื่อเสร็จสิ้น สามารถเขียนผลลัพธ์ไปยังฐานข้อมูลแทนหรืออาจรวมหลายไฟล์ที่มีขนาดต่างกัน โหนดการประมวลผลหยิบงานอื่นออกจากคิวและ GOTO 1 Gluster นั้นยอดเยี่ยมเนื่องจากมีปริมาณการกระจายรวมถึงการจำลองแบบทันที ความยืดหยุ่นของภัยพิบัตินั้นดีมาก! เราชอบมัน อย่างไรก็ตามเนื่องจาก Windows ไม่มีไคลเอ็นต์ GlusterFS ดั้งเดิมเราจึงต้องการวิธีการสำหรับโหนดการประมวลผลที่ใช้ Windows ของเราเพื่อโต้ตอบกับที่เก็บไฟล์ในวิธีที่ยืดหยุ่นคล้ายกัน รัฐเอกสาร GlusterFSว่าวิธีที่จะให้การเข้าถึงของ Windows คือการตั้งค่าเซิร์ฟเวอร์แซมบ้าที่ด้านบนของที่ติดตั้งปริมาณ GlusterFS ที่จะนำไปสู่การไหลของไฟล์เช่นนี้ นั่นเป็นจุดเดียวที่ฉันล้มเหลว ทางเลือกหนึ่งคือการจัดกลุ่มแซมบ้าแต่ดูเหมือนว่าจะขึ้นอยู่กับรหัสที่ไม่เสถียรในขณะนี้และทำให้ไม่สามารถทำงานได้ ดังนั้นฉันกำลังมองหาวิธีอื่น รายละเอียดที่สำคัญบางประการเกี่ยวกับประเภทของข้อมูลที่เรา: ขนาดไฟล์ดั้งเดิมสามารถอยู่ที่ใดก็ได้จากไม่กี่ KB ถึงสิบ GB …

10 windows-7  high-availability  glusterfs 

ฉันกำลังตั้งค่าการติดตั้ง Gluster 3.4 ครั้งแรกและทั้งหมดดีจนกระทั่งฉันต้องการสร้างโวลุ่มที่จำลองแบบกระจาย ฉันมี 4 เซิร์ฟเวอร์ 192.168.0.11, 192.168.0.12, 192.168.0.13 & 192.168.0.14 จาก 192.168.0.11 ฉันวิ่ง: gluster peer probe 192.168.0.12 gluster peer probe 192.168.0.13 gluster peer probe 192.168.0.14 ในแต่ละเซิร์ฟเวอร์ฉันมีปริมาณการจัดเก็บที่ติดตั้งที่ / export / brick1 ฉันวิ่งไปที่ 192.168.0.11 ปริมาณการสร้าง gluster สร้าง gv0 replica2 192.168.0.11:/export/brick1 192.168.0.12:/export/brick1 192.168.0.13:/export/brick1 192.168.0.14:/export/brick1 แต่ฉันได้รับข้อผิดพลาด: volume create: gv0: failed: Host 192.168.0.11 …

9 ubuntu-12.04  glusterfs