คำถามติดแท็ก scalability

ฉันพยายามทำความเข้าใจว่าไซต์ขนาดใหญ่เช่น Facebook หรือ Wikipedia ทำงานอย่างไรเพื่อความอยากรู้อยากเห็นของฉัน ฉันอ่านเกี่ยวกับเทคนิคต่าง ๆ สำหรับการสร้างไซต์ที่ปรับขนาดได้ แต่ฉันยังคงสับสนเกี่ยวกับรายละเอียดเฉพาะอย่างใดอย่างหนึ่ง ส่วนที่ทำให้ฉันสับสนคือท้ายที่สุด DNS จะจับคู่โดเมนทั้งหมดกับที่อยู่ IP เดียวหรือที่อยู่ IP จำนวนหนึ่งในกรณีของ round-robin DNS ตัวอย่างเช่น wikipedia.org มีระเบียน DNS A ประเภทเดียวเท่านั้น ดังนั้นผู้คนจากทั่วทุกมุมโลกที่เยี่ยมชม Wikipedia ต้องส่งคำขอไปยังที่อยู่ IP เดียวที่ระบุใน DNS ฮาร์ดแวร์ชิ้นใดบ้างที่ฟังที่อยู่ IP ของเว็บไซต์ขนาดใหญ่และสามารถจัดการโหลดทั้งหมดที่มาจากคำขอของผู้ใช้ทั่วโลกได้อย่างไร แก้ไข 1:ขอบคุณสำหรับคำตอบทั้งหมด! Anycast ดูเหมือนจะเป็นคำตอบที่เป็นไปได้ ... ไม่มีใครรู้วิธีตรวจสอบว่าที่อยู่ IP ที่เฉพาะเจาะจงใด ๆ ที่ถูกกำหนดเส้นทางออกอากาศเพื่อให้ฉันสามารถตรวจสอบว่านี่เป็นเคล็ดลับที่ใช้ในการปฏิบัติจริงโดยเว็บไซต์ขนาดใหญ่ แก้ไข 2:หลังจากอ่านเพิ่มเติมในหัวข้อปรากฏว่า anycast ไม่ได้ใช้สำหรับเนื้อหาเว็บแบบไดนามิก Anycast มักใช้สำหรับ UDP …

32 domain-name-system  scalability  anycast 

คำถามนี้ถูกโยกย้ายจาก Stack Overflow เพราะสามารถตอบได้ใน Server Fault อพยพ 8 ปีที่ผ่านมา ฉันหวังว่าคุณหลายคนกำลังทำงานกับเว็บไซต์ที่ใช้ฐานข้อมูลที่มีปริมาณการใช้งานสูงและมีโอกาสที่ปัญหาการขยายขีดความสามารถหลักของคุณจะอยู่ในฐานข้อมูล ฉันสังเกตเห็นสิ่งที่สองเมื่อเร็ว ๆ นี้: ฐานข้อมูลขนาดใหญ่ส่วนใหญ่ต้องการทีม DBA เพื่อปรับมาตราส่วน พวกเขาต่อสู้อย่างต่อเนื่องกับข้อ จำกัด ของฮาร์ดไดรฟ์และจบลงด้วยโซลูชั่นที่มีราคาแพงมาก (SAN หรือ RAID ขนาดใหญ่, หน้าต่างการบำรุงรักษาบ่อยสำหรับการจัดเรียงข้อมูลและการแบ่งพาร์ทิชัน ฯลฯ ) ค่าใช้จ่ายประจำปีของการบำรุงรักษาฐานข้อมูลดังกล่าว ชันเกินไปสำหรับฉัน :) ในที่สุดเราก็มี บริษัท หลายแห่งเช่น Intel, Samsung, FusionIO และอื่น ๆ ที่เพิ่งเริ่มขายฮาร์ดไดรฟ์ SSD ที่รวดเร็ว แต่ราคาไม่แพงโดยใช้เทคโนโลยี SLC Flash ไดรฟ์เหล่านี้เร็วกว่าการอ่าน / เขียนแบบสุ่ม 100 เท่ากว่าฮาร์ดไดรฟ์หมุนที่ดีที่สุดในตลาด (มากถึง 50,000 …

25 raid  database  hard-drive  ssd  scalability 

Nginx worker_connections"ตั้งค่าจำนวนสูงสุดของการเชื่อมต่อพร้อมกันที่สามารถเปิดได้โดยกระบวนการของผู้ปฏิบัติงานจำนวนนี้รวมถึงการเชื่อมต่อทั้งหมด (เช่นการเชื่อมต่อกับเซิร์ฟเวอร์พร็อกซีและอื่น ๆ ) ไม่เพียง แต่การเชื่อมต่อกับไคลเอนต์ ต้องไม่เกินขีด จำกัด ปัจจุบันของจำนวนไฟล์ที่เปิดสูงสุด " ฉันมีข้อสงสัยเล็กน้อยเกี่ยวกับสิ่งนี้: สิ่งที่ควรค่าที่ดีที่สุดหรือแนะนำสำหรับนี้ ข้อเสียของการใช้การเชื่อมต่อของผู้ปฏิบัติงานจำนวนมากคืออะไร

25 nginx  connection  scalability  worker-process 

ฉันใช้ VMWare มาหลายปีใช้เซิร์ฟเวอร์การผลิตจำนวนมากที่มีปัญหาน้อยมาก แต่ฉันไม่เคยลองโฮสติ้ง VM มากกว่า 20 ตัวบนโฮสต์ฟิสิคัลเดียว นี่คือความคิด: Windows XP รุ่นที่ถูกเปิดใช้งานสามารถใช้งานได้กับ RAM ขนาด 512MB และพื้นที่ดิสก์ 4GB $ 5,000 ทำให้ฉันเป็นเครื่องคลาสเซิร์ฟเวอร์ 8-core พร้อม RAM 64GB และกระจก SAS สี่อัน ตั้งแต่ 100 VMs ที่กล่าวถึงข้างต้นพอดีกับเซิร์ฟเวอร์นี้ราคาฮาร์ดแวร์ของฉันเพียง $ 50 ต่อ VM ซึ่งดีมาก (ราคาถูกกว่าการเช่า VM ที่ GoDaddy หรือร้านค้าโฮสติ้งอื่น ๆ ) ฉันต้องการดูว่าใครสามารถบรรลุความสามารถในการปรับขนาดได้ด้วย VMWare หรือไม่? ฉันได้ทำการทดสอบสองสามครั้งและชนเข้ากับปัญหาแปลก ๆ ประสิทธิภาพของ VM …

24 virtualization  virtual-machines  vmware-esx  scalability  host 

ฉันมักจะเห็นสถาปัตยกรรมแอปเว็บด้วย SLB / reverse-proxy หน้าเซิร์ฟเวอร์แอพจำนวนมาก จะเกิดอะไรขึ้นเมื่อจำนวนการเชื่อมต่อกับ SLB ต้องการทรัพยากรมากเกินไปสำหรับSLB เดียวเพื่อจัดการอย่างมีประสิทธิภาพ สำหรับตัวอย่างที่เป็นรูปธรรม แต่ไม่ซับซ้อนให้พิจารณาการเชื่อมต่อ HTTP 2 ล้านแบบถาวร เห็นได้ชัดว่าSLB เดียวไม่สามารถจัดการกับสิ่งนี้ได้ การกำหนดค่าที่แนะนำสำหรับการปรับคืออะไรออก SLB? เป็นเรื่องปกติที่จะสร้างกลุ่ม / กลุ่มของ LB หรือไม่? ถ้าเป็นเช่นนั้นโหลดของลูกค้าจะกระจายออกไประหว่างกลุ่ม LB อย่างไร?

22 reverse-proxy  scalability  load-balancing 

ฉันต้องการตั้งค่า statsd / graphite เพื่อให้ฉันสามารถบันทึกแอปพลิเคชัน JS ที่ทำงานบนอุปกรณ์ HTML (เช่นไม่ได้อยู่ในสภาพแวดล้อม LAN ที่มีอยู่และอาจมีข้อมูลขาเข้าจำนวนมากที่ฉันไม่ได้ควบคุมโดยตรง) ข้อ จำกัด ของฉัน: จุดเข้าใช้งานต้องพูด HTTP: สิ่งนี้ได้รับการแก้ไขโดยพร็อกซี HTTP-to-UDP-statsd อย่างง่าย (เช่น. httpstatsd บน github) ต้องต่อต้านความล้มเหลวของเซิร์ฟเวอร์เดียว (เพื่อต่อสู้กับกฎของ Murphy :) จะต้องปรับขนาดได้ในแนวนอน: webscale, baby! :) สถาปัตยกรรมควรถูกเก็บไว้อย่างเรียบง่าย (และถูก) ที่สุด เซิร์ฟเวอร์ของฉันเป็นเครื่องเสมือน ไฟล์ข้อมูลจะถูกเก็บไว้ในเครื่อง filer (ด้วย NFS) ฉันมีตัวปรับสมดุลโหลดฮาร์ดแวร์ tcp / udp เมื่อทำการกำจัด ในระยะสั้นเส้นทางข้อมูล: [ลูกค้า] - (http) -> [http2statsd] …

17 http  high-availability  scalability  graphite  statsd 

ฉันสงสัยมานานแล้วถ้ามีระบบที่ต้อง "ขยาย" (สู่เซิร์ฟเวอร์ที่ทรงพลังและมีราคาแพงกว่า) มากกว่า "ขยายตัว" โดยแบ่งออกเป็นเซิร์ฟเวอร์ขนาดเล็กจำนวนมาก ระบบดังกล่าวมีอยู่จริงหรือไม่และหากเป็นเช่นนั้นมีอะไรเป็นพิเศษที่ทำให้ระบบต้องมีการขยายขนาดแทนที่จะย่อขยายหรือไม่ (ตัวอย่างเช่นบางทีธุรกรรมฐานข้อมูล ACID หรือความต้องการความสมบูรณ์ของข้อมูลที่แข็งแกร่งอื่น ๆ สร้างความต้องการนี้) เนื่องจากการขยายขนาดขึ้นดูเหมือนว่าจะทำให้ต้นทุนฮาร์ดแวร์สูงกว่าการขยายออกมากดูเหมือนว่าสิ่งที่คุณต้องการหลีกเลี่ยงถ้าเป็นไปได้ แต่ฉันไม่แน่ใจว่าจะสามารถหลีกเลี่ยงได้หรือไม่ ดังนั้นจะมีระบบที่ไม่สามารถลดขนาดและต้องขยายขนาดแทนหรือไม่ อะไรจะทำให้เกิดสิ่งนี้และคุณจะระบุระบบดังกล่าวได้อย่างไร (โดยทั่วไปแล้วพวกเขาแบ่งปันลักษณะบางอย่างร่วมกันที่อาจทำให้พวกเขาระบุได้ง่ายขึ้น?)

12 database  scalability  infrastructure 

ฉันพยายามปรับขนาดเว็บแอปพลิเคชันของเรา (PHP, MySQL, memcache) ในรูปแบบหลายภูมิภาค ขณะนี้เรากำลังใช้การตั้งค่ากับสองอินสแตนซ์ EC2 หลัง ELB และอินสแตนซ์ RDS ทั้งหมดในภูมิภาค US-EAST (เวอร์จิเนีย) เราต้องการมีส่วนร่วมในภูมิภาค EU (ไอร์แลนด์) ด้วย ซึ่งหมายความว่าอย่างน้อย EC2 อินสแตนซ์ใหม่ที่นั่น (เหมือนกันกับที่อื่นให้บริการแอปพลิเคชันเดียวกัน) ฉันได้คัดลอก AMI ที่ต้องการตั้งค่าอินสแตนซ์ใหม่ตั้งค่าการกำหนดค่า ELB เดียวกัน (จำเป็นสำหรับการยกเลิก SSL) และกำหนดเส้นทางตามเวลาแฝงที่กำหนดค่าใน Route53 และใช้งานได้ตามที่แนะนำ แต่ลูกค้าจากสหภาพยุโรปมีปัญหาเรื่องความเร็ว นี่คือความจริงที่ว่าอินสแตนซ์ EU EC2 เชื่อมต่อกับอินสแตนซ์ RDS ที่ใช้ในสหรัฐอเมริกา เท่าที่ฉันรู้ว่า Amazon ยังไม่ได้เปิดใช้งานการจำลองแบบหลายภูมิภาค RDS คุณมีข้อเสนอแนะเกี่ยวกับวิธีการตั้งค่าทั้งหมดอย่างรวดเร็วในขณะที่ใช้อินสแตนซ์ RDS เดี่ยวหรือไม่? นอกจากนี้ความคิดทั่วไปเกี่ยวกับวิธีเพิ่มขนาด เป็นการดีที่เราต้องการใช้เทคโนโลยี RDS ต่อไปด้วยเหตุผลหลายประการ …

11 amazon-ec2  amazon-web-services  scalability  amazon-rds  scaling 

ในบทความ Computer World นี้ระบุว่า PostgreSQL สามารถขยายได้ถึงขีด จำกัด หลักที่ 64 สิ่งนี้หมายความว่าสำหรับตัวประมวลผลแบบมัลติคอร์หนึ่งคอร์ 64 คอร์หรือไม่? หรือโปรเซสเซอร์หลายตัวที่มีคอร์น้อยลง? เหตุผลที่ฉันถามคือเพราะฉันพยายามค้นหาจำนวนโปรเซสเซอร์ PostgreSQL อาจขยายขนาด แต่แน่นอนว่าอาจถูก จำกัด ประเภทของโปรเซสเซอร์ อย่างไรก็ตามฉันได้ค้นหาสถิติอื่น ๆ ในฐานข้อมูลอื่น (เช่น Microsoft SQL Server ที่นี่ซึ่งระบุว่าสามารถเพิ่มขนาดตัวประมวลผลเชิงตรรกะได้ถึง 320 ตัว) และพวกเขาไม่ได้ระบุจำนวนคอร์ นี่เป็นสถิติที่คลุมเครือหรือไม่ ความคิดใด ๆ ที่จะได้รับการชื่นชมมาก ขอบคุณ!

10 database  postgresql  scalability 

ฉันมีเซิร์ฟเวอร์เฉพาะที่มี apache / php บน ubuntu ที่ให้บริการบล็อก Wordpress ของฉันด้วยจำนวนหน้าที่มีการเปิดประมาณ 10K + ต่อวัน ฉันมี W3TC plug-in ติดตั้งไว้กับ APC แต่ทุกขณะนี้จากนั้นเซิร์ฟเวอร์หยุดตอบสนองหรือตายช้าและฉันต้องรีสตาร์ท apache เพื่อรับมันกลับมา นี่คือการกำหนดค่าของฉันฉันทำอะไรผิด ServerRoot "/etc/apache2" LockFile /var/lock/apache2/accept.lock PidFile ${APACHE_PID_FILE} TimeOut 40 KeepAlive on MaxKeepAliveRequests 200 KeepAliveTimeout 2 <IfModule mpm_prefork_module> StartServers 5 MinSpareServers 5 MaxSpareServers 8 ServerLimit 80 MaxClients 80 MaxRequestsPerChild 1000 </IfModule> …

10 apache-2.2  wordpress  php5  scalability 

ฉันถูกขอให้จัดทำไฟล์เซิร์ฟเวอร์ใหม่เพื่อจัดเก็บภาพทางการแพทย์ของเรา (รูปแบบดิบไม่ใช่ dicom) เนื่องจากเราไม่มีเจ้าหน้าที่ไอทีฉันจึงต้องหาทางแก้ปัญหาและแทบจะไม่รู้อะไรเลยเกี่ยวกับหัวข้อนี้ ข้อกำหนดที่เรามีคือ: ปรับขนาดได้ถึง 24 TB ใน 3 ปีการแชร์ไฟล์ windows และการแชร์จะต้องมีขนาดใหญ่ที่สุดเท่าที่จะเป็นไปได้ (แชร์ 1x24TB) สิ่งแรกที่ฉันพบคือ NETGEAR ReadyNAS 3200 ดูเหมือนว่าระบบที่ดีมากพร้อมกับชุมชนขนาดใหญ่ซึ่งอาจมีประโยชน์ถ้าเราประสบปัญหา แต่ระบบนี้สามารถปรับขนาดได้อย่างไร ทุกที่ที่ฉันบอกว่าระบบนี้ 'ไม่สามารถวางซ้อนกันได้' ฉันไม่รู้ว่าการซ้อน NAS ทำงานอย่างไร แต่บางทีเราสามารถซื้อ iSCSI initiator, กำหนดค่า NAS ทั้งหมดให้เป็นเป้าหมาย iSCSI จากนั้นสร้างการจู่โจมของผู้ริเริ่มที่ครอบคลุมทุกเป้าหมายแล้วแชร์การบุกครั้งใหญ่นี้เป็นหน้าต่างเดียว หรือสิ่งนี้ไม่สามารถทำได้? ฉันสูญเสียความสามารถในการปรับขนาดได้อย่างชัดเจนดังนั้นหากใครสามารถอธิบายสิ่งนี้ได้ฉันจะขอบคุณมาก หากใครเห็นวิธีแก้ปัญหาอื่น (เช่น NAS อื่นเปรียบได้กับเพคของ readynas แต่วางซ้อนกันได้) คุณสามารถแนะนำวิธีนี้ได้เช่นกัน

10 file-sharing  network-attached-storage  scalability  readynas 

ฉันมีเว็บไซต์ที่จะเก็บภาพโปรไฟล์ผู้ใช้ แต่ละภาพจะถูกเก็บไว้ในไดเรกทอรี (Linux) เฉพาะสำหรับผู้ใช้ ขณะนี้ฉันมีฐานลูกค้า 30+ ซึ่งหมายความว่าฉันจะมี 30+ โฟลเดอร์ แต่กล่อง Linux ปัจจุบันของฉัน (ext2 / ext3) ไม่รองรับการสร้างไดเรกทอรีมากกว่า 32000 รายการ ฉันจะผ่านสิ่งนี้ได้อย่างไร แม้แต่พวก YouTube ก็มีปัญหาเดียวกันกับภาพขนาดย่อของวิดีโอ แต่พวกเขาแก้ไขมันโดยย้ายไปที่ ReiserFS เรามีทางออกที่ดีกว่าไม่ได้เหรอ? อัปเดต: เมื่อถูกถามใน IRC ผู้คนถูกถามเกี่ยวกับการอัปเกรดเป็น ext4 ซึ่งมีขีด จำกัด 64k และแน่นอนว่าคุณสามารถผ่านมาได้เช่นกัน หรือเคอร์เนลแฮ็คเพื่อเปลี่ยนขีด จำกัด อัปเดต: วิธีแยกฐานผู้ใช้ออกเป็นโฟลเดอร์ตามช่วงหมายเลขผู้ใช้ ความหมาย 1-1000 ในหนึ่งโฟลเดอร์ 1,000-2000 ในอีกอันหนึ่ง ดูเหมือนจะง่าย คุณพูดว่าอะไรนะ ตรงไปตรงมาไม่มีทางอื่นอีกแล้วเหรอ?

9 linux  filesystems  directory  scalability 

ฉันยังใหม่ต่อการพัฒนาและออกแบบเว็บไซต์ (ฉันย้ายจากการก่อสร้างที่มีคำตอบใหญ่กว่า) และฉันพยายามสร้างสถาปัตยกรรม AWS ที่ปรับขนาดได้สำหรับไซต์ Wordpress ที่อาศัยอยู่ในระดับฟรี แต่จะเพิ่มขึ้นตามความต้องการ . มีวิธีแก้ปัญหาอินสแตนซ์ EC2 เดียวที่ให้เว็บเซิร์ฟเวอร์ของฉันทำการปรับขนาดอัตโนมัติและการโคลนเพื่อให้การเปลี่ยนแปลงแพร่กระจายไปทั่วทั้งชั้นโดยไม่จำเป็นต้องอัพเดตแต่ละอินสแตนซ์ด้วยตนเอง? การค้นหาของฉันทำให้ฉันสนใจในโซลูชันซอฟต์แวร์ที่เป็นไปได้ของ nginx และ heartbeat หรือ corosync แต่ฉันไม่รู้ว่าจะใช้งานที่ไหนในราคาถูก แก้ไข : ตอนนี้กำลังมองหา rsync และ incron แต่การมีอินสแตนซ์ของเซิร์ฟเวอร์ทั้งหมดจะทำให้เกิดการเปลี่ยนแปลงทำให้วงวนไม่สิ้นสุดในการเปลี่ยนแปลงหรือไม่

amazon-ec2  web-server  amazon-web-services  cluster  scalability