คำถามติดแท็ก scaling

พารามิเตอร์เคอร์เนลหรือการตั้งค่าอื่นใดควบคุมจำนวนสูงสุดของซ็อกเก็ต TCP ที่สามารถเปิดได้บนเซิร์ฟเวอร์ Linux อะไรคือข้อดีของการอนุญาตให้มีการเชื่อมต่อมากขึ้น? ฉันสังเกตในขณะที่โหลดทดสอบเซิร์ฟเวอร์ Apache ด้วยabว่ามันค่อนข้างง่ายที่จะเปิดการเชื่อมต่อสูงสุดบนเซิร์ฟเวอร์ หากคุณไม่ใช้ตัวเลือก ab's -k ซึ่งอนุญาตให้นำการเชื่อมต่อกลับมาใช้ใหม่และให้ส่งคำขอมากกว่า 10,000 คำขอจากนั้น Apache จะให้บริการคำขอ 11,000 รายการแรกแล้วหยุดพักเป็นเวลา 60 วินาที ดูที่เอาต์พุต netstat แสดงการเชื่อมต่อ 11,000 การเชื่อมต่อในสถานะ TIME_WAIT เห็นได้ชัดว่านี่เป็นเรื่องปกติ การเชื่อมต่อจะถูกเก็บไว้เปิดเริ่มต้นของ 60 วินาทีแม้หลังจากที่ลูกค้าจะทำกับพวกเขาสำหรับเหตุผล TCP ความน่าเชื่อถือ ดูเหมือนว่านี่จะเป็นวิธีที่ง่ายในการใช้เซิร์ฟเวอร์ DoS และฉันสงสัยว่าการปรับจูนและการป้องกันตามปกติเป็นอย่างไร นี่คือผลการทดสอบของฉัน: # ab -c 5 -n 50000 http://localhost/ This is ApacheBench, Version 2.0.40-dev <$Revision: 1.146 …

89 linux  apache-2.2  performance  scaling  tuning 

ไม่เจาะจงไปที่ข้อมูลจำเพาะเนื่องจากฉันรู้ว่าไม่มีคำตอบที่แท้จริงสำหรับสิ่งนี้ แต่วันนี้ฉันทำการทดสอบโหลดด้วยabคำสั่งใน Apache และได้จำนวน 70 คำขอต่อวินาที (1,000 คำขอพร้อมผู้ใช้ 100 คนพร้อมกัน) บนหน้าเว็บที่โหลดจากตารางฐานข้อมูล 4 ตารางที่แตกต่างกันและทำการจัดการกับข้อมูล ดังนั้นจึงเป็นหน้าที่ค่อนข้างหนัก เซิร์ฟเวอร์ไม่ได้ใช้งานอย่างอื่นในตอนนี้และการโหลดมันเป็นเพียงฉันเพราะมันกำลังอยู่ในระหว่างการพัฒนา แต่แอปพลิเคชั่นจะใช้งานทุกวันโดยผู้ใช้หลายคน แต่นี่เพียงพอหรือไม่ หรือฉันควรจะกังวลด้วยซ้ำ (ตราบเท่าที่มันเกิน X ร้องขอสักวินาที) ฉันคิดว่าฉันไม่ควรกังวล แต่ฉันต้องการคำแนะนำเกี่ยวกับเรื่องนี้

39 web-server  scaling  load-testing 

ฉันทำงานบนเว็บไซต์ที่ในที่สุดอาจมีฐานข้อมูลขนาดใหญ่มาก เว็บไซต์จะเป็นชุมชนศิลปะไม่ได้จนกว่า deviantART ฉันจะเรียกใช้แบบสอบถามจำนวนมากเพื่อวิเคราะห์วิธีการใช้เว็บไซต์ ฉันคาดว่าบางคำสั่งจะฆ่าฐานข้อมูลเพราะฉันไม่รู้วิธีเพิ่มประสิทธิภาพการสืบค้น SQL (ยัง) ฉันเริ่มด้วย VPS ลินุกซ์ขนาดเล็กและจะย้ายไปยังเซิร์ฟเวอร์จริงในอนาคต ฐานข้อมูลใดที่จะปรับให้ดีที่สุดในสถานการณ์นี้

20 linux  mysql  postgresql  scaling 

ฉันต้องการบล็อกพอร์ต 80 ชั่วคราวสำหรับโลกภายนอก แต่ต้องการให้โหลดบาลานเซอร์ผ่านไฟร์วอลล์ (ผ่านกลุ่มความปลอดภัย) ดังนั้นมันจะไม่เห็นอินสแตนซ์ที่ไม่แข็งแรง ฉันจะทำสิ่งนั้นได้อย่างไร อัปเดต: ฉันต้องการทราบว่าฉันจะอนุญาตให้ฉันเท่านั้นที่เข้าถึงตัวโหลดบาลานซ์แบบยืดหยุ่นผ่านพอร์ต 80 (แต่ป้องกันการเข้าถึงอื่น ๆ ) ฉันรู้ว่าตัวโหลดบาลานซ์ไม่มีกลุ่มความปลอดภัยเฉพาะที่ฉันสามารถตั้งค่าและบอกให้ยอมรับเฉพาะที่อยู่ IP ของฉันเท่านั้น แต่มีวิธีอื่นอีกไหมที่จะทำ

18 amazon-ec2  load-balancing  amazon-web-services  scaling 

เราต้องการที่จะสามารถเพิ่มเซิร์ฟเวอร์แบ็กเอนด์ตามความต้องการ ตอนนี้ฉันไม่เห็นวิธีเพิ่มเซิร์ฟเวอร์แบ็กเอนด์มากขึ้นไปยังไฟล์ปรับแต่งโดยไม่ต้องรีสตาร์ท haproxy

17 load-balancing  scaling  haproxy 

เนื่องจาก Windows 8.1 ไม่อนุญาตการรองรับ DPI สูง "Windows XP style" ทั้งระบบฉันจะทำให้แอป Microsoft Management Console (mmc.exe) high-DPI ทราบได้อย่างไร ไม่มีรายการเมนูบริบท "แก้ปัญหาความเข้ากันได้"

16 scaling  windows-8.1  dpi 

ฉันกำลังสร้างแพคเกจการวิเคราะห์และข้อกำหนดของโครงการระบุว่าฉันต้องการการสนับสนุน 1 พันล้านครั้งต่อวัน ใช่ "พันล้าน" กล่าวอีกนัยหนึ่งคือไม่น้อยกว่า 12,000 ครั้งต่อวินาทีที่ยั่งยืนและโดยเฉพาะอย่างยิ่งบางห้องที่จะระเบิด ฉันรู้ว่าฉันจะต้องใช้เซิร์ฟเวอร์หลายเครื่องสำหรับเรื่องนี้ แต่ฉันพยายามที่จะเพิ่มประสิทธิภาพสูงสุดของแต่ละโหนดก่อนที่จะ "ทิ้งฮาร์ดแวร์เพิ่มเติม" ตอนนี้ฉันมีส่วนติดตามที่สำเร็จแล้วและได้รับการปรับปรุงให้ดีที่สุด ฉันสวยมากเพียงแค่บันทึกคำขอลงใน Redis (สำหรับการประมวลผลในภายหลังด้วย Hadoop) แอปพลิเคชั่นนี้คือ Python / Django ที่มี gunicorn สำหรับเกตเวย์ เซิร์ฟเวอร์ 2GB Ubuntu 10.04 Rackspace ของฉัน (ไม่ใช่เครื่องที่ใช้งานจริง) สามารถให้บริการไฟล์คงที่ประมาณ 1200 ไฟล์ต่อวินาที (ทำการเปรียบเทียบโดยใช้ Apache AB กับสินทรัพย์คงที่เดียว) ในการเปรียบเทียบหากฉันสลับลิงก์ไฟล์คงที่กับลิงก์ติดตามของฉันฉันยังได้รับประมาณ 600 คำขอต่อวินาที - ฉันคิดว่านี่หมายความว่าตัวติดตามของฉันได้รับการปรับให้เหมาะสมเพราะมันเป็นเพียงปัจจัย 2 ช้ากว่าการแสดงเนื้อหาแบบคงที่เดียวกัน ซ้ำแล้วซ้ำเล่า อย่างไรก็ตามเมื่อฉันเปรียบเทียบกับความนิยมหลายล้านครั้งฉันสังเกตเห็นบางสิ่ง - ไม่มีการใช้ดิสก์ - คาดว่าเป็นเพราะฉันได้ปิดบันทึก …

15 nginx  scaling  high-volume  redis 

Amazon, Facebook และ Google ต้องใช้ TB ถ้าไม่ใช่ PBs ต่อวันดังนั้นหมายความว่าพวกเขามีคนติดตั้งฮาร์ดดิสก์และสายเคเบิลใหม่อย่างต่อเนื่องในชั้นวางใหม่ในลักษณะเดียวกับที่คุณอาจสร้างเซิร์ฟเวอร์ปกติหรือมีเทคโนโลยีที่แตกต่างกัน สำหรับการเชื่อมต่อไดรฟ์ en masse?

13 hard-drive  scaling 

ฉันพยายามปรับขนาดเว็บแอปพลิเคชันของเรา (PHP, MySQL, memcache) ในรูปแบบหลายภูมิภาค ขณะนี้เรากำลังใช้การตั้งค่ากับสองอินสแตนซ์ EC2 หลัง ELB และอินสแตนซ์ RDS ทั้งหมดในภูมิภาค US-EAST (เวอร์จิเนีย) เราต้องการมีส่วนร่วมในภูมิภาค EU (ไอร์แลนด์) ด้วย ซึ่งหมายความว่าอย่างน้อย EC2 อินสแตนซ์ใหม่ที่นั่น (เหมือนกันกับที่อื่นให้บริการแอปพลิเคชันเดียวกัน) ฉันได้คัดลอก AMI ที่ต้องการตั้งค่าอินสแตนซ์ใหม่ตั้งค่าการกำหนดค่า ELB เดียวกัน (จำเป็นสำหรับการยกเลิก SSL) และกำหนดเส้นทางตามเวลาแฝงที่กำหนดค่าใน Route53 และใช้งานได้ตามที่แนะนำ แต่ลูกค้าจากสหภาพยุโรปมีปัญหาเรื่องความเร็ว นี่คือความจริงที่ว่าอินสแตนซ์ EU EC2 เชื่อมต่อกับอินสแตนซ์ RDS ที่ใช้ในสหรัฐอเมริกา เท่าที่ฉันรู้ว่า Amazon ยังไม่ได้เปิดใช้งานการจำลองแบบหลายภูมิภาค RDS คุณมีข้อเสนอแนะเกี่ยวกับวิธีการตั้งค่าทั้งหมดอย่างรวดเร็วในขณะที่ใช้อินสแตนซ์ RDS เดี่ยวหรือไม่? นอกจากนี้ความคิดทั่วไปเกี่ยวกับวิธีเพิ่มขนาด เป็นการดีที่เราต้องการใช้เทคโนโลยี RDS ต่อไปด้วยเหตุผลหลายประการ …

11 amazon-ec2  amazon-web-services  scalability  amazon-rds  scaling 

คำถามนี้ไม่น่าจะช่วยผู้เข้าชมในอนาคต มันเกี่ยวข้องเฉพาะกับพื้นที่ทางภูมิศาสตร์ขนาดเล็กช่วงเวลาที่เฉพาะเจาะจงหรือสถานการณ์ที่แคบเป็นพิเศษซึ่งโดยทั่วไปไม่สามารถใช้ได้กับผู้ชมทั่วโลกของอินเทอร์เน็ต สำหรับความช่วยเหลือในการทำคำถามนี้มากขึ้นบังคับในวงกว้างไปที่ศูนย์ช่วยเหลือ ปิดให้บริการใน8 ปีที่ผ่านมา มีคำแนะนำที่ดีเกี่ยวกับระดับฮาร์ดแวร์เพื่อสนับสนุน ElasticSearch หรือไม่ คำแนะนำสำหรับ Lucene หรือ Solr เป็นจุดเริ่มต้นที่ดีหรือไม่ เรากำลังดูการเริ่มต้นใช้งานด้วย 27 ล้านเอกสาร, 8TB ของข้อมูล เพิ่มเอกสาร 300k ต่อวัน จากนั้นปรับขนาดขึ้นประมาณ 10 เท่าเป็น เอกสาร 270 ล้านเอกสาร 80TB ของข้อมูล เพิ่ม 3 ล้านเอกสาร / วัน นี่เป็นกรณีการใช้งานที่แปลกซึ่งการสืบค้นจะอยู่ในหลักพัน / วัน แต่เวลาตอบสนองต้องอยู่ในระดับต่ำพอสำหรับประสบการณ์ที่ดีกับเว็บแอป Ajaxy

10 hardware  scaling  elasticsearch 

ฉันกำลังศึกษาเบื้องต้นสำหรับสัญญาเพื่อสร้างเครือข่าย VPN ระหว่าง ~ 600 เซิร์ฟเวอร์ระยะไกลที่ใช้ Linux CentOS 6 (+ LAN ส่วนตัว 600 แห่ง) เครือข่ายควรเป็นแบบ star ดังนั้นเซิร์ฟเวอร์ระยะไกลแต่ละเครื่องจะเชื่อมต่อกับเซิร์ฟเวอร์กลางเพื่อป้อน VPN (ฉันรู้ว่ามันเป็น SPOF แต่ไม่เป็นไรเพราะแอปพลิเคชันหลักที่ VPN นี้สร้างขึ้นจะทำงานบน เซิร์ฟเวอร์กลางต่อไป) ฉันต้องการใช้ OpenVPN (มีความยืดหยุ่นจริงๆและสามารถปรับให้เข้ากับการกำหนดค่าที่เราต้องการ) แต่ฉันสงสัยว่าอะไรคือวิธีปฏิบัติที่ดีที่สุดสำหรับการใช้งานบนเครือข่ายขนาดใหญ่เช่นนี้ ตัวอย่างเช่นหากใช้ในโหมด tun มันจะสร้างอินเตอร์เฟส 600 tun บนเซิร์ฟเวอร์กลางซึ่งฉันไม่รู้ด้วยซ้ำว่ามันรองรับและ / หรือสร้างปัญหาใด ๆ ฉันไม่มีประสบการณ์กับเครือข่ายขนาดใหญ่เช่นนี้ดังนั้นฉันจึงเปิดรับข้อเสนอแนะและพอยน์เตอร์ชนิดใดก็ได้ ขอบคุณ!

9 networking  openvpn  scaling 

ฉันกำลังพยายามระบุคลัสเตอร์ที่ปรับขนาดได้ในแนวนอนสำหรับเว็บแอพที่ใช้ drupal ซึ่งดูเหมือนแผนภาพที่มีสีสันด้านล่าง: ตัวโหลดบาลานซ์ใช้เซสชันที่ติดหนึบดังนั้นผู้ใช้จะยังคงสถานะเมื่อพวกเขาได้รับการจัดสรรเซิร์ฟเวอร์ให้ทำงานแล้ว เซิร์ฟเวอร์แอปแต่ละตัวมีดังต่อไปนี้: เคลือบเงาที่ด้านหน้า drupal 6 ที่อยู่ตรงกลางวิ่งบนสแต็คหลอดไฟ memcached ที่ด้านหลัง เซิร์ฟเวอร์ฐานข้อมูล mysql สองตัวนั้นอยู่บน IP ที่ใช้ร่วมกันและอยู่ในคลัสเตอร์ HA ที่มี DRBD และ Hearbeat ดังนั้นการสูญเสียเซิร์ฟเวอร์ตัวใดตัวหนึ่งจะไม่ทำให้แพลตฟอร์มทั้งหมดพัง มีบางสิ่งที่ฉันไม่แน่ใจเกี่ยวกับที่ฉันขอขอบคุณความคิดเห็นของคุณใน: สเกลไฟล์ควรจัดเก็บในแนวนอนอย่างไร? ฉันกำลังคิดว่าจะใช้ NFS เพื่อติดตั้งไดเรกทอรีไฟล์ที่แชร์ในแต่ละเซิร์ฟเวอร์แอปดังนั้นไฟล์ที่อัปโหลดในครั้งเดียวจะมีให้ทุกไฟล์ ฉันกำลังคิดถึง NFS อยู่มานานแล้วและไม่มีประสบการณ์กับ MogileFS หรือ GlusterFS และเป็นสิ่งที่เราเคยใช้มาก่อนดังนั้นเราจึงคุ้นเคยกับมันมากขึ้น มีแนวทางใดบ้างที่ควรปฏิบัติตามเพื่อหาจำนวนเซิร์ฟเวอร์ที่ควรแบ่งปันไดเรกทอรีผ่าน NFS ด้วยวิธีนี้ HA ควรมีวิธีการอย่างไรในการจัดเก็บไฟล์ที่ใช้ร่วมกันที่นี่? ปัญหาหนึ่งที่นี่คือเซิร์ฟเวอร์ NFS เป็นจุดเดียวของความล้มเหลว เรากำลังใช้ Heartbeat และ DRBD บนเซิร์ฟเวอร์ Mysql และฉันต้องการเก็บจำนวนเทคโนโลยีที่เกี่ยวข้องในสแต็กให้น้อยที่สุดเท่าที่จะเป็นไปได้ - …

9 nfs  lamp  scaling 

ฉันถูกถามเมื่อไม่นานมานี้ว่า "คุณรู้หรือไม่ว่าเมื่อไรที่จะต้องตัดสินใจเลือก RAM เพิ่มขึ้น (ในบริบทของการปรับการใช้งานการขุดข้อมูล) ฉันไม่มีความคิดดังนั้นอะไรบ้างในการตัดสินใจ ฉันมีความรู้เกี่ยวกับสถาปัตยกรรมและการปรับขนาดน้อยมาก (ความเข้าใจของฉันเกี่ยวกับหน่วยความจำคอมพิวเตอร์และสิ่งที่เซิร์ฟเวอร์ จำกัด อยู่ที่ระดับพื้นฐานขั้นสูง) ดังนั้นเคล็ดลับในการเรียนรู้เพิ่มเติมเกี่ยวกับสิ่งเหล่านี้โดยทั่วไปก็ยินดีต้อนรับเช่นกัน

9 memory  scaling 

ฉันมีปัญหานี้กับเซิร์ฟเวอร์ที่ใช้แอปพลิเคชัน CakePHP เซิร์ฟเวอร์ช้าเมามันฉันแรกคิดว่ามันเป็นปัญหาของแอปพลิเคชัน แต่จากนั้นฉันพบการเขียนลงดิสก์อย่างต่อเนื่อง 5-6MB / s วิธีที่ง่ายที่สุดในการค้นหาสาเหตุของการเขียนหนักคืออะไร? เซิร์ฟเวอร์กำลังเรียกใช้ Gentoo

9 linux  performance  io  scaling 

เรามีแอพพลิเคชั่นที่เราพัฒนาใน ASP และ SQL Server เราใช้ Rackspace เพื่อโฮสต์ "ลูกค้า" ของเราแต่ละคนมีไซต์ IIS และฐานข้อมูล SQL ของตนเอง ลูกค้าแต่ละรายอาจมีผู้ใช้หลายสิบหรือหลายร้อยคนที่กดปุ่มแอปพลิเคชัน ตอนนี้เรามีลูกค้าหลายร้อยคน สิ่งที่เราทำมาจนถึงตอนนี้คือการเพิ่มเซิร์ฟเวอร์อีกคู่หนึ่ง (IIS หนึ่งตัว, หนึ่ง SQL) เมื่อเราต้องการเหตุผลด้านประสิทธิภาพ ตอนนี้เรามีเซิร์ฟเวอร์มากถึงสี่คู่ เรากำลังเพิ่มลูกค้าใหม่อย่างต่อเนื่องและเรากำลังค้นหาวิธีอื่น ๆ ในการขยายขนาดโดยไม่ต้องเพิ่มเซิร์ฟเวอร์คู่อื่น ๆ วิธีหนึ่งที่เรากำลังพิจารณาคือการมีเว็บฟาร์มสำหรับฝั่ง IIS และคลัสเตอร์ SQL Server และ SAN สำหรับด้านฐานข้อมูล นี่เป็นวิธีที่ดีหรือไม่? ขณะนี้เรามีลูกค้า 400 รายโดยแต่ละไซต์มี IIS และฐานข้อมูล SQL ของตัวเอง เกิดอะไรขึ้นถ้าเราเติบโตถึง 1,000? 5,000? SQL คลัสเตอร์เดียวสามารถจัดการฐานข้อมูลหลายพันฐานข้อมูลได้หรือไม่ แต่ละฐานข้อมูลมีหลายร้อยตาราง ตารางหลักสำหรับลูกค้ารายใหญ่ของเราอาจมีหลายแสนรายการ …

2 sql-server  iis  scaling