คำถามติดแท็ก high-volume

ฉันมีกล่อง 8-core ที่ค่อนข้างใหม่ที่ใช้ CentOS ฉันต้องการพัฒนาเซิร์ฟเวอร์สถิติที่ใช้ TCP มันง่ายมากยอมรับการเชื่อมต่อ TCP เพิ่มตัวนับและปิดการเชื่อมต่อ การจับต้องทำอย่างน้อย 10k ร้องขอต่อวินาที ฉันสงสัยว่าซีพียู / หน่วยความจำจะไม่มีปัญหา แต่ฉันกังวลมากขึ้นเกี่ยวกับข้อ จำกัด ที่ประดิษฐ์ขึ้น (เช่นการเชื่อมต่อแบบเปิดครึ่ง) ที่ฉันอาจต้องกำหนดค่าบนเซิร์ฟเวอร์ของฉันเพื่อให้รองรับไดรฟ์ข้อมูลประเภทนี้ เป็นไปได้ไหม ฉันควรทราบถึงการตั้งค่าใดบ้าง NIC ของฉันจะไม่สามารถจัดการได้หรือไม่

18 linux  networking  java  tcp  high-volume 

ฉันกำลังสร้างแพคเกจการวิเคราะห์และข้อกำหนดของโครงการระบุว่าฉันต้องการการสนับสนุน 1 พันล้านครั้งต่อวัน ใช่ "พันล้าน" กล่าวอีกนัยหนึ่งคือไม่น้อยกว่า 12,000 ครั้งต่อวินาทีที่ยั่งยืนและโดยเฉพาะอย่างยิ่งบางห้องที่จะระเบิด ฉันรู้ว่าฉันจะต้องใช้เซิร์ฟเวอร์หลายเครื่องสำหรับเรื่องนี้ แต่ฉันพยายามที่จะเพิ่มประสิทธิภาพสูงสุดของแต่ละโหนดก่อนที่จะ "ทิ้งฮาร์ดแวร์เพิ่มเติม" ตอนนี้ฉันมีส่วนติดตามที่สำเร็จแล้วและได้รับการปรับปรุงให้ดีที่สุด ฉันสวยมากเพียงแค่บันทึกคำขอลงใน Redis (สำหรับการประมวลผลในภายหลังด้วย Hadoop) แอปพลิเคชั่นนี้คือ Python / Django ที่มี gunicorn สำหรับเกตเวย์ เซิร์ฟเวอร์ 2GB Ubuntu 10.04 Rackspace ของฉัน (ไม่ใช่เครื่องที่ใช้งานจริง) สามารถให้บริการไฟล์คงที่ประมาณ 1200 ไฟล์ต่อวินาที (ทำการเปรียบเทียบโดยใช้ Apache AB กับสินทรัพย์คงที่เดียว) ในการเปรียบเทียบหากฉันสลับลิงก์ไฟล์คงที่กับลิงก์ติดตามของฉันฉันยังได้รับประมาณ 600 คำขอต่อวินาที - ฉันคิดว่านี่หมายความว่าตัวติดตามของฉันได้รับการปรับให้เหมาะสมเพราะมันเป็นเพียงปัจจัย 2 ช้ากว่าการแสดงเนื้อหาแบบคงที่เดียวกัน ซ้ำแล้วซ้ำเล่า อย่างไรก็ตามเมื่อฉันเปรียบเทียบกับความนิยมหลายล้านครั้งฉันสังเกตเห็นบางสิ่ง - ไม่มีการใช้ดิสก์ - คาดว่าเป็นเพราะฉันได้ปิดบันทึก …

15 nginx  scaling  high-volume  redis