การเตรียมพร้อมสำหรับการรับส่งข้อมูลขนาดใหญ่

บริษัท ของเราจะปรากฏตัวในรายการทีวีช่วงเวลาสำคัญในสัปดาห์นี้และพวกเขาบอกเราว่าเราสามารถคาดหวังได้ว่ามีผู้เยี่ยมชมเว็บไซต์ของเราประมาณ 200,000 คนในครั้งเดียว

ปกติแล้วเราจะได้รับการเข้าชมประมาณ 100 ครั้งต่อวันดังนั้นฉันจึงไม่ทราบว่าเราสามารถจัดการปริมาณการเข้าชมที่มาก 1and1.co.ukเรากำลังเป็นเจ้าภาพโดย

มีข้อควรระวังใดบ้างที่เราสามารถทำได้เพื่อป้องกันไม่ให้เว็บไซต์ของเราพิการ

ในช่วงที่มีการรับส่งข้อมูลสูงเซิร์ฟเวอร์ของคุณควรจะสามารถจัดการกับคำขอทั้งหมดที่ผู้เยี่ยมชมเว็บไซต์ของคุณทำ แต่มีข้อ จำกัด บางประการในการเชื่อมต่อพร้อมกันที่จัดการโดยเซิร์ฟเวอร์ ดังนั้นจึงเป็นการดีที่สุดที่จะให้บริการคำขอหน้าเว็บโดยเร็วที่สุด

นี่คือคำแนะนำที่ควรพิจารณาในสถานการณ์เหล่านี้

การปรับปรุงระดับแอปพลิเคชัน:

1. ลดการร้องขอ HTTP ให้เล็กที่สุดเพื่อเพิ่มความเร็วในการโหลดหน้าเว็บ

a) รวมไฟล์ JS ทั้งหมดเข้าด้วยกันในไฟล์ JS รวมเดียวและไฟล์ CSS ทั้งหมดในไฟล์ CSS รวมเดียว

b) ลดขนาดไฟล์ JS และ CSS ดังนั้นขนาดไฟล์จะลดลงและจะดาวน์โหลดเร็วขึ้น

c) ใช้ CSS Sprite - เมื่อคุณรวมรูปภาพส่วนใหญ่หรือทั้งหมดของคุณเป็น Sprite คุณจะเปลี่ยนคำขอรูปภาพหลาย ๆ ภาพให้เป็นภาพเดียว จากนั้นคุณเพียงใช้คุณสมบัติ CSS ภาพพื้นหลังเพื่อแสดงส่วนของภาพที่คุณต้องการ

d) การดาวน์โหลดภาพล่าช้าด้วยการโหลดที่สันหลังยาวซึ่งจะเป็นประโยชน์ในการลดคำขอ HTTP

2. เตรียมหน้าเว็บที่มีน้ำหนักเบาซึ่งคาดว่าจะมีผู้เข้าชมเพิ่มเติม:

a) ยกเว้นองค์ประกอบของตกแต่งเช่นรูปภาพหรือแฟลชในทุกที่ที่เป็นไปได้ ใช้ข้อความแทนรูปภาพในการนำทางไซต์และโครเมี่ยมและใส่เนื้อหาส่วนใหญ่ใน HTML

b) ใช้หน้า HTML แบบคงที่มากกว่าแบบไดนามิก ที่หลังโหลดมากขึ้นบนเซิร์ฟเวอร์ของคุณ คุณยังสามารถแคชเอาต์พุตสแตติกของเพจแบบไดนามิกเพื่อลดโหลดเซิร์ฟเวอร์

การปรับปรุงระดับเซิร์ฟเวอร์:

1. ลดค่าการหมดเวลาของเซิร์ฟเวอร์โดยปรึกษาผู้ให้บริการโฮสต์ของคุณ (ไม่ควรต่ำเกินไป)

เมื่อหมดเวลาที่ต่ำกว่าการเชื่อมต่อจะเปิดตัวเร็ว ๆ นี้ดังนั้นเซิร์ฟเวอร์จะสามารถจัดการการเชื่อมต่อมากขึ้น

2. ใช้บริการของบุคคลที่สามเช่น CloudFlare สำหรับการแคชข้อมูลแบบคงที่และเพื่อปกป้องเว็บไซต์ของคุณจากผู้ใช้ที่เป็นอันตรายและการโจมตีเช่น DDOS

3. อัพเกรดฮาร์ดแวร์เซิร์ฟเวอร์ของคุณ - อัพเกรดความทรงจำทางกายภาพและเสมือนเพิ่ม I / O และ จำกัด กระบวนการเข้าหากจำเป็น ผู้ให้บริการโฮสต์ของคุณจะสามารถช่วยเหลือคุณได้ดีขึ้น

4. รหัสไดนามิกแคช - ใช้ APC เพื่อแคช opcode PHP

5. Load Balancing - กระจายโหลดข้ามเซิร์ฟเวอร์หลายตัว

• เมื่อดำเนินการตามที่จำเป็นทุกอย่างตอนนี้ถึงเวลาที่จะตรวจสอบว่าเว็บไซต์พร้อมสำหรับการรับส่งข้อมูลจำนวนมากหรือไม่

  มีบริการบุคคลที่สามบางอย่างเช่น loadimpact.com ที่ให้บริการทดสอบโหลดด้วยปริมาณข้อมูลจำลอง การวิเคราะห์จะช่วยให้คุณเข้าใจว่าเว็บไซต์ของคุณสามารถโหลดได้มากน้อยเพียงใดและสามารถปรับปรุงอะไรได้บ้าง

• นอกจากนี้ในระหว่างช่วงเวลาที่มีปริมาณการรับส่งข้อมูลให้หลีกเลี่ยงการใช้งาน CPU สูงเช่นเว็บไซต์สำรอง cronjobs เป็นต้น

ก่อนอื่นฉันขอแนะนำ Cloudflare คุณสามารถสร้างบัญชีพื้นฐานฟรีและมันจะกำหนดเส้นทางการรับส่งข้อมูลผ่านศูนย์ข้อมูลท้องถิ่นเพื่อลดจำนวนการกระโดดของเซิร์ฟเวอร์ Cloudflare ยังยอดเยี่ยมสำหรับการแคชเนื้อหาและมีการป้องกัน DDOS

นอกจากนั้นให้ลองตัดไขมันออกจากเลเยอร์บริการของคุณ ตรวจสอบให้แน่ใจว่าคุณไม่มีการสืบค้นฐานข้อมูลที่มากเกินไปทำให้เกิดปัญหาคอขวดของคุณหรือ CPU ที่ใช้ CPU มากเกินความจำเป็น

ลองแคชแบบสอบถามฐานข้อมูลใด ๆ ตัวเลือกที่ยอดเยี่ยมสำหรับการแคชแบบสอบถามคือ Redis หรือ Memcache OpCaching เป็นข้อควรพิจารณาอีกประการหนึ่งหากคุณใช้ภาษาที่ไม่ได้รวบรวม

แต่ที่สำคัญที่สุดคือรักษาเนื้อหาของคุณ (เช่น css, js และภาพ) ให้ได้ประสิทธิภาพสูงสุด ลดขนาดจาวาสคริปต์ของคุณทั้งหมดให้รวมเป็นไฟล์เดียวถ้าเป็นไปได้ โปรดจำไว้ว่าแต่ละไฟล์ที่รวมอยู่ในเว็บไซต์ของคุณต้องทำให้เซิร์ฟเวอร์หลาย ๆ ฮ็อปสามารถเข้าถึงผู้ใช้ปลายทางได้

อย่าดูถูกดูแคลนเท่าใดแบนด์วิดท์และเวลาโหลดคุณสามารถบันทึกผ่านการบีบอัดภาพด้วย!

สุดท้ายให้พิจารณาการตรวจสอบประสิทธิภาพด้วยเครื่องมือเช่น New Relic

ขอให้โชคดี

แหล่งที่มา: หนึ่งในนักพัฒนาเว็บไซต์ยอดนิยมอันดับที่ 12 ในสหราชอาณาจักรอ้างอิงจาก Alexa

ลองโหลดการทดสอบเว็บไซต์ของคุณ มีเครื่องมือฟรีให้บริการเช่นJMeter , The GrinderและGatlingซึ่งสามารถจำลองผู้เยี่ยมชมเว็บไซต์ของคุณเป็นจำนวนมาก

โดยการทดสอบผลกระทบของการรับส่งข้อมูลจำนวนมากล่วงหน้าคุณสามารถกำหนดได้ว่าการปรับแต่งใด ๆ ที่คุณทำมีประสิทธิภาพและดูการปรับแต่งเพิ่มเติมหากไม่

หากคุณอยู่ที่ 1 และ 1 อาจเป็นไปได้ว่าคุณกำลังมองหาโฮสติ้งราคาถูก โฮสติ้งราคาถูกหมายความว่าคุณมักจะทำทุกอย่างภายใต้กล่องเดียว จุดปวดที่สำคัญสำหรับการโฮสต์คือเมื่อคุณโฮสต์ทุกอย่างในกล่องเดียวกันคุณจะแบ่งทรัพยากรระหว่างส่วนที่สำคัญของไซต์ของคุณ:

• เว็บเซิร์ฟเวอร์ของคุณ (Apache, Nginx และอื่น ๆ )
• ฐานข้อมูลของคุณ (MySQL, PostGreSQL ฯลฯ )

การเป็น 1 และ 1 มีโอกาสดีที่คุณจะใช้แผงควบคุมเช่น Plesk หรือ cPanel ซึ่งหมายความว่าคุณมีสิ่งพิเศษมากมายที่แข่งขันกับทรัพยากร และเล็บสุดท้ายในโลงศพของคุณ? คุณมีทรัพยากรไม่มาก คุณอาจมี 1 CPU (หรือ CPU เสมือน) และ RAM น้อยมาก (ถ้าคุณมีมากกว่า 2GB ฉันจะประหลาดใจ)

เมื่อเราทิ้ง 1and1 เราไปกับผู้ให้บริการโฮสติ้งที่ปรับขนาดได้ (Amazon Web Services ในกรณีของเรา) และเราทำหลายสิ่งที่เราไม่เคยทำมาก่อน

1. Amazon มีอินสแตนซ์ของตัวเองสำหรับฐานข้อมูล (RDS) และดังนั้นฐานข้อมูลของเราจึงมีแหล่งข้อมูลให้หายใจ ระบบ RDBMS ส่วนใหญ่ใช้ชีวิตและหายใจใน RAM และนั่นคือสิ่งที่เราสามารถได้รับมากมาย ตอนนี้คุณสามารถจัดเตรียม SSD ที่มี I / O สูงได้เช่นกันทำให้ DB choke point อื่น (การเขียนข้อมูล) เจ็บปวดน้อยลง
2. เราได้ตัวโหลดบาลานซ์พร้อมเว็บเซิร์ฟเวอร์ 2 ตัว ด้วยแบ็กเอนด์ DB ที่หนักหน่วงเราไม่จำเป็นต้องใช้ front end ระดับไฮเอนด์ดังนั้นเราจึงมีเซิร์ฟเวอร์ระดับล่างสองอัน
3. เราเปลี่ยนไปใช้บางสิ่งที่สามารถนำเครื่องจักรที่กำหนดค่าไว้ครบถ้วนตามต้องการ การใช้สิ่งต่าง ๆ เช่น Chef หรือ Puppet ทำให้คุณสามารถเพิ่มเว็บเซิร์ฟเวอร์ใหม่ได้อย่างง่ายดายและโปร่งใส 100% สำหรับผู้ใช้ปลายทางหากทำถูกต้อง AWS ยังมีOpsworksเพื่อให้คุณสามารถสร้างสคริปต์ของคุณโดยตรงใน AWS
4. เปลี่ยนขนาดอินสแตนซ์ของคุณตามต้องการ นี่คือชิ้นส่วนสำคัญสำหรับเรา หากฐานข้อมูลติดขัดฉันสามารถนำมันลงมาและเปิดใช้งานอีกครั้งในเวลาไม่กี่นาที ใช่มันจะเกี่ยวข้องกับการหยุดทำงาน แต่การหยุดทำงานไม่กี่นาทีนั้นดีกว่าช่วงเวลาที่ไซต์ทำงานช้าอย่างน่ากลัว กลัวการหยุดทำงานทั้งหมดหรือไม่ เก็บแบบจำลองการอ่านไว้ที่ปีกจากนั้นดึงลงเปลี่ยนเป็นอินสแตนซ์ที่ใหญ่ขึ้นเลื่อนระดับเป็นต้นแบบและหลีกเลี่ยงการหยุดทำงานสำหรับค่าใช้จ่ายของเครื่องจักรพิเศษ

AWS ไม่ใช่เกมเดียวในเมือง (Azure, Rackspace และอื่น ๆ ) แต่ให้แน่ใจว่า 1 และ 1 สามารถขยายเพื่อตอบสนองความต้องการของคุณ

ตรวจสอบกับ ISP ของคุณและดูว่ามีแบนด์วิดธ์สูงสุดของคุณหรือไม่ อัปเกรดแผนโฮสต์ของคุณหากแบนด์วิดธ์ไม่เพียงพอสำหรับปริมาณการรับส่งข้อมูลที่คุณคาดหวัง คุณไม่ต้องการแสดงข้อความ "แบนด์วิดท์เกินขีด จำกัด " ให้กับผู้เยี่ยมชมของคุณ

จากประสบการณ์ส่วนตัวของฉันฉันรู้ว่าแม้แต่ VPS ที่ดีที่สุดก็มีข้อ จำกัด ฉันจะเป็นคนธรรมดาของจริงที่นี่

หนึ่งในเว็บไซต์กีฬาของเราโฮสต์บน VPS ระหว่างการแข่งขันระหว่างปากีสถานและอินเดียเราได้รับความนิยมมากกว่า 70,000 ครั้ง เรามี VPS แบบ Inmotinghosting ที่มี 4GB RAM และการประมวลผล GHz 2.something GHz, แบนด์วิดท์ 1TB, ที่เก็บข้อมูล SSD และสิ่งอื่น ๆ ที่มาพร้อมกัน เราเปิดใช้งาน Cloudflare รุ่นที่ต้องชำระเงินด้วยเช่นกัน

มันเป็นเพียงครึ่งทางผ่านการแข่งขันและเว็บไซต์ก็ลง ไม่เคยมีการถ่ายทอดสดในระหว่างการแข่งขันและเราอาจสูญเสียผู้เข้าชมมากกว่า 70,000 คน หลังจากนั้นเราก็รู้ว่าแบนด์วิดท์ของเราถูกใช้ไปและหากไม่มีโฮสต์ต้นทางไม่ทำงาน CDN นั้นส่วนใหญ่ไร้ประโยชน์

บทเรียน: พร้อมรับ VPS และปรับเป็น CND เช่น Cloudflare ลดขนาดหน้าของคุณ ยิ่งน้อยก็ยิ่งดี คุณสามารถใช้การแคชหน้าและการย่อโค้ดซึ่งมีประโยชน์อย่างมากในการจัดการปริมาณการใช้งาน

คุณยังไม่ได้นิยาม "ทั้งหมดในครั้งเดียว" เป็นอย่างดี สมมติว่าคุณดูผู้เยี่ยมชม 200,000 คนในครึ่งชั่วโมง นั่นคือ 111 คำขอต่อวินาทีโดยไม่คำนึงถึงผู้เข้าชมที่คลิกผ่านและเปิดหน้าเว็บมากขึ้น (ซึ่งคุณต้องการใช่ไหม)

สิ่งแรกที่ฉันจะทำคือเรื่องราวของผู้คนใน Google ที่จัดการปริมาณการเข้าชมที่คล้ายกัน หลายคนจะเขียนเกี่ยวกับประสบการณ์ในบล็อกเพื่อช่วยเหลือผู้อื่น คุณจะสังเกตเห็นว่ามันยากมากที่จะหาเรื่องราวเกี่ยวกับคนที่ทำมันบนโฮสติ้งที่ใช้ร่วมกันและมีเหตุผลสำหรับสิ่งนั้น ดูโซลูชันเช่น Digital Ocean หรือ Amazon Web Services สำหรับผู้เริ่มต้นโดยใช้ศูนย์ข้อมูลที่ใกล้ที่สุดกับผู้ชมของคุณ และฉันยอมรับว่าการลดการใช้ทรัพยากรสแตติกทั้งหมดของคุณไปยัง CloudFlare แม้แต่บัญชีฟรีก็เป็นแนวคิดที่ยอดเยี่ยม

นอกเหนือจากนั้นให้ทดสอบโค้ดของคุณโดยเพิ่มสคริปต์การกำหนดเวลาไปที่ด้านบนและด้านล่างของหน้าเว็บโดยสมมติว่าเป็นแบบไดนามิก สมมติว่าสมมติฐานของฉันเกี่ยวกับตัวเลขถูกต้องคุณจะต้องสามารถแสดงผลแต่ละหน้าในเวลาไม่เกิน 10 มิลลิวินาทีเพื่อรักษาประสิทธิภาพที่ยอมรับได้ หากคุณให้บริการคำขอทั้งหมดผ่าน SSL โดยค่าเริ่มต้นให้ปิดใช้งานนั้นเป็นเวลาสองสามวันขณะที่พายุผ่านไป

นอกจากนี้ 200,000 ฟังดูน่ากลัวมาก แต่โปรดจำไว้ว่าคุณไม่จำเป็นต้องกลัวเกินไป (แม้ว่าคุณควรจะเป็นบิต) ตัวอย่างเช่นเมื่อนิตยสาร Paper ตีพิมพ์ภาพถ่าย NSFW ของ Kim Kardashian ก็ใช้เว็บเซิร์ฟเวอร์ขนาดกลางสี่รายการและ Amazon ELB เพื่อจัดการกับโหลดตามบทความนี้ (SFW) ฉันไม่คิดว่าการตั้งค่าปัจจุบันของคุณจะจัดการ แต่คุณไม่ควรต้องการเว็บเซิร์ฟเวอร์สิบหกที่มี 48 คอร์แต่ละตัวขับเคลื่อนโดยเครื่องกำเนิดไฟฟ้านิวเคลียร์ขนาดเล็กของตัวเอง

รู้คำถามเก่า แต่นี้เป็นคำถามที่ดีมากและหวังว่าฉันจะมีข้อมูลที่ดีเกี่ยวกับเรื่องไม่กี่ปีหลัง ...

ในบางครั้งเรามีเว็บไซต์ที่เกี่ยวข้องกับกิจกรรมของโรงเรียนในเครือข่ายโทรทัศน์ เนื่องจากเราดำเนินงานด้วยงบประมาณที่ จำกัด มาก "การทำโหลดบาลานซ์" เป็นวิธีแก้ปัญหา กล่อง VPS อาจมีราคาถูกในทุกวันนี้และเราแค่ทำสำเนา / ทำซ้ำเนื้อหาของเราใน 2-3 กล่อง

ดูที่นี้บทความและอ่านเกี่ยวกับ "รอบโรบิน"

ข้อมูลเพิ่มเติมเกี่ยวกับการทดสอบความเร็วในการโหลดสามารถพบได้ที่นี่

เมื่อเราเริ่มพยายามจัดการ spikes เรามีเนื้อหาของเราในกล่อง 2-3 VPS และวาง NS ในการตั้งค่านายทะเบียน

ดีที่สุดคือการมีเซิร์ฟเวอร์เฉพาะที่มีหลายคลัสเตอร์จะแก้ปัญหาของคุณ

ขอให้โชคดีเขียนเว็บไซต์ของคุณสลับผู้ให้บริการและย้ายเนื้อหาไปยัง CDN ในเวลาน้อยกว่าหนึ่งสัปดาห์

เนื่องจากคุณอาจทราบจากคำตอบอื่น ๆ สิ่งเหล่านี้เป็นสิ่งที่คุณต้องทำเพื่อให้เว็บไซต์ของคุณพร้อมสำหรับการรับส่งข้อมูลที่เพิ่มขึ้นอย่างมาก แม้ว่าหากคุณกำลังใช้งานบน 1and1.co.uk แต่คุณอาจไม่มีทีมงานวิศวกรเครือข่าย DBA นักเขียนโปรแกรมและเครื่องมือเพิ่มประสิทธิภาพส่วนหน้าที่ทำงานให้คุณ

มันไม่น่าจะเกิดขึ้นใช่ไหม?

คุณไม่ได้พูดในสิ่งที่คุณทำกับเว็บไซต์ของคุณไม่ว่าจะเป็นตะกร้าสินค้าหรือไม่ว่าจะสามารถนำไปใช้กับเนื้อหาแบบคงที่ได้หรือไม่ หากเป็นกรณีหลังคุณอาจรอดชีวิตจากเหตุการณ์สึนามิถ้าคุณทำให้ทั้งไซต์กลายเป็นไฟล์สแตติกและเผยแพร่ในเว็บไซต์ปกติ (สำรองข้อมูลเวอร์ชันปัจจุบันก่อน)

คุณควรพูดกับ 1 และ 1 (ด้วยบัตรเครดิตของคุณ)