ไซต์ตรวจจับบอทหลังพร็อกซีหรือเครือข่าย บริษัท ได้อย่างไร

เว็บไซต์ขนาดใหญ่ (เช่น Wikipedia) จัดการกับบอทที่อยู่เบื้องหลัง IP masker อื่น ๆ อย่างไร ตัวอย่างเช่นในมหาวิทยาลัยของฉันทุกคนค้นหา Wikipedia ทำให้มันเป็นภาระที่สำคัญ แต่เท่าที่ฉันรู้ Wikipedia สามารถรู้ได้แค่ IP ของเราเตอร์ของมหาวิทยาลัยเท่านั้นดังนั้นถ้าฉันตั้งค่าบอท "unleashed" (ด้วยความล่าช้าเพียงเล็กน้อยระหว่างการร้องขอ) Wikipedia สามารถห้ามบอทของฉันได้โดยไม่ต้องห้ามทั้งองค์กร ไซต์จะห้าม IP จริง ๆ หลังเครือข่ายองค์กรได้หรือไม่

ไม่พวกเขาจะแบนไอพีสาธารณะและทุกคนที่เป็น NAT จะเป็นไอพีนั้นก็จะถูกแบนเช่นกัน

แม้ว่าอย่างน้อยที่กองซ้อนถ้าเราคิดว่าเรากำลังจะสั่งห้ามวิทยาลัยหรืออะไรทำนองนั้นเราจะติดต่อผู้ที่ละเมิดของพวกเขาเพื่อให้พวกเขาติดตามผู้กระทำผิดและหยุดปัญหา

ไซต์ไม่สามารถแบน IP โดยตรงซึ่งอยู่หลัง NAT มันสามารถดำเนินการกับ IP ที่ส่งผ่านพร็อกซี HTTP ที่ไม่เปิดเผยชื่อ - เมื่อพร็อกซีดังกล่าวส่งต่อคำร้องขอโดยทั่วไปจะผนวกที่อยู่นั้นไว้ที่ส่วนหัว X-Forwarded-For ดังนั้นหากการเข้าถึงจากเครือข่ายส่วนตัวของคุณต้องผ่าน พร็อกซี IP ภายในอาจถูกเปิดเผย อย่างไรก็ตามไซต์ส่วนใหญ่ (รวมอยู่ในวิกิพีเดีย) จะไม่เชื่อถือข้อมูลในส่วนหัวนั้นเพราะมันง่ายที่จะหลอกให้มีความเกี่ยวข้องกับ IP บริสุทธิ์หรือหลบเลี่ยงแบนเรย์แบน

มีเทคนิคอื่น ๆ ที่พยายามระบุผู้ใช้โดยไม่ขึ้นกับที่อยู่ IP คุณสามารถสอบถามเว็บเบราว์เซอร์สำหรับข้อมูลมากมายเกี่ยวกับมันและระบบที่กำลังทำงานอยู่เช่นตัวแทนผู้ใช้ความละเอียดหน้าจอรายการปลั๊กอิน ฯลฯ - ดูhttps://github.com/carlo/jquery- เบราว์เซอร์ลายนิ้วมือสำหรับตัวอย่างนี้ในทางปฏิบัติ คุณสามารถใช้ลายนิ้วมือดังกล่าวเพื่อควบคุมการเข้าถึงแม้ว่าคุณจะสามารถโต้ตอบกับมันได้โดยไม่ต้องอาศัยกระบวนการลายนิ้วมือและแม้ว่าคุณจะไม่สามารถบอตสามารถให้ข้อมูลปลอมและสุ่มเพื่อหลีกเลี่ยงการ ลายนิ้วมือที่สอดคล้องกันหากคุณตระหนักถึงการป้องกันชนิดนี้อยู่ในสถานที่ วิธีการควบคุมนี้ยังมีความเสี่ยงของผลบวกที่ผิดพลาดโดยเฉพาะอย่างยิ่งเมื่อมันมาถึงอุปกรณ์มือถือซึ่งอาจมีลูกค้าจำนวนมากที่ใช้ไคลเอ็นต์หุ้นที่เหมือนกันบนฮาร์ดแวร์หุ้นที่เหมือนกัน (คนส่วนใหญ่บน iPhone รุ่นที่ใช้ iOS ตัวอย่างเช่นอาจจะได้รับลายนิ้วมือเดียวกัน)

โดยทั่วไปที่อยู่ IP จะมีข้อมูลไม่เพียงพอสำหรับการแบนที่ถูกต้อง ดังนั้นเครือข่ายขั้นสูงจึงทำงานกับเครือข่ายได้สูงขึ้น

การโจมตี Denial of Service (DoS) (ซึ่งคุณเป็นห่วงเกี่ยวกับการสร้าง) มักจะถูกจัดการโดยอัตราที่ จำกัด การตั้งค่าการเชื่อมต่อ TCP เริ่มต้น ซึ่งหมายความว่าผู้ใช้ที่ถูกกฎหมายที่เต็มใจรอจะได้รับในขณะที่ผู้ที่พยายามใช้ทรัพยากรเซิร์ฟเวอร์จะชะลอตัวจนถึงจุดที่ไม่เป็นอันตราย นี่คือจุดที่ DoS พัฒนาไปสู่การโจมตีแบบกระจาย DoS (DDoS)

เมื่อคุณมีการเชื่อมต่อกับเซิร์ฟเวอร์คุณสามารถร้องขอได้มากเท่าที่คุณต้องการการบริหารเว็บเซิร์ฟเวอร์สามารถกำหนดจำนวนการร้องขอที่จะจัดการ

เว็บเซิร์ฟเวอร์อาจรองรับความจุได้มากกว่าเกตเวย์เครือข่ายท้องถิ่นของคุณอย่างไรก็ตามนั่นอาจเป็นปัจจัย จำกัด ในการใช้งานของคุณ ฉันจะเดิมพันผู้ดูแลระบบเครือข่ายมหาวิทยาลัยของคุณจะมาเคาะประตูก่อนที่ Wikipedia จะทำ

สิ่งสำคัญคือการเป็นพลเมืองอินเทอร์เน็ตที่ดีดังนั้นฉันจะเพิ่มอัตราการ จำกัด รหัสให้บอท

ควรที่จะชี้ให้เห็นว่า Wikipedia เสนอการถ่ายโอนข้อมูลเพื่อให้การสืบค้นเว็บไซต์ไม่จำเป็นจริงๆ