ตัวแทนผู้ใช้ในเบราว์เซอร์ปกติมี 'bot' หรือ 'crawl' หรือไม่

ตัวแทนผู้ใช้ในเบราว์เซอร์ปกติมี 'bot' หรือ 'crawl' หรือไม่

ฉันจะตรวจสอบตัวแทนผู้ใช้บนเว็บไซต์ของฉันเพื่อดูว่ามันมาจากบอทหรือไม่ หากเป็นเช่นนั้นฉันสามารถเพิ่มประสิทธิภาพเล็กน้อยได้เนื่องจากไม่ได้ลงชื่อเข้าใช้ (ฉันไม่เปลี่ยนเนื้อหาเลย)

หลังจากเพิ่มเช็คสำหรับ 30-40+ บอทฉันเริ่มเบื่อแล้ว ดังนั้นฉันจึงสงสัยว่าการตรวจสอบว่ามันประกอบด้วย 'bot' หรือ 'crawl' หรือไม่ ฉันรู้ว่าจะไม่ได้บอททั้งหมด แต่มันจะได้รับจำนวนมาก แต่ถ้านั่นอาจทำให้เกิดผลบวกปลอม ๆ มันจะทำให้ความสามารถในการสั่งซื้อสั่งซื้อและเข้าสู่ระบบโดยสิ้นเชิง

ตามรายการที่http://www.useragentstring.com/pages/useragentstring.php?typ=Browserด้วยสายอักขระตัวแทนผู้ใช้มากกว่า 9000 รายการจากเบราว์เซอร์ต่างๆ:

• 0 สตริงตัวแทนผู้ใช้ของเบราว์เซอร์มีคำว่า "bot"
• 2 สตริงตัวแทนผู้ใช้ของเบราว์เซอร์มีคำว่า "ตระเวน"
• 0 สายอักขระตัวแทนผู้ใช้ของเบราว์เซอร์มีคำว่า "spider"

(2 ซึ่งมี "crawl" มีดังต่อไปนี้: "Mozilla / 4.0 (เข้ากันได้; MSIE 5.01; Windows NT 5.0; YComp 5.0.2.6; MSIECrawler)" และ "Mozilla / 4.0 (เข้ากันได้; MSIE 5.01; Windows NT 5.0; MSIECrawler ) "ฉันคิดว่ามันปลอดภัยที่จะไม่พิจารณาสิ่งเหล่านั้น)

ตามรายการที่http://www.useragentstring.com/pages/useragentstring.php?typ=Crawlerด้วยสตริงตัวแทนของผู้ใช้ 442 รายการที่แสดงเป็นบอท:

• สตริงตัวแทนบอท 208 รายการมีคำว่า "bot"
• 63 สตริงเอเจนต์ผู้ใช้ของบอตประกอบด้วยคำว่า "crawl"
• 37 สตริงตัวแทนผู้ใช้ของบอทมีคำว่า "spider"
• 282 สตริงตัวแทนผู้ใช้ของบอตประกอบด้วย "bot", "crawl" หรือ "spider"

ข้อสรุปของฉัน: มันปลอดภัยที่จะกรองบ็อตโดยสตริงตัวแทนผู้ใช้ด้วยคำว่า "bot", "crawl" และ "spider" มันไม่ได้เป็นกระสุน แต่ดีกว่าไม่มีอะไรแน่นอน

หมายเหตุ: เมื่อค้นหาคำหลักฉันใช้การค้นหาแบบตัวพิมพ์เล็กและใหญ่

ทางออกที่ดีกว่า IMO คือการตรวจสอบว่าผู้ใช้ลงชื่อเข้าใช้หรือไม่ถ้าไม่ใช่ให้แสดงหน้ามาตรฐาน (อาจเป็นแคช) เว็บสไปเดอร์ใด ๆ จะไม่เข้าสู่ระบบ แต่ถ้าคุณเพิ่มประสิทธิภาพสำหรับพวกเขาทำไมไม่สำหรับผู้ใช้ใหม่ในเว็บไซต์ของคุณ?

คำถามจาก Stack Overflow ควรช่วย: " มีฐานข้อมูลตัวแทนผู้ใช้ออนไลน์หรือไม่ "

คุณสามารถสแกนฐานข้อมูลได้อย่างรวดเร็วและค้นหา (หรือนำเข้า)