การตีความของตัวแทนผู้ใช้ที่ว่างเปล่า

12

ฉันจะตีความตัวแทนผู้ใช้ว่างได้อย่างไร ฉันมีรหัสการวิเคราะห์ที่กำหนดเองและรหัสนั้นจะต้องวิเคราะห์ปริมาณการใช้งานของมนุษย์เท่านั้น ฉันมีรายชื่อตัวแทนผู้ใช้ที่แสดงถึงปริมาณการใช้งานของมนุษย์และปริมาณการใช้บอต แต่ตัวแทนผู้ใช้ที่ว่างเปล่ากำลังพิสูจน์ว่าเป็นปัญหา และฉันได้รับปริมาณข้อมูลจำนวนมากด้วยตัวแทนผู้ใช้ที่ว่างเปล่าประมาณ 10%

นอกจากนี้ฉันได้สร้างทราฟฟิกมนุษย์กับรายการตัวแทนผู้ใช้ทราฟฟิกทบ็อตด้วยการวิเคราะห์บันทึกปัจจุบันของฉัน เช่นนี้ฉันอาจจะพลาดรายการจำนวนมากในนั้น มีรายชื่อตัวแทนผู้ใช้ที่ได้รับการดูแลเป็นอย่างดีซึ่งแสดงถึงทราฟฟิกของ bot หรือตรงกันข้ามรายการของตัวแทนผู้ใช้ที่แสดงถึงทราฟฟิกของมนุษย์?

— Amit Agrawal
แหล่งที่มา

1

รายการตัวแทนผู้ใช้ที่เป็นไปได้นั้นยาวอย่างไม่น่าเชื่อ ตัวอย่างเช่นดูรายการตัวแทนผู้ใช้มือถือเท่านั้นที่นี่: zytrax.com/tech/web/mobile_ids.html

— Max Vernon

เอเจนต์ผู้ใช้ว่างเปล่าค่อนข้างหายาก - คุณใช้ซอฟต์แวร์เซิร์ฟเวอร์อะไร คุณได้รับตัวแทนผู้ใช้อย่างไร คุณแน่ใจหรือว่ามันว่างเปล่าจริง ๆ หรือมีข้อผิดพลาดบางอย่างในระบบคอลเลกชันของคุณที่กำลังสร้างตัวแทนผู้ใช้เปล่า?

— Max Vernon

@ Max - ฉันแปลกใจที่ตัวแทนผู้ใช้ว่างเปล่า ฉันใช้หลอด LAMP ฉันรวบรวมตัวแทนผู้ใช้ผ่าน PHP เป็น $ _SERVER ['HTTP_USER_AGENT'] รหัสนั้นง่าย แม้ว่าฉันจะไม่สามารถลดความเป็นไปได้ทั้งหมดของตัวแทนผู้ใช้ที่มี แต่รหัสของฉันไม่สามารถรวบรวมได้หรือฐานข้อมูลปฏิเสธที่จะเก็บไว้ฉันสงสัยว่าเป็นกรณีนี้

1

หากคุณมีสิทธิ์เข้าถึงบันทึกการเข้าถึงของ Apache: ตัวแทนผู้ใช้ที่เข้าสู่ระบบนั้นว่างเปล่าหรือไม่?

บางทีคุณอาจมีมีดโกนที่เข้าถึงไซต์ของคุณ? นั่นอาจเป็นวิธีหนึ่งที่ผู้เข้าชมดูเหมือนจะไม่มี USER_AGENT

— Max Vernon

5

หากคุณต้องการวิเคราะห์เฉพาะ "ทราฟฟิกมนุษย์" ฉันจะไม่นับจำนวนสตริงตัวแทนผู้ใช้ที่ว่างเปล่าหรือหายไป จากประสบการณ์ของฉันเกือบทุกเบราว์เซอร์จะส่งหนึ่งเสมอ แม้แต่ปลั๊กอินหรือส่วนขยายความเป็นส่วนตัวส่วนใหญ่ค่อนข้างเป็นของปลอม (รวมถึง OS หรือชื่อลูกค้าอื่น ๆ ) หรือ "ปกติ" (เช่นไม่มีหมายเลขรีลีส) หรือสุ่ม (เช่นบางครั้ง FF, บางครั้ง IE สตริง) สตริง UA แต่ไม่สมบูรณ์ ทำให้เกิดปัญหากับบางเว็บไซต์ที่ใช้งานได้แม้ว่าจะไม่ใช่แนวคิดที่ดีก็ตาม)

คำของ่ายๆที่ไม่มี UA สามารถทำได้ดังนี้:

wget --user-agent="" www.example.com

ตามที่เห็นคุณสามารถเพิ่มสิ่งที่คุณต้องการ ไซต์ที่จัดเก็บและเผยแพร่ UA ที่พบว่า "ในป่า" นั้นไม่ได้ใช้ประโยชน์อย่างมากเนื่องจากพวกเขาพบว่ามีเรื่องน่าสนใจมากมาย

บางทีมีคนดึงเนื้อหาของคุณซ้ำ ๆ หรือใช้เครื่องมือ SEO บางอย่างเพื่อวิเคราะห์ไซต์ของคุณ (บางแห่งอนุญาตให้ผู้ใช้เปลี่ยนส่วนหัวได้เองส่วนผู้อื่นที่มีเจตนาไม่สนใจบรรทัด robots.txt) สิ่งที่ต้องการ ในสถานการณ์เหล่านั้นส่วนหัว UA มักแกล้งทำเพื่อซ่อนไคลเอ็นต์และวัตถุประสงค์

หากคำขอเหล่านี้เก็บไว้รอบ ๆ อย่างสม่ำเสมออาจเป็นประโยชน์ในการวิเคราะห์ส่วนหัวเพิ่มเติม (Proxies?) หรือ IPs (บล็อกบางอย่าง - ความเป็นส่วนตัวที่เกี่ยวข้องกับ บริษัท / พร็อกซี่?)

— initall
แหล่งที่มา

2

ฉันทำงานให้กับ บริษัท รักษาความปลอดภัยและเหนือสิ่งอื่นใดเราตรวจสอบปริมาณข้อมูลที่ไม่ดี

จากประสบการณ์ของฉันการเยี่ยมชมของมนุษย์โดยใช้ข้อมูลตัวแทนผู้ใช้ที่ว่างเปล่าบ่งชี้ว่ามีความพยายามในการคัดลอก / ส่งสแปม

ผู้เข้าชมเหล่านี้บางครั้งสามารถดำเนินการ JS และดังนั้นพวกเขาจะปรากฏใน GA - ยังคงปริมาณนี้ไม่ได้ทำให้พวกเขาเป็นมนุษย์ :)

ขออภัยสำหรับ "ปลั๊ก" แต่โปรดทราบว่าหากจำเป็นเราขอเสนอบริการป้องกัน Bad Bot ฟรีพร้อมกับการเร่ง CDN และสินค้าอื่น ๆ

ในกรณีเฉพาะนี้ระบบของเราจะจดจำการเข้าชมนี้ว่า "น่าสงสัย" ตรวจสอบกับเวกเตอร์การโจมตีที่รู้จักและ - หากยังไม่แน่ใจ - ดำเนินการทดสอบและความท้าทายเพิ่มเติม ความท้าทายเหล่านี้สามารถดำเนินการได้อย่างราบรื่นโดยไม่ทำให้เกิดความล่าช้าในเซสชัน

— Igal Zeifman
แหล่งที่มา

0

ซอฟต์แวร์ทุกบิตที่เข้าถึงอินเทอร์เน็ตไม่ได้รับตัวแทนผู้ใช้อย่างน่าอัศจรรย์ นักพัฒนาซอฟต์แวร์ต้องตั้งโปรแกรมการทำงานนั้นลงในซอฟต์แวร์ของตน ตัวแทนผู้ใช้ว่างเปล่าของคุณเพียงหมายความว่านักพัฒนาซอฟต์แวร์ลืมเพิ่มตัวแทนผู้ใช้ลงในซอฟต์แวร์ของพวกเขา

หรือว่าผู้ใช้เบราว์เซอร์ลบ / บล็อกสตริง UA

— UNOR

5

นี่เป็นสิ่งที่ผิด การบอกว่า "หมายถึง" หมายความว่าโดยปกติแล้วหรืออย่างน้อยก็มีเหตุผล มีคนเพียงไม่กี่คนที่ใช้ซอฟต์แวร์ http ซึ่งผู้พัฒนาซอฟต์แวร์จะข้าม UA ออกไปเพราะความเกียจคร้าน หากมีสิ่งใดที่บ่งบอกถึงแหล่งที่มาของการรับส่งข้อมูลที่ไม่ต้องการให้ระบุและมีความเกี่ยวข้องอย่างมากกับการรับส่งข้อมูลที่ประสงค์ร้าย น่าเสียดายที่บาง บริษัท ใหญ่ ๆ (Facebook) ใช้สตริงตัวแทนผู้ใช้ที่ว่างเปล่าในอดีตดังนั้นจึงไม่จำเป็นต้องปิดกั้นพวกเขาทั้งหมด

— jerclarke

1

@jeremyclarke +1 พฤติกรรมแบบนี้ไม่ควรมองข้าม! และน่าอับอายบน Facebook! หากบอทหรือเบราว์เซอร์ที่ถูกต้องต้องดูเว็บไซต์พวกเขาควรมีตัวระบุ ท้ายที่สุดพวกเขากำลังเข้าสู่ทรัพย์สินของคนอื่น การไม่มีตัวแทนผู้ใช้นั้นเปรียบได้กับการแอบเข้ามาโดยมีหน้ากากปิดบังตัวตนของพวกเขาไว้

— หนวดขาว

2

มันก็เหมือนกับคนที่มีใบหน้าของพวกเขาปกคลุมเดินไปมาข้ามทางเดินหน้าบ้านของคุณ ไม่ผิดกฎหมาย แต่ถ้าคุณไม่ตอบประตูพวกเขาไม่ควรคิดว่าคุณเป็นคนหวาดระแวง

— jerclarke

0

ฉันเห็นความคิดเห็นเล็กน้อยในคำตอบของคำถามนี้เปรียบเทียบ User-Agent เพื่อปกปิดข้อมูลประจำตัวของคุณหรือเป็นมนุษย์ นี่เป็นการเปรียบเทียบที่ไร้สาระ ตัวแทนผู้ใช้ไม่มีส่วนเกี่ยวข้องกับตัวตนหรือความเป็นมนุษย์

คิดว่ามันเหมือนรองเท้า คุณกำลังขอให้ผู้เยี่ยมชมของคุณสิ่งที่พวกเขาสวมใส่รองเท้าประเภทก่อนที่จะให้พวกเขาสิ่งต่อไปนี้การใช้งานทั่วไปส่วนใหญ่คือการรู้ว่าคุณต้องปูพรมแบบไหนพรมแดงที่ดีสำหรับรองเท้าที่สะอาด รองเท้าบูทและไม่มีพรมสำหรับผู้เยี่ยมชมที่เป็นพรมที่แพ้

เมื่อผู้เยี่ยมชมไม่ต้องการบอกว่าพวกเขามีรองเท้าอะไร (aka. User-Agent เปล่า) คุณจะไม่สนใจพวกเขา

ใช่มีแนวปฏิบัติที่ดีมากมายที่พยายามสมมติสิ่งต่าง ๆ เกี่ยวกับคำขอเว็บโดยอิงจาก User-Agent และข้อมูลส่วนหัวคำขออื่น ๆ พวกเขาอาจทำงานได้ดีถึง 99% ของเวลา แต่เช่นเดียวกับแนวทางปฏิบัติอื่น ๆ ที่คล้ายคลึงกันพวกเขามีแนวโน้มที่จะเป็นเท็จบวกและเป็นอันตรายต่อผู้ใช้ที่ไม่รู้ตัว

เมื่อพบปัญหาในการใช้ User-Agent ที่ว่างเปล่าตัวเองฉันสามารถพูดได้ว่ามันไม่สนุกเมื่อเว็บเซอร์วิสปฏิบัติกับคุณแตกต่างกันเพียงเพราะคุณไม่คิดที่จะบอกเกี่ยวกับรองเท้าของคุณ

— Deantwo
แหล่งที่มา