บันทึกของฉันเต็มไปด้วยผู้เยี่ยมชมบอทซึ่งมักมาจากยุโรปตะวันออกและจีน บอทถูกระบุว่าเป็น Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou และอื่น ๆ ฉันควรบล็อกบอทเหล่านี้จากเว็บไซต์ของฉันหรือไม่
มีจุดประสงค์ใดที่ถูกต้องตามกฎหมายในการเพิ่มปริมาณการใช้ไซต์ของฉัน หลายคนมี SEO
ฉันต้องบอกว่าฉันเห็นทราฟฟิกน้อยลงหากมีสิ่งใดนับตั้งแต่บอทมาถึงเป็นจำนวนมาก
มันจะไม่ยากเกินไปที่จะบล็อกสิ่งเหล่านี้เนื่องจากพวกเขายอมรับในตัวแทนผู้ใช้ของพวกเขาว่าพวกเขาเป็นบอท
คำตอบ:
คุณสามารถบล็อกบอท แต่ขึ้นอยู่กับสิ่งที่คุณต้องการสำหรับเว็บไซต์ของคุณ
คุณสามารถบล็อกบอทของเครื่องมือค้นหาหากคุณไม่ต้องการเห็นเว็บไซต์ของคุณจัดทำดัชนีในเครื่องมือค้นหาหนึ่ง ๆ
ตัวอย่าง: ยานเดกซ์เป็นเครื่องมือค้นหาของรัสเซีย คุณสามารถบล็อกบ็อตของมันได้หากธุรกิจของคุณไม่ได้กำหนดเป้าหมายไปที่รัสเซีย
คุณสามารถบล็อกบอท SEO หากคุณไม่ต้องการใช้โซลูชันการวิเคราะห์เว็บ
ตัวอย่าง: Ahrefsเป็นโซลูชันการวิเคราะห์เว็บ คุณสามารถบล็อกบอทได้หากคุณไม่ได้ใช้โซลูชันการวิเคราะห์เว็บนี้
เหตุผลในการบล็อกบอท:
เหตุผลที่ไม่บล็อกบอท:
คุณสามารถเรียนรู้เพิ่มเติมเกี่ยวกับบอทโดยการอ่านคำถามที่พบบ่อยของ robotstxt.org
หากคุณต้องการที่จะตรวจสอบหุ่นยนต์หลายบล็อกคุณสามารถใช้แรงบันดาลใจจากเว็บไซต์นี้ robots.txt
ระวังบอทบางส่วนสามารถละเว้นrobots.txtข้อมูลเพิ่มเติมที่นี่
สรุป : คุณสามารถค้นหาฟังก์ชั่นอินเทอร์เน็ตหุ่นยนต์เพื่อตรวจสอบว่าการปิดกั้นพวกเขาจะมีประโยชน์
ในขณะที่พยายามบล็อกบ็อตสามารถช่วยในการเพิ่มทรัพยากรและล้างบันทึกของคุณเป็นสิ่งสำคัญที่จะต้องทราบว่าrobots.txtและแม้กระทั่งการใช้เมตาแท็กบนหน้าเว็บที่ noindex ไม่หยุดบอทเยี่ยมชมเว็บไซต์ของคุณ พวกเขายังสามารถรวบรวมข้อมูลเว็บไซต์ของคุณเป็นครั้งคราวเพื่อดูว่ามีการลบหุ่นยนต์ที่ถูกปฏิเสธหรือไม่ บอทจำนวนมากไม่ได้ใช้ตัวแทนผู้ใช้และจะใช้ตัวแทนผู้ใช้มาตรฐาน บอทที่ฉันอ้างถึงมักเป็นบอท SEO ที่ทำการค้นหาลิงก์ย้อนกลับและไม่ใช่บอททั่วไปที่คุณค้นหาจากเครื่องมือค้นหา
แทนที่จะบล็อกบอทคุณควรคำนึงถึงบอทเหล่านี้เมื่อทำการนับจำนวนผู้เยี่ยมชมของคุณหลังจากนั้นไม่นานในการตรวจสอบเว็บไซต์ของคุณอย่างจริงจังคุณต้องสร้างตัวเลขคร่าวๆซึ่งเป็นบอท คนส่วนใหญ่สนใจเกี่ยวกับการเข้าชมที่ไม่ซ้ำกันและกฎนี้ออกบอทเนื่องจากพวกเขากลับมาอย่างต่อเนื่อง ในยุคนี้มีเซิร์ฟเวอร์จำนวนมากโฮสติ้งที่ใช้ร่วมกันที่สามารถจัดการบอทเหล่านี้ได้นอกเหนือจากหน้าเว็บที่คุณไม่ต้องการให้มีการจัดทำดัชนีฉันไม่เห็นเหตุผลที่จะบล็อกบอทประเภทนี้ แน่นอนว่าคุณมีบอทที่เป็นอันตรายเช่นกัน แต่สิ่งเหล่านี้จะไม่ใช้ตัวแทนผู้ใช้;)
โดยส่วนตัวฉันเชื่อว่าการปิดกั้นหุ่นยนต์เป็นการเสียเวลาเนื่องจากพวกเขาไม่ได้ใช้ทรัพยากรจำนวนมากเลยหุ่นยนต์ SEO สามารถช่วยได้เนื่องจากพวกเขาทำรายการไซต์ของคุณในหน้า PR0 ซึ่งแน่นอนว่าเพิ่ม PageRank ของคุณและมีระบบอัตโนมัติเพื่อคุณจะไม่ถูกลงโทษ โดยพวกเขา.
ปัญหาบันทึก
คุณควรใช้โปรแกรมดูบันทึกที่เหมาะสมที่ช่วยให้คุณกรองคำขอบางอย่างซึ่งจะทำให้ง่ายขึ้นเมื่อตรวจสอบบันทึกของคุณ ผู้ชมที่ดีสามารถกรองสิ่งต่างๆมากมายเช่นการเข้าชมปกติยุค 404 เป็นต้นไป