การป้องกันโรบอตไม่ให้รวบรวมข้อมูลบางส่วนของหน้า

ในฐานะผู้ดูแลเว็บของเว็บไซต์เล็ก ๆ ที่มีฟอรัมฉันได้รับการร้องเรียนจากผู้ใช้เป็นประจำว่าทั้งเครื่องมือค้นหาภายในและการค้นหาภายนอก (เช่นเมื่อใช้ Google) นั้นเต็มไปด้วยลายเซ็นของผู้ใช้ของฉัน ลายเซ็นและนั่นเป็นส่วนหนึ่งของประสบการณ์ของฟอรั่มเพราะลายเซ็นมีความหมายอย่างมากในฟอรัมของฉัน)

โดยพื้นฐานแล้วฉันเห็นสองตัวเลือก ณ ตอนนี้:

1. การแสดงผลลายเซ็นเป็นภาพและเมื่อผู้ใช้คลิกที่ "ภาพลายเซ็น" มันจะถูกนำไปที่หน้าเว็บที่มีลายเซ็นจริง (พร้อมลิงค์ในลายเซ็น ฯลฯ ) และหน้านั้นถูกตั้งค่าว่าไม่สามารถรวบรวมข้อมูลได้โดยการค้นหา แมงมุมเครื่องยนต์) สิ่งนี้จะใช้แบนด์วิดท์บางส่วนและต้องใช้งานบางอย่าง (เพราะฉันต้องการตัวแสดง HTML ที่สร้างภาพ ฯลฯ ) แต่แน่นอนว่ามันจะแก้ปัญหาได้ ผู้ใช้ แต่ผู้ใช้ของฉันมีความคิดสร้างสรรค์มากกับลายเซ็นของพวกเขาต่อไปโดยใช้แบบอักษรที่กำหนดเอง / สี / ขนาด ฯลฯ ดังนั้นจึงไม่เป็นปัญหามากนัก)

2. ทำเครื่องหมายทุกส่วนของหน้าเว็บที่มีลายเซ็นว่าไม่สามารถรวบรวมข้อมูลได้

อย่างไรก็ตามฉันไม่แน่ใจในภายหลัง: นี่เป็นสิ่งที่สามารถทำได้หรือไม่ คุณสามารถทำเครื่องหมายเฉพาะบางส่วนของหน้าเว็บว่าไม่สามารถรวบรวมข้อมูลได้หรือไม่

นี่คือคำตอบเดียวกับที่ฉันให้กับแท็ก noindex สำหรับ googleใน Stack Overflow:

คุณสามารถป้องกัน Google ไม่ให้เห็นบางส่วนของหน้าได้โดยใส่ส่วนเหล่านั้นไว้ใน iframe ที่ถูกปิดกั้นโดย robots.txt

robots.txt

Disallow: /iframes/

index.html

This text is crawlable, but now you'll see 
text that search engines can't see:
<iframe src="/iframes/hidden.html" width="100%" height=300 scrolling=no>

/iframes/hidden.html

Search engines cannot see this text.

แทนที่จะใช้ iframes คุณสามารถโหลดเนื้อหาของไฟล์ที่ซ่อนอยู่โดยใช้ AJAX นี่คือตัวอย่างที่ใช้ ajax jquery เพื่อทำ:

his text is crawlable, but now you'll see 
text that search engines can't see:
<div id="hidden"></div>
<script>
    $.get(
        "/iframes/hidden.html",
        function(data){$('#hidden').html(data)},
    );
</script>

อีกวิธีหนึ่งคือการตัด sig ในช่วงหรือ div ด้วยสไตล์ที่ตั้งไว้display:noneแล้วใช้ Javascript เพื่อนำออกไปเพื่อให้ข้อความแสดงสำหรับเบราว์เซอร์ที่มี Javascript เครื่องมือค้นหารู้ว่ามันจะไม่ถูกแสดงดังนั้นไม่ควรสร้างดัชนี

HTML, CSS และ javascript นี้ควรทำ:

HTML:

<span class="sig">signature goes here</span>

CSS:

.sig {
display:none;
}

javascript:

<script type="text/javascript"> 
$(document).ready(function()
  {
      $(".sig").show();
  }
</script>

คุณจะต้องมีห้องสมุดjquery

ฉันมีปัญหาที่คล้ายกันฉันแก้ไขด้วย CSS แต่ก็สามารถทำได้ด้วย javascript และ jquery ด้วย

1 - ฉันสร้างคลาสที่ฉันจะเรียก " disallowed-for-crawlers" และวางคลาสนั้นในทุกสิ่งที่ฉันไม่ต้องการให้ Google บอทเห็นหรือวางไว้ในช่วงที่มีคลาสนั้น

2 - ใน CSS หลักของหน้าฉันจะมีสิ่งที่ชอบ

.disallowed-for-crawlers {
    display:none;
}

3- สร้างไฟล์ CSS ชื่อ disallow.css และเพิ่มเข้าไปใน robots.txt ที่จะไม่อนุญาตให้ทำการรวบรวมข้อมูลดังนั้นโปรแกรมรวบรวมข้อมูลจะไม่เข้าถึงไฟล์นั้น แต่เพิ่มเป็นข้อมูลอ้างอิงไปยังหน้าเว็บของคุณหลังจาก css หลัก

4- disallow.cssฉันใส่รหัส:

.disallowed-for-crawlers {
    display:block !important;
}

คุณสามารถเล่นกับ javascript หรือ css ฉันเพิ่งใช้ประโยชน์จากการไม่อนุญาตและคลาส css :) หวังว่าจะช่วยใครซักคน

วิธีหนึ่งในการทำเช่นนี้คือการใช้รูปภาพของข้อความแทนที่จะเป็นข้อความธรรมดา

เป็นไปได้ว่าในที่สุด Google จะฉลาดพอที่จะอ่านข้อความออกจากรูปภาพดังนั้นจึงอาจไม่สามารถพิสูจน์ได้อย่างสมบูรณ์ในอนาคต แต่ก็ควรใช้งานได้ดีอย่างน้อยในตอนนี้

มีข้อเสียมากมายกับวิธีนี้ หากบุคคลมีความบกพร่องทางสายตามันไม่ดี หากคุณต้องการให้เนื้อหาของคุณปรับให้เข้ากับอุปกรณ์พกพาเทียบกับคอมพิวเตอร์เดสก์ท็อปก็ไม่ดี (และอื่น ๆ )

แต่มันเป็นวิธีการที่ใช้งานอยู่ในปัจจุบัน

มันง่ายมาก

ก่อนที่คุณจะให้บริการหน้าเว็บของคุณคุณต้องรู้ว่ามันเป็นบอตคอมพิวเตอร์หรือโทรศัพท์ จากนั้นคุณต้องตั้งค่าเนื้อหาให้เหมาะสม นี่คือการปฏิบัติมาตรฐานในวันนี้และอายุและฟังก์ชั่นหลักของ CMS บางส่วน

มีวิธีแก้ไขปัญหามากมายสำหรับ SE สำหรับการเปลี่ยนเส้นทางจาก USER AGENT ซึ่งสามารถใส่ใน htaccess ของคุณได้ หากสิ่งนี้เหมาะสมกับซอฟต์แวร์ฟอรัมของคุณคุณสามารถเรียกใช้รหัสอื่นจากฐานข้อมูลเดียวกันเพื่อส่งมอบสิ่งที่ Google ต้องการโดยไม่ต้องมีแกลบและการตัดแต่ง

หรือคุณสามารถวางบรรทัดเล็ก ๆ ในโค้ด PHP ของคุณซึ่งจะเป็น 'ถ้า USER AGENT == Googlebot ไม่ต้องแสดงลายเซ็น'

หากคุณไม่สามารถทำเช่นนั้นได้คุณจะได้รับ mod_proxy เพื่อให้บริการบอทและใช้ในการตัดสิ่งที่รหัส php ของคุณสร้างขึ้นซึ่งบอทไม่จำเป็นต้องดู

ในทางเทคนิคแล้ว Google ไม่เห็นด้วยกับเครื่องมือค้นหาของพวกเขาที่จะแสดงหน้าเว็บที่แตกต่างจากที่ผู้เข้าชมเว็บไซต์ทั่วไปเห็น แต่จนถึงวันนี้พวกเขาไม่ได้นำ BBC และอื่น ๆ ที่ให้เนื้อหาของเบราว์เซอร์ / IP / ผู้เข้าชม . พวกเขายังมีวิธี จำกัด เช่นกันเพื่อดูว่าบอทของพวกเขาถูก 'หลอก' หรือไม่

โซลูชันทางเลือกของการซ่อนเนื้อหาด้วย CSS เพื่อให้เปิดใช้งานอีกครั้งโดยสคริปต์ก็เป็นบิตของพื้นที่สีเทา ตามหลักเกณฑ์ของเครื่องมือผู้ดูแลเว็บของตนเองที่ 20/6/11 นี่ไม่ใช่ความคิดที่ดี:

http://www.google.com/support/webmasters/bin/answer.py?answer=66353

นั่นอาจไม่ใช่แท็บเล็ตที่นำแสดงโดยหิน แต่เป็นรุ่นล่าสุดและโดย Google

เคล็ดลับการซ่อนเนื้อหาจะไม่ทำงานกับคนส่วนน้อยที่ไม่มี javascript ซึ่งอาจเป็นเรื่องที่น่ากังวลอย่างมากอย่างไรก็ตามการรอให้เอกสารโหลดแล้วการแสดงลายเซ็นจะไม่เป็นประสบการณ์การรับชมที่น่าพอใจอย่างที่คุณต้องการ คิดว่าหน้าโหลดแล้วมันจะกระโดดขึ้นเมื่อลายเซ็นที่ซ่อนอยู่ปรากฏขึ้นแล้วกดเนื้อหาลงหน้า การโหลดหน้าเว็บประเภทนี้อาจทำให้คุณหงุดหงิดหากคุณมี net-end ระดับล่าง แต่อาจไม่สังเกตเห็นได้หากคุณมีนักพัฒนาเครื่องที่รวดเร็วในการเชื่อมต่ออินเทอร์เน็ตที่รวดเร็ว

ไม่ไม่มีวิธีที่จะป้องกันไม่ให้โรบอตรวบรวมข้อมูลบางส่วนของหน้าเว็บ มันเป็นทั้งหน้าหรือเปล่า

ตัวอย่างข้อมูลในผลการค้นหาของ Google มักมาจากคำอธิบายเมตาบนหน้าเว็บ ดังนั้นคุณสามารถทำให้ Google แสดงส่วนที่เฉพาะเจาะจงของหน้าโดยวางไว้ในแท็กคำอธิบายเมตา ด้วยเนื้อหาที่ผู้ใช้สร้างขึ้นเป็นเรื่องยากที่จะได้รับตัวอย่างที่ดี แต่การโพสต์ข้อความแรกของเธรดอาจทำงานได้

วิธีเดียวที่ฉันคิดได้ก็คือการใช้ Javascript บางอย่างเช่น paulmorriss ที่แนะนำอาจใช้งานได้ แต่ฉันคิดว่าเครื่องมือค้นหาจะยังคงจัดทำดัชนีเนื้อหาหากอยู่ในรูปแบบ HTML คุณสามารถลบออกจาก HTML เก็บไว้ในสตริง Javascript จากนั้นเพิ่มกลับไปที่โหลดหน้า มันค่อนข้างซับซ้อนเล็กน้อย

ในที่สุดสิ่งหนึ่งที่ควรทราบ: หาก Google กำลังแสดงลายเซ็นของผู้ใช้ในตัวอย่างของพวกเขาได้ตัดสินใจว่ามันเป็นส่วนที่เกี่ยวข้องกับการค้นหาของผู้ใช้มากที่สุด

คุณสามารถใส่เพจใน PHP ถ้ามี "else" ที่นำไปสู่ ​​captcha ที่ให้คีย์สำหรับ if if

ฉันไม่สนใจเพราะถ้าข้อมูลรับรองผู้ใช้ไม่ตรงกันในหน้าของฉันพวกเขาจะได้รับหน้าว่างหรือถูกส่งไปยังหน้าเข้าสู่ระบบ

<?php
session_start();

if(empty($_SESSION['captcha']) or $_SESSION['captcha'] != $key){
    header("Location: captcha.php");
}

if(!empty($_SESSION['captcha']) and $_SESSION['captcha'] == $key){

"the page"

}
?>

$key ควรเป็นแฮชของวันปัจจุบันหรือสิ่งที่เปลี่ยนแปลงดังนั้นจึงไม่เพียงพอที่จะเพิ่มมูลค่าให้กับเซสชัน

เขียนความคิดเห็นหากคุณต้องการให้ฉันเพิ่มตัวอย่าง captcha เพราะฉันไม่ได้มีหนึ่งกับฉันตอนนี้

เห็นได้ชัดว่า <! - googleoff: all -> และ <! - googleon: all -> ทำสิ่งที่คุณต้องการ

อ่านเพิ่มเติมhttps://www.google.com/support/enterprise/static/gsa/docs/admin/70/gsa_doc_set/admin_crawl/preparing.html#1076243

https://perishablepress.com/tell-google-to-not-index-certain-parts-of-your-page/