Google Preview เชื่อฟัง Robots.txt หรือไม่


11

เพราะแน่นอนว่าดูเหมือนว่ามันจะ สำหรับเว็บไซต์ของฉันเราไม่อนุญาตไดเรกทอรีรูปภาพและตัวอย่างคือรูปภาพที่หายไปทั้งหมดซึ่งทำให้เว็บไซต์ดูสกปรก

เป็นกรณีนี้หรือไม่และมีวิธีการอนุญาตให้เฉพาะบอทตัวอย่างเพื่อเข้าถึงรูปภาพโดยใช้ robots.txt หรือไม่

แก้ไข:ดูเหมือนว่าตัวอย่างที่มีการสร้างขึ้นทั้งโดย Google Bot ปกติและโดยในบอทันทีดูตัวอย่างเว็บ Google เป็นที่กล่าวถึง (สั้น ๆ ) บนบล็อกศูนย์กลางผู้ดูแลเว็บ

โดยการใช้เว็บไซต์: ค้นหาและซอฟต์แวร์การตรวจสอบของฉันฉันสามารถเห็นเมื่อบอตเข้ามาที่เว็บไซต์ของฉันและเมื่อสิ่งนี้เกิดขึ้นภาพก็ปรากฏขึ้นได้ดีในตัวอย่าง ดังนั้นฉันเดาว่าโปรแกรมรวบรวมข้อมูลทั่วไปจะข้ามภาพต่อ robots.txt แต่โปรแกรมรวบรวมข้อมูลตัวอย่างได้รับรูปภาพอยู่แล้ว

การใช้งานนี้ดูเหมือนจะเป็นสิ่งที่เลวร้ายเพราะตัวเลือกของฉันดูเหมือนจะเป็น:

  1. อนุญาตให้ Google bot รวบรวมข้อมูลภาพของฉัน (ซึ่งฉันไม่ต้องการ)
  2. ใช้แท็ก nosnippet ซึ่งบล็อกการแสดงตัวอย่าง แต่ยังมีตัวอย่าง (ซึ่งฉันไม่ต้องการที่จะทำ)
  3. ปล่อยให้ตัวอย่างที่ไม่ชัดเจนปรากฏซึ่งอาจส่งผลเสียต่อการคลิกผ่าน

หากเป็นเพียงเรื่องของการไม่มีการจัดทำดัชนีรูปภาพคุณสามารถอนุญาตให้รวบรวมข้อมูล แต่ให้บริการรูปภาพด้วยส่วนหัว HTTP x-robots-tag HTTP ด้วย "noindex"
John Mueller

@John Mueller ดูเหมือนว่านี่คือคำตอบ ทำไมไม่โพสต์ไว้ในส่วนคำตอบ?
plntxt

คำตอบ:


3

ฉันคิดว่า John Mueller มีความคิดเห็นที่ถูกต้อง

หากเป็นเพียงเรื่องของการไม่มีการจัดทำดัชนีรูปภาพคุณสามารถอนุญาตให้รวบรวมข้อมูล แต่ให้บริการรูปภาพด้วยส่วนหัว HTTP x-robots-tag HTTP ด้วย "noindex"

ฉันไม่ทราบว่าคุณสามารถอนุญาตให้ Google รวบรวมข้อมูลเนื้อหาที่ไม่มีการจัดทำดัชนี ฉันวางเทคนิคของเขาไว้และรอให้คลานเพื่อดูว่ามันทำงานได้หรือไม่

ฉันจะยอมรับสิ่งนี้เป็นคำตอบในอีกไม่กี่วันเว้นแต่ว่า John ต้องการเพิ่มความคิดเห็นของเขาในส่วนคำตอบเพื่อที่เขาจะได้รับตัวแทน


ขออภัยเกี่ยวกับคำตอบความคิดเห็น :) สิ่งหนึ่งที่ต้องจำไว้คือกระบวนการนี้ไม่ได้รวดเร็วอย่างแท้จริงในขณะนี้ การเปลี่ยนสถานะการจัดทำดัชนีของรูปภาพโดยทั่วไปจะช้ากว่าการค้นหาผ่านเว็บและการอัปเดตรูปภาพตัวอย่างอาจใช้เวลานานกว่าการอัปเดตเนื้อหาการค้นหาเว็บปกติ (หน้าแคชชื่อหัวเรื่องตัวอย่าง) ในทางปฏิบัติฉันคิดว่านี่เป็นสิ่งที่จะใช้เวลาเป็นสัปดาห์เพื่อให้คุณเห็นการเปลี่ยนแปลงใด ๆ - ดังนั้นจงอดทน :)
John Mueller

ความอดทนเป็นกุญแจสำคัญ หลายสัปดาห์ที่ผ่านมาจากการเปลี่ยนแปลงภาพบางภาพสามารถมองเห็นได้ในขณะที่ยังคงหายไป แต่นี่ดูเหมือนจะเป็นทางออกของปัญหาของฉัน
plntxt

2

เนื่องจากโปรแกรมรวบรวมข้อมูลส่วนใหญ่ทำโดยโปรแกรมรวบรวมข้อมูลของ Google การบล็อกการรวบรวมข้อมูลในบางส่วนของเว็บไซต์ของคุณจะส่งผลกระทบต่อตัวอย่าง ...

ทำไมคุณไม่ต้องการอนุญาตให้บอทของ Google รวบรวมข้อมูลภาพของคุณ?


2
เราใช้เวลาและเงินจำนวนมากในการลงทุนการถ่ายภาพผลิตภัณฑ์และเราต้องการป้องกันไม่ให้ภาพของเราค้นหาภาพเนื่องจากผู้ที่ใช้การค้นหารูปภาพมักจะค้นหารูปภาพและไม่ต้องการซื้อผลิตภัณฑ์ หากภาพของเราอยู่ในดัชนีมันจะทำให้ง่ายขึ้นสำหรับคู่แข่งที่จะขโมยมัน
plntxt

1
คุณสามารถลองลายน้ำภาพของคุณและ / หรือ Steganography ลิขสิทธิ์ภายในและ / หรือตัวกรองการแสดงผลโดยการอ้างอิง ...
Pascal Qyy

1
@G Qyy หรือฉันสามารถจ่ายลิงไม่ จำกัด จำนวนเพื่อสแกนเว็บเพื่อดูภาพที่มีลิขสิทธิ์
plntxt

@Jim: หรือคุณสามารถเก็บภาพที่มีค่าของคุณลงบนกระดาษและไม่เคยใส่มันลงในอินเทอร์เน็ต ... ^^
Pascal Qyy

1
ข้อดี: ไม่มีสิ่งใดสามารถปกป้องรูปภาพของคุณได้อย่างสมบูรณ์ แต่ฉันไม่ต้องการให้มีไว้ในดัชนีของ Google ฉันไม่ใช่แฟนตัวยงของลายน้ำและวิธีลดค่าใช้จ่ายที่มีประสิทธิภาพที่สุดในการลดขนาดรูปภาพของเราในที่อื่นคือป้องกันไม่ให้ภาพติดดัชนี
plntxt

2

ต่อไปนี้เป็นโซลูชันทางเทคนิคที่อาจจะใช่หรือไม่ใช่เพียงแค่ใช้กับไซต์ของคุณเท่านั้น

เป็นไปได้ (เป็นไปได้ว่า Google จะออกมาด้วยวิธีการเพียงไม่กี่คำใน meta data หรือ robots.txt แต่จนถึงตอนนี้ ....


ขั้นตอนที่ 1.

สร้างบริการการเปลี่ยนเส้นทาง / servlet สำหรับภาพหน้าแรก

เช่น URL เช่น

/frontpageimages/[image name]

ที่เปลี่ยนฝั่งเซิร์ฟเวอร์ไป

/images/[image name]

ขั้นตอนที่ 2.

ให้ลิงค์รูปภาพทั้งหมดในหน้าแรกของคุณ (และเฉพาะหน้าแรกเท่านั้น) เขียนใหม่เพื่อให้ผ่านบริการการเปลี่ยนเส้นทางจากขั้นตอนที่ 1 แทนที่จะเชื่อมโยงไปยังรูปภาพโดยตรง

ขั้นตอนที่ 3

ตรวจสอบให้แน่ใจว่า robots.txt อนุญาตให้ Googlebot รวบรวมข้อมูล /frontpageimages/


สิ่งนี้ควรตรวจสอบให้แน่ใจว่า Google สามารถรวบรวมข้อมูลภาพใด ๆ ที่พบในหน้าแรกของคุณในขณะที่ทิ้งรูปภาพไว้ในหน้าอื่น ๆ เพียงอย่างเดียว

ในขณะที่บริการการเปลี่ยนเส้นทางสามารถใช้ในการรวบรวมข้อมูลรูปภาพของคุณโดยไม่ละเมิด robots.txt ทางเทคนิคแต่ไม่ใช่สิ่งที่โรบอตทำงานได้ดี (เช่น googlebot) และหุ่นยนต์ที่ประพฤติไม่ดีจะไม่ต้องกังวลกับ robots.txt


ใครต้องการให้หน้าแรกแสดงตัวอย่างเท่านั้น ฉันรู้ว่าฉันต้องการให้ทุกหน้าแสดงตัวอย่างที่ดี หากคุณทำสิ่งนี้กับทุก ๆ หน้าคุณจะต้องมองข้ามจุดประสงค์ของการบล็อกรูปภาพตั้งแต่แรก
John Conde

@John คุณพูดถูก ในกรณีนี้คุณต้องการให้ Google จัดทำดัชนีคุณหรือไม่
กริช
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.