มีบางหน้าในเว็บไซต์ของฉันที่ฉันต้องการให้ผู้ใช้สามารถเข้าชมได้ก็ต่อเมื่อฉันให้ URL แก่เขา / เธอ
หากฉันไม่อนุญาตให้มีหน้าเว็บเดียวในหน้าrobots.txtพวกเขาจะมองเห็นได้โดยใครก็ตามที่เข้าไปดู
คำถามของฉันคือ: ถ้าฉันไม่เชื่อมโยงพวกเขาจากที่ใดก็ได้หรืออย่างน้อยจากหน้าเว็บที่จัดทำดัชนีใด ๆ พวกเขาจะยังคงเข้าถึงโปรแกรมรวบรวมข้อมูลได้หรือไม่?
คำตอบ:
คุณไม่ต้องการให้หน้าเว็บปรากฏใน SERP เลย ...
อย่าไม่อนุญาตใน robots.txt เพิ่มเมตาแท็ก noindex (หรือส่วนหัว X-Robots-Tag HTTP) ให้กับหน้าเว็บของคุณแทน
ตามที่ j0k แนะนำคุณอาจพบหน้าเว็บของคุณได้ รายงานสถิติรายชื่อไดเรกทอรี ฯลฯ ...
การไม่อนุญาตใน robots.txt จะป้องกันไม่ให้มีการรวบรวมข้อมูลหน้า แต่ก็ยังสามารถจัดทำดัชนีและอาจปรากฏเป็นลิงค์ URL อย่างเดียวใน SERP สิ่งที่ต้องการ:
เมตาแท็ก noindex ป้องกันไม่ให้หน้าปรากฏใน SERPs แต่ Google จะต้องสามารถรวบรวมข้อมูลหน้าเพื่อดูเมตาแท็ก noindex ดังนั้นจึงไม่สามารถไม่อนุญาตใน robots.txt!
หากมีสิ่งใดในหน้าเว็บที่ต้องไม่เปิดเผยต่อสาธารณะหน้านั้นจะต้องมีการรับรองความถูกต้องบางอย่าง
ฉันคิดว่าคุณมีซอฟต์แวร์รวบรวมข้อมูลที่ดีที่อ่าน robots.txt และปฏิบัติตามคำสั่ง และอีกอันที่ไม่ทำตามคำสั่ง
และคุณวางแผนจะให้ URL นี้อย่างไร ทางอีเมลโดยใช้ Facebook หรือ Twitter? บริการเหล่านี้รวบรวมข้อมูลข้อมูลที่คุณส่ง Gmail แยกอีเมลที่คุณได้รับเพื่อให้โฆษณา ดังนั้น URL ของคุณจะถูกตระเวน
บางคนใช้ Google Toolbar (หรือแถบเครื่องมืออื่นจากเครื่องมือค้นหา) มีตัวเลือก (ตรวจสอบโดยค่าเริ่มต้นถ้าฉันจำได้ดี) ที่อนุญาตให้แถบเครื่องมือส่ง URL ทั้งหมดที่คุณเยี่ยมชมไปยัง Google นี่เป็นอีกวิธีหนึ่งที่ Google จะได้เห็นเว็บที่ซ่อนอยู่ ดังนั้นแม้ว่าคุณจะบอกให้บุคคลนั้นไม่แบ่งปัน URL ก็ตามเขา / เธอก็จะ (โดยใช้แถบเครื่องมือ)
ฉันคิดว่าเราสามารถพบความเป็นไปได้อื่น ๆ อีกมากมาย
ดังนั้นคุณอาจเพิ่มไปยัง robots.txt แต่ยังมีเมตาเพิ่มเติมเช่น noindex, nofollow, ฯลฯ
แก้ไข:
คำแนะนำของ w3d เกี่ยวกับ robots.txt นั้นดูดีสำหรับฉัน ดังนั้นอย่าเพิ่มลงใน robots.txt และให้เมตาแท็ก propre
นอกเหนือจากความคิดเห็นข้างต้นแล้วฉันจะแนะนำให้ใช้การรับรองความถูกต้อง HTACCESS เป็นอย่างน้อยเช่นกันคุณสามารถมอบชื่อผู้ใช้ / รหัสผ่านแบบผสมให้กับบุคคลในช่วงระยะเวลาที่ได้รับสิทธิ์ของพวกเขาเพื่อดูหน้าเว็บ
หากมีสิ่งใดที่มีปัญหาความเป็นส่วนตัวคุณต้องพิจารณาสคริปต์ควบคุมการเข้าสู่ระบบที่เหมาะสม
หน้าเว็บที่ไม่มีการป้องกัน (ไม่ว่าคุณจะคิดว่าซ่อนไว้ดีแค่ไหนก็ตาม) ก็จะทำให้มันกลายเป็นความบ้าคลั่ง