Googlebot ค้นหา URL ที่ปรากฏต่อผู้ใช้ที่ผ่านการตรวจสอบแล้วเท่านั้นได้อย่างไร

นี่คือหนึ่งในลูกค้าของฉันดำเนินการบางอย่างหลังจากลงชื่อเข้าใช้บัญชีของเขา โทเค็นที่ไม่ซ้ำกันนั้นเป็นเพียงรหัสผู้ใช้ + การประทับเวลาที่เข้ารหัส

94.254.xxx.xxx - - [02 / Jul / 2011: 22: 25: 46 +0200] "GET / some-action / unique-token-123abc HTTP / 1.1" 200 410 "-" "Mozilla / 5.0 (เข้ากันได้; MSIE 9.0; Windows NT 6.1; ตรีศูล / 5.0) "

ตอนนี้Googlebotค้นพบบางอย่างเกี่ยวกับลิงก์ที่ไม่ซ้ำกันนี้และพยายามเข้าถึง URL ที่แน่นอนในอีกหนึ่งสัปดาห์ต่อมา

66.249.71.179 - - [10 / Jul / 2011: 09: 56: 01 +0200] "GET / some-action / unique-token-123abc HTTP / 1.1" 302 - "-" "Mozilla / 5.0 (เข้ากันได้ Googlebot / 2.1; + http: //www.google.com/bot.html) "

(รหัสสถานะคือ 302 เพราะโทเค็นหมดอายุแล้ว)

ฉันขอเน้นว่านี่เป็น URL ที่ไม่ซ้ำกันซึ่งปรากฏให้เห็นเพียงครั้งเดียวเป็นเวลา 2 วินาทีก่อนที่ผู้ใช้จะคลิกและดำเนินการต่อเพื่อไปที่หน้านั้น มันไม่ได้ส่งทางอีเมลหรือเผยแพร่สู่สาธารณะ

เกิดอะไรขึ้นที่นี่เป็นไปได้อย่างไรที่ Google พบ URL ที่ไม่ซ้ำกันนี้

เป็นการยากที่จะบอกว่าแน่นอน แต่นี่เป็นสถานการณ์ที่น่าจะเกิดขึ้น:

• ผู้ใช้มีแถบเครื่องมือของเบราว์เซอร์หรือส่วนขยายที่ติดตั้งซึ่งรายงาน URL ที่เข้าชมไปยัง Google

• มีคนลิงก์ไปยัง URL นั้นและ Google พบโดยรวบรวมข้อมูลหน้าเว็บด้วยลิงก์นั้น

ฉันเพิ่งรู้ว่าผู้ใช้จะต้องพบลิงค์ขาออกในหน้ารับรองความถูกต้องนี้แล้วรั่วไหลออกมา URL ส่วนตัวเช่นRefererเมื่อคลิกผ่านไปยังเว็บไซต์อื่น ๆ นี่เป็นคำอธิบายเดียวที่เป็นไปได้และควรเห็นได้ชัดเจนตั้งแต่เริ่มต้น

เมื่อรั่วไหลออกมา URL ส่วนตัวอาจปรากฏต่อ Google ได้หลายวิธีเช่นไซต์เป้าหมายอาจเผยแพร่บันทึกการเข้าถึงของตนต่อสาธารณะ หมายเหตุ:ไม่มีลิงก์ขาออกใดที่ใช้ Google Analytics ดังนั้นนี่จึงไม่ได้ระบุว่า Googlebot กำลังใช้ URL ผู้อ้างอิงจาก Analytics

เรียนอีกครั้งบทเรียน: ไม่เคยใส่ข้อมูลที่สำคัญใน URL เว้นแต่ว่าคุณจะใช้ https ซึ่งในกรณีนี้เบราว์เซอร์จะRefererว่างเปล่า