2
Googlebot ค้นหา URL ที่ปรากฏต่อผู้ใช้ที่ผ่านการตรวจสอบแล้วเท่านั้นได้อย่างไร
นี่คือหนึ่งในลูกค้าของฉันดำเนินการบางอย่างหลังจากลงชื่อเข้าใช้บัญชีของเขา โทเค็นที่ไม่ซ้ำกันนั้นเป็นเพียงรหัสผู้ใช้ + การประทับเวลาที่เข้ารหัส 94.254.xxx.xxx - - [02 / Jul / 2011: 22: 25: 46 +0200] "GET / some-action / unique-token-123abc HTTP / 1.1" 200 410 "-" "Mozilla / 5.0 (เข้ากันได้; MSIE 9.0; Windows NT 6.1; ตรีศูล / 5.0) " ตอนนี้Googlebotค้นพบบางอย่างเกี่ยวกับลิงก์ที่ไม่ซ้ำกันนี้และพยายามเข้าถึง URL ที่แน่นอนในอีกหนึ่งสัปดาห์ต่อมา 66.249.71.179 - - [10 / Jul / …