Google จัดการเพื่อรวบรวมข้อมูลหน้าเว็บ 403 ของฉันได้อย่างไร

ฉันมีไฟล์ส่วนตัวสองไฟล์ในไดเรกทอรีในโฟลเดอร์โรงเรียน คุณจะเห็นว่าไฟล์มีอยู่โดยไปที่ myschool.edu/myusername/myfolder แต่พยายามเข้าถึงไฟล์ด้วยตัวเองผ่านทาง myschool.edu/myusername/myfolder/myfile.html จะส่งกลับข้อผิดพลาด 403

และ Google ก็จัดการคว้าเนื้อหาของไฟล์ส่วนตัวเหล่านั้นและเก็บไว้ในแคชได้! เป็นไปได้อย่างไร? [ฉันได้ลบไฟล์เหล่านั้นไปแล้วดังนั้นฉันแค่อยากรู้ว่า Google จัดการกับสิ่งนี้ได้อย่างไร]

สาเหตุที่เป็นไปได้มากที่สุดคือหน้าจะไม่ส่งคืนส่วนหัว 403

คุณสามารถตรวจสอบว่าใช้แถบเครื่องมือนักพัฒนาเว็บใน Firefox หรือ Chrome เครื่องมือนี้อยู่ภายใต้ "ข้อมูล" -> "ดูส่วนหัวการตอบสนอง"

นอกจากนี้วิธีที่ฉันสร้างหน้าข้อผิดพลาดคือ:

1. ฉันสร้างหน้าข้อผิดพลาดแบบหลอกๆ สมมติว่า403.php
2. ฉันสร้างหน้าข้อผิดพลาดจริง ยกตัวอย่างเช่นerror403.php
3. ในหน้าข้อผิดพลาดจำลองฉันใส่รหัสต่อไปนี้: <?php header("Location: /error403.php",TRUE,301); ?>

4. ใน. htaccess ของฉันฉันใส่สิ่งต่อไปนี้:

   Options -Indexes

   ErrorDocument 403 /403.php

นี่เป็นการเพิ่มการเปลี่ยนเส้นทางทั้งหมดในวิธีที่เหมาะสมและทำให้ฉันแน่ใจว่าฉันได้รับน้ำผลไม้จากหน้าแสดงข้อผิดพลาดของฉัน

สิ่งนี้สามารถขยายออกไปได้อย่างยอดเยี่ยมหากเว็บไซต์ของคุณมีเครื่องมือค้นหาที่ใช้คำขอ GET