Google จัดทำดัชนีที่อยู่ของเว็บไซต์โดยไม่ตั้งใจ ฉันทำอะไรตอนนี้?

ฉันสร้างเว็บไซต์ให้เพื่อนของฉันและเขาต้องการที่จะเห็นความคืบหน้าของฉันเมื่อฉันทำงานบนเว็บไซต์ดังนั้นฉันจึงตัดสินใจที่จะวางเว็บไซต์บนเซิร์ฟเวอร์บนคอมพิวเตอร์ของฉันและเปิดใช้งานการเข้าถึงด้วยชื่อโดเมนที่ลงทะเบียนกับฉัน .

ปรากฎว่าฉันลืมที่จะตั้งค่าrobots.txtไฟล์สำหรับเว็บไซต์และ Google จัดทำดัชนีเว็บไซต์อย่างใด

คำถามของฉันคือฉันจะทำอะไรตอนนี้

ดังที่ฉันเข้าใจแล้ว Google ไม่ชอบเนื้อหาที่ซ้ำกันและเพื่อนของฉันอาจมีปัญหาเมื่อฉันอัปโหลดเว็บไซต์ใหม่ไปยังเซิร์ฟเวอร์ของเขา

ตอนนี้เว็บไซต์ปัจจุบันของเขาซึ่งมีเพียงหน้างานที่กำลังดำเนินการอยู่เป็นอันดับแรกใน Google เมื่อค้นหาคำหลักที่เกี่ยวข้องและฉันไม่ต้องการทำลายสิ่งนั้นจริงๆ

มีอะไรอีกที่ฉันต้องกังวล?

เพิ่มไฟล์ robots.txt ไปยังเซิร์ฟเวอร์ของคุณจากนั้นขอให้หน้าถูกลบออกจากดัชนีของ Google โดยใช้ Google Webmaster Tools จากนั้นคุณควรตั้งค่าการเปลี่ยนเส้นทาง 301 ไปยังเว็บไซต์ใหม่เมื่อเว็บไซต์นั้นเผยแพร่

1) บล็อกไซต์ที่คุณใช้งานอยู่ทันทีโดยใช้ robots.txt

2) ในเว็บไซต์การพัฒนาให้ใช้canonical URLเพื่อชี้ไปยังไซต์ใหม่เพื่อให้ไซต์ได้รับเครดิตสำหรับเนื้อหา พวกเขาทำงานข้ามโดเมน เมตาแท็กนี้อาจช่วยได้เช่นกัน

3) หลังจากที่คุณเปิดใช้งาน 301 การเปลี่ยนเส้นทางจากเว็บไซต์การพัฒนาไปยังเว็บไซต์ใหม่เพื่อให้ Google รู้ว่าหน้าเหล่านั้นได้ย้ายไปยัง URL ใหม่

ในอนาคตคุณควรตั้งค่าBasic Authentication ใน ApacheหรือIISสำหรับหน้าทดสอบ สิ่งนี้จะไม่เพียงป้องกันการจัดทำดัชนี (แม้จะมาจากสไปเดอร์ที่ไม่เคารพrobots.txt) แต่จะป้องกันไม่ให้ผู้ใช้สุ่มไปที่เว็บไซต์ของคุณและดูสิ่งที่คุณไม่ต้องการให้เป็นแบบสาธารณะ

ลบหน้าหรือเว็บไซต์ออกจากผลการค้นหาของ Google - http://www.google.com/support/webmasters/bin/answer.py?answer=164734&hl=th