ฉันมีโดเมนย่อยซึ่งฉันไม่ต้องการให้แสดงไว้ในผลลัพธ์ของเครื่องมือค้นหาใด ๆ สมมติว่าฉันมี:
http://www.example.comhttp://child.example.com
ฉันจะซ่อนURL ทั้งหมดของchild.example.comโดเมนที่กำลังแสดงอยู่ในผลลัพธ์ของเครื่องมือค้นหาได้อย่างไร
ฉันมีโดเมนย่อยซึ่งฉันไม่ต้องการให้แสดงไว้ในผลลัพธ์ของเครื่องมือค้นหาใด ๆ สมมติว่าฉันมี:
http://www.example.comhttp://child.example.comฉันจะซ่อนURL ทั้งหมดของchild.example.comโดเมนที่กำลังแสดงอยู่ในผลลัพธ์ของเครื่องมือค้นหาได้อย่างไร
คำตอบ:
ในรูทของไดเรกทอรีของเว็บไซต์ย่อยให้เพิ่มไฟล์ชื่อ robots.txt ที่มี:
User-agent: *
Disallow: /
สิ่งนี้จะบอกให้โปรแกรมรวบรวมข้อมูลเว็บไม่ทำดัชนีเว็บไซต์เลย พวกเขาไม่ต้องเชื่อฟัง แต่หลัก ๆ จะ
noindexดัชนีและหน้าอื่น ๆ ในโดเมนย่อย
การใช้ไฟล์ robots.txt ในโดเมนย่อยของคุณจะช่วยได้ (และ Google จะเชื่อฟังสิ่งนี้) แต่ขั้นตอนอื่นที่คุณสามารถทำได้คือการระบุด้วยบัญชีผู้ดูแลเว็บของ Google ที่คุณไม่ต้องการให้มีการสร้างดัชนีโดเมนย่อย คุณยังสามารถใช้เมตาแท็กในทุกหน้าในโดเมนย่อย:
<meta name="robots" content="noindex">
หากนี่เป็นไซต์ที่คุณใช้สำหรับการทดสอบภายในเท่านั้นการ จำกัด การมองเห็นชุดของที่อยู่ IP ที่ระบุในไฟล์โฮสต์เสมือนของคุณจะซ่อนไซต์ต่อไป
metaแท็กnoindex ในทุกหน้าคุณสามารถส่งคืนX-Robots-Tagส่วนหัวการตอบกลับHTTP จากเซิร์ฟเวอร์ของคุณสำหรับโดเมนย่อยที่ระบุซึ่งคุณต้องทำเพียงครั้งเดียว
โซลูชันจาก Kenzo และ Paul ดีคุณสามารถใส่เมตาแท็ก noindex บนหน้าเว็บของคุณและเพิ่ม robots.txt เพื่อไม่อนุญาตให้โรบอต
แต่ในความคิดของฉันทางออกที่ดีที่สุดคือการใช้การรับรองความถูกต้องรหัสผ่านในโดเมนย่อยของคุณ นี่เป็นทางออกเดียวที่คุณมั่นใจว่าหุ่นยนต์สามารถเข้าถึงและจัดทำดัชนีเว็บไซต์ของคุณได้ หากคุณใช้ Apache คุณสามารถใช้htpasswdได้
... กำลังแสดงผล SEO อยู่หรือไม่?
คำตอบอื่น ๆ เพิ่มเติมเกี่ยวกับการป้องกันการสร้างดัชนีของโดเมน (ย่อย) (ซึ่งส่วนใหญ่เป็นสิ่งที่คุณถามในคำถาม) แทนที่จะลบหน้าเว็บของคุณออกจากผลการค้นหาซึ่งอาจเป็นสิ่งที่คุณเป็นหลังจากตัดสินโดย คุณคำถามอื่น ๆ
คุณยังต้องปิดกั้นเว็บไซต์ของคุณในrobots.txtและแสดงแท็กnoindex meta (หรือX-Robots-Tagส่วนหัวตอบกลับ HTTP) ตามที่ระบุไว้ในคำตอบอื่น ๆ แต่คุณต้องปิดกั้นการเข้าถึงหน้าเว็บของคุณโดยส่งคืนรหัสสถานะ 404 หรือ 410
คุณสามารถอ่านเพิ่มเติมเกี่ยวกับสิ่งนี้ได้ในหน้าความช่วยเหลือของ Google Webmaster Tools:
ข้อกำหนดสำหรับการลบเนื้อหา
เมื่อคุณมีสิ่งเหล่านี้แล้วคุณสามารถใช้เครื่องมือลบ URLใน Google Webmaster Tools อย่างไรก็ตามสิ่งนี้ใช้ได้กับ URL แต่ละรายการไม่ใช่ทั้งไซต์ แต่เป็นการเริ่มต้น (Google ระบุว่าการใช้ robots.txt, noindex และการให้บริการ 404 เป็นข้อกำหนดในการใช้เครื่องมือลบ GWT)
อย่างไรก็ตามหากคุณยังต้องการให้ผู้ใช้ทั่วไปสามารถเข้าถึงไซต์ได้โดยพิมพ์ URL แสดงว่าเป็นปัญหาเนื่องจากเนื้อหาของคุณไม่สามารถใช้งานได้อีกต่อไป คุณสามารถรหัสผ่านได้ตามที่ Zistoloen แนะนำอย่างไรก็ตามสิ่งนี้จะคืนค่า 403 (ถูกห้าม) โดยค่าเริ่มต้นซึ่งคุณจะต้องแทนที่เพื่อส่งคืน 404/410 คุณสามารถปิดบังเนื้อหาของคุณคืนค่า 410 ให้แก่ Googlebot และอนุญาตให้ทุกคนเข้ามา - แต่ผู้คนคลิกที่ผลลัพธ์ใน SERP
แต่ถ้าคุณต้องการให้ Google ลบเนื้อหาของคุณในเวลาที่เร็วที่สุดคุณต้องลบออกจากอินเทอร์เน็ต "Google"