ทำไม Google เครื่องมือของผู้ดูแลเว็บจึงรวบรวมข้อมูล URL ที่ไม่ถูกต้องและแสดงข้อผิดพลาด 500 ข้อ

เครื่องมือ Google Webmaster รายงานข้อผิดพลาด 12k + 500 Eeek!

ไม่มี URL ใดที่ถูกต้อง - ทั้งหมดนั้นมี www.youtube.com ก่อนอื่นเหตุใด Google จึงรวบรวมข้อมูล URL เหล่านี้หากไม่มีอยู่ ฉันส่งแผนผังไซต์และแน่นอนว่าไม่ได้อยู่ในแผนผังไซต์

ฉันไม่มี robots.txt ที่บล็อกสิ่งใด ฉันได้ตรวจสอบการเปลี่ยนเส้นทางที่ไม่ถูกต้อง - ไม่มีและตรวจสอบแท็กที่ไม่เปิดเผยหรือบางอย่างที่จะทำให้ www.youtube.com เข้าสู่ URL โดยไม่ได้ตั้งใจ - ไม่มี

ใน 'ลิงก์จาก' ทุก URL ที่อ้างอิงก็เป็น URL ที่ไม่ดีเช่นกันโดยที่ www.youtube.com อยู่ในนั้น Google Tools รายงานว่าไม่มีมัลแวร์และฉันไม่สามารถตรวจสอบบันทึกเซิร์ฟเวอร์ได้เพราะโฮสต์จะไม่ให้ฉันเข้าถึง

ติดขัดจริงๆ !! ความคิดใด ๆ ชื่นชม!

มีสาเหตุทั่วไปสองประการ (อย่างน้อย) สาเหตุที่ทำให้ URL ที่แปลกและแปลกประหลาดปรากฏขึ้นเนื่องจากข้อผิดพลาดในการรวบรวมข้อมูลในเครื่องมือของผู้ดูแลเว็บ

ความเป็นไปได้แรกคือมีคนคัดลอกหน้าของคุณ (หรือหน้าอื่น ๆ ที่เชื่อมโยงไปยังของคุณ) และ mangled ลิงก์ในกระบวนการ สิ่งนี้เกิดขึ้นบ่อยกว่าที่คุณคิด ดูเช่นคำถามที่หกในโพสต์บล็อก Google Webmasterนี้

ความเป็นไปได้อื่น ๆ ที่ Googlebot ตัวเองพยายามที่จะทำตามสิ่งที่คิดว่ามีการเชื่อมโยง JavaScript และทำให้ระเบียบของมัน โดยปกติคุณสามารถแยกสองกรณีนี้ออกจากกันโดยไปที่หน้าอ้างอิง (ซึ่งควรมีอยู่และสามารถเข้าถึงได้หาก Google จัดการเพื่อรวบรวมข้อมูลเพื่อเริ่มต้นด้วย) และค้นหาชื่อของหน้าเป้าหมายในแหล่งที่มา

ไม่ว่าจะด้วยวิธีใดก็ตามโดยทั่วไปมีสองสิ่งที่คุณสามารถทำได้: เพียงเพิกเฉยกับลิงก์หรือสร้างกฎการเขียนซ้ำขึ้นมาใหม่เพื่อลองและแมป URL ที่เสียหายไปยังสิ่งที่ใช้งานได้ หากคุณเห็นรูปแบบที่ชัดเจนใน URL และคุ้นเคยกับ regexps ฉันขอแนะนำวิธีการหลัง - มันจะล้างรายการข้อผิดพลาดในการรวบรวมข้อมูลของคุณและอาจทำให้คุณมีขนาดเล็กลง .

ตัวเลือกที่สามหากคุณพบว่ามีใครบางคนกำลังคัดลอกเนื้อหาของคุณโดยไม่ได้รับอนุญาตคือการลองและเพิกถอนเนื้อหานั้น คุณสามารถส่งคำร้องเรียน (และ / หรือคำขอลบออกอย่างเป็นทางการ) ไปยังผู้ให้บริการโฮสต์ของพวกเขาหากคุณเชื่อว่ามันเป็นธรรม ของหลักสูตรที่ได้รับว่าพวกเขาจะเห็นได้ชัดว่าการเชื่อมโยงกลับไปยังเว็บไซต์ของคุณคุณอาจไม่จำเป็นต้องพบว่ามูลค่าความพยายาม

Google กำลังจัดทำดัชนีเว็บไซต์ไม่ได้ทันทีทุกหน้าพร้อมกัน

หน้าการจัดทำดัชนีของ Google ระดับสูงสุดเป็นอันดับแรก หลังจากนั้นไม่กี่วัน Google พยายามจัดทำดัชนีให้ลึกขึ้น - หน้าเว็บระดับที่สอง (หน้าเว็บซึ่ง Google พบลิงค์ในระดับแรกของหน้า) และอื่น ๆ ด้วยวิธีนี้ Google พยายามจัดทำดัชนีแต่ละหน้าบนเว็บไซต์ ดังนั้น Google จึงสร้างแผนผังลำดับชั้นของการเชื่อมโยงและ Google รู้ว่าหน้าใดที่เชื่อมโยงกับแต่ละหน้า

จากนั้น Google ก็มาที่หน้าเว็บที่จัดทำดัชนีแต่ละหน้าหลังจากนั้นสักครู่และตรวจสอบว่าเนื้อหาในหน้านั้นเปลี่ยนไปหรือไม่ ช่วงเวลาของการจัดทำดัชนีสำหรับแต่ละหน้าและแต่ละไซต์ขึ้นอยู่กับหลายปัจจัย

ดังนั้นหากคุณลบหน้าเว็บบางหน้าและอัปเดตลิงก์ทั้งหมดไปยังหน้านี้ในหน้าอื่น ๆ ทั้งหมด - Google ไม่ทราบทันทีและจะพยายามจัดทำดัชนีหน้าเว็บที่ถูกลบเนื่องจากมีการวางแผนที่จะจัดทำดัชนีหน้าเว็บนี้ตามกำหนดเวลา