Robots.txt - CSS อนุญาตหรือไม่อนุญาต

CSS และเทมเพลตได้รับอนุญาตในrobots.txtหรือไม่

มันควรจะทำให้เกิดปัญหาใด ๆ

ใน Joomla, CSS และแม่ไม่ได้รับอนุญาตในrobots.txt โปรดช่วยฉันหาวิธีแก้ไขว่าจะไม่อนุญาตให้ใช้ในหุ่นยนต์สำหรับ CSS, แม่แบบและอื่น ๆ สำหรับเว็บไซต์ที่กำลังจะมาถึงของฉันหรือไม่

css robots.txt

— จอร์จแมนจู
แหล่งที่มา

ฉันไม่คิดว่า Joomla จะบล็อกไฟล์เหล่านี้ตามค่าเริ่มต้น - หากคุณหมายถึงอะไร

— MrWhite

คำตอบ:

Google มีการปรับปรุงมากเมื่อเร็ว ๆ นี้แนวทางของพวกเขาให้กับรัฐอย่างเป็นทางการว่าคุณไม่ควรปิดกั้นการเข้าถึง CSS หรือ JS ไฟล์ในrobots.txt สิ่งนี้ช่วยให้มั่นใจได้ว่าเมื่อ Google รวบรวมข้อมูลเว็บไซต์ก็สามารถแสดงผลได้อย่างที่เบราว์เซอร์ต้องการ

หากคุณบล็อกไฟล์ CSS หรือ JS อาจเป็นอันตรายต่อเว็บไซต์ของคุณในการจัดอันดับ

ข้อมูลเพิ่มเติมที่นี่: การอัปเดตหลักเกณฑ์ผู้ดูแลเว็บด้านเทคนิคของเราและที่นี่: หลักเกณฑ์สำหรับเว็บมาสเตอร์

เช่นนี้เป็นข้อเสนอแนะที่ผ่านมาเว็บไซต์จำนวนมากและของ CMS (เช่น Joomla) มักจะได้ไฟล์ดังกล่าวถูกบล็อกในrobots.txt เหตุผลที่อยู่เบื้องหลังนี้คือมักจะว่าเครื่องมือค้นหาไม่จำเป็นต้องมีการรวบรวมข้อมูลหรือดัชนีไฟล์เหล่านี้เพื่อที่จะหยุดไฟล์ที่ไม่จำเป็นและไดเรกทอรีจากการจัดทำดัชนีและเพื่อประหยัดงบประมาณการรวบรวมข้อมูล 'เหล่านี้มักจะถูกบล็อกในrobots.txt

— แม็กซ์
แหล่งที่มา

Google ได้พูดมานานแล้วว่าคุณไม่ควรบล็อก JS และ CSS (วิดีโอ Matt Cutts ตั้งแต่เดือนมีนาคม 2012) เพราะอาจเป็นอันตรายต่อความสามารถของ G ในการรวบรวมข้อมูลเว็บไซต์ของคุณ แต่เป็นเพียงสิ่งที่พวกเขาทำให้ "เป็นทางการมากขึ้น"

— MrWhite

แนะนำว่าอย่าบล็อก CSS และ JS มานานกว่าทศวรรษ ฉันรู้ว่าการแสดงผลโดยเครื่องมือค้นหาดูเหมือนใหม่ แต่ไม่ใช่และการแสดงผลบางรูปแบบรวมถึง JS แบบง่ายมีอยู่เป็นเวลานานแล้ว

— Closnoc

หมายเหตุเพิ่มเติม (ค่อนข้างเกี่ยวข้องเนื่องจากมักใช้กับ JS) - ในส่วนที่เกี่ยวกับตัวควบคุมใด ๆ ที่ทำให้สามารถเข้าถึงเส้นทางผ่านชุดรูปแบบ / มุมมอง / JSON / URi - คุณควรปิดกั้นสิ่งเหล่านั้นหรือคุณอาจเผชิญกับพื้นที่ที่ไม่มีธีม ข้อมูลแง่มุม นี่คือพื้นที่ของ "มุมมอง" ที่ถูกต้องในการบล็อกโดยเฉพาะสิ่งที่ JS ใช้เช่น JSON บ่อยครั้งที่ G จะเรียกใช้ JS ดูลิงก์ JSON และเข้าชม ทำให้เกิดข้อผิดพลาดหรือหากธีมมีอยู่แล้วดัชนีที่สร้างขึ้นครึ่งหนึ่ง เป็น can-o-worms ใหม่ทั้งหมด แต่เพิ่งทราบ

— dhaupin

ฉันรู้สึกว่าถูกบังคับให้แสดงความไม่เห็นด้วยอย่างมากกับทัศนคติลัทธิขนส่งสินค้าที่สิ่งที่ Google พูดเราต้องทำ Google ยังกล่าวว่าเว็บไซต์ของคุณจะอยู่ในอันดับที่สูงขึ้นหากคุณอนุญาตให้พวกเขารวบรวมข้อมูลภาพใช้ HTTPS เป็นต้นโดยการปฏิบัติตามทุกสิ่งที่ Google กล่าวว่าคุณเพียงแค่ส่งพลังให้กับพวกเขาเพื่อสนองความต้องการที่มากขึ้น ในตอนท้ายของการสร้างเว็บไซต์ของคุณสำหรับคนหรือหุ่นยนต์?

— คำถามล้นเมื่อ

คิดว่ามันขึ้นอยู่กับว่าคุณพึ่งพาอันดับที่ดีใน Google มากแค่ไหน? แม้ว่าจะชอบสิ่งต่าง ๆ ส่วนใหญ่ตัวบ่งชี้ขนาดเล็กเท่านั้นมีปัจจัยจำนวนมากที่มี อย่างที่คุณพูดถึงพวกเขาเพิ่งกล่าวว่า HTTPs เป็นปัจจัยการจัดอันดับเล็ก ๆ แต่ฉันไม่ได้เปลี่ยนเว็บไซต์ใด ๆ จาก 100 เว็บไซต์ที่ฉันใช้เป็น HTTP และการจัดอันดับของเว็บไซต์นั้นก็ดี

— สูงสุด

กลยุทธ์สำหรับrobots.txtของคุณควรตอบคำถามเสมอ: ส่วนใดของเว็บของฉันที่ต้องไม่ถูกตระเวนโดยหุ่นยนต์และหุ่นยนต์ส่วนใดที่อาจถูกรวบรวมข้อมูล

หุ่นยนต์ใช้ตรรกะของตัวเองและมีวัตถุประสงค์หลายอย่าง (ไม่เพียง แต่ Google มีซอฟต์แวร์รวบรวมข้อมูล ... ) ดังนั้นหากคุณสมมติว่าหุ่นยนต์ได้รับ "เสียสมาธิ" โดยไฟล์ CSS และ JS ของคุณคุณเปิดกล่องดำของหุ่นยนต์และสมมติว่าอะไรปัจจุบันการดำเนินงานและปัจจุบันความตั้งใจของหุ่นยนต์คือ นี่ไม่ใช่กลยุทธ์ระยะยาวที่มีประโยชน์

แทนที่จะคิดในโดเมนของโรบอตลองคิดในโดเมนเนื้อหาของเว็บของคุณ

ฉันต้องการชี้ให้เห็นว่าไฟล์robots.txtไม่มีกลไกความปลอดภัย

— saintedlama
แหล่งที่มา

เทมเพลตถูกใช้โดยแอปพลิเคชันบล็อกหรือซอฟต์แวร์การจัดการเนื้อหา (CMS) และไม่ควรเข้าถึงได้จากภายนอกซึ่งเบราว์เซอร์และเครื่องมือค้นหาจะอ่าน CSS และควรอ่าน ต้องบอกว่าฉันจะไม่ปิดกั้นอย่างใดอย่างหนึ่ง แต่ฉันจะไม่เปลี่ยนแปลงใด ๆ ที่เป็นโดย CMS เครื่องมือค้นหาและบอทไม่สนใจแม่แบบของคุณ เพียงปิดกั้นการเข้าถึงเว็บไซต์ของคุณด้วย URL / URI ที่คุณไม่ต้องการให้จัดทำดัชนีหรืออ่าน แต่อย่าคิดว่า robots.txt เป็นเครื่องมือรักษาความปลอดภัย มันไม่ได้ออกแบบมาสำหรับสิ่งนั้น

— closetnoc
แหล่งที่มา