คำถามติดแท็ก robots.txt

ใน robots.txt ฉันสามารถเขียน URL สัมพัทธ์ต่อไปนี้สำหรับไฟล์ sitemap ได้หรือไม่ sitemap: /sitemap.ashx หรือฉันจะต้องใช้ URL ที่สมบูรณ์ (แน่นอน) สำหรับไฟล์ sitemap เช่น: sitemap: http://subdomain.domain.com/sitemap.ashx ทำไมฉันสงสัย: ฉันเป็นเจ้าของบล็อกบริการใหม่ www.domain.com ซึ่งอนุญาตให้ผู้ใช้บล็อกบน accountname.domain.com ฉันใช้ไวด์การ์ดดังนั้นโดเมนย่อย (บัญชี) ทั้งหมดชี้ไปที่: "blog.domain.com" ใน blog.domain.com ฉันวาง robots.txt เพื่อให้เครื่องมือค้นหาค้นหาแผนผังไซต์ แต่เนื่องจาก wildcard บัญชีผู้ใช้ทั้งหมดแชร์ไฟล์ robots.txt เดียวกันด้วยเหตุนี้ฉันจึงไม่สามารถใช้ทางเลือกที่สองได้ และตอนนี้ฉันไม่สามารถใช้ url rewrite สำหรับไฟล์ txt ได้ (ฉันเดาว่า IIS รุ่นใหม่กว่าสามารถจัดการกับสิ่งนี้ได้)

191 seo  sitemap  robots.txt 

robots.txtเครื่องมือของผู้ดูแลเว็บของฉันใน Google แสดงค่าต่อไปนี้: User-agent: * Allow: / หมายความว่าอย่างไร? ฉันไม่มีความรู้เพียงพอจึงขอความช่วยเหลือจากคุณ ฉันต้องการอนุญาตให้โรบ็อตทั้งหมดรวบรวมข้อมูลเว็บไซต์ของฉันการกำหนดค่านี้ถูกต้องหรือไม่

116 robots.txt 

มีวิธีแก้ปัญหาที่ชาญฉลาดในการจัดเก็บไฟล์แบบคงที่ในไดเรกทอรีรากของแอปพลิเคชันของ Flask คาดว่าจะพบ robots.txt และ sitemap.xml ใน / ดังนั้นความคิดของฉันคือการสร้างเส้นทางสำหรับพวกเขา: @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response = make_response(open('sitemap.xml').read()) response.headers["Content-type"] = "text/plain" return response ต้องมีอะไรที่สะดวกกว่านี้ :)

94 python  flask  static  mod-wsgi  robots.txt