Googlebot ส่งคำขอนับพันไปยังที่ตั้งแผนที่ของเราและใช้โควต้า API

เรามีหน้าตัวระบุตำแหน่งร้านค้าบนเว็บไซต์ของลูกค้าของเรา ผู้ใช้ปลายทางป้อนรหัสไปรษณีย์และรัศมีการค้นหาและเราแสดงผลลัพธ์บน Google Map

เมื่อเร็ว ๆ นี้เราได้เริ่มสังเกตเห็นว่าไซต์ดังกล่าวมีขีด จำกัด การค้นหาแผนที่ฟรี (ประมาณ 25,000 ต่อ 24 ชั่วโมง) โดยไม่มีการเพิ่มขึ้นของปริมาณการใช้โดยรวม ฉันเปิดการบันทึกเพิ่มเติมเพื่อลองค้นหาว่าปัญหาคืออะไร

ปรากฎว่า Googlebot ผลักดันผ่านการค้นหานับพันบนแผนที่นี้ นี่คือตัวอย่างเล็ก ๆ :

2017-07-09 23: 56: 22,719 [7] INFO ShopLanding - [กระทู้ 41] Google Maps: การค้นหา G23 ได้รับตกลงจาก 66.249.66.221
2017-07-09 23: 56: 35,469 [7] INFO ShopLanding - [กระทู้ 10] Google Maps: การค้นหา CA6 ได้รับ OK จาก 66.249.66.221
2017-07-09 23: 57: 24,563 [7] INFO ShopLanding - [กระทู้ 48] Google Maps: การค้นหา BN14 ได้รับตกลงจาก 66.249.66.223
2017-07-09 23: 58: 00,970 [7] INFO ShopLanding - [กระทู้ 42] Google Maps: การค้นหา CB4 ได้รับตกลงจาก 66.249.66.221
2017-07-09 23: 58: 13,064 [7] INFO ShopLanding - [กระทู้ 54] Google Maps: ค้นหา DY9 ได้รับ OK จาก 66.249.66.221
2017-07-09 23: 59: 18,722 [7] INFO ShopLanding - [Thread 59] Google Maps: การค้นหา TS3 ได้รับตกลงจาก 66.249.66.223
2017-07-09 23: 59: 53,223 [7] INFO ShopLanding - [Thread 49] Google Maps: การค้นหา S45 ได้รับตกลงจาก 66.249.66.221

มีวิธีที่ฉันสามารถหยุด Google จากการผลักดันผ่านคำขอจำนวนมากหรือไม่? นี่คือการกินสัดส่วนที่สำคัญของค่าเผื่อฟรี การค้นหาที่ถูกกฎหมายดูเหมือนว่าจะต่ำกว่าประมาณ 200 ต่อวัน

แก้ไข

เว็บไซต์ถูกสร้างขึ้นบน C # ASP.NET การค้นหาร้านค้าใช้ POST URL จะไม่เปลี่ยนแปลงเมื่อส่ง ฉันสามารถโพสต์ตัวอย่างของบันทึก IIS ในเช้าวันพรุ่งนี้เพื่อยืนยันพฤติกรรมนี้

web-crawlers google-maps

— Burgi
แหล่งที่มา

รายการที่ Googlebot ค้นหานั้นมีความหมายใด ๆ หรือไม่ "G23" และ "CA6" ไม่ได้มีความหมายอะไรกับฉัน Googlebot มักจะไม่ส่งข้อมูลแบบสุ่มไปยังแบบฟอร์ม โดยทั่วไปแล้วจะรวบรวมข้อมูลตัวเลือกแบบหล่นลงข้อมูลที่กรอกไว้ล่วงหน้าหรือลิงก์แบบสอบถาม คุณค่าเหล่านั้นในเว็บไซต์อยู่ที่ไหนสักแห่งเป็นรายการหรือไม่? นอกจากนี้ URL ของคุณมีลักษณะอย่างไรสำหรับคำขอเหล่านี้

— Stephen Ostermiller

@StephenOstermiller เป็นรหัสไปรษณีย์ของสหราชอาณาจักรบางส่วนโดยเฉพาะรหัสประจำอำเภอ สิ่งเหล่านี้ควรเป็นPOSTคำขอสำหรับ AJAX ฉันจะตรวจสอบบันทึก IIS ว่า

— Burgi

นอกเหนือจาก: "การค้นหาแผนที่ฟรี" คืออะไร

— MrWhite

@SamWeaver IP แก้ไขตามที่ Google bot และรายการบันทึก IIS ที่เกี่ยวข้องมี Googlebot UserAgent เป็นที่ยอมรับทั้งสองอย่างนี้สามารถปลอมแปลงได้

— Burgi

ที่ตั้งร้านค้าของคุณใช้สตริงแบบสอบถาม (คำขอ GET) หรือไม่ โครงสร้าง URL คร่าวๆของหน้าตัวระบุตำแหน่งร้านค้าของคุณมีการเปลี่ยนแปลง (สตริงการสืบค้น) กับการค้นหาผู้ใช้หรือไม่ หากคุณสามารถอธิบายรายละเอียดด้านการใช้งาน / เทคโนโลยีได้มากกว่านี้ก็สามารถตอบได้อย่างมีประสิทธิภาพยิ่งขึ้น

— TopQnA

หากต้องการหยุดไม่ให้ Googlebot ค้นหาผ่าน googlemaps ให้ใส่ชื่อไฟล์robots.txtในรูทของโดเมนของคุณ เช่นhttps://www.wikipedia.org/robots.txt

robots.txt ตัวอย่าง:

User-agent: Googlebot
Disallow: /search-store/

โดยที่ / search-store / เป็นหน้าเว็บที่ส่งคำขอไปยัง Google แผนที่

หากเป็นอย่างอื่นที่ไม่ใช่ Googlebot คุณสามารถลองปิดการรวบรวมข้อมูลทั้งหมดในหน้านี้ด้วย:

User-agent: *
Disallow: /search-store/

โปรดทราบว่าจะไม่หยุดสคริปต์ที่ทำงานผิดปกติที่ไม่สนใจ robots.txt

— satibel
แหล่งที่มา

โปรดทราบว่าคุณไม่ต้องการให้ Google และเครื่องมือค้นหาอื่น ๆ แยกหน้าเหล่านี้ออกไป!

— Ari Davidow

ฉันไม่แน่ใจว่าการบล็อกทั้งร้านค้าค้นหาเป็นตัวเลือกที่ถูกต้องหรือไม่เราอาจต้องเข้าใจสตริงข้อความค้นหาเป็นต้นความหมายให้ Google อ่าน แต่อย่าส่งคำขอมากเกินไป การบล็อกร้านค้าค้นหาทั้งหมดควรเป็นตัวเลือกสุดท้าย

— TopQnA

อัตราการค้นหาที่ จำกัด อาจเป็นตัวเลือกอื่นสมมติว่าหลังจากการค้นหา 25 ครั้งคุณต้องทำให้เย็นลงเป็นเวลาหนึ่งชั่วโมงระหว่างการค้นหาแต่ละครั้ง มันจะหยุดบ็อตและคนชั่วร้าย แต่ไม่ใช่ผู้ใช้ทั่วไป

— satibel

หากหน้านั้นเป็นเพียงการค้นหาที่ตั้งของร้านค้าฉันสงสัยว่ามันจะมีประโยชน์หากมีการจัดทำดัชนีไว้ตั้งแต่แรก มันจะขึ้นอยู่กับโครงสร้างของเว็บไซต์ นอกจากนี้ robots.txt ยังง่ายกว่า / เร็วกว่า (ถูกกว่า) เพื่อนำไปใช้แก้ไขได้อย่างรวดเร็วกว่าการ จำกัด อัตราชั่วโมง @TopQnA

— satibel

ดีที่ตั้งร้านค้าเป็นสิ่งสำคัญมากสำหรับผู้ใช้และผู้คนส่วนใหญ่ค้นหาร้านค้าที่มีการอ้างอิงถึงสถานที่ใน Google และถ้าร้านค้าผู้ค้าสามารถสร้างแผนที่ที่มีข้อมูลที่เป็นประโยชน์กับ URL ที่ไม่ซ้ำกันสำหรับแต่ละร้านค้า ผู้ใช้งาน. และนี่คือสาเหตุที่การบล็อกควรเป็นตัวเลือกสุดท้าย

— TopQnA