ฉันต้องการขูดข้อมูลทั้งหมดของหน้าเว็บที่นำมาใช้โดยการเลื่อนแบบไม่มีที่สิ้นสุด รหัสหลามต่อไปนี้ใช้งานได้
for i in range(100):
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(5)
ซึ่งหมายความว่าทุกครั้งที่ฉันเลื่อนลงไปด้านล่างฉันต้องรอ 5 วินาทีซึ่งโดยทั่วไปจะเพียงพอสำหรับหน้าเพื่อโหลดเนื้อหาที่สร้างขึ้นใหม่ให้เสร็จ แต่นี่อาจไม่ได้ผลเวลา หน้าอาจโหลดเนื้อหาใหม่ภายใน 5 วินาที ฉันจะตรวจสอบได้อย่างไรว่าหน้าโหลดเนื้อหาใหม่ทุกครั้งที่เลื่อนลงหรือไม่ หากฉันสามารถตรวจจับสิ่งนี้ได้ฉันสามารถเลื่อนลงมาอีกครั้งเพื่อดูเนื้อหาเพิ่มเติมเมื่อฉันรู้ว่าเพจโหลดเสร็จแล้ว นี่คือเวลาที่มีประสิทธิภาพมากขึ้น