Python Selenium เข้าถึงซอร์ส HTML

ฉันจะรับซอร์สHTMLในตัวแปรโดยใช้โมดูลซีลีเนียมกับ Python ได้อย่างไร

ฉันต้องการทำสิ่งนี้:

from selenium import webdriver

browser = webdriver.Firefox()
browser.get("http://example.com")
if "whatever" in html_source:
    # Do something
else:
    # Do something else

ฉันจะทำเช่นนี้ได้อย่างไร? ฉันไม่รู้วิธีเข้าถึงซอร์ส HTML

คุณต้องเข้าถึงpage_sourceคุณสมบัติ:

from selenium import webdriver

browser = webdriver.Firefox()
browser.get("http://example.com")

html_source = browser.page_source
if "whatever" in html_source:
    # do something
else:
    # do something else

ด้วย Selenium2Library คุณสามารถใช้ได้ get_source()

import Selenium2Library
s = Selenium2Library.Selenium2Library()
s.open_browser("localhost:7080", "firefox")
source = s.get_source()

driver.page_sourceจะช่วยให้คุณได้รับซอร์สโค้ดของเพจ คุณสามารถตรวจสอบได้ว่ามีข้อความอยู่ในแหล่งที่มาของหน้าหรือไม่

from selenium import webdriver
driver = webdriver.Firefox()
driver.get("some url")
if "your text here" in driver.page_source:
    print('Found it!')
else:
    print('Did not find it.')

หากคุณต้องการจัดเก็บแหล่งที่มาของหน้าในตัวแปรให้เพิ่มบรรทัดด้านล่างหลังdriver.get :

var_pgsource=driver.page_source

และเปลี่ยนเงื่อนไขifเป็น:

if "your text here" in var_pgsource:

โดยใช้แหล่งที่มาของหน้าคุณจะได้รับโค้ด HTML ทั้งหมด
ก่อนอื่นให้ตัดสินใจบล็อกของโค้ดหรือแท็กที่คุณต้องการเพื่อดึงข้อมูลหรือคลิกองค์ประกอบ ..

options = driver.find_elements_by_name_("XXX")
for option in options:
    if option.text == "XXXXXX":
        print(option.text)
        option.click()

คุณสามารถค้นหาองค์ประกอบตามชื่อ, XPath, id, link และ CSS path

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome()
html_source_code = driver.execute_script("return document.body.innerHTML;")
html_soup: BeautifulSoup = BeautifulSoup(html_source_code, 'html.parser')

ตอนนี้คุณสามารถใช้ฟังก์ชัน BeautifulSoup เพื่อดึงข้อมูล ...

หากต้องการตอบคำถามของคุณเกี่ยวกับการรับURLเพื่อใช้สำหรับ urllib เพียงเรียกใช้โค้ด JavaScript นี้:

url = browser.execute_script("return window.location;")

คุณสามารถใช้WebDriverวัตถุและเข้าถึงซอร์สโค้ดของเพจผ่าน@propertyฟิลด์page_source...

ลองใช้ข้อมูลโค้ดนี้ :-)

from selenium import webdriver
driver = webdriver.Firefox('path/to/executable')
driver.get('https://some-domain.com')
source = driver.page_source
if 'stuff' in source:
    print('found...')
else:
    print('not in source...')

ผมอยากแนะนำให้ได้รับมากับurllibและถ้าคุณกำลังจะแยกการใช้งานบางอย่างเช่นสวยซุป

import urllib

url = urllib.urlopen("http://example.com") # Open the URL.
content = url.readlines() # Read the source and save it to a variable.