การแยกค่าแอตทริบิวต์ด้วย beautifulsoup


113

ฉันกำลังพยายามดึงเนื้อหาของแอตทริบิวต์ "value" รายการเดียวในแท็ก "input" ที่เฉพาะเจาะจงบนหน้าเว็บ ฉันใช้รหัสต่อไปนี้:

import urllib
f = urllib.urlopen("http://58.68.130.147")
s = f.read()
f.close()

from BeautifulSoup import BeautifulStoneSoup
soup = BeautifulStoneSoup(s)

inputTag = soup.findAll(attrs={"name" : "stainfo"})

output = inputTag['value']

print str(output)

ฉันได้รับ TypeError: ดัชนีรายการต้องเป็นจำนวนเต็มไม่ใช่ str

แม้ว่าจากเอกสาร Beautifulsoup ฉันเข้าใจว่าสตริงไม่ควรเป็นปัญหาที่นี่ ... แต่ฉันไม่มีผู้เชี่ยวชาญและฉันอาจเข้าใจผิด

ข้อเสนอแนะใด ๆ ที่ชื่นชมอย่างมาก! ขอบคุณล่วงหน้า.

คำตอบ:


151

.find_all() ส่งคืนรายการองค์ประกอบที่พบทั้งหมดดังนั้น:

input_tag = soup.find_all(attrs={"name" : "stainfo"})

input_tagคือรายการ (อาจมีเพียงองค์ประกอบเดียว) ขึ้นอยู่กับสิ่งที่คุณต้องการที่คุณควรทำ:

 output = input_tag[0]['value']

หรือใช้.find()วิธีการที่ส่งคืนองค์ประกอบที่พบเพียงหนึ่ง (แรก):

 input_tag = soup.find(attrs={"name": "stainfo"})
 output = input_tag['value']

ของเยี่ยม! ขอบคุณ. ตอนนี้ฉันมีคำถามเกี่ยวกับการแยกวิเคราะห์ผลลัพธ์ที่มีตัวอักษรที่ไม่ใช่ ASCII แบบยาว แต่ฉันจะถามคำถามนี้เป็นคำถามแยกต่างหาก
Barnabe

3
ไม่ควรค่า 'เข้าถึงได้ตามstackoverflow.com/questions/2616659/... อะไรทำให้โค้ดข้างต้นใช้งานได้ในกรณีนี้ ฉันคิดว่าคุณจะต้องเข้าถึงคุณค่าโดยการทำoutput = inputTag[0].contents
Seth

@Seth - ไม่เพราะเขากำลังมองหา "value" แอตทริบิวต์ของ input-tag และ .contents จะส่งคืนข้อความที่ถูกห่อหุ้มโดยแท็ก (<span> ฉันคือ .contents </span>) - (เพิ่งตอบกลับตอนนี้เพราะฉันมี เพื่อตรวจสอบอีกครั้งว่าเกิดอะไรขึ้นคิดว่าคนอื่นอาจได้รับประโยชน์)
Dolan Antenucci

1
คำตอบที่ดี อย่างไรก็ตามฉันจะใช้inputTag[0].get('value') แทนinputTag[0]['value']เพื่อป้องกันไม่มีตัวชี้ในกรณีที่แท็กไม่มีแอตทริบิวต์ค่า
ครึ่งบกครึ่งน้ำ

สิ่งที่เกี่ยวกับลิงค์ที่ไม่ได้เชื่อมโยงโดยตรงกับหน้าแรกของการเยี่ยมชมเว็บไซต์วิธีรับลิงค์ทั้งหมดไม่ว่าจะเชื่อมโยงกับหน้าเว็บโดยตรงหรือโดยอ้อม
Rink16

26

ในPython 3.xเพียงแค่ใช้get(attr_name)บนวัตถุแท็กของคุณที่คุณได้รับใช้find_all:

xmlData = None

with open('conf//test1.xml', 'r') as xmlFile:
    xmlData = xmlFile.read()

xmlDecoded = xmlData

xmlSoup = BeautifulSoup(xmlData, 'html.parser')

repElemList = xmlSoup.find_all('repeatingelement')

for repElem in repElemList:
    print("Processing repElem...")
    repElemID = repElem.get('id')
    repElemName = repElem.get('name')

    print("Attribute id = %s" % repElemID)
    print("Attribute name = %s" % repElemName)

เทียบกับไฟล์ XML conf//test1.xmlที่ดูเหมือนว่า:

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<root>
    <singleElement>
        <subElementX>XYZ</subElementX>
    </singleElement>
    <repeatingElement id="11" name="Joe"/>
    <repeatingElement id="12" name="Mary"/>
</root>

พิมพ์:

Processing repElem...
Attribute id = 11
Attribute name = Joe
Processing repElem...
Attribute id = 12
Attribute name = Mary

คุณจะทราบไหมถ้าฉันแก้ไขสิ่งนี้ให้เป็นไปตาม PEP 8 และใช้วิธีการจัดรูปแบบสตริงที่ทันสมัยกว่านี้
AMC

ไม่เป็นไรไปได้
สะเทินน้ำสะเทินบก

6

หากคุณต้องการดึงค่าแอตทริบิวต์หลายค่าจากแหล่งที่มาด้านบนคุณสามารถใช้findAllและความเข้าใจรายการเพื่อรับทุกสิ่งที่คุณต้องการ:

import urllib
f = urllib.urlopen("http://58.68.130.147")
s = f.read()
f.close()

from BeautifulSoup import BeautifulStoneSoup
soup = BeautifulStoneSoup(s)

inputTags = soup.findAll(attrs={"name" : "stainfo"})
### You may be able to do findAll("input", attrs={"name" : "stainfo"})

output = [x["stainfo"] for x in inputTags]

print output
### This will print a list of the values.

4

ฉันจะแนะนำวิธีประหยัดเวลาให้กับคุณโดยสมมติว่าคุณรู้ว่าแท็กประเภทใดมีคุณลักษณะเหล่านั้น

สมมติว่าแท็ก xyz มี attritube ชื่อ "staininfo" ..

full_tag = soup.findAll("xyz")

และฉันไม่อยากให้คุณเข้าใจว่า full_tag คือรายการ

for each_tag in full_tag:
    staininfo_attrb_value = each_tag["staininfo"]
    print staininfo_attrb_value

ดังนั้นคุณจะได้รับค่า attrb ทั้งหมดของ staininfo สำหรับแท็กทั้งหมด xyz


3

คุณยังสามารถใช้สิ่งนี้:

import requests
from bs4 import BeautifulSoup
import csv

url = "http://58.68.130.147/"
r = requests.get(url)
data = r.text

soup = BeautifulSoup(data, "html.parser")
get_details = soup.find_all("input", attrs={"name":"stainfo"})

for val in get_details:
    get_val = val["value"]
    print(get_val)

สิ่งนี้แตกต่างจากคำตอบที่เก่ากว่าซึ่งมีอยู่แล้วอย่างไร
AMC

0

ฉันใช้สิ่งนี้กับ Beautifulsoup 4.8.1 เพื่อรับค่าของคุณสมบัติคลาสทั้งหมดขององค์ประกอบบางอย่าง:

from bs4 import BeautifulSoup

html = "<td class='val1'/><td col='1'/><td class='val2' />"

bsoup = BeautifulSoup(html, 'html.parser')

for td in bsoup.find_all('td'):
    if td.has_attr('class'):
        print(td['class'][0])

สิ่งสำคัญคือต้องสังเกตว่าคีย์แอตทริบิวต์จะดึงรายการแม้ว่าแอตทริบิวต์จะมีเพียงค่าเดียว


0

สำหรับฉัน:

<input id="color" value="Blue"/>

สามารถดึงข้อมูลได้จากตัวอย่างด้านล่าง

page = requests.get("https://www.abcd.com")
soup = BeautifulSoup(page.content, 'html.parser')
colorName = soup.find(id='color')
print(color['value'])

ฉันหวังว่านี่จะช่วยจุดประสงค์ของคุณ

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.