Python: ลบ \ xa0 จากสตริงหรือไม่

ขณะนี้ฉันกำลังใช้ Beautiful Soup เพื่อแยกไฟล์ HTML และการโทรget_text()ออก แต่ดูเหมือนว่าฉันถูกทิ้งให้อยู่กับ \ xa0 Unicode จำนวนมากแทนช่องว่าง มีวิธีที่มีประสิทธิภาพในการลบทั้งหมดใน Python 2.7 และเปลี่ยนเป็นช่องว่างหรือไม่ ฉันเดาคำถามทั่วไปมากขึ้นจะมีวิธีลบการจัดรูปแบบ Unicode หรือไม่

ฉันลองใช้: line = line.replace(u'\xa0',' ')ตามที่เธรดอื่นแนะนำ แต่เปลี่ยน \ xa0 เป็น u ดังนั้นตอนนี้ฉันมี "u" ทุกที่แทน ):

แก้ไข: ปัญหาดูเหมือนว่าจะได้รับการแก้ไขstr.replace(u'\xa0', ' ').encode('utf-8')แต่เพียงทำ.encode('utf-8')โดยไม่replace()ดูเหมือนว่าจะทำให้มันคายออกแม้ตัวละคร Weirder \ xc2 เช่น มีใครอธิบายเรื่องนี้ได้บ้าง

\ xa0 เป็นพื้นที่ที่ไม่ทำลายใน Latin1 (ISO 8859-1) และ chr (160) คุณควรแทนที่ด้วยช่องว่าง

string = string.replace(u'\xa0', u' ')

เมื่อ. encode ('utf-8') มันจะทำการเข้ารหัสยูนิโค้ดเป็น utf-8 ซึ่งหมายความว่ายูนิโค้ดทุกตัวสามารถแสดงได้ด้วย 1 ถึง 4 ไบต์ สำหรับกรณีนี้ \ xa0 จะถูกแทนด้วย 2 ไบต์ \ xc2 \ xa0

อ่านข้อมูลเกี่ยวกับhttp://docs.python.org/howto/unicode.html

โปรดทราบ: คำตอบนี้มาจาก 2012, Python ได้ย้ายไปแล้วคุณควรจะสามารถใช้งานได้unicodedata.normalizeตอนนี้

มีสิ่งที่มีประโยชน์มากมายในunicodedataห้องสมุดของ Python หนึ่งในนั้นคือ.normalize()ฟังก์ชั่น

ลอง:

new_str = unicodedata.normalize("NFKD", unicode_str)

การเปลี่ยน NFKD ด้วยวิธีการอื่น ๆ ที่ระบุไว้ในลิงก์ด้านบนหากคุณไม่ได้ผลลัพธ์ที่ต้องการ

ลองใช้. strip () ที่ส่วนท้ายของบรรทัดของคุณ line.strip()ทำงานได้ดีสำหรับฉัน

หลังจากลองวิธีการต่าง ๆ เพื่อสรุปมันเป็นวิธีที่ฉันทำ ต่อไปนี้เป็นสองวิธีในการหลีกเลี่ยง / ลบอักขระ \ xa0 ออกจากสตริง HTML แยกวิเคราะห์

สมมติว่าเรามี html ดิบของเราดังต่อไปนี้:

raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'

ดังนั้นลองทำความสะอาดสตริง HTML นี้:

from bs4 import BeautifulSoup
raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'
text_string = BeautifulSoup(raw_html, "lxml").text
print text_string
#u'Dear Parent,\xa0This is a test message,\xa0kindly ignore it.\xa0Thanks'

โค้ดด้านบนสร้างอักขระเหล่านี้\ xa0ในสตริง หากต้องการลบออกอย่างถูกต้องเราสามารถใช้สองวิธี

วิธีที่ # 1 (แนะนำ): วิธีแรกคือเมธอดget_textของ BeautifulSoup ที่มีอาร์กิวเมนต์แถบเป็น True ดังนั้นรหัสของเราจะกลายเป็น:

clean_text = BeautifulSoup(raw_html, "lxml").get_text(strip=True)
print clean_text
# Dear Parent,This is a test message,kindly ignore it.Thanks

วิธีที่ # 2: ตัวเลือกอื่นคือใช้ไลบรารี python unicodedata

import unicodedata
text_string = BeautifulSoup(raw_html, "lxml").text
clean_text = unicodedata.normalize("NFKD",text_string)
print clean_text
# u'Dear Parent,This is a test message,kindly ignore it.Thanks'

ฉันได้ให้รายละเอียดวิธีการเหล่านี้ในบล็อกนี้ซึ่งคุณอาจต้องการอ้างอิง

ลองนี้:

string.replace('\\xa0', ' ')

ฉันพบปัญหาเดียวกันนี้ในการดึงข้อมูลบางอย่างจากฐานข้อมูล sqlite3 กับ python คำตอบข้างต้นไม่ได้ผลสำหรับฉัน (ไม่แน่ใจว่าทำไม) แต่สิ่งนี้ทำ:line = line.decode('ascii', 'ignore')อย่างไรก็ตามเป้าหมายของฉันคือการลบ \ xa0s แทนที่จะแทนที่ด้วยช่องว่าง

ฉันได้รับสิ่งนี้จากบทช่วยสอน Unicode ที่เป็นประโยชน์โดย Ned Batchelder

ฉันสิ้นสุดที่นี่ในขณะที่ googling สำหรับปัญหากับตัวละครที่ไม่สามารถพิมพ์ได้ ฉันใช้ MySQLUTF-8 general_ciและจัดการกับภาษาโปแลนด์ สำหรับสตริงที่มีปัญหาฉันต้อง procced ดังนี้

text=text.replace('\xc2\xa0', ' ')

เป็นวิธีแก้ปัญหาที่รวดเร็วและคุณน่าจะลองใช้บางอย่างด้วยการตั้งค่าการเข้ารหัสที่ถูกต้อง

ลองรหัสนี้

import re
re.sub(r'[^\x00-\x7F]+','','paste your string here').decode('utf-8','ignore').strip()

0xA0 (Unicode) คือ 0xC2A0 ใน UTF-8 .encode('utf8')จะใช้ Unicode 0xA0 ของคุณและแทนที่ด้วย 0xC2A0 ของ UTF-8 ดังนั้นการประจักษ์ของ 0xC2s ... การเข้ารหัสไม่ได้แทนที่อย่างที่คุณอาจจะรู้ในตอนนี้

มันเท่ากับตัวอักษรเว้นวรรคดังนั้นดึงมันออกมา

print(string.strip()) # no more xa0

ใน Beautiful Soup คุณสามารถส่งget_text()พารามิเตอร์แถบซึ่งตัดช่องว่างจากจุดเริ่มต้นและจุดสิ้นสุดของข้อความ สิ่งนี้จะลบ\xa0หรือเว้นวรรคอื่น ๆ หากเกิดขึ้นที่จุดเริ่มต้นหรือจุดสิ้นสุดของสตริง ซุปสวย ๆ แทนที่สตริงว่างด้วย\xa0และนี่ช่วยแก้ปัญหาให้ฉันได้

mytext = soup.get_text(strip=True)

รุ่นทั่วไปพร้อมนิพจน์ทั่วไป (มันจะลบอักขระควบคุมทั้งหมด):

import re
def remove_control_chart(s):
    return re.sub(r'\\x..', '', s)

Python รู้จักมันเหมือนกับอักขระเว้นวรรคดังนั้นคุณจึงสามารถทำได้splitโดยไม่ต้องมีอาร์กิวเมนต์และเข้าร่วมโดยช่องว่างปกติ:

line = ' '.join(line.split())