ข้อผิดพลาด RE: ลำดับไบต์ที่ผิดกฎหมายบน Mac OS X

ฉันกำลังพยายามแทนที่สตริงใน Makefile บน Mac OS X สำหรับการคอมไพล์ข้ามเป็น iOS สตริงมีเครื่องหมายคำพูดคู่ฝังอยู่ คำสั่งคือ:

sed -i "" 's|"iphoneos-cross","llvm-gcc:-O3|"iphoneos-cross","clang:-Os|g' Configure

และข้อผิดพลาดคือ:

sed: RE error: illegal byte sequence

ฉันได้ลองใช้เครื่องหมายคำพูดคู่เครื่องหมายจุลภาคขีดคั่นและเครื่องหมายทวิภาคโดยไม่มีความสุข ตัวอย่างเช่น:

sed -i "" 's|\"iphoneos-cross\"\,\"llvm-gcc\:\-O3|\"iphoneos-cross\"\,\"clang\:\-Os|g' Configure

ฉันมีเวลาสักครู่ในการดีบักปัญหา ไม่มีใครรู้วิธีการsedพิมพ์ตำแหน่งของลำดับไบต์ที่ผิดกฎหมายหรือไม่ หรือใครรู้ว่าลำดับไบต์ที่ผิดกฎหมายคืออะไร?

^{คำสั่งตัวอย่างที่แสดงอาการ: sed 's/./@/' <<<$'\xfc'ล้มเหลวเนื่องจากไบต์0xfcไม่ใช่อักขระ UTF-8 ที่ถูกต้อง
โปรดทราบว่าในทางตรงกันข้ามGNU sed (Linux แต่ยังสามารถติดตั้งบน macOS) จะส่งไบต์ที่ไม่ถูกต้องผ่านโดยไม่รายงานข้อผิดพลาด}

การใช้คำตอบที่ยอมรับก่อนหน้านี้เป็นตัวเลือกหากคุณไม่สนใจที่จะสูญเสียการสนับสนุนสถานที่ที่แท้จริงของคุณ (หากคุณใช้ระบบของสหรัฐอเมริกาและคุณไม่จำเป็นต้องจัดการกับตัวละครต่างประเทศนั่นอาจจะใช้ได้)

อย่างไรก็ตามเอฟเฟกต์เดียวกันสามารถมีad-hocสำหรับคำสั่งเดียวเท่านั้น :

LC_ALL=C sed -i "" 's|"iphoneos-cross","llvm-gcc:-O3|"iphoneos-cross","clang:-Os|g' Configure

หมายเหตุ: สิ่งที่สำคัญคือการที่มีประสิทธิภาพใน LC_CTYPEการตั้งค่าCเพื่อLC_CTYPE=C sed ...จะได้ตามปกตินอกจากนี้ยังมีการทำงาน แต่ถ้าLC_ALLเกิดขึ้นจะเป็นชุด (อย่างอื่นที่ไม่ใช่C) ก็จะแทนที่แต่ละLC_*ตัวแปร -category LC_CTYPEเช่น LC_ALLดังนั้นวิธีการที่มีประสิทธิภาพที่สุดคือการตั้งค่า

อย่างไรก็ตามการตั้งค่า (อย่างมีประสิทธิภาพ) LC_CTYPEเพื่อใช้กับCสตริงราวกับว่าแต่ละไบต์เป็นอักขระของตัวเอง ( ไม่มีการตีความตามกฎการเข้ารหัส) โดยไม่คำนึงถึง - การเข้ารหัสแบบหลายไบต์ตามความต้องการ - การเข้ารหัส UTF-8ที่ OS X ใช้โดยค่าเริ่มต้น ที่ตัวละครต่างประเทศมีการเข้ารหัสสัญลักษณ์

สรุป: การตั้งค่าLC_CTYPEเพื่อCสาเหตุเปลือกและระบบสาธารณูปโภคที่จะรู้จักตัวอักษรภาษาอังกฤษขั้นพื้นฐานเป็นตัวอักษร (คนที่อยู่ในช่วง ASCII 7 บิต) เพื่อให้ตัวอักษรต่างประเทศ จะไม่ถือว่าเป็นตัวอักษรซึ่งทำให้ตัวอย่างเช่นการแปลงด้านบน / ตัวพิมพ์เล็กล้มเหลว

อีกครั้งนี้อาจจะดีถ้าคุณไม่จำเป็นต้องตรงกับตัวอักษรสัญลักษณ์เข้ารหัสเช่นéและก็ต้องการที่จะผ่านตัวละครดังกล่าวผ่าน

หากนี่ไม่เพียงพอและ / หรือคุณต้องการเข้าใจสาเหตุของข้อผิดพลาดเดิม (รวมถึงการกำหนดว่าไบต์อินพุตใดที่ทำให้เกิดปัญหา) และทำการแปลงการแปลงตามความต้องการอ่านด้านล่าง

ปัญหาคือการเข้ารหัสไฟล์อินพุตไม่ตรงกับเชลล์
โดยเฉพาะอย่างยิ่งแฟ้มใส่มีอักขระที่เข้ารหัสในทางที่ไม่ถูกต้อง UTF-8 (ตาม @Klas Lindback ที่ระบุไว้ในความคิดเห็น) - นั่นคือสิ่งที่เป็นข้อผิดพลาดคือการพยายามที่จะพูดโดยsedinvalid byte sequence

ส่วนใหญ่แล้วไฟล์อินพุตของคุณใช้การเข้ารหัสไบต์เดียว 8 บิตเช่นที่ISO-8859-1ใช้บ่อยในการเข้ารหัสภาษา "ยุโรปตะวันตก"

ตัวอย่าง:

ตัวอักษรสำเนียงàมี Unicode codepoint 0xE0(224) - ISO-8859-1เช่นเดียวกับใน อย่างไรก็ตามเนื่องจากธรรมชาติของUTF-8เข้ารหัสนี้ codepoint เดียวจะแสดงเป็น2ไบต์ - 0xC3 0xA0ในขณะที่พยายามที่จะผ่านbyte เดียว 0xE0คือไม่ถูกต้องภายใต้ UTF-8

ต่อไปนี้คือการสาธิตปัญหาโดยใช้สตริงที่voilàเข้ารหัสISO-8859-1ด้วยโดยàแสดงเป็นหนึ่งไบต์ (ผ่านสตริงทุบตี ANSI-C- ที่ยกมา ( $'...') ที่ใช้\x{e0}ในการสร้างไบต์):

โปรดทราบว่าsedคำสั่งนั้นไม่มีประสิทธิภาพในการส่งผ่านอินพุต แต่เราจำเป็นต้องใช้เพื่อกระตุ้นข้อผิดพลาด:

  # -> 'illegal byte sequence': byte 0xE0 is not a valid char.
sed 's/.*/&/' <<<$'voil\x{e0}'

หากต้องการเพิกเฉยต่อปัญหาLCTYPE=Cวิธีการข้างต้นสามารถใช้ได้:

  # No error, bytes are passed through ('á' will render as '?', though).
LC_CTYPE=C sed 's/.*/&/' <<<$'voil\x{e0}'

หากคุณต้องการตรวจสอบว่าส่วนใดของอินพุตที่ทำให้เกิดปัญหาลองทำสิ่งต่อไปนี้:

  # Convert bytes in the 8-bit range (high bit set) to hex. representation.
  # -> 'voil\x{e0}'
iconv -f ASCII --byte-subst='\x{%02x}' <<<$'voil\x{e0}'

เอาต์พุตจะแสดงไบต์ทั้งหมดที่มีชุดบิตสูง (ไบต์ที่เกินช่วง ASCII 7 บิต) ในรูปแบบเลขฐานสิบหก (อย่างไรก็ตามโปรดทราบว่ายังรวมถึงการเข้ารหัส multibyte UTF-8 ที่เข้ารหัสอย่างถูกต้อง - จำเป็นต้องใช้วิธีการที่ซับซ้อนยิ่งขึ้นในการระบุไบต์ที่ไม่ถูกต้องใน UTF-8 โดยเฉพาะ)

ทำการแปลงการเข้ารหัสตามคำขอ :

ยูทิลิตี้มาตรฐานiconvสามารถใช้ในการแปลงเป็น ( -t) และ / หรือจากการ-fเข้ารหัส( ); iconv -lแสดงรายการที่รองรับทั้งหมด

ตัวอย่าง:

แปลงจากISO-8859-1การเข้ารหัสที่มีผลบังคับใช้ในเชลล์ (อิงLC_CTYPEซึ่งเป็นUTF-8เบสโดยค่าเริ่มต้น) อาคารในตัวอย่างข้างต้น:

  # Converts to UTF-8; output renders correctly as 'voilà'
sed 's/.*/&/' <<<"$(iconv -f ISO-8859-1 <<<$'voil\x{e0}')"

โปรดทราบว่าการแปลงนี้ช่วยให้คุณจับคู่อักขระต่างประเทศได้อย่างถูกต้อง :

  # Correctly matches 'à' and replaces it with 'ü': -> 'voilü'
sed 's/à/ü/' <<<"$(iconv -f ISO-8859-1 <<<$'voil\x{e0}')"

ในการแปลงอินพุต BACK เป็นISO-8859-1หลังการประมวลผลเพียงไพพ์ผลลัพธ์ไปยังiconvคำสั่งอื่น:

sed 's/à/ü/' <<<"$(iconv -f ISO-8859-1 <<<$'voil\x{e0}')" | iconv -t ISO-8859-1

เพิ่มบรรทัดต่อไปนี้ของคุณ~/.bash_profileหรือ~/.zshrcไฟล์ (s)

export LC_CTYPE=C 
export LANG=C

วิธีแก้ปัญหาของฉันใช้ Perl:

find . -type f -print0 | xargs -0 perl -pi -e 's/was/now/g'

คำตอบของ mklement0นั้นยอดเยี่ยม แต่ฉันมีการปรับแต่งเล็กน้อย

ดูเหมือนว่าเป็นความคิดที่ดีที่จะระบุการbashเข้ารหัสของเมื่อใช้iconvอย่างชัดเจน นอกจากนี้เราควรย่อหน้าเครื่องหมายสั่งไบต์ ( แม้ว่ามาตรฐาน Unicode ไม่แนะนำ ) เพราะอาจจะมีความสับสนที่ถูกต้องระหว่าง UTF-8 และ ASCII โดยไม่ต้องมีเครื่องหมายสั่งไบต์ น่าเสียดายที่iconvไม่ได้ทำเครื่องหมายสั่งแบบไบต์ล่วงหน้าไว้เมื่อคุณระบุ endianness ( UTF-16BEหรือUTF-16LE) อย่างชัดเจนดังนั้นเราจึงจำเป็นต้องใช้UTF-16ซึ่งใช้ endianness เฉพาะแพลตฟอร์มแล้วใช้file --mime-encodingเพื่อค้นหา endianness ที่แท้จริงที่iconvใช้

(ฉันเป็นตัวพิมพ์ใหญ่การเข้ารหัสทั้งหมดของฉันเพราะเมื่อคุณแสดงรายการiconvการเข้ารหัสที่สนับสนุนทั้งหมดด้วยiconv -lพวกเขาจะเป็นตัวพิมพ์ใหญ่ทั้งหมด)

# Find out MY_FILE's encoding
# We'll convert back to this at the end
FILE_ENCODING="$( file --brief --mime-encoding MY_FILE )"
# Find out bash's encoding, with which we should encode
# MY_FILE so sed doesn't fail with 
# sed: RE error: illegal byte sequence
BASH_ENCODING="$( locale charmap | tr [:lower:] [:upper:] )"
# Convert to UTF-16 (unknown endianness) so iconv ensures
# we have a byte-order mark
iconv -f "$FILE_ENCODING" -t UTF-16 MY_FILE > MY_FILE.utf16_encoding
# Whether we're using UTF-16BE or UTF-16LE
UTF16_ENCODING="$( file --brief --mime-encoding MY_FILE.utf16_encoding )"
# Now we can use MY_FILE.bash_encoding with sed
iconv -f "$UTF16_ENCODING" -t "$BASH_ENCODING" MY_FILE.utf16_encoding > MY_FILE.bash_encoding
# sed!
sed 's/.*/&/' MY_FILE.bash_encoding > MY_FILE_SEDDED.bash_encoding
# now convert MY_FILE_SEDDED.bash_encoding back to its original encoding
iconv -f "$BASH_ENCODING" -t "$FILE_ENCODING" MY_FILE_SEDDED.bash_encoding > MY_FILE_SEDDED
# Now MY_FILE_SEDDED has been processed by sed, and is in the same encoding as MY_FILE

คุณเพียงแค่ต้องไพพ์คำสั่งiconvก่อนคำสั่งsed ตัวอย่างด้วยอินพุต file.txt:

iconv -f ISO-8859-1 -t UTF8-MAC file.txt | sed 's / something / àéèêçùû / g' | .....

-fตัวเลือกคือชุดรหัส 'จาก' และตัวเลือก -t คือการแปลงชุดรหัส 'เป็น'

ระวังตัวพิมพ์เล็กหน้าเว็บจะแสดงตัวพิมพ์เล็กเช่น <charset = iso-8859-1 "/> และiconvใช้ตัวพิมพ์ใหญ่คุณมีรายการของชุดไอคอนที่รองรับiconvในระบบของคุณด้วยคำสั่งiconv -l

UTF8-MACเป็นชุดรหัส Mac OS ที่ทันสมัยสำหรับการแปลง

ไม่มีใครรู้วิธีที่จะได้ใจที่จะพิมพ์ตำแหน่งของลำดับไบต์ที่ผิดกฎหมาย? หรือใครรู้ว่าลำดับไบต์ที่ผิดกฎหมายคืออะไร?

$ uname -a
Darwin Adams-iMac 18.7.0 Darwin Kernel Version 18.7.0: Tue Aug 20 16:57:14 PDT 2019; root:xnu-4903.271.2~2/RELEASE_X86_64 x86_64

ผมได้เป็นส่วนหนึ่งของวิธีการที่จะตอบข้างต้นโดยใช้เพียงแค่TR

ฉันมีไฟล์. csv ที่เป็นใบแจ้งยอดบัตรเครดิตและฉันกำลังพยายามนำเข้าลงใน Gnucash ฉันอาศัยอยู่ในสวิตเซอร์แลนด์ดังนั้นฉันต้องจัดการกับคำอย่างซูริค การสงสัยว่า Gnucash ไม่ชอบ "" ในฟิลด์ตัวเลขฉันจึงตัดสินใจแทนที่ทั้งหมด

; ;

กับ

;;

ไปที่นี่:

$ head -3 Auswertungen.csv | tail -1 | sed -e 's/; ;/;;/g'
sed: RE error: illegal byte sequence

ฉันใช้odเพื่อกำจัดแสง: สังเกต 374 ลงครึ่งหนึ่งของเอาต์พุตod -c นี้

$ head -3 Auswertungen.csv | tail -1 | od -c
0000000    1   6   8   7       9   6   1   9       7   1   2   2   ;   5
0000020    4   6   8       8   7   X   X       X   X   X   X       2   6
0000040    6   0   ;   M   Y       N   A   M   E       I   S   X   ;   1
0000060    4   .   0   2   .   2   0   1   9   ;   9   5   5   2       -
0000100        M   i   t   a   r   b   e   i   t   e   r   r   e   s   t
0000120                Z 374   r   i   c   h                            
0000140    C   H   E   ;   R   e   s   t   a   u   r   a   n   t   s   ,
0000160        B   a   r   s   ;   6   .   2   0   ;   C   H   F   ;    
0000200    ;   C   H   F   ;   6   .   2   0   ;       ;   1   5   .   0
0000220    2   .   2   0   1   9  \n                                    
0000227

จากนั้นฉันคิดว่าฉันอาจลองชักชวนtrแทน 374 สำหรับรหัสไบต์ที่ถูกต้อง ดังนั้นก่อนอื่นฉันลองอะไรที่เรียบง่ายซึ่งใช้งานไม่ได้ แต่มีผลข้างเคียงจากการแสดงให้ฉันเห็นว่าไบต์ที่มีปัญหาคือ:

$ head -3 Auswertungen.csv | tail -1 | tr . .  ; echo
tr: Illegal byte sequence
1687 9619 7122;5468 87XX XXXX 2660;MY NAME ISX;14.02.2019;9552 - Mitarbeiterrest   Z

ท่านสามารถเข้าดูTR Bails ที่ตัวละคร 374

การใช้ Perl ดูเหมือนว่าจะหลีกเลี่ยงปัญหานี้

$ head -3 Auswertungen.csv | tail -1 | perl -pne 's/; ;/;;/g'
1687 9619 7122;5468 87XX XXXX 2660;ADAM NEALIS;14.02.2019;9552 - Mitarbeiterrest   Z?rich       CHE;Restaurants, Bars;6.20;CHF;;CHF;6.20;;15.02.2019

วิธีแก้ปัญหาของฉันได้รับการใช้ sedGNU ทำงานได้ดีสำหรับวัตถุประสงค์ของฉัน