เครื่องมือหรือวิธีที่เร็วที่สุดและง่ายที่สุดในการแปลงไฟล์ข้อความระหว่างชุดอักขระคืออะไร

โดยเฉพาะฉันต้องแปลงจาก UTF-8 เป็น ISO-8859-15 และในทางกลับกัน

ทุกอย่างเป็นไปได้: หนึ่งใน liners ในภาษาสคริปต์ที่คุณชื่นชอบ, เครื่องมือบรรทัดคำสั่งหรือยูทิลิตี้อื่น ๆ สำหรับ OS, เว็บไซต์, ฯลฯ

ทางออกที่ดีที่สุด:

บน Linux / UNIX / OS X / cygwin:

• Gnu iconvแนะนำโดยTroels อาร์วินดีที่สุดคือใช้เป็นตัวกรอง ดูเหมือนว่าจะมีอยู่ทั่วไป ตัวอย่าง:

  $ iconv -f UTF-8 -t ISO-8859-15 in.txt > out.txt
  

  ในฐานะที่เป็นแหลมออกโดยเบนมีการแปลงออนไลน์โดยใช้ iconv

• Gnu Recode ( คู่มือ ) แนะนำโดยCheekysoftจะแปลงหนึ่งหรือหลายไฟล์ในสถานที่ ตัวอย่าง:

  $ recode UTF8..ISO-8859-15 in.txt
  

  อันนี้ใช้นามแฝงที่สั้นกว่า:

  $ recode utf8..l9 in.txt
  

  Recode ยังรองรับพื้นผิวที่สามารถใช้ในการแปลงระหว่างประเภทการสิ้นสุดบรรทัดและการเข้ารหัสที่แตกต่างกัน:

  แปลงบรรทัดใหม่จาก LF (Unix) เป็น CR-LF (DOS):

  $ recode ../CR-LF in.txt
  

  Base64 ไฟล์เข้ารหัส:

  $ recode ../Base64 in.txt
  

  คุณสามารถรวมมันเข้าด้วยกัน

  แปลงไฟล์ UTF8 Base64 เข้ารหัสด้วยระบบปฏิบัติการยูนิกซ์ปลายสายที่จะเข้ารหัส Base64 ละติน 1 ไฟล์กับดอสตอนจบบรรทัด:

  $ recode utf8/Base64..l1/CR-LF/Base64 file.txt
  

บน Windows ด้วยPowershell ( Jay Bazuzi ):

• PS C:\> gc -en utf8 in.txt | Out-File -en ascii out.txt

  (ไม่ ISO-8859-15 สนับสนุนแม้ว่า;. มันบอกว่าชุดอักขระที่สนับสนุน Unicode, UTF7, utf8, utf32, ASCII, bigendianunicode เริ่มต้นและ OEM)

แก้ไข

คุณหมายถึง iso-8859-1 การใช้ "String" ทำสิ่งนี้เช่นในทางกลับกัน

gc -en string in.txt | Out-File -en utf8 out.txt

หมายเหตุ: ค่าการแจงนับที่เป็นไปได้คือ "Unknown, String, Unicode, Byte, BigEndianUnicode, UTF8, UTF7, Ascii"

• CsCvt - ตัวแปลงชุดอักขระของ Kalytta เป็นเครื่องมือการแปลงบรรทัดคำสั่งที่ยอดเยี่ยมอีกตัวสำหรับ Windows

วิธีการยูทิลิตี้แบบสแตนด์อโลน

iconv -f ISO-8859-1 -t UTF-8 in.txt > out.txt

-f ENCODING  the encoding of the input
-t ENCODING  the encoding of the output

คุณไม่ได้มีการระบุอย่างใดอย่างหนึ่งของการขัดแย้งเหล่านี้ พวกเขาจะเริ่มต้นที่สถานที่ปัจจุบันของคุณซึ่งมักจะเป็น UTF-8

ลองใช้ VIM

ถ้าคุณมีvimคุณสามารถใช้นี้

ไม่ได้ทดสอบสำหรับการเข้ารหัสทุกครั้ง

ส่วนที่น่าสนใจเกี่ยวกับสิ่งนี้คือคุณไม่จำเป็นต้องรู้รหัสที่มา

vim +"set nobomb | set fenc=utf8 | x" filename.txt

พึงระวังว่าคำสั่งนี้แก้ไขไฟล์โดยตรง

ส่วนคำอธิบาย!

1. +: ใช้โดย vim เพื่อป้อนคำสั่งโดยตรงเมื่อเปิดไฟล์ มักใช้เพื่อเปิดไฟล์ที่บรรทัดเฉพาะ:vim +14 file.txt
2. |: ตัวคั่นของหลายคำสั่ง (เช่น;ในทุบตี)
3. set nobomb : ไม่มี utf-8 BOM
4. set fenc=utf8: ตั้งค่าการเข้ารหัสใหม่เพื่อ UTF-8 เชื่อมโยง doc
5. x : บันทึกและปิดไฟล์
6. filename.txt : พา ธ ไปยังไฟล์
7. ": qotes มาที่นี่เพราะท่อ (มิฉะนั้นทุบตีจะใช้พวกเขาเป็นท่อทุบตี)

ภายใต้ Linux คุณสามารถใช้คำสั่งrecode ที่ทรงพลังเพื่อลองและแปลงระหว่างชุดอักขระที่แตกต่างกันรวมถึงปัญหาการสิ้นสุดบรรทัดใด ๆ recode -lจะแสดงรูปแบบและการเข้ารหัสทั้งหมดที่เครื่องมือสามารถแปลงได้ มันน่าจะเป็นรายการที่ยาวมาก

iconv (1)

iconv -f FROM-ENCODING -t TO-ENCODING file.txt

นอกจากนี้ยังมีเครื่องมือที่ใช้ iconv ในหลายภาษา

Get-Content -Encoding UTF8 FILE-UTF8.TXT | Out-File -Encoding UTF7 FILE-UTF7.TXT

เวอร์ชันที่สั้นที่สุดหากคุณสามารถสันนิษฐานได้ว่าอินพุต BOM นั้นถูกต้อง:

gc FILE.TXT | Out-File -en utf7 file-utf7.txt

ลองใช้ฟังก์ชั่น iconv Bash

ฉันใส่สิ่งนี้ลงใน.bashrc:

utf8()
{
    iconv -f ISO-8859-1 -t UTF-8 $1 > $1.tmp
    rm $1
    mv $1.tmp $1
}

.. เพื่อให้สามารถแปลงไฟล์เช่นนี้:

utf8 MyClass.java

ลอง Notepad ++

บน Windows ก็สามารถที่จะใช้ Notepad ++ ที่จะทำแปลงจากISO-8859-1เพื่อUTF-8 คลิกแล้ว"Encoding""Convert to UTF-8"

Oneliner ใช้ find พร้อมการตรวจจับชุดอักขระอัตโนมัติ

การเข้ารหัสอักขระของไฟล์ข้อความที่ตรงกันทั้งหมดจะถูกตรวจพบโดยอัตโนมัติและไฟล์ข้อความที่ตรงกันทั้งหมดจะถูกแปลงเป็นการutf-8เข้ารหัส:

$ find . -type f -iname *.txt -exec sh -c 'iconv -f $(file -bi "$1" |sed -e "s/.*[ ]charset=//") -t utf-8 -o converted "$1" && mv converted "$1"' -- {} \;

เพื่อดำเนินการตามขั้นตอนเหล่านี้เปลือกย่อยshจะใช้กับ-execวิ่งหนึ่งซับกับ-cธงและผ่านชื่อไฟล์เป็นอาร์กิวเมนต์ตำแหน่งด้วย"$1" -- {}ในระหว่างที่ไฟล์ที่ส่งออกเป็นชื่อชั่วคราวutf-8converted

โดยfile -biวิธีการ:

• -b, --brief ห้ามต่อท้ายชื่อไฟล์ไปยังบรรทัดเอาต์พุต (โหมดสั้น ๆ )

• -i, --mime ทำให้เกิดคำสั่งไฟล์สตริงชนิดไมม์เอาท์พุทมากกว่าแบบดั้งเดิมมากขึ้นคนที่อ่านของมนุษย์ ดังนั้นจึงอาจกล่าวได้เช่นมากกว่าtext/plain; charset=us-ascii คำสั่งตัดนี้เพียงเป็นถูกต้องตามASCII textsedus-asciiiconv

findคำสั่งเป็นประโยชน์อย่างมากสำหรับระบบอัตโนมัติการจัดการไฟล์ดังกล่าว คลิกที่นี่เพื่อเพิ่มเติมfindมากมาย

PHP iconv ()

iconv("UTF-8", "ISO-8859-15", $input);

DOS / Windows: ใช้หน้ารหัส

chcp 65001>NUL
type ascii.txt > unicode.txt

คำสั่งchcpสามารถใช้ในการเปลี่ยนหน้ารหัส รหัสหน้า 65001 เป็นชื่อ Microsoft สำหรับ UTF-8 หลังจากตั้งค่าหน้ารหัสผลลัพธ์ที่สร้างโดยคำสั่งต่อไปนี้จะเป็นของชุดรหัสหน้า

เพื่อเขียนไฟล์คุณสมบัติ (Java) ปกติฉันจะใช้สิ่งนี้ใน linux (สะระแหน่และการกระจาย Ubuntu):

$ native2ascii filename.properties

ตัวอย่างเช่น:

$ cat test.properties 
first=Execução número um
second=Execução número dois

$ native2ascii test.properties 
first=Execu\u00e7\u00e3o n\u00famero um
second=Execu\u00e7\u00e3o n\u00famero dois

PS: ฉันเขียนหมายเลขดำเนินการหนึ่ง / สองใน portugues เพื่อบังคับใช้อักขระพิเศษ

ในกรณีของฉันในการดำเนินการครั้งแรกฉันได้รับข้อความนี้:

$ native2ascii teste.txt 
The program 'native2ascii' can be found in the following packages:
 * gcj-5-jdk
 * openjdk-8-jdk-headless
 * gcj-4.8-jdk
 * gcj-4.9-jdk
Try: sudo apt install <selected package>

เมื่อฉันติดตั้งตัวเลือกแรก (gcj-5-jdk) ปัญหาก็เสร็จสิ้น

ฉันหวังว่าสิ่งนี้จะช่วยใครบางคน

ด้วยทับทิม:

ruby -e "File.write('output.txt', File.read('input.txt').encode('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: ''))"

ที่มา: https : //robots. buttbot.com/fight-back-utf-8-invalid-byte-sequences

ใช้สคริปต์ Python นี้: https://github.com/goerz/convert_encoding.py ใช้ งานได้บนแพลตฟอร์มใดก็ได้ ต้องการ Python 2.7

เครื่องมือที่ฉันชอบคือ Jedit (โปรแกรมแก้ไขข้อความที่ใช้จาวา) ซึ่งมีคุณสมบัติสองอย่างที่สะดวกมาก:

• หนึ่งที่ช่วยให้ผู้ใช้สามารถโหลดข้อความที่มีการเข้ารหัสที่แตกต่างกัน (และเป็นเช่นนี้เพื่อควบคุมผลการมองเห็น)
• อย่างใดอย่างหนึ่งซึ่งจะช่วยให้ผู้ใช้สามารถเลือกการเข้ารหัสอย่างชัดเจน (และจุดสิ้นสุดของบรรทัดถ่าน) ก่อนที่จะบันทึกอีก

เพียงแค่เปลี่ยนการเข้ารหัสไฟล์ที่โหลดใน IntelliJ IDEA IDE ทางด้านขวาของแถบสถานะ (ด้านล่าง) ที่มีการระบุชุดอักขระปัจจุบัน มันแจ้งให้โหลดซ้ำหรือแปลงใช้แปลง ตรวจสอบให้แน่ใจว่าคุณได้สำรองไฟล์ต้นฉบับล่วงหน้า

หากแอปพลิเคชัน macOS GUI เป็นขนมปังและเนยของคุณSubEthaEditเป็นตัวแก้ไขข้อความที่ฉันมักจะไปใช้เพื่อการเข้ารหัส - การบิด - "ตัวอย่างการแปลง" ช่วยให้คุณเห็นอักขระที่ไม่ถูกต้องทั้งหมดในการเข้ารหัสเอาต์พุตและแก้ไข / ลบออก

และตอนนี้มันเป็นโอเพ่นซอร์สดังนั้น yay สำหรับพวกเขา😉

ตามที่อธิบายไว้ในฉันจะแก้ไขการเข้ารหัสอักขระของไฟล์ได้อย่างไร Synalyze It! ช่วยให้คุณสามารถแปลงบน OS X ระหว่างการเข้ารหัสทั้งหมดได้รับการสนับสนุนโดยห้องสมุดห้องไอซียู

นอกจากนี้คุณสามารถแสดงไบต์ของไฟล์ที่แปลเป็น Unicode จากการเข้ารหัสทั้งหมดเพื่อดูอย่างรวดเร็วซึ่งเป็นไฟล์ที่ถูกต้องสำหรับไฟล์ของคุณ