ฉันจะตรวจจับการเข้ารหัส / เพจรหัสของไฟล์ข้อความได้อย่างไร

ในแอปพลิเคชันของเราเราได้รับไฟล์ข้อความ ( .txt, .csvและอื่น ๆ ) จากแหล่งข้อมูลที่หลากหลาย เมื่ออ่านบางครั้งไฟล์เหล่านี้มีขยะเพราะไฟล์ที่สร้างขึ้นในเพจรหัสที่ไม่รู้จัก / ที่ไม่รู้จัก

มีวิธีการ (โดยอัตโนมัติ) ตรวจจับเพจรหัสของไฟล์ข้อความหรือไม่?

detectEncodingFromByteOrderMarksบนStreamReaderคอนสตรัค, ทำงานสำหรับUTF8 Unicode และทำเครื่องหมายไฟล์อื่น ๆ แต่ฉันกำลังมองหาวิธีที่จะตรวจสอบโค้ดเพจเช่น,ibm850windows1252

ขอบคุณสำหรับคำตอบนี่คือสิ่งที่ฉันทำ

ไฟล์ที่เราได้รับมาจากผู้ใช้ปลายทางพวกเขาไม่มีเงื่อนงำเกี่ยวกับเพจรหัส ผู้รับยังเป็นผู้ใช้ปลายทางโดยตอนนี้เป็นสิ่งที่พวกเขารู้เกี่ยวกับเพจรหัส: มีเพจโค้ดอยู่และน่ารำคาญ

สารละลาย:

• เปิดไฟล์ที่ได้รับใน Notepad ดูข้อความที่อ่านไม่ออก ถ้าใครบางคนถูกเรียกว่าFrançoisหรืออะไรบางอย่างด้วยความฉลาดของมนุษย์คุณสามารถเดาได้
• ฉันได้สร้างแอพเล็ก ๆ ที่ผู้ใช้สามารถใช้เพื่อเปิดไฟล์ด้วยและป้อนข้อความที่ผู้ใช้รู้ว่ามันจะปรากฏในไฟล์เมื่อใช้เพจรหัสที่ถูกต้อง
• วนรอบเพจรหัสทั้งหมดและแสดงรายการที่ให้การแก้ไขกับข้อความที่ผู้ใช้ให้ไว้
• หากมีเพจเพจมากกว่าหนึ่งเพจปรากฏขึ้นขอให้ผู้ใช้ระบุข้อความเพิ่มเติม

คุณไม่สามารถตรวจพบเพจรหัสได้คุณจำเป็นต้องได้รับแจ้ง คุณสามารถวิเคราะห์ไบต์และคาดเดาได้ แต่นั่นอาจให้ผลลัพธ์ที่แปลกประหลาด (บางครั้งน่าขบขัน) ฉันหามันไม่พบในตอนนี้ แต่ฉันแน่ใจว่า Notepad สามารถหลอกให้แสดงข้อความภาษาอังกฤษเป็นภาษาจีนได้

อย่างไรก็ตามนี่คือสิ่งที่คุณจะต้องอ่าน: นักพัฒนาแอปโซลูทุกขั้นต่ำของซอฟท์แวแน่นอนบวกต้องทราบเกี่ยวกับ Unicode และชุดตัวอักษร (ไม่มีข้อแก้ตัว!)

Joel กล่าวโดยเฉพาะ:

ความจริงที่สำคัญที่สุดเกี่ยวกับการเข้ารหัสเดี่ยว

หากคุณลืมทุกสิ่งที่ฉันอธิบายไว้อย่างสมบูรณ์โปรดจำไว้ว่ามีข้อเท็จจริงที่สำคัญอย่างหนึ่ง มันไม่สมเหตุสมผลที่จะมีสตริงโดยไม่รู้ว่าใช้การเข้ารหัสอะไร คุณไม่สามารถเกาะหัวในทรายได้อีกต่อไปและแสร้งว่าข้อความ "ธรรมดา" คือ ASCII ไม่มีสิ่งที่เป็นข้อความธรรมดา

หากคุณมีสตริง, ในหน่วยความจำ, ในไฟล์, หรือในข้อความอีเมล์, คุณต้องรู้ว่าการเข้ารหัสนั้นอยู่ที่อะไรหรือคุณไม่สามารถตีความมันหรือแสดงมันต่อผู้ใช้อย่างถูกต้อง

หากคุณต้องการตรวจจับการเข้ารหัสที่ไม่ใช่ UTF (เช่นไม่มี BOM) คุณจะต้องใช้การวิเคราะห์พฤติกรรมและการวิเคราะห์เชิงสถิติของข้อความ คุณอาจต้องการดูกระดาษ Mozilla ในการตรวจจับชุดอักขระสากล ( ลิงก์เดียวกันด้วยการจัดรูปแบบที่ดีขึ้นผ่านเครื่อง Wayback )

คุณได้ลองC # port สำหรับ Mozilla Universal Charset Detector แล้วหรือยัง

ตัวอย่างจากhttp://code.google.com/p/ude/

public static void Main(String[] args)
{
    string filename = args[0];
    using (FileStream fs = File.OpenRead(filename)) {
        Ude.CharsetDetector cdet = new Ude.CharsetDetector();
        cdet.Feed(fs);
        cdet.DataEnd();
        if (cdet.Charset != null) {
            Console.WriteLine("Charset: {0}, confidence: {1}", 
                 cdet.Charset, cdet.Confidence);
        } else {
            Console.WriteLine("Detection failed.");
        }
    }
}    

คุณไม่สามารถตรวจพบเพจรหัสได้

นี่เป็นความเท็จอย่างชัดเจน เว็บเบราว์เซอร์ทุกชนิดมีตัวตรวจจับชุดอักขระสากลที่จะจัดการกับหน้าเว็บที่ไม่มีข้อบ่งชี้ใด ๆ ในการเข้ารหัส Firefox มีหนึ่ง คุณสามารถดาวน์โหลดรหัสและดูวิธีการใช้งาน ดูเอกสารบางอย่างที่นี่ โดยทั่วไปมันเป็นฮิวริสติก แต่ก็ใช้ได้ดี

ด้วยจำนวนข้อความที่สมเหตุสมผลจึงเป็นไปได้ที่จะตรวจจับภาษาได้

นี่คืออีกหนึ่งฉันเพิ่งพบโดยใช้ Google:

ฉันรู้ว่ามันสายเกินไปสำหรับคำถามนี้และวิธีแก้ปัญหานี้จะไม่ดึงดูดบางอย่าง (เพราะความลำเอียงที่เป็นภาษาอังกฤษและการขาดการทดสอบทางสถิติ / เชิงประจักษ์) แต่มันใช้งานได้ดีมากสำหรับฉันโดยเฉพาะการประมวลผลข้อมูล CSV ที่อัปโหลด:

http://www.architectshack.com/TextFileEncodingDetector.ashx

ข้อดี:

• การตรวจจับ BOM ในตัว
• การเข้ารหัสเริ่มต้น / ทางเลือกปรับแต่งได้
• ค่อนข้างน่าเชื่อถือ (จากประสบการณ์ของฉัน) สำหรับไฟล์จากยุโรปตะวันตกที่มีข้อมูลแปลกใหม่ (เช่นชื่อภาษาฝรั่งเศส) ด้วยการผสมผสานของไฟล์ UTF-8 และสไตล์ลาติน 1 ซึ่งเป็นสภาพแวดล้อมของสหรัฐอเมริกาและยุโรปตะวันตก

หมายเหตุ: ฉันเป็นคนที่เขียนวิชานี้ดังนั้นเอาเกลือเม็ดหนึ่งไปเลย! :)

Notepad ++ มีคุณสมบัตินี้นอกกรอบ นอกจากนี้ยังรองรับการเปลี่ยน

มองหาทางออกที่แตกต่างฉันพบว่า

https://code.google.com/p/ude/

วิธีแก้ปัญหานี้ค่อนข้างหนัก

ฉันต้องการการตรวจจับการเข้ารหัสขั้นพื้นฐานโดยอิงจาก 4 ไบต์แรกและอาจเป็นการตรวจสอบชุดอักขระ xml - ดังนั้นฉันจึงใช้ตัวอย่างซอร์สโค้ดตัวอย่างจากอินเทอร์เน็ตและเพิ่มเวอร์ชันที่แก้ไขเล็กน้อยของ

http://lists.w3.org/Archives/Public/www-validator/2002Aug/0084.html

เขียนขึ้นสำหรับ Java

    public static Encoding DetectEncoding(byte[] fileContent)
    {
        if (fileContent == null)
            throw new ArgumentNullException();

        if (fileContent.Length < 2)
            return Encoding.ASCII;      // Default fallback

        if (fileContent[0] == 0xff
            && fileContent[1] == 0xfe
            && (fileContent.Length < 4
                || fileContent[2] != 0
                || fileContent[3] != 0
                )
            )
            return Encoding.Unicode;

        if (fileContent[0] == 0xfe
            && fileContent[1] == 0xff
            )
            return Encoding.BigEndianUnicode;

        if (fileContent.Length < 3)
            return null;

        if (fileContent[0] == 0xef && fileContent[1] == 0xbb && fileContent[2] == 0xbf)
            return Encoding.UTF8;

        if (fileContent[0] == 0x2b && fileContent[1] == 0x2f && fileContent[2] == 0x76)
            return Encoding.UTF7;

        if (fileContent.Length < 4)
            return null;

        if (fileContent[0] == 0xff && fileContent[1] == 0xfe && fileContent[2] == 0 && fileContent[3] == 0)
            return Encoding.UTF32;

        if (fileContent[0] == 0 && fileContent[1] == 0 && fileContent[2] == 0xfe && fileContent[3] == 0xff)
            return Encoding.GetEncoding(12001);

        String probe;
        int len = fileContent.Length;

        if( fileContent.Length >= 128 ) len = 128;
        probe = Encoding.ASCII.GetString(fileContent, 0, len);

        MatchCollection mc = Regex.Matches(probe, "^<\\?xml[^<>]*encoding[ \\t\\n\\r]?=[\\t\\n\\r]?['\"]([A-Za-z]([A-Za-z0-9._]|-)*)", RegexOptions.Singleline);
        // Add '[0].Groups[1].Value' to the end to test regex

        if( mc.Count == 1 && mc[0].Groups.Count >= 2 )
        {
            // Typically picks up 'UTF-8' string
            Encoding enc = null;

            try {
                enc = Encoding.GetEncoding( mc[0].Groups[1].Value );
            }catch (Exception ) { }

            if( enc != null )
                return enc;
        }

        return Encoding.ASCII;      // Default fallback
    }

ก็เพียงพอที่จะอ่านอาจ 1024 ไบต์แรกจากไฟล์ แต่ฉันกำลังโหลดไฟล์ทั้งหมด

หากใครบางคนกำลังมองหาวิธีการแก้ปัญหา 93.9% สิ่งนี้ใช้ได้กับฉัน:

public static class StreamExtension
{
    /// <summary>
    /// Convert the content to a string.
    /// </summary>
    /// <param name="stream">The stream.</param>
    /// <returns></returns>
    public static string ReadAsString(this Stream stream)
    {
        var startPosition = stream.Position;
        try
        {
            // 1. Check for a BOM
            // 2. or try with UTF-8. The most (86.3%) used encoding. Visit: http://w3techs.com/technologies/overview/character_encoding/all/
            var streamReader = new StreamReader(stream, new UTF8Encoding(encoderShouldEmitUTF8Identifier: false, throwOnInvalidBytes: true), detectEncodingFromByteOrderMarks: true);
            return streamReader.ReadToEnd();
        }
        catch (DecoderFallbackException ex)
        {
            stream.Position = startPosition;

            // 3. The second most (6.7%) used encoding is ISO-8859-1. So use Windows-1252 (0.9%, also know as ANSI), which is a superset of ISO-8859-1.
            var streamReader = new StreamReader(stream, Encoding.GetEncoding(1252));
            return streamReader.ReadToEnd();
        }
    }
}

ฉันทำสิ่งที่คล้ายกันใน Python โดยพื้นฐานแล้วคุณต้องการข้อมูลตัวอย่างจำนวนมากจากการเข้ารหัสที่แตกต่างกันซึ่งถูกแบ่งย่อยโดยหน้าต่างสองไบต์ที่เลื่อนและเก็บไว้ในพจนานุกรม (แฮช) โดยใส่คีย์ไบต์คู่ที่ให้ค่าของรายการการเข้ารหัส

เนื่องจากพจนานุกรม (แฮช) คุณใช้ข้อความป้อนข้อมูลของคุณและ:

• ถ้ามันเริ่มต้นด้วยอักขระ BOM ใด ๆ ('\ xfe \ xff' สำหรับ UTF-16-BE, '\ xff \ xfe' สำหรับ UTF-16-LE, '\ xef \ xbb \ xbf' สำหรับ UTF-8 ฯลฯ ) ฉัน ปฏิบัติต่อมันตามที่แนะนำ
• ถ้าไม่เช่นนั้นให้นำตัวอย่างข้อความที่มีขนาดใหญ่พอใช้ตัวอย่างไบต์คู่ทั้งหมดแล้วเลือกการเข้ารหัสที่น้อยที่สุดที่แนะนำจากพจนานุกรม

หากคุณสุ่มตัวอย่างข้อความที่เข้ารหัสด้วย UTF ที่ไม่ได้เริ่มต้นด้วย BOM ใด ๆ ขั้นตอนที่สองจะครอบคลุมเนื้อหาที่เลื่อนจากขั้นตอนแรก

จนถึงตอนนี้มันใช้งานได้สำหรับฉัน (ข้อมูลตัวอย่างและข้อมูลอินพุตที่ตามมาคือคำบรรยายในภาษาต่างๆ) ที่มีอัตราความผิดพลาดลดลง

เครื่องมือ "uchardet" ทำได้ดีโดยใช้แบบจำลองการแจกแจงความถี่อักขระสำหรับแต่ละชุดอักขระ ไฟล์ที่ใหญ่กว่าและไฟล์ "ทั่วไป" มากขึ้นจะมีความมั่นใจมากขึ้น (ชัด)

บน Ubuntu apt-get install uchardetคุณเพียงแค่

ในระบบอื่น ๆ รับที่มาการใช้ & เอกสารที่นี่: https://github.com/BYVoid/uchardet

ตัวสร้างคลาส StreamReader ใช้พารามิเตอร์ 'ตรวจจับการเข้ารหัส'

หากคุณสามารถเชื่อมโยงไปยังห้องสมุด C libencaคุณสามารถใช้ ดูhttp://cihar.com/software/enca/ จากหน้าคน:

Enca อ่านไฟล์ข้อความที่ได้รับหรืออินพุตมาตรฐานเมื่อไม่ได้รับและใช้ความรู้เกี่ยวกับภาษาของพวกเขา (ต้องได้รับการสนับสนุนจากคุณ) และส่วนผสมของการแยกวิเคราะห์การวิเคราะห์ทางสถิติการคาดเดาและเวทมนตร์ดำเพื่อกำหนดการเข้ารหัส

มันคือ GPL v2

พบปัญหาเดียวกัน แต่ไม่พบวิธีแก้ไขที่ดีในการตรวจหาโดยอัตโนมัติ ตอนนี้ฉันใช้ PsPad (www.pspad.com) เพื่อสิ่งนั้น;) ใช้งานได้ดี

เนื่องจากโดยพื้นฐานแล้วมาจากการวิเคราะห์พฤติกรรมจึงอาจช่วยให้ใช้การเข้ารหัสไฟล์ที่ได้รับก่อนหน้านี้จากแหล่งเดียวกันเป็นคำใบ้แรก

คนส่วนใหญ่ (หรือแอปพลิเคชัน) ทำสิ่งต่าง ๆ ตามลำดับที่เหมือนกันทุกครั้งบ่อยครั้งบนเครื่องเดียวกันดังนั้นจึงค่อนข้างเป็นไปได้ว่าเมื่อ Bob สร้างไฟล์. csv และส่งไปยัง Mary มันจะใช้ Windows-1252 เสมอหรือ สิ่งที่เครื่องของเขาเริ่มต้น

ถ้าเป็นไปได้การฝึกอบรมลูกค้าสักเล็กน้อยไม่เคยเจ็บ :-)

จริงๆแล้วฉันกำลังมองหาวิธีทั่วไปไม่ใช่การเขียนโปรแกรมในการตรวจจับการเข้ารหัสไฟล์ แต่ฉันยังไม่พบสิ่งนั้น สิ่งที่ฉันค้นพบจากการทดสอบด้วยการเข้ารหัสที่แตกต่างกันคือข้อความของฉันคือ UTF-7

ดังนั้นที่ฉันทำครั้งแรก: StreamReader file = File.OpenText (fullfilename);

ฉันต้องเปลี่ยนเป็น: StreamReader file = new StreamReader (fullfilename, System.Text.Encoding.UTF7);

OpenText ถือว่าเป็น UTF-8

คุณยังสามารถสร้าง StreamReader เช่น StreamReader ใหม่ (fullfilename, true) พารามิเตอร์ที่สองหมายความว่าควรลองและตรวจจับการเข้ารหัสจาก byteordermark ของไฟล์ แต่มันไม่ได้ผลในกรณีของฉัน

เปิดไฟล์ใน AkelPad (หรือเพียงแค่คัดลอก / วางข้อความที่อ่านไม่ออก) ไปที่ Edit -> Selection -> Recode ... -> ตรวจสอบ "Autodetect"

ในฐานะที่เป็น addon ถึงโพสต์ ITmeze ฉันได้ใช้ฟังก์ชั่นนี้เพื่อแปลงผลลัพธ์ของพอร์ต C # สำหรับ Mozilla Universal Charset Detector

    private Encoding GetEncodingFromString(string codePageName)
    {
        try
        {
            return Encoding.GetEncoding(codePageName);
        }
        catch
        {
            return Encoding.ASCII;
        }
    }

MSDN

ขอบคุณ @ Erik Aronestyuchardetสำหรับการกล่าวขวัญ

ในขณะเดียวกัน (? เดียวกัน) chardetเครื่องมือที่มีอยู่สำหรับลินุกซ์:
หรือบน cygwin chardetectคุณอาจต้องการที่จะใช้:

ดู: หน้าชาร์ด: https://www.commandlinux.com/man-page/man1/chardetect.1.html

วิธีนี้จะตรวจจับ (เดา) การเข้ารหัสอักขระสำหรับแต่ละไฟล์ที่กำหนดและจะรายงานชื่อและระดับความมั่นใจสำหรับการเข้ารหัสอักขระที่ตรวจพบของแต่ละไฟล์

ฉันใช้รหัสนี้เพื่อตรวจจับ Unicode และ windows เป็นค่าเริ่มต้น ansi codepage เมื่ออ่านไฟล์ สำหรับ codings อื่น ๆ การตรวจสอบเนื้อหาเป็นสิ่งจำเป็นด้วยตนเองหรือโดยการเขียนโปรแกรม สามารถใช้เพื่อบันทึกข้อความด้วยการเข้ารหัสเช่นเดียวกับเมื่อมันถูกเปิด (ฉันใช้ VB.NET)

'Works for Default and unicode (auto detect)
Dim mystreamreader As New StreamReader(LocalFileName, Encoding.Default) 
MyEditTextBox.Text = mystreamreader.ReadToEnd()
Debug.Print(mystreamreader.CurrentEncoding.CodePage) 'Autodetected encoding
mystreamreader.Close()

10Y (!) ผ่านไปนับตั้งแต่มีการถามและฉันก็ยังไม่เห็นการกล่าวถึงโซลูชันที่ดีและไม่ใช่GPLของ MS: IMultiLanguage2 API

ห้องสมุดส่วนใหญ่ที่กล่าวมาแล้วนั้นใช้ UDE ของ Mozilla และดูเหมือนว่าเหตุผลที่เบราว์เซอร์ได้จัดการกับปัญหาที่คล้ายกันแล้ว ฉันไม่รู้ว่าโซลูชันของ chrome คืออะไร แต่เนื่องจาก IE 5.0 MS ได้เปิดตัวแล้วและก็คือ:

1. ไม่มีปัญหาสิทธิ์ใช้งาน GPL และเหมือน
2. ได้รับการสนับสนุนและคงไว้ซึ่งตลอดไป
3. ให้ผลลัพธ์ที่หลากหลาย - ผู้สมัครที่ถูกต้องทั้งหมดสำหรับการเข้ารหัส / รหัสเพจพร้อมกับคะแนนความมั่นใจ
4. ใช้งานง่ายอย่างน่าแปลกใจ (เป็นการเรียกฟังก์ชั่นเดียว)

มันเป็นสาย COM ดั้งเดิม แต่นี่เป็นงานที่ดีมากโดย Carsten Zeumer ที่จัดการกับการใช้งานอินเตอร์เน็ทสำหรับการใช้งาน. net มีคนอื่นอยู่รอบ ๆ แต่ห้องสมุดขนาดใหญ่นี้ไม่ได้รับความสนใจเท่าที่ควร