กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้ก็็็็็็็็็็็็็็็็็็็็ก็็็็็็็็็็็็็็็็็็็็กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้ก็็็็็็็็็็็็็็็็็็็็กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้ก็็็็็็็็็็็็็็็็็็็็ก็็็็็็็็็็็็็็็็็็็็กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้ก็็็็็็็็็็็็็็็็็็็็กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้

สิ่งเหล่านี้เพิ่งปรากฏในส่วนความคิดเห็นของ Facebook

เราจะฆ่าเชื้อนี้ได้อย่างไร?

เกิดอะไรขึ้นกับอักขระ Unicode เหล่านี้?

นั่นคือตัวละครที่มีชุดตัวละครรวมกัน เนื่องจากอักขระที่รวมเข้าด้วยกันต้องการอยู่เหนืออักขระพื้นฐานจึงซ้อนกัน (ตามตัวอักษร) ตัวอย่างเช่นกรณีของ

กุ้งเง้ง

... มันคือก (ตัวอักษรไทยko kai ) ( U + 0E01 ) ตามด้วยตัวอักษรไทยรวมmai tho ( U + 0E49 ) จำนวน 20 ชุด

เราจะฆ่าเชื้อนี้ได้อย่างไร?

คุณสามารถประมวลผลข้อความล่วงหน้าและ จำกัด จำนวนอักขระรวมที่สามารถนำไปใช้กับอักขระตัวเดียวได้ แต่ความพยายามนั้นอาจไม่คุ้มกับรางวัล คุณต้องใช้แผ่นข้อมูลสำหรับอักขระปัจจุบันทั้งหมดเพื่อที่คุณจะได้ทราบว่าพวกเขารวมกันหรืออะไรและคุณต้องแน่ใจว่าได้อนุญาตอย่างน้อยสองสามตัวเนื่องจากบางภาษาเขียนด้วยตัวกำกับเสียงหลายตัวในฐานเดียว . ตอนนี้หากคุณต้องการ จำกัด ความคิดเห็นไว้ที่ชุดอักขระละตินนั่นจะเป็นการตรวจสอบช่วงที่ง่ายกว่า แต่แน่นอนว่าเป็นเพียงตัวเลือกหากคุณต้องการ จำกัด ความคิดเห็นไว้เพียงไม่กี่ภาษา ข้อมูลเพิ่มเติมแผ่นรหัส ฯลฯ ที่unicode.org

BTW ถ้าคุณอยากรู้ว่าตัวละครบางตัวถูกสร้างขึ้นอย่างไรสำหรับคำถามอื่นเมื่อเร็ว ๆ นี้ฉันได้เขียนโค้ดหน้า"Unicode Show Me" ที่รวดเร็วและสกปรกบน JSBin คุณเพียงแค่คัดลอกและวางข้อความลงในพื้นที่ข้อความจากนั้นจะแสดงจุดรหัสทั้งหมด (~ อักขระ) ที่ข้อความนั้นประกอบขึ้นด้วยลิงก์เช่นด้านบนไปยังหน้าที่อธิบายอักขระแต่ละตัว ใช้งานได้เฉพาะกับจุดรหัสในช่วง U + FFFF และต่ำกว่าเนื่องจากเขียนด้วย JavaScript และเพื่อจัดการกับอักขระที่อยู่เหนือ U + FFFF ใน JavaScript คุณต้องทำงานมากกว่าที่ฉันต้องการทำสำหรับคำถามนั้น (เนื่องจากใน JavaScript a "character" อยู่เสมอ 16 บิตซึ่งหมายความว่าสำหรับบางภาษาอักขระสามารถแบ่งออกเป็น "อักขระ" JavaScript สองตัวที่แยกจากกันและฉันไม่ได้ระบุไว้) แต่มันมีประโยชน์สำหรับข้อความส่วนใหญ่ ...

หากคุณมีเอนจิ้น regex ที่รองรับ Unicode ที่ดีการทำความสะอาดสตริงประเภทนี้เป็นเรื่องเล็กน้อย ตัวอย่างเช่นใน Perl คุณสามารถลบเครื่องหมายรวมทั้งหมดยกเว้นตัวแรกออกจากอักขระทุกตัว (ที่ผู้ใช้รับรู้) ดังนี้:

#!/usr/bin/perl
use strict;
use utf8;

binmode(STDOUT, ':utf8');

my $string = "กิิ ก้้ ก็็ ก็็ กิิ ก้้ ก็็ กิิ ก้้ กิิ ก้้ ก็็ ก็็ กิิ ก้้ ก็็ กิิ ก้้";
$string =~ s/(\p{Mark})\p{Mark}+/$1/g; # Strip excess combining marks
print("$string\n");

สิ่งนี้จะพิมพ์:

กิกุก็กูก็กูก็กูก็กูก็กุ

"เราจะฆ่าเชื้อสิ่งนี้ได้อย่างไร" TJ Crowderตอบได้ดีที่สุด

อย่างไรก็ตามฉันคิดว่าการฆ่าเชื้อเป็นแนวทางที่ไม่ถูกต้องและคริสตี้ ทำถูกต้องกับoverflow:hiddenองค์ประกอบที่มี css

อย่างน้อยนั่นคือวิธีที่ฉันกำลังแก้ปัญหา

ตกลงคนนี้เอาฉันในขณะที่จะคิดออกผมก็รู้สึกว่าการรวมตัวละครในการผลิต zalgo จะจำกัด เหล่านี้ ดังนั้นฉันจึงคาดว่าจะติดตาม regexเพื่อจับคนประหลาด

([\u0300–\u036F\u1AB0–\u1AFF\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F]{2,})

และมันไม่ได้ผล ...

สิ่งที่จับได้คือรายการในวิกิไม่ครอบคลุมอักขระที่รวมกันทั้งหมด

สิ่งที่ทำให้ฉันมีคำใบ้คือ"ก้้้้้้้้้้้้้้้้้้้้".charCodeAt(2).toString(16)= "e49" ซึ่งไม่อยู่ในช่วงของการรวมมันจะอยู่ใน 'การใช้งานส่วนตัว'

ใน C # พวกเขาตกอยู่ภายใต้UnicodeCategory.NonSpacingMarkและสคริปต์ต่อไปนี้จะล้างออก:

    [Test]
    public void IsZalgo()
    {
        var zalgo = new[] { UnicodeCategory.NonSpacingMark };

        File.Delete("IsModifyLike.html");
        File.AppendAllText("IsModifyLike.html", "<table>");
        for (var i = 0; i < 65535; i++)
        {
            var c = (char)i;
            if (zalgo.Contains(Char.GetUnicodeCategory(c)))
            {


                File.AppendAllText("IsModifyLike.html", string.Format("<tr><td>{0}</td><td>{1}</td><td>{2}</td><td>A&#{3};&#{3};&#{3}</td></tr>\n",  i.ToString("X"), c, Char.GetUnicodeCategory(c), i));

            }
        }
        File.AppendAllText("IsModifyLike.html", "</table>");
    }

เมื่อดูตารางที่สร้างขึ้นคุณจะสามารถดูได้ว่าตารางใดซ้อนกันได้ ช่วงหนึ่งที่ขาดหายไปในวิกิพีเดียเป็นอีก06D6-06DC0730-0749

อัพเดท:

นี่คือ regex ที่อัปเดตซึ่งควรกำจัด zalgo ทั้งหมดรวมทั้งรายการที่ข้ามในช่วง 'ปกติ'

([\u0300–\u036F\u1AB0–\u1AFF\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F\u0483-\u0486\u05C7\u0610-\u061A\u0656-\u065F\u0670\u06D6-\u06ED\u0711\u0730-\u073F\u0743-\u074A\u0F18-\u0F19\u0F35\u0F37\u0F72-\u0F73\u0F7A-\u0F81\u0F84\u0e00-\u0eff\uFC5E-\uFC62]{2,})

สิ่งที่ยากที่สุดคือการระบุพวกเขาเมื่อคุณทำเสร็จแล้ว - มีวิธีแก้ปัญหามากมายรวมถึงสิ่งดีๆข้างต้น

หวังว่านี่จะช่วยคุณประหยัดเวลาได้บ้าง