ตัวอย่างสตริง utf8 ไม่ถูกต้อง?

ฉันกำลังทดสอบว่าโค้ดบางส่วนจัดการกับข้อมูลที่ไม่ดีอย่างไรและฉันต้องการไบต์สองสามชุดที่ไม่ถูกต้อง UTF-8

คุณสามารถโพสต์คำอธิบายว่าทำไมพวกเขาถึงไม่ดี / ที่คุณได้รับ?

ดูความสามารถตัวถอดรหัส UTF-8 ของ Markus Kuhn และไฟล์ทดสอบความเครียด

คุณจะพบตัวอย่างของความผิดปกติของ UTF-8 จำนวนมากรวมถึงไบต์เริ่มต้นที่อ้างว้างไบต์ต่อเนื่องหายไปลำดับที่ยาวเกินไป ฯลฯ

ใน PHP:

$examples = array(
    'Valid ASCII' => "a",
    'Valid 2 Octet Sequence' => "\xc3\xb1",
    'Invalid 2 Octet Sequence' => "\xc3\x28",
    'Invalid Sequence Identifier' => "\xa0\xa1",
    'Valid 3 Octet Sequence' => "\xe2\x82\xa1",
    'Invalid 3 Octet Sequence (in 2nd Octet)' => "\xe2\x28\xa1",
    'Invalid 3 Octet Sequence (in 3rd Octet)' => "\xe2\x82\x28",
    'Valid 4 Octet Sequence' => "\xf0\x90\x8c\xbc",
    'Invalid 4 Octet Sequence (in 2nd Octet)' => "\xf0\x28\x8c\xbc",
    'Invalid 4 Octet Sequence (in 3rd Octet)' => "\xf0\x90\x28\xbc",
    'Invalid 4 Octet Sequence (in 4th Octet)' => "\xf0\x28\x8c\x28",
    'Valid 5 Octet Sequence (but not Unicode!)' => "\xf8\xa1\xa1\xa1\xa1",
    'Valid 6 Octet Sequence (but not Unicode!)' => "\xfc\xa1\xa1\xa1\xa1\xa1",
);

จากhttp://www.php.net/manual/en/reference.pcre.pattern.modifiers.php#54805

, ̆ชั่วร้ายเป็นพิเศษ ฉันเห็นว่ามันรวมกันบน ubuntu

ลูกน้ำ

แนวคิดเกี่ยวกับรูปแบบของลำดับไบต์ที่ไม่ดีสามารถได้มาจากตารางของลำดับไบต์ที่มีรูปแบบดี ดู " ตารางที่ 3-7 ลำดับ UTF-8 ไบต์ที่มีรูปแบบดี " ในมาตรฐาน Unicode 6.2

    Code Points    First Byte Second Byte Third Byte Fourth Byte
  U+0000 -   U+007F   00 - 7F
  U+0080 -   U+07FF   C2 - DF    80 - BF
  U+0800 -   U+0FFF   E0         A0 - BF     80 - BF
  U+1000 -   U+CFFF   E1 - EC    80 - BF     80 - BF
  U+D000 -   U+D7FF   ED         80 - 9F     80 - BF
  U+E000 -   U+FFFF   EE - EF    80 - BF     80 - BF
 U+10000 -  U+3FFFF   F0         90 - BF     80 - BF    80 - BF
 U+40000 -  U+FFFFF   F1 - F3    80 - BF     80 - BF    80 - BF
U+100000 - U+10FFFF   F4         80 - 8F     80 - BF    80 - BF

นี่คือตัวอย่างที่สร้างจาก U + 24B62 ฉันใช้มันสำหรับรายงานข้อบกพร่อง: ข้อผิดพลาด # 65045 mb_convert_encoding แบ่งตัวละครที่มีรูปทรงดี

// U+24B62: "\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD"    ."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD"

การย่อขนาดของช่วงของไบต์ต่อท้าย ([0x80, 0xBF]) สามารถเห็นได้ในไลบรารีต่างๆ

// U+0800 - U+0FFF
\xE0\x80\x80

// U+D000 - U+D7FF
\xED\xBF\xBF

// U+10000 -  U+3FFFF
\xF0\x80\x80\x80

// U+100000 - U+10FFFF
\xF4\xBF\xBF\xBF

การทดสอบ Fuzz - สร้างลำดับออคเต็ตแบบสุ่ม เป็นไปได้มากว่าคุณจะได้รับลำดับที่ผิดกฎหมายเร็วกว่าในภายหลัง