ลบ✅, 🔥, ✈, ♛และอื่น ๆ เช่น emojis / images / signs จากสตริง Java

ฉันมีสายอักขระที่มีอิโมจิ / ภาพ / สัญลักษณ์ต่าง ๆ ทุกชนิด

ไม่ใช่ทุกสายอักขระที่เป็นภาษาอังกฤษ - บางส่วนเป็นภาษาอื่นที่ไม่ใช่ภาษาละตินตัวอย่างเช่น:

▓ railway??
→ Cats and dogs
I'm on 🔥
Apples ⚛ 
✅ Vi sign
♛ I'm the king ♛ 
Corée ♦ du Nord ☁  (French)
 gjør at både ◄╗ (Norwegian)
Star me ★
Star ⭐ once more
早上好 ♛ (Chinese)
Καλημέρα ✂ (Greek)
another ✓ sign ✓
добрай раніцы ✪ (Belarus)
◄ शुभ प्रभात ◄ (Hindi)
✪ ✰ ❈ ❧ Let's get together ★. We shall meet at 12/10/2018 10:00 AM at Tony's.❉

... และอีกมากมาย

ฉันต้องการกำจัดเครื่องหมาย / ภาพเหล่านี้ทั้งหมดและเก็บเฉพาะตัวอักษร (และเครื่องหมายวรรคตอน) ในภาษาต่างๆ

ฉันพยายามทำความสะอาดป้ายโดยใช้ห้องสมุด EmojiParser :

String withoutEmojis = EmojiParser.removeAllEmojis(input);

ปัญหาคือ EmojiParser ไม่สามารถลบสัญญาณส่วนใหญ่ได้ เครื่องหมาย♦เป็นสิ่งเดียวที่ฉันค้นพบมาจนถึงตอนนี้มันถูกลบออก สัญญาณอื่น ๆ เช่น✪❉★✰❈❧✂❋❋ⓡ✿🔥🔥จะไม่ถูกลบ

มีวิธีลบสัญญาณเหล่านี้ทั้งหมดจากสายป้อนข้อมูลและเก็บเฉพาะตัวอักษรและเครื่องหมายวรรคตอนในภาษาต่าง ๆหรือไม่

แทนที่จะขึ้นบัญชีดำองค์ประกอบบางอย่างวิธีสร้างรายการที่อนุญาตของอักขระที่คุณต้องการเก็บไว้ วิธีนี้คุณไม่ต้องกังวลกับการเพิ่มอีโมจิใหม่ทุกอัน

String characterFilter = "[^\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]";
String emotionless = aString.replaceAll(characterFilter,"");

ดังนั้น:

• [\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]เป็นช่วงที่เป็นตัวแทนของตัวเลข ( \\p{N}), ตัวอักษร ( \\p{L}), เครื่องหมาย ( \\p{M}), เครื่องหมายวรรคตอน ( \\p{P}), ช่องว่าง / ตัวคั่น ( \\p{Z}), การจัดรูปแบบอื่น ( \\p{Cf}) และอักขระอื่น ๆ ด้านบนU+FFFFในอักขระ Unicode ( \\p{Cs}) และ newline ( \\s) \\p{L}เฉพาะรวมถึงตัวละครจากตัวอักษรอื่น ๆ เช่นริลลิก, ละติน, จิ ฯลฯ
• ^ในชุดอักขระ regex ขัดแย้งการแข่งขัน

ตัวอย่าง:

String str = "hello world _# 皆さん、こんにちは！　私はジョンと申します。🔥";
System.out.print(str.replaceAll("[^\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]",""));
// Output:
//   "hello world _# 皆さん、こんにちは！　私はジョンと申します。"

หากคุณต้องการข้อมูลเพิ่มเติมตรวจสอบเอกสาร Java สำหรับ regexes

ฉันไม่ใช่ super ใน Java ดังนั้นฉันจะไม่พยายามเขียนโค้ดตัวอย่างแบบอินไลน์ แต่วิธีที่ฉันจะทำคือตรวจสอบสิ่งที่ Unicode เรียกว่า "หมวดหมู่ทั่วไป" ของตัวละครแต่ละตัว มีตัวอักษรคู่และเครื่องหมายวรรคตอน

คุณสามารถใช้Character.getTypeเพื่อค้นหาหมวดหมู่ทั่วไปของตัวละครที่กำหนด คุณน่าจะเก็บตัวละครเหล่านั้นไว้ในหมวดหมู่ทั่วไปเหล่านี้

COMBINING_SPACING_MARK
CONNECTOR_PUNCTUATION
CURRENCY_SYMBOL
DASH_PUNCTUATION
DECIMAL_DIGIT_NUMBER
ENCLOSING_MARK
END_PUNCTUATION
FINAL_QUOTE_PUNCTUATION
FORMAT
INITIAL_QUOTE_PUNCTUATION
LETTER_NUMBER
LINE_SEPARATOR
LOWERCASE_LETTER
MATH_SYMBOL
MODIFIER_LETTER
MODIFIER_SYMBOL
NON_SPACING_MARK
OTHER_LETTER
OTHER_NUMBER
OTHER_PUNCTUATION
PARAGRAPH_SEPARATOR
SPACE_SEPARATOR
START_PUNCTUATION
TITLECASE_LETTER
UPPERCASE_LETTER

(ตัวละครทั้งหมดที่คุณระบุว่าต้องการลบโดยเฉพาะมีหมวดหมู่ทั่วไปOTHER_SYMBOLซึ่งฉันไม่ได้รวมไว้ในรายการที่อนุญาตในหมวดหมู่ด้านบน)

จากรายการ Emoji แบบเต็ม v11.0คุณมีคะแนนโค้ด Unicode ที่แตกต่างกันถึง 1,644 จุด ยกตัวอย่างเช่นอยู่ในรายการนี้เป็น✅U+2705

มีรายการเต็มรูปแบบของอีโมจิที่คุณจำเป็นต้องกรองออกโดยใช้จุดรหัส การวนซ้ำมากกว่าหนึ่งครั้งcharหรือbyteไม่ทำงานเพราะจุดรหัสเดียวสามารถขยายได้หลายไบต์ เพราะ Java ใช้ UTF-16 อิโมจิมักจะใช้เวลาสองcharวินาที

String input = "ab✅cd";
for (int i = 0; i < input.length();) {
  int cp = input.codePointAt(i);
  // filter out if matches
  i += Character.charCount(cp); 
}

การแม็พจากจุดโค้ด Unicode U+2705ถึง Java intนั้นตรงไปตรงมา:

int viSign = 0x2705;

หรือตั้งแต่ Java รองรับ Unicode Strings:

int viSign = "✅".codePointAt(0);

ICU4J เป็นเพื่อนของคุณ

UCharacter.hasBinaryProperty(UProperty.EMOJI);

โปรดจำไว้ว่าให้เวอร์ชัน icu4j ของคุณทันสมัยอยู่เสมอและโปรดทราบว่านี่จะกรองอิโมจิ Unicode อย่างเป็นทางการเท่านั้นไม่ใช่ตัวอักษรสัญลักษณ์ รวมกับการกรองประเภทอักขระอื่น ๆ ตามที่ต้องการ

ข้อมูลเพิ่มเติม: http://icu-project.org/apiref/icu4j/com/ibm/icu/lang/UProperty.html#EMOJI

ฉันยกตัวอย่างด้านล่างและคิดว่าละตินก็เพียงพอแล้ว แต่ ...

มีวิธีลบสัญญาณเหล่านี้ทั้งหมดจากสายป้อนข้อมูลและเก็บเฉพาะตัวอักษร & เครื่องหมายวรรคตอนในภาษาต่าง ๆ หรือไม่

หลังจากแก้ไขแล้วให้พัฒนาโซลูชันใหม่โดยใช้Character.getTypeวิธีการและนั่นเป็นภาพที่ดีที่สุดในตอนนี้

package zmarcos.emoji;

import java.util.Arrays;
import java.util.HashSet;
import java.util.Set;

public class TestEmoji {

    public static void main(String[] args) {
        String[] arr = {"Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string",
            "→ Cats and dogs",
            "I'm on 🔥",
            "Apples ⚛ ",
            "✅ Vi sign",
            "♛ I'm the king ♛ ",
            "Star me ★",
            "Star ⭐ once more",
            "早上好 ♛",
            "Καλημέρα ✂"};
        System.out.println("---only letters and spaces alike---\n");
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> Character.isLetter(cp) || Character.isWhitespace(cp)).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }

        System.out.println("\n---unicode blocks white---\n");
        Set<Character.UnicodeBlock> whiteList = new HashSet<>();
        whiteList.add(Character.UnicodeBlock.BASIC_LATIN);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> whiteList.contains(Character.UnicodeBlock.of(cp))).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }

        System.out.println("\n---unicode blocks black---\n");
        Set<Character.UnicodeBlock> blackList = new HashSet<>();        
        blackList.add(Character.UnicodeBlock.EMOTICONS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_TECHNICAL);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS_AND_ARROWS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS_AND_PICTOGRAPHS);
        blackList.add(Character.UnicodeBlock.ALCHEMICAL_SYMBOLS);
        blackList.add(Character.UnicodeBlock.TRANSPORT_AND_MAP_SYMBOLS);
        blackList.add(Character.UnicodeBlock.GEOMETRIC_SHAPES);
        blackList.add(Character.UnicodeBlock.DINGBATS);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> !blackList.contains(Character.UnicodeBlock.of(cp))).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }
        System.out.println("\n---category---\n");
        int[] category = {Character.COMBINING_SPACING_MARK, Character.COMBINING_SPACING_MARK, Character.CONNECTOR_PUNCTUATION, /*Character.CONTROL,*/ Character.CURRENCY_SYMBOL,
            Character.DASH_PUNCTUATION, Character.DECIMAL_DIGIT_NUMBER, Character.ENCLOSING_MARK, Character.END_PUNCTUATION, Character.FINAL_QUOTE_PUNCTUATION,
            /*Character.FORMAT,*/ Character.INITIAL_QUOTE_PUNCTUATION, Character.LETTER_NUMBER, Character.LINE_SEPARATOR, Character.LOWERCASE_LETTER,
            /*Character.MATH_SYMBOL,*/ Character.MODIFIER_LETTER, /*Character.MODIFIER_SYMBOL,*/ Character.NON_SPACING_MARK, Character.OTHER_LETTER, Character.OTHER_NUMBER,
            Character.OTHER_PUNCTUATION, /*Character.OTHER_SYMBOL,*/ Character.PARAGRAPH_SEPARATOR, /*Character.PRIVATE_USE,*/
            Character.SPACE_SEPARATOR, Character.START_PUNCTUATION, /*Character.SURROGATE,*/ Character.TITLECASE_LETTER, /*Character.UNASSIGNED,*/ Character.UPPERCASE_LETTER};
        Arrays.sort(category);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> Arrays.binarySearch(category, Character.getType(cp)) >= 0).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }
    }

}

เอาท์พุท:

---only letters and spaces alike---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove      and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
Im on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 Im the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

---unicode blocks white---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛

Καλημέρα ✂


---unicode blocks black---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
→ Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

---category---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

รหัสทำงานโดยการสตรีม String ไปยังจุดรหัส จากนั้นใช้ lambdas เพื่อกรองอักขระลงในintอาร์เรย์จากนั้นเราแปลงอาร์เรย์เป็น String

ตัวอักษรและช่องว่างที่มีการใช้การใช้วิธีการของตัวละครที่จะกรองไม่ดีกับเครื่องหมายวรรคตอน ความพยายามล้มเหลวพยายามที่ล้มเหลว

Unicode บล็อกสีขาวกรองโดยใช้บล็อก Unicode โปรแกรมเมอร์ระบุว่าได้รับอนุญาตความพยายามล้มเหลวพยายามที่ล้มเหลว

Unicode บล็อกสีดำกรองใช้บล็อก Unicode ระบุโปรแกรมเมอร์ที่จะไม่ได้รับอนุญาตความพยายามล้มเหลวพยายามที่ล้มเหลว

ประเภทการCharacter.getTypeกรองโดยใช้วิธีการแบบคงที่ โปรแกรมเมอร์สามารถกำหนดcategoryประเภทของสิ่งที่ได้รับอนุญาตในอาเรย์ ทำงาน 😨😱😰😲😀

ลองใช้โปรเจคนี้simple-emoji-4j

เข้ากันได้กับ Emoji 12.0 (2018.10.15)

เรียบง่ายด้วย:

EmojiUtils.removeEmoji(str)

ใช้ปลั๊กอิน jQuery ที่เรียกว่า RM-Emoji นี่คือวิธีการทำงาน:

$('#text').remove('emoji').fast()

นี่คือโหมดเร็วที่อาจพลาดอิโมจิบางอย่างเนื่องจากใช้อัลกอริธึมแบบแก้ปัญหาในการค้นหาอีโมจิในข้อความ ใช้.full()วิธีการสแกนสตริงทั้งหมดและลบอิโมจิทั้งหมดที่รับประกัน