วิธีตรวจสอบว่าคำนั้นเป็นคำภาษาอังกฤษด้วย Python หรือไม่?

ฉันต้องการตรวจสอบในโปรแกรม Python หากมีคำอยู่ในพจนานุกรมภาษาอังกฤษ

ฉันเชื่อว่าอินเทอร์เฟซ nltk wordnet อาจเป็นวิธีที่จะไป แต่ฉันไม่รู้ว่าจะใช้มันอย่างไรสำหรับงานง่ายๆเช่นนี้

def is_english_word(word):
    pass # how to I implement is_english_word?

is_english_word(token.lower())

ในอนาคตฉันอาจต้องการตรวจสอบว่ารูปเอกพจน์ของคำอยู่ในพจนานุกรมหรือไม่ (เช่นคุณสมบัติ -> คุณสมบัติ -> คำภาษาอังกฤษ) ฉันจะบรรลุเป้าหมายนั้นได้อย่างไร?

สำหรับการใช้พลังงาน (มาก) PyEnchantและความยืดหยุ่นใช้ห้องสมุดเฉพาะเช่นการตรวจคำสะกด มีบทช่วยสอนหรือคุณสามารถดำน้ำได้โดยตรง:

>>> import enchant
>>> d = enchant.Dict("en_US")
>>> d.check("Hello")
True
>>> d.check("Helo")
False
>>> d.suggest("Helo")
['He lo', 'He-lo', 'Hello', 'Helot', 'Help', 'Halo', 'Hell', 'Held', 'Helm', 'Hero', "He'll"]
>>>

PyEnchantมาพร้อมกับพจนานุกรมบางส่วน (en_GB, en_US, de_DE, fr_FR) แต่สามารถใช้OpenOfficeใด ๆ ก็ได้หากคุณต้องการภาษาเพิ่มเติม

ดูเหมือนจะมีการเรียกไลบรารีพหูพจน์inflectแต่ฉันไม่รู้ว่ามันดีหรือไม่

มันใช้งานได้ไม่ดีกับ WordNet เนื่องจาก WordNet ไม่มีคำภาษาอังกฤษทั้งหมด ความเป็นไปได้อีกประการหนึ่งที่ขึ้นอยู่กับ NLTK โดยไม่มีเสน่ห์คือคลังคำของ NLTK

>>> from nltk.corpus import words
>>> "would" in words.words()
True
>>> "could" in words.words()
True
>>> "should" in words.words()
True
>>> "I" in words.words()
True
>>> "you" in words.words()
True

ใช้ NLTK :

from nltk.corpus import wordnet

if not wordnet.synsets(word_to_test):
  #Not an English Word
else:
  #English Word

คุณควรอ้างถึงบทความนี้หากคุณมีปัญหาในการติดตั้ง wordnet หรือต้องการลองวิธีอื่น ๆ

การใช้ชุดเพื่อจัดเก็บรายการคำเพราะการค้นหาจะเร็วกว่า:

with open("english_words.txt") as word_file:
    english_words = set(word.strip().lower() for word in word_file)

def is_english_word(word):
    return word.lower() in english_words

print is_english_word("ham")  # should be true if you have a good english_words.txt

เพื่อตอบคำถามส่วนที่สองพหูพจน์จะอยู่ในรายการคำที่ดีอยู่แล้ว แต่ถ้าคุณต้องการแยกคำเหล่านั้นออกจากรายการโดยเฉพาะด้วยเหตุผลบางประการคุณสามารถเขียนฟังก์ชันเพื่อจัดการได้ แต่กฎการใช้พหูพจน์ภาษาอังกฤษนั้นยุ่งยากพอที่ฉันจะรวมพหูพจน์ไว้ในรายการคำเพื่อเริ่มต้นด้วย

ในการค้นหารายการคำศัพท์ภาษาอังกฤษฉันพบหลายคำเพียงแค่ Googling "รายการคำภาษาอังกฤษ" นี่คือหนึ่ง: http://www.sil.org/linguistics/wordlists/english/wordlist/wordsEn.txt คุณสามารถใช้ Google เป็นภาษาอังกฤษแบบอังกฤษหรือแบบอเมริกันได้หากคุณต้องการภาษาถิ่นใดภาษาหนึ่งโดยเฉพาะ

สำหรับโซลูชันที่ใช้ NLTK ที่เร็วขึ้นคุณสามารถแฮชชุดคำเพื่อหลีกเลี่ยงการค้นหาเชิงเส้น

from nltk.corpus import words as nltk_words
def is_english_word(word):
    # creation of this dictionary would be done outside of 
    #     the function because you only need to do it once.
    dictionary = dict.fromkeys(nltk_words.words(), None)
    try:
        x = dictionary[word]
        return True
    except KeyError:
        return False

ฉันพบว่ามีโซลูชันแบบแพ็กเกจ 3 แบบในการแก้ปัญหา พวกเขาคือ pyenchant, wordnet และ corpus (กำหนดเองหรือจาก ntlk) Pyenchant ไม่สามารถติดตั้งได้อย่างง่ายดายในWin64 กับ py3 Wordnet ทำงานได้ไม่ดีนักเนื่องจากคลังข้อมูลยังไม่สมบูรณ์ สำหรับฉันฉันเลือกวิธีแก้ปัญหาที่ตอบโดย @Sadikและใช้ 'set (words.words ())' เพื่อเร่งความเร็ว

อันดับแรก:

pip3 install nltk
python3

import nltk
nltk.download('words')

จากนั้น:

from nltk.corpus import words
setofwords = set(words.words())

print("hello" in setofwords)
>>True

ด้วย pyEnchant.checker SpellChecker:

from enchant.checker import SpellChecker

def is_in_english(quote):
    d = SpellChecker("en_US")
    d.set_text(quote)
    errors = [err.word for err in d]
    return False if ((len(errors) > 4) or len(quote.split()) < 3) else True

print(is_in_english('“办理美国加州州立大学圣贝纳迪诺分校高仿成绩单Q/V2166384296加州州立大学圣贝纳迪诺分校学历学位认证'))
print(is_in_english('“Two things are infinite: the universe and human stupidity; and I\'m not sure about the universe.”'))

> False
> True

สำหรับวิธีการเว็บเชิงความหมายที่คุณสามารถเรียกใช้แบบสอบถาม SPARQL กับเครือข่ายคำในรูปแบบ โดยทั่วไปเพียงใช้โมดูล urllib เพื่อส่งคำขอ GET และส่งคืนผลลัพธ์ในรูปแบบ JSON แยกวิเคราะห์โดยใช้โมดูล python 'json' หากไม่ใช่คำภาษาอังกฤษคุณจะไม่ได้ผลลัพธ์

ในฐานะที่เป็นความคิดที่อื่นคุณสามารถสอบถามพจนานุกรมของ API

สำหรับผู้ใช้ Linux / Unix ทั้งหมด

หากระบบปฏิบัติการของคุณใช้เคอร์เนลของลินุกซ์มีวิธีง่ายๆในการรับคำศัพท์ทั้งหมดจากพจนานุกรมภาษาอังกฤษ / อเมริกัน ในไดเร็กทอรี/usr/share/dictคุณมีwordsไฟล์ นอกจากนี้ยังมีเฉพาะเจาะจงมากขึ้นamerican-englishและbritish-englishไฟล์ คำเหล่านี้ประกอบด้วยคำทั้งหมดในภาษาเฉพาะนั้น คุณสามารถเข้าถึงสิ่งนี้ได้ตลอดทุกภาษาการเขียนโปรแกรมซึ่งเป็นสาเหตุที่ฉันคิดว่าคุณอาจต้องการทราบเกี่ยวกับเรื่องนี้

ตอนนี้สำหรับผู้ใช้เฉพาะ python รหัส python ด้านล่างควรกำหนดคำในรายการให้มีค่าของทุกคำ:

import re
file = open("/usr/share/dict/words", "r")
words = re.sub("[^\w]", " ",  file.read()).split()

def is_word(word):
    return word.lower() in words

is_word("tarts") ## Returns true
is_word("jwiefjiojrfiorj") ## Returns False

หวังว่านี่จะช่วยได้ !!!