Chrome รู้ได้อย่างไรว่ามีหน้าภาษาอะไร

ฉันเพิ่งเปิดหน้าเว็บใน Google Chrome และมีข้อความแจ้งว่า "หน้านี้เป็นภาษาญี่ปุ่นคุณต้องการแปลหรือไม่"

การขอคำแปลอาจส่งเนื้อหาไปยัง Google แต่ภาษาใดที่ถูกระบุไว้ในตอนแรก สิ่งนี้ทำได้ในพื้นที่ในเบราว์เซอร์หรือไม่ หรือสิ่งนี้ส่งหน้าไปยัง Google ด้วยหรือไม่ ถ้าเป็นเช่นนั้นฉันจะไม่ได้รับอนุญาตก่อนหรือไม่? หน้านั้นไม่มีมาร์กอัปเพื่อระบุภาษาและเป็นหน้าอินทราเน็ตภายในดังนั้นฉันจึงไม่แน่ใจว่า Google ควรจะสามารถเข้าถึงเนื้อหาของมันได้

เบราว์เซอร์ Chrome สามารถระบุภาษาของหน้าเว็บหรืออย่างน้อยก็เดาได้โดยดูจากจำนวนของปัจจัยในหน้า:

• http ส่วนหัวhttp://en.wikipedia.org/wiki/List_of_HTTP_header_fields
• การเข้ารหัสอักขระที่ใช้
• เมตาแท็กการเข้ารหัส
• การวิเคราะห์ทางสถิติของตัวละครหรือคำที่แท้จริงในหน้า

สามารถทำได้ในพื้นที่โดยไม่ต้องเชื่อมต่ออินเทอร์เน็ตหรือรายงานไปยัง Google

การแปลเนื้อหาจะส่งเนื้อหาของหน้าไปยังเซิร์ฟเวอร์ของ Google เพื่อทำการแปล

DeterminePageLanguageฟังก์ชั่นที่เรียกว่า มันอยู่ในไฟล์components/translate/core/language_detection/language_detection_util.cc

โครเมี่ยมการตรวจสอบครั้งแรกHTML langแอตทริบิวต์และถ้ามันไม่ได้อยู่มันตรวจสอบหัวContent-Language HTTP cld3จากนั้นก็จะได้รับการคาดการณ์จาก

ตรวจจับภาษากระชับ v3 (หรือ CLD3) เป็นรูปแบบเครือข่ายประสาทเทียมสำหรับการระบุภาษา สถานะ README:

รหัสการอนุมานจะแยกอักขระ ngrams ออกจากข้อความอินพุตและคำนวณเศษส่วนของแต่ละครั้งที่ปรากฏขึ้น ตัวอย่างเช่นดังที่แสดงในภาพด้านล่างหากข้อความอินพุตคือ "Banana" ดังนั้นหนึ่งใน trigrams ที่สกัดคือ "ana" และเศษส่วนที่เกี่ยวข้องคือ 2/4 ngrams จะถูกแฮชให้เป็น id ภายในช่วงเล็ก ๆ และแต่ละ id จะถูกแสดงด้วยเวกเตอร์การฝังที่หนาแน่นโดยประมาณระหว่างการฝึก

แบบจำลองเฉลี่ย embeddings ที่สอดคล้องกับแต่ละประเภท ngram ตามเศษส่วนและ embeddings เฉลี่ยจะถูกตัดแบ่งเพื่อสร้างชั้นฝัง

พวกเขาดาวน์โหลดสำเนาของเว็บไซต์จำนวนมากและจ่ายเงินให้คนดูข้อความบนเว็บไซต์เหล่านั้นและพูดภาษาที่พวกเขาเขียนมาจากนั้นพวกเขาแบ่งข้อความออกเป็นn-grams (กลุ่มตัวอักษรn ) และอื่น ๆ และใช้เครือข่ายประสาทเทียมเพื่อเรียนรู้การแมประหว่างการแจกแจง n-gram และภาษา

ดังนั้นตอนนี้พวกเขามี 2 ตัวแปร:

• language ซึ่งถูกตั้งค่าจาก HTML หรือส่วนหัว (จำได้ว่าแอตทริบิวต์ HTML มีความสำคัญกว่าหากมีทั้งคู่)
• cld_language ซึ่งเป็นคำทำนายตามความถี่ของกลุ่มตัวอักษรในหน้า

จากนั้นเราก็ตีชุดคำสั่ง if นี้ (ฉันได้แก้ไขส่วนที่พวกเขาส่งข้อมูลการวิเคราะห์เกี่ยวกับภาษาที่ไม่ตรงกัน)

  if (language.empty()) {
    return cld_language;
  }

  if (cld_language == kUnknownLanguageCode) {
    return language;
  }

  if (CanCLDComplementSubCode(language, cld_language)) {
    return cld_language;
  }

  if (IsSameOrSimilarLanguages(language, cld_language)) {
    return language;
  }

  if (MaybeServerWrongConfiguration(language, cld_language)) {
    return cld_language;
  }

  // Content-Language value might be wrong because CLD says that this page is
  // written in another language with confidence. In this case, Chrome doesn't
  // rely on any of the language codes, and gives up suggesting a translation.
  return kUnknownLanguageCode;

CLD3 มีขนาดเล็กและทำงานในเครื่อง อันที่จริงมันเป็นโอเพนซอร์ซและพวกเขาแจกจ่ายแบบจำลองที่ผ่านการฝึกอบรมมาก่อน (แม้ว่าจะไม่มีรหัสสำหรับการฝึกอบรมรูปแบบและข้อมูลที่ใช้) คุณสามารถใช้มันในโครงการของคุณ

แม้จะมีการผูก Python (ไม่เป็นทางการและไม่มีการระบาย) สำหรับรหัส C ++ ดั้งเดิม (คุณจะต้องติดตั้งCython )

pip install cld3