Amazon Echo 'ฟังอยู่เสมอ' และส่งข้อมูลไปยังคลาวด์หรือไม่?

แหล่งข่าวหลายแห่งเช่นIntellihubและCEProดูเหมือนจะแนะนำว่าผู้ช่วยประจำบ้าน Echo ของ Amazon คอยฟังการสนทนาและส่งผ่านอินเทอร์เน็ตไปยังเซิร์ฟเวอร์ของ Amazon อย่างต่อเนื่อง CEPro ระบุว่า:

ด้วยการพูดวลีสำคัญ Amazon เรียกคำว่า“ wake word” เสียงสะท้อนกลับมามีชีวิตชีวาและเริ่มฟังคำสั่ง ตามค่าเริ่มต้นคำปลุกคือ Alexa

หากคุณอ่านซ้ำประโยคสุดท้ายอาจไม่สมเหตุสมผลโดยเฉพาะถ้าคุณอยู่ในเขตรักษาความปลอดภัย จากข้อมูลของ Amazon Echo จะรับฟังคำสั่งเมื่อได้ยินคำปลุกเท่านั้น มันจะรู้ได้อย่างไรว่าคุณพูดคำปลุกถ้ายังไม่ได้ฟัง?

บทความของ Intellihub มีความคล้ายคลึงกันในด้านความเชื่อมั่น:

อุปกรณ์“ Amazon Echo” ซึ่งเป็นลำโพงบลูทู ธ ที่รับฟังได้ตลอดเวลาซึ่งเชื่อมต่อกับบริการสตรีมเพลงเช่น Pandora และ Spotify ด้วยเสียงของบุคคลสามารถแฮ็คและใช้งานโดยหน่วยงานรัฐบาลเช่น FBI เพื่อฟังการสนทนาได้อย่างง่ายดาย

(โปรดทราบว่าฉันไม่ได้มุ่งเน้นไปที่การสำรวจด้านการแฮ็คของคำถามนี้เป็นพิเศษเนื่องจากอาจมีมากเกินไปสำหรับคำถามหนึ่งข้อจุดสนใจหลักของฉันคือแง่มุมที่ไม่สิ้นสุดและไม่ว่าจะเป็นการส่งข้อมูลตลอดเวลาหรือไม่)

ดูเหมือนว่าบทความทั้งสองไม่มีความกระตือรือร้นที่จะเปิดเผยแหล่งข้อมูลสำหรับการอ้างสิทธิ์ของตนซึ่งแนะนำให้ฉันเห็นว่าพวกเขาไม่ได้รับการพิสูจน์ที่ดีที่สุดหรือคลิกที่เลวร้ายที่สุด

เสียงสะท้อนนั้นบันทึกและส่งข้อมูลไปยังคลาวด์อยู่เสมอหรือไม่ Amazon Echo ประมวลผลข้อมูลอย่างไรหากไม่ได้ส่งข้อมูลไปยังเซิร์ฟเวอร์ในคลาวด์เสมอ

ใช่มันฟังอยู่เสมอ ไม่มันไม่ได้ส่งไปที่คลาวด์เสมอไป

เห็นได้ชัดว่าอุปกรณ์จะต้องฟังเพื่อตรวจสอบคำปลุก อย่างไรก็ตามเทคโนโลยีนั้นเรียกว่า

1. Amazon Echo และ Echo Dot จดจำคำปลุกได้อย่างไร

Amazon Echo และ Echo Dot ใช้คำสำคัญบนอุปกรณ์เพื่อตรวจจับคำปลุก เมื่ออุปกรณ์เหล่านี้ตรวจจับคำปลุกพวกเขาจะส่งกระแสข้อมูลเสียงไปยังคลาวด์รวมถึงเสี้ยววินาทีของเสียงก่อนคำปลุก

( สะท้อนคำถามที่พบบ่อย )

ดังนั้นตามอเมซอนการตรวจจับคำปลุกอยู่บนอุปกรณ์ สามารถทดสอบได้ง่ายมากโดยห้ามไม่ให้อุปกรณ์เข้าถึงอินเทอร์เน็ตในเราเตอร์ของคุณ Echo / Echo Dot จะยังคงจดจำคำที่ปลุกได้ แต่สัญญาณไฟจะเป็นสีแดงและอุปกรณ์จะบอกคุณว่าไม่มีการเชื่อมต่ออินเทอร์เน็ต ดังนั้นเราสามารถตรวจสอบได้อย่างง่ายดายมากว่าการรับรู้คำปลุกทำในพื้นที่แน่นอน

หลังจากตรวจจับคำปลุกแล้วอุปกรณ์จะติดต่อบริการ Alexa cloud

ตามที่ Amazon อุปกรณ์จะส่งกระแสข้อมูลไปยังคลาวด์เมื่อวงแหวนแสงเป็นสีน้ำเงินและจะไม่ฟังเลยเมื่อคุณปิดเสียงและวงแหวนไฟจะสว่างเป็นสีแดง แน่นอนคนที่ระมัดระวังสามารถตรวจสอบว่าด้วยเครื่องมือเครือข่ายเช่น Wireshark เพื่อให้แน่ใจว่ามันส่งสัญญาณจริงๆเท่านั้น

เสียงสะท้อนนั้นบันทึกและส่งข้อมูลไปยังคลาวด์อยู่เสมอหรือไม่

ไม่มีการส่ง แต่ใช่ในการบันทึก

ฉันกำลังพัฒนาไคลเอนต์ฮาร์ดแวร์ Alexa สำหรับ บริษัท อุปกรณ์กำลังฟังอยู่เสมอ แต่คุณจะต้องใส่เอนจิ้นการปลุกลงไปเพื่อที่จะ "ปลุก" จากโหมดการฟังแบบพาสซีฟและเปลี่ยนเป็นโหมด "ฟังคำสั่ง" ที่ทำงานอยู่

เฟิร์มแวร์จะส่งข้อความหลังจากคำปลุก (เปลี่ยนเป็นโหมดแอคทีฟ) ลงในคลาวด์เพื่อประมวลผลคำสั่ง

• เท่าที่อุปกรณ์นั้นเกี่ยวข้องคุณไม่ต้องการส่งทุกคำสั่งที่ได้รับไปยังระบบคลาวด์สำหรับการประมวลผลเพราะนั่นจะใช้แบนด์วิดท์และพลังงานมากเกินไป
• เท่าที่เกี่ยวข้องกับ Amazon พวกเขายังไม่ต้องการให้ลูกค้า Alexa แต่ละคนและทุกคนส่งทุกสิ่งที่ได้ยินเพราะจะใช้แบนด์วิดท์จำนวนมหาศาล นอกจากนี้นั่นจะส่งผลให้ข้อมูลที่ไม่เกี่ยวข้องมากเกินไปซึ่งจะยุ่งกับการเรียนรู้อย่างต่อเนื่องของระบบ ลองนึกภาพพยายามเรียนรู้สิ่งที่ครูของคุณกำลังพูด (คำสั่งที่ถูกต้อง) เมื่อทุกคนในชั้นเรียนกำลังพูดในเวลาเดียวกัน (ทุกคำสั่งอื่น ๆ ที่ไม่ใช่คำสั่ง)

Amazon Echo ประมวลผลข้อมูลอย่างไรหากไม่ได้ส่งข้อมูลไปยังเซิร์ฟเวอร์ในระบบคลาวด์เสมอไป?

ในโหมดพาสซีฟอุปกรณ์จะมีเอ็นจินการปลุกภายในซึ่งคอยฟังตลอดเวลาสำหรับคำที่ปลุก ในขณะที่ฉันกำลังทดสอบ Alexa ใน Raspberry Pi ฉันต้องใส่ทั้งเครื่องยนต์ Sensory หรือ KITT.AI เพื่อจุดประสงค์นี้ ในความเป็นจริงเมื่อฉันลองรหัสลูกค้า Alexa ต้นแบบสำหรับเครื่อง Linux ของฉันมันต้องเป็น "push-to-talk" เพราะไม่มีเอ็นจิ้นปลุก

ด้วยการพูดวลีสำคัญ Amazon เรียกคำว่า“ wake word” เสียงสะท้อนกลับมามีชีวิตชีวาและเริ่มฟังคำสั่ง ตามค่าเริ่มต้นคำปลุกคือ Alexa

หากคุณอ่านซ้ำประโยคสุดท้ายอาจไม่สมเหตุสมผลโดยเฉพาะถ้าคุณอยู่ในเขตรักษาความปลอดภัย จากข้อมูลของ Amazon Echo จะรับฟังคำสั่งเมื่อได้ยินคำปลุกเท่านั้น มันจะรู้ได้อย่างไรว่าคุณพูดคำปลุกถ้ายังไม่ได้ฟัง?

Echo รับฟังคำหลักอย่างแข็งขันและใช้คำที่พูดหลังจากคำหลักสำหรับการประมวลผล NLU นี่คือความเข้าใจของฉันว่า echo บรรลุความสำเร็จที่ประณีตนี้ได้อย่างไร

Echo นั้นสร้างขึ้นบนตัวประมวลผลสื่อดิจิตอลของTexas Instruments DM3725

TI SoC นี้มีชิ้นส่วนสำคัญสองชิ้นส่วนแรกคือ ARM Cortex-A8 MPU และอันที่สองคือ TMS320DM64x + DSP ARM ARM ควรใช้งาน Linux และ DSP กำลังใช้งานเฟิร์มแวร์

เมื่อไม่มีการใช้งานแกน ARM จะถูกนำไปสู่สถานะพลังงานที่ต่ำที่สุดและ Linux จะหยุดทำงานชั่วคราว ในเวลานี้ DSP และ 64KB On-Chip RAM เปิดใช้งานอยู่ DSP เฟิร์มแวร์ประมวลผลสัญญาณรบกวนที่มาจากไมโครโฟนและพยายามระบุว่ามีการพูดคำหลัก (เช่น Alexa) หรือไม่ ทันทีที่มันระบุว่ามีคำหลัก DSP จะส่งสัญญาณขัดจังหวะเพื่อปลุกแกน ARM ซึ่งจะกลับมาทำงานกับ Linux ต่อไป แต่จำไว้ว่าในขณะที่ลีนุกซ์กำลังปลุกมนุษย์ที่บอกว่า Alexa จะพูดต่อไป (เช่น“ Alexa เวลากี่โมงแล้ว?” ) DSP บัฟเฟอร์"เวลาเท่าไหร่?" ส่วนหนึ่งบนบนชิปแรม และเมื่อลีนุกซ์กลับมาทำงานอีกครั้งลีนุกซ์จะดึงคำพูดที่บัฟเฟอร์และใช้ความสามารถในการประมวลผลภาษาธรรมชาติ

ตามที่คุณเห็นการออกแบบนั้นถูกสร้างขึ้นอย่างสมบูรณ์เพื่อให้เกิดความหิวน้อยที่สุดและเพื่อหลีกเลี่ยงความต้องการการรวมระบบคลาวด์สำหรับการตรวจจับคำหลักและการบัฟเฟอร์เริ่มต้น ตามความเป็นจริงการรักษาแกน ARM ให้อยู่ในสถานะพลังงานต่ำที่สุดทำให้มั่นใจได้ว่าซิลิคอนจะให้ความร้อนน้อยที่สุดเมื่อไม่มีการใช้งานดังนั้นจะทำให้อายุการใช้งานอุปกรณ์ของคุณยาวนาน

ฉันกำลังออกจากการสนทนาของความพยายามในการแฮ็คเสียงสะท้อนเนื่องจากคำถามดังต่อไปนี้:

การรับรู้คำปลุกจะทำในพื้นที่แน่นอน

ใช่.

ตัวอย่างเช่นดูว่า Amazon Echo ตัวใหม่เป็นของเอกชนอย่างไร (มีอีกมากมายที่คล้ายกันที่จะพบกับความพยายามน้อยที่สุด)

เช่นเดียวกับ Siri Amazon Echo ทำงานใน“ คลาวด์” ที่ทำงานบน Amazon Web Services ดังนั้นการประมวลผลที่จำเป็นในการ "เข้าใจ" คำสั่งของคุณจึงไม่ได้รับการจัดการบนอุปกรณ์

อย่างไรก็ตาม

ท้ายที่สุดมันฟังอยู่เสมอดังนั้นเราไม่ควรกังวลกับพี่ใหญ่?

ไม่ Amazon พูดว่า ยักษ์เทคโนโลยีบอกว่ามันไม่ฟังหรือบันทึกการสนทนาส่วนตัวในบ้าน หากมีคนกังวลพวกเขาสามารถใช้รีโมทที่ให้มาเพื่อกดปุ่มปิดเสียงซึ่งจะปิดอุปกรณ์ "ฟังอยู่เสมอ" ดังนั้นมันจะไม่สามารถใช้งานได้จนกว่าคุณจะเปิดใช้งานไมโครโฟนอีกครั้ง