กำลังมองหาตัวอย่างโครงสร้างพื้นฐานสแต็ค / เวิร์กโฟลว์ / ท่อ


14

ฉันพยายามที่จะเข้าใจว่าส่วนประกอบ "ข้อมูลขนาดใหญ่" เล่นร่วมกันอย่างไรในกรณีการใช้งานจริงเช่น hadoop, monogodb / nosql, storm, kafka, ... ฉันรู้ว่านี่เป็นเครื่องมือที่ใช้สำหรับ ประเภทต่าง ๆ แต่ฉันต้องการรับทราบเพิ่มเติมเกี่ยวกับการโต้ตอบในแอปพลิเคชันเช่นการเรียนรู้ด้วยเครื่องสำหรับแอพพลิเคชั่นเว็บแอพร้านค้าออนไลน์

ฉันมี vistor / session, data transaction ฯลฯ และเก็บไว้; แต่ถ้าฉันต้องการที่จะให้คำแนะนำได้ทันทีฉันไม่สามารถเรียกใช้แผนที่ช้า / ลดงานสำหรับฐานข้อมูลขนาดใหญ่ของบันทึกที่ฉันมี ฉันจะเรียนรู้เพิ่มเติมเกี่ยวกับโครงสร้างพื้นฐานได้ที่ไหน ฉันคิดว่าฉันสามารถใช้เครื่องมือส่วนใหญ่ด้วยตนเองได้ แต่การเสียบเข้าด้วยกันดูเหมือนว่าจะเป็นศิลปะของมันเอง

มีตัวอย่างสาธารณะ / กรณีใช้งานอื่น ๆ หรือไม่ ฉันเข้าใจว่าแต่ละท่อขึ้นอยู่กับกรณีการใช้งานและผู้ใช้เป็นอย่างมาก แต่เพียงตัวอย่างอาจจะเป็นประโยชน์กับฉัน


คุณทำวิจัยเกี่ยวกับเรื่องนี้หรือไม่? มีวิดีโอ youtube และ
สไลด์โชว์

1
สวัสดี Stanpol ขอบคุณสำหรับการตอบกลับของคุณ - ฉันได้ทำการค้นหาครั้งแรกและไม่พบสิ่งใดนอกจาก AWS และ cloudera - บางทีถ้าคุณสามารถให้คำค้นหาบางคำที่ให้คำสัญญาฉันยินดีที่จะรับมัน
chrshmmmr

คำตอบ:


14

เพื่อที่จะเข้าใจความหลากหลายของวิธีการเรียนรู้ของเครื่องสามารถรวมเข้ากับแอปพลิเคชั่นการผลิตฉันคิดว่ามันมีประโยชน์ที่จะดูโครงการโอเพ่นซอร์สและเอกสาร / บล็อกโพสต์จาก บริษัท ที่อธิบายโครงสร้างพื้นฐานของพวกเขา

ชุดรูปแบบทั่วไปที่ระบบเหล่านี้มีคือการแยกการฝึกอบรมแบบจำลองจากแอปพลิเคชันแบบจำลอง ในระบบการผลิตแอปพลิเคชันโมเดลต้องรวดเร็วตามคำสั่งของ 100sms แต่มีอิสระมากขึ้นในการปรับปรุงพารามิเตอร์โมเดลที่ติดตั้งบ่อย (หรือเทียบเท่า) บ่อยขึ้น

ผู้คนใช้โซลูชันที่หลากหลายสำหรับการฝึกอบรมและการปรับใช้โมเดล:


7

หนึ่งในคำอธิบายรายละเอียดมากที่สุดและมีความชัดเจนของการตั้งค่าที่ซับซ้อนการวิเคราะห์ท่อจากคนมากกว่าที่กระตุก
พวกเขาให้แรงจูงใจอย่างละเอียดของตัวเลือกสถาปัตยกรรมแต่ละตัวสำหรับการรวบรวมการขนส่งการประสานงานการประมวลผลการจัดเก็บและการสืบค้นข้อมูล
การอ่านที่น่าสนใจ! พบว่ามันนี่และที่นี่


นั่นเป็นสิ่งที่ยอดเยี่ยมมากสิ่งที่ฉันกำลังมองหา! ขอบคุณมาก :)
chrshmmmr

@chrshmmmr ไม่เป็นไร อย่าลืมอัปโหลด / ทำเครื่องหมายว่ายอมรับถ้าสิ่งนี้ช่วยได้!
tchakravarty

3
ลิงก์เหล่านี้มีประโยชน์มากจริง ๆ แต่จากนั้นอีกครั้งเป็นลิงก์และฉันคิดว่าเราควรพยายามรักษาคำตอบโดยไม่ขึ้นกับเสถียรภาพของแหล่งข้อมูลภายนอก ดังนั้นมันจะดีถ้าคุณใช้เวลาสองหรือสามนาทีในการเพิ่มตัวอย่างเช่นแผนภาพจากลิงค์นี้โพสต์พร้อมกับคำอธิบายอย่างรวดเร็ว บางอย่างในบรรทัด: "ตัวอย่างเช่นนี่เป็นเวิร์กโฟลว์ของระบบ ... <img> อาจพบข้อมูลเพิ่มเติมได้ใน <link>"
รูเบนส์

1
@ Rubens ฉันจะเสนอการแก้ไขในอีกสักครู่ fgnu: จะทำเช่นนั้นเพียงแค่ต้องการชื่อเสียงเพิ่มขึ้นอีกเล็กน้อยเพื่อตอบโต้คำตอบจริง ๆ แต่ฉันจะให้เกียรติกับการมีส่วนร่วมของคุณอย่างแน่นอน :)
chrshmmmr

@Rubens นั่นจะไม่มากไปกว่าการทำซ้ำข้อมูลที่ลิงค์ ฉันจะทำอย่างไรถ้ามีบางสิ่งที่ฉันรู้สึกว่าจะเพิ่มเข้าไปในคำอธิบายที่ให้ไว้แล้ว
tchakravarty


1

บทที่ 1 ของวิทยาศาสตร์ข้อมูลเชิงปฏิบัติที่มี R ( http://www.manning.com/zumel/ ) มีการแบ่งย่อยที่ยอดเยี่ยมของกระบวนการข้อมูลวิทยาศาสตร์รวมถึงบทบาทของทีมและวิธีที่พวกเขาเกี่ยวข้องกับงานเฉพาะ หนังสือเล่มนี้เป็นไปตามแบบจำลองที่วางไว้ในบทโดยอ้างอิงถึงขั้นตอน / บุคลากรนี้หรืองานเฉพาะที่จะดำเนินการโดย

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.