อะไรคือความแตกต่างระหว่าง "นักวิทยาศาสตร์ข้อมูล" และ "วิศวกรการเรียนรู้ของเครื่อง"?

ในช่วงปีที่ผ่านมา "วิศวกรการเรียนรู้ของเครื่องจักร" ได้เริ่มแสดงจำนวนมากในการโพสต์งาน นี่เป็นสิ่งที่เห็นได้ชัดเจนในซานฟรานซิสโกซึ่งเป็นที่มาของคำว่า "นักวิทยาศาสตร์ข้อมูล" จนถึงจุดหนึ่ง "นักวิทยาศาสตร์ข้อมูล" ตามทัน "นักสถิติ" และฉันสงสัยว่าตอนนี้สิ่งเดียวกันนี้กำลังเริ่มเกิดขึ้นอย่างช้าๆกับ "นักวิทยาศาสตร์ข้อมูล" หรือไม่

คำแนะนำด้านอาชีพมีการระบุว่าเป็นหัวข้อนอกเว็บไซต์นี้ แต่ฉันคิดว่าคำถามของฉันมีความเกี่ยวข้องอย่างมากเนื่องจากฉันถามถึงคำจำกัดความ ฉันไม่ได้ขอคำแนะนำเกี่ยวกับวิถีชีวิตการทำงานหรือสถานการณ์ส่วนตัวเช่นคำถามนอกหัวข้ออื่น ๆ

คำถามนี้เป็นคำถามในหัวข้อเนื่องจากบางวันอาจมีนัยสำคัญสำหรับผู้ใช้หลายคนของไซต์นี้ ในความเป็นจริงไซต์แลกเปลี่ยนสแต็กนี้อาจไม่มีอยู่หากวิวัฒนาการ "สถิติ" เทียบกับ "นักวิทยาศาสตร์ข้อมูล" ไม่ได้เกิดขึ้น ในแง่นี้คำถามนี้เป็นคำถามที่ค่อนข้างตรงประเด็น

คำถามที่ดี. อันที่จริงมีความสับสนมากมายในเรื่องนี้ส่วนใหญ่เป็นเพราะทั้งสองเป็นงานที่ค่อนข้างใหม่ แต่ถ้าเรามุ่งเน้นไปที่ความหมายความหมายที่แท้จริงของงานนั้นชัดเจน

ก่อนดีกว่าที่จะเปรียบเทียบแอปเปิ้ลกับแอปเปิ้ลพูดคุยเกี่ยวกับเรื่องเดียวคือข้อมูล การเรียนรู้ของเครื่องและประเภทย่อย (การเรียนรู้ลึก ฯลฯ ) เป็นเพียงแง่มุมหนึ่งของ Data World ร่วมกับทฤษฎีทางสถิติการเก็บข้อมูล (DAQ) การประมวลผล (ซึ่งสามารถขับเคลื่อนการเรียนรู้ที่ไม่ใช่เครื่องจักร) การตีความผล ฯลฯ

ดังนั้นสำหรับคำอธิบายของฉันฉันจะขยายบทบาท Machine Learning Engineer ไปเป็นหนึ่งใน Data Engineer

วิทยาศาสตร์เป็นเรื่องเกี่ยวกับการทดลองการทดลองและการล้มเหลวการสร้างทฤษฎีความเข้าใจในปรากฏการณ์วิทยา วิศวกรรมเป็นงานเกี่ยวกับวิทยาศาสตร์ที่รู้อยู่แล้วทำให้สมบูรณ์และนำไปสู่ ​​"โลกแห่งความจริง"

ลองนึกถึงพร็อกซี่: อะไรคือความแตกต่างระหว่างนักวิทยาศาสตร์นิวเคลียร์และวิศวกรนิวเคลียร์

นักวิทยาศาสตร์นิวเคลียร์เป็นคนที่รู้วิทยาศาสตร์หลังอะตอมปฏิสัมพันธ์ระหว่างพวกเขาคนที่เขียนสูตรที่อนุญาตให้ได้รับพลังงานจากอะตอม

วิศวกรนิวเคลียร์เป็นคนที่ถูกกล่าวหาว่าใช้สูตรของนักวิทยาศาสตร์และนำมันไปสู่โลกแห่งความจริง ดังนั้นความรู้เกี่ยวกับฟิสิกส์ของอะตอมจึงค่อนข้าง จำกัด แต่เขาก็รู้เกี่ยวกับวัสดุอาคารเศรษฐศาสตร์และสิ่งอื่นที่มีประโยชน์ในการสร้างโรงไฟฟ้านิวเคลียร์ที่เหมาะสม

กลับมาสู่โลกของข้อมูลนี่เป็นอีกตัวอย่างหนึ่ง: คนที่พัฒนา Convolutional Neural Networks (Yann LeCun) เป็น Data Scientist คนที่ปรับใช้แบบจำลองเพื่อจดจำใบหน้าในภาพคือวิศวกรการเรียนรู้ของเครื่องจักร คนที่รับผิดชอบกระบวนการทั้งหมดตั้งแต่การรับข้อมูลไปจนถึงการลงทะเบียนภาพ. JPG เป็นวิศวกรข้อมูล

ดังนั้นโดยทั่วไป 90% ของนักวิทยาศาสตร์ด้านข้อมูลในปัจจุบันเป็นวิศวกรข้อมูลหรือวิศวกรการเรียนรู้ของเครื่องจักรและ 90% ของตำแหน่งที่เปิดในขณะที่นักวิทยาศาสตร์ด้านข้อมูลต้องการวิศวกรจริง ๆ การตรวจสอบง่าย: ในการสัมภาษณ์คุณจะถูกถามเกี่ยวกับจำนวน ML model ที่คุณปรับใช้ในการผลิตไม่ใช่ในเอกสารจำนวนวิธีการใหม่ที่คุณเผยแพร่

แต่เมื่อคุณเห็นประกาศเกี่ยวกับ "วิศวกรการเรียนรู้ของเครื่องจักร" นั่นหมายความว่าผู้สรรหามีความตระหนักถึงความแตกต่างและพวกเขาต้องการคนที่สามารถนำแบบจำลองมาใช้ในการผลิตได้

เงื่อนไขเป็นคลุมเครือเพราะเป็นของใหม่

ขณะที่กำลังค้นหางานในฟิลด์ 'วิทยาศาสตร์ข้อมูล' ฉันคิดว่ามีสองสิ่งที่เกิดขึ้นที่นี่ ขั้นแรกงานเป็นงานใหม่และไม่มีคำจำกัดความที่กำหนดไว้ของคำศัพท์ที่หลากหลายดังนั้นจึงไม่มีการตกลงกันโดยทั่วไปเมื่อจับคู่คำกับคำอธิบายงาน เปรียบเทียบสิ่งนี้กับ 'นักพัฒนาเว็บ' หรือ 'นักพัฒนาส่วนหลัง' เหล่านี้เป็นงานที่คล้ายกันสองงานที่มีการตกลงกันอย่างสมเหตุสมผล

ประการที่สองผู้คนจำนวนมากที่ทำการโพสต์งานและการสัมภาษณ์ครั้งแรกไม่รู้ว่าสิ่งที่พวกเขาต้องการจ้างดี นี่เป็นเรื่องจริงโดยเฉพาะอย่างยิ่งในกรณีของ บริษัท ขนาดเล็กถึงขนาดกลางที่จ้างนายหน้าเพื่อค้นหาผู้สมัคร มันเป็นตัวกลางเหล่านี้ที่โพสต์คำอธิบายงานใน CareerBuilder หรือฟอรัมอะไรก็ตาม นี่ไม่ใช่การบอกว่าหลายคนไม่รู้จักสิ่งของของพวกเขาหลายคนมีความรู้ค่อนข้างมากเกี่ยวกับ บริษัท ที่พวกเขาเป็นตัวแทนและข้อกำหนดของสถานที่ทำงาน แต่หากไม่มีคำจำกัดความที่ชัดเจนในการอธิบายงานที่แตกต่างกันชื่องานที่คลุมเครือมักเป็นผลลัพธ์

สนามทั่วไปมีสามส่วน

จากประสบการณ์ของฉันมีสามส่วนทั่วไปของ 'พื้นที่งาน' ของวิทยาศาสตร์ข้อมูล

ประการแรกคือการพัฒนาเทคนิคทางคณิตศาสตร์และการคำนวณที่ทำให้วิทยาศาสตร์ข้อมูลเป็นไปได้ สิ่งนี้ครอบคลุมสิ่งต่าง ๆ เช่นการวิจัยเชิงสถิติเกี่ยวกับวิธีการเรียนรู้ของเครื่องจักรใหม่การใช้วิธีการเหล่านี้และการสร้างโครงสร้างพื้นฐานการคำนวณเพื่อใช้วิธีการเหล่านี้ในโลกแห่งความจริง นี่คือแผนกที่แยกออกจากลูกค้ามากที่สุดและแผนกที่เล็กที่สุด งานนี้ทำโดยนักวิชาการหรือนักวิจัยใน บริษัท ใหญ่ ๆ (Google, Facebook และอื่น ๆ ) นี่คือสิ่งต่างๆเช่นการพัฒนา TensorFlow ของ Google, SPSS ของโครงข่ายประสาทของไอบีเอ็มหรือฐานข้อมูลกราฟขนาดใหญ่ถัดไปจะเป็นอย่างไร

ส่วนที่สองคือการใช้เครื่องมือพื้นฐานเพื่อสร้างแพ็คเกจเฉพาะแอปพลิเคชันเพื่อดำเนินการวิเคราะห์ข้อมูลที่จำเป็นต้องทำ ผู้คนได้รับการว่าจ้างให้ใช้ Python หรือ R หรือเพื่อสร้างความสามารถในการวิเคราะห์ข้อมูลบางชุด จากประสบการณ์ของฉันมากงานนี้เกี่ยวข้องกับการทำ 'data ซักอบรีด' เปลี่ยนข้อมูลดิบในรูปแบบใด ๆ ให้เป็นสิ่งที่ใช้งานได้ อีกชิ้นใหญ่ของงานนี้คือ databasing; การหาวิธีจัดเก็บข้อมูลในแบบที่สามารถเข้าถึงได้ในทุกเวลาที่คุณต้องการงานนี้ไม่ได้ใช้เครื่องมือมากนัก แต่ใช้ฐานข้อมูลสถิติและไลบรารีการวิเคราะห์เชิงกราฟเพื่อสร้างผลลัพธ์บางอย่าง

ส่วนที่สามคือการผลิตการวิเคราะห์จากข้อมูลที่จัดใหม่และสามารถเข้าถึงได้ นี่คือด้านที่ลูกค้าหันหน้าไปมากที่สุดขึ้นอยู่กับองค์กรของคุณ คุณต้องสร้างการวิเคราะห์ที่ผู้นำทางธุรกิจสามารถใช้ในการตัดสินใจ นี่จะเป็นเทคนิคที่น้อยที่สุดของสามแผนก งานจำนวนมากเป็นลูกผสมระหว่างหน่วยงานที่สองและสาม ณ จุดนี้เนื่องจากวิทยาศาสตร์ข้อมูลอยู่ในช่วงเริ่มต้น แต่ในอนาคตฉันสงสัยอย่างยิ่งว่าจะมีการแบ่งงานที่สะอาดระหว่างสองงานนี้โดยผู้คนจะได้งานที่สองซึ่งต้องใช้เทคนิควิทยาการคอมพิวเตอร์หรือการศึกษาเชิงสถิติและงานที่สามนี้ต้องการเพียงการศึกษาทั่วไป

โดยทั่วไปทั้งสามสามารถอธิบายตนเองว่าเป็น 'นักวิทยาศาสตร์ด้านข้อมูล' แต่มีเพียงสองคนแรกเท่านั้นที่สามารถอธิบายตัวเองได้อย่างสมเหตุสมผลในฐานะ

ข้อสรุป

ในขณะนี้คุณจะต้องค้นหาด้วยตัวเองว่างานแต่ละอย่างเกี่ยวข้องกันอย่างไร งานปัจจุบันของฉันจ้างให้ฉันเป็น 'นักวิเคราะห์' เพื่อทำสิ่งการเรียนรู้ของเครื่อง แต่เมื่อเราต้องทำงานมันก็เห็นได้ชัดว่าฐานข้อมูลของ บริษัท ไม่เพียงพอและตอนนี้อาจเป็น 90% ของเวลาที่ฉันใช้ในการทำงานกับฐานข้อมูล การเปิดรับการเรียนรู้ของเครื่องของฉันตอนนี้ทำงานอย่างรวดเร็วผ่านสิ่งที่แพคเกจเรียนรู้ scikit ดูเหมือนว่าเหมาะสมที่สุดและการถ่ายภาพไฟล์ csv ไปยังนักวิเคราะห์ส่วนที่สามเพื่อนำเสนอ powerpoint สำหรับลูกค้า

เขตข้อมูลอยู่ในฟลักซ์ องค์กรจำนวนมากพยายามเพิ่มการตัดสินใจด้านวิทยาศาสตร์ข้อมูลลงในกระบวนการของพวกเขา แต่ไม่ทราบว่ามันหมายถึงอะไรอย่างชัดเจน มันไม่ใช่ความผิดของพวกเขามันค่อนข้างยากที่จะคาดการณ์อนาคตและการแตกสาขาของเทคโนโลยีใหม่นั้นก็ไม่เคยชัดเจนนัก จนกว่าจะมีการจัดตั้งสาขามากขึ้นงานหลายอย่างจะคลุมเครือเหมือนข้อกำหนดที่ใช้อธิบายพวกเขา

[ความเห็นส่วนตัวโดยสิ้นเชิง]

เมื่อคำว่า 'นักวิทยาศาสตร์ข้อมูล' แซง 'สถิติ' มันจะฟังดูเจ๋งมากกว่าความแตกต่างที่สำคัญ ในทำนองเดียวกันคำว่า 'การเรียนรู้ลึก' มันเป็นเพียงเครือข่ายประสาท (ซึ่งเป็นอีกหนึ่งอัลกอริธึมการเรียนรู้ของเครื่อง) ด้วยเลเยอร์เพิ่มเติมสองสามชั้น ไม่มีใครสามารถอธิบายได้ว่าเมื่อใดที่นิวรอลเน็ตเวิร์กพิเศษสามารถเรียกว่า DL แทนที่จะเป็น ML ทำให้นิยามตัวเองคลุมเครือ ดังนั้นคำนี้คือ 'Data Scientist'

อย่างไรก็ตามในขณะที่ บริษัท ต่างๆกำลังใช้ความคิด DevOps กับวิทยาศาสตร์ข้อมูลคำว่า ML Engineer ก็พัฒนาขึ้น

DevOps คิดอะไรกับวิทยาศาสตร์ข้อมูล?

นี่คือที่ที่คุณสร้างโมเดลปรับใช้และคาดว่าจะรักษาไว้ในการผลิต สิ่งนี้ช่วยในการหลีกเลี่ยงความฝืดในทีมซอฟต์แวร์

[PS: DevOps เป็นวิธีการทำซอฟต์แวร์เหมือนปรัชญา ดังนั้นการใช้มันเป็นการกำหนดชื่อทำให้ฉันสับสนอีกครั้ง]

ดังนั้นวิศวกร ML จึงควรรู้ถึงความแตกต่างของวิศวกรรมระบบ ML และสถิติ (ชัดเจน)

การวางนัยทั่วไปที่คลุมเครือจะเป็น Data Engineer + Data Scientist = ML Engineer

ต้องบอกว่าการกำหนดในพื้นที่นี้กำลังกลายเป็นคลุมเครือทุกวันและคำว่า 'นักสถิติ' มีความเกี่ยวข้องมากขึ้นเรื่อย ๆ (ประชด!)

มันอาจจะแตกต่างกันไปจาก บริษัท บริษัท แต่นักวิทยาศาสตร์ข้อมูลเป็นกำหนดได้รับรอบสำหรับบางเวลาขณะนี้และมักจะมีความหมายสำหรับการสกัดความรู้และข้อมูลเชิงลึกจากข้อมูล

ฉันได้เห็นนักวิทยาศาสตร์ข้อมูลทำ

• การเขียนอัลกอริธึมการประมวลผลภาพและการจดจำภาพ
• ออกแบบและติดตั้งแผนผังการตัดสินใจสำหรับกรณีใช้งานทางธุรกิจ
• หรือเพียงแค่ออกแบบและใช้รายงานหรือเขียน ETL เพื่อการแปลงข้อมูล

ข้อมูลวิทยาศาสตร์ , แต่เป็นซุปเปอร์โดเมนของการเรียนรู้ของเครื่อง

มันใช้เทคนิคและทฤษฎีที่ดึงมาจากหลายสาขาในขอบเขตกว้างของคณิตศาสตร์สถิติวิทยาการสารสนเทศและวิทยาการคอมพิวเตอร์โดยเฉพาะอย่างยิ่งจากโดเมนย่อยของการเรียนรู้ของเครื่องการจำแนกการวิเคราะห์กลุ่มการวิเคราะห์กลุ่มความไม่แน่นอนเชิงปริมาณการคำนวณเชิงข้อมูล และการมองเห็น

วิศวกรการเรียนรู้ของเครื่องดูเหมือนจะเป็นชื่อที่นายจ้างของคุณได้แคบลงไปแล้ว

• วิธีการ
• เครื่องมือ
• และแบบจำลองคร่าวๆ (ของสิ่งที่จะส่งมอบ)

เพื่อดึงความรู้หรือข้อมูลเชิงลึกจากข้อมูลโดยใช้การเรียนรู้เครื่องของคุณและการทำงานจะได้รับการออกแบบและดำเนินการขั้นตอนวิธีการเรียนรู้ที่จะส่งมอบเครื่องเดียวกัน

วิศวกรการเรียนรู้ของเครื่องและวิศวกรรมที่มุ่งเน้นข้อมูลทางวิทยาศาสตร์นั้นเหมือนกัน ประมาณ 5 ปีที่แล้วนักวิทยาศาสตร์ด้านข้อมูลเกือบทั้งหมดมุ่งเน้นด้านวิศวกรรมเช่นพวกเขาต้องเขียนรหัสการผลิต อย่างไรก็ตามตอนนี้มีบทบาทนักวิทยาศาสตร์ข้อมูลมากมายที่ส่วนใหญ่: เล่นในสมุดบันทึก Jupyter ทำความเข้าใจข้อมูลทำกราฟสวยอธิบายลูกค้าลูกค้าผู้จัดการนักวิเคราะห์ ... พวกเขาไม่ได้ทำวิศวกรรมใด ๆ และฉันเชื่อว่าคำศัพท์ที่วิศวกรการเรียนรู้ของเครื่องจักรมาถึงขีดเส้นใต้ว่าตำแหน่งทางวิศวกรรม

TL; DR: ขึ้นอยู่กับว่าใครถาม

คำตอบของคำถามนี้ขึ้นอยู่กับความคาดหวังความรู้และประสบการณ์ของใครก็ตามที่ถาม คำถามที่คล้ายคลึงกับคำตอบที่คลุมเครือคือ:

ความแตกต่างระหว่างนักพัฒนาซอฟต์แวร์วิศวกรซอฟต์แวร์และนักวิทยาศาสตร์คอมพิวเตอร์คืออะไร

สำหรับบางคนโดยเฉพาะอย่างยิ่งผู้ที่ศึกษาหรือสอนวิทยาการคอมพิวเตอร์และวิศวกรรมซอฟต์แวร์มีความแตกต่างที่ชัดเจนและชัดเจนระหว่างสาขาเหล่านี้ แต่สำหรับคนทำงานฝ่ายทรัพยากรบุคคลโดยทั่วไปเจ้าหน้าที่เทคนิคหรือผู้จัดการพวกนี้ล้วนเป็นแค่ "คนคอมพิวเตอร์"

ฉันรักคำพูดนี้โดย Vincent Granvilleโดยเน้นที่การขุด:

ก่อนหน้านี้ในอาชีพของฉัน (ประมาณปี 1990) ฉันทำงานกับเทคโนโลยีการรับรู้ภาพจากระยะไกลเหนือสิ่งอื่นใดเพื่อระบุรูปแบบ (หรือรูปร่างหรือคุณสมบัติเช่นทะเลสาบ) ในภาพถ่ายดาวเทียมและทำการแบ่งส่วนภาพ: ในเวลานั้นงานวิจัยของฉัน สถิติ แต่คนทำสิ่งเดียวกันแน่นอนในแผนกวิทยาศาสตร์คอมพิวเตอร์ประตูถัดไปในมหาวิทยาลัยบ้านของฉันเรียกว่าปัญญาประดิษฐ์การวิจัยของพวกเขา วันนี้มันจะเรียกว่าวิทยาศาสตร์ข้อมูลหรือปัญญาประดิษฐ์โดเมนย่อยที่มีการประมวลผลสัญญาณคอมพิวเตอร์วิสัยทัศน์หรือ IoT

การเรียนรู้ของเครื่องมีความเฉพาะเจาะจงมากขึ้นและในสาขาที่คุณจะต้องมีความเชี่ยวชาญดังต่อไปนี้:

• คุณสมบัติเทียบกับฉลาก
• ข้อมูลการทดสอบเทียบกับข้อมูลการฝึกอบรม
• คุณสมบัติการทำให้เป็นมาตรฐาน
• โครงสร้างข้อมูลทั่วไป (อาร์เรย์ของอาร์เรย์)
• การเลือกคุณสมบัติ

ฉันไม่เห็นด้วยกับคำตอบใด ๆ อย่างไรก็ตามฉันคิดว่ามีบทบาทของ Data Scientist ที่ถูกคัดสรรมาจากคำตอบทั้งหมดที่นี่ คำตอบเหล่านี้ส่วนใหญ่พูดอะไรบางอย่างกับผลกระทบของ "ดีวิศวกรเพียงแค่เขียนและปรับใช้โมเดล..." ยึดมั่นในวินาที - มีจำนวนมากของการทำงานในช่วงที่สองขั้นตอน!

คำจำกัดความหลักของฉันของนักวิทยาศาสตร์ข้อมูลคือคนที่ใช้วิธีการทางวิทยาศาสตร์เพื่อทำงานกับข้อมูล ดังนั้นฉันจึงคิดถึง hypostheses ออกแบบการทดสอบรวบรวมข้อมูลของฉันและดำเนินการทดสอบเหล่านั้นตรวจสอบผลการตรวจสอบความถูกต้องของฉันลองใช้วิธีการใหม่เปลี่ยนข้อมูลของฉัน ฯลฯ ฯลฯ นั่นคือสิ่งที่สำคัญ "เขียนและปรับใช้โมเดล "ในการตั้งค่าระดับมืออาชีพ

ดังนั้นสำหรับคำตอบของคุณฉันคิดว่า "ปีศาจอยู่ในรายละเอียด" เพราะคุณไม่สามารถทำตามขั้นตอน / ข้อกำหนดเหล่านี้ได้ นอกจากนี้หากคุณกำลังหางานคุณควรระวังเพราะ "วิศวกรข้อมูล" และ "นักวิทยาศาสตร์ข้อมูล" อาจมีสเกลจ่ายที่แตกต่างกันอย่างมากมาย - คุณไม่ต้องการเป็นนักวิทยาศาสตร์ข้อมูลเกี่ยวกับเงินเดือนของวิศวกรข้อมูล!

ฉันมักจะใส่ตัวเองอยู่ที่นั่นในฐานะนักวิทยาศาสตร์ข้อมูลฉันบอก บริษัท ว่าฉันทำงานกับแบบจำลองการทำนาย (ไม่ใช่แค่การวิเคราะห์) และฉันไม่ใช่นักจัดรายการ Excel - ฉันเขียนด้วยภาษาโปรแกรม (R, Python และอื่น ๆ ) หากคุณสามารถหาตำแหน่งที่ให้คุณทำทั้งสองอย่างคุณก็พร้อมที่จะเป็นนักวิทยาศาสตร์ด้านข้อมูล