เครื่องจักรอัตโนมัติเรียนรู้ที่จะฝันหรือไม่?

เมื่อฉันค้นพบการเรียนรู้ของเครื่องฉันเห็นเทคนิคที่น่าสนใจต่าง ๆ เช่น:

• โดยอัตโนมัติขั้นตอนวิธีการปรับแต่งด้วยเทคนิคเช่นgrid search,
• ได้รับผลลัพธ์ที่ถูกต้องมากขึ้นผ่านการรวมกันของขั้นตอนวิธีการที่แตกต่างกันของ "พิมพ์" เหมือนกันว่าboosting,
• ได้รับผลลัพธ์ที่ถูกต้องมากขึ้นผ่านการรวมกันของขั้นตอนวิธีการที่แตกต่างกัน ( แต่ไม่ใช่ชนิดเดียวกันของอัลกอริทึม) ว่าstacking,
• และอาจมีอีกมากที่ฉันยังต้องค้นพบ ...

คำถามของฉันมีดังต่อไปนี้: มีชิ้นส่วนเหล่านั้นทั้งหมด แต่เป็นไปได้หรือไม่ที่จะรวมเข้าด้วยกันเพื่อสร้างอัลกอริทึมที่ใช้เป็นข้อมูลที่ได้รับการทำความสะอาดและผลลัพธ์ที่ดีโดยการนำเอาเทคนิคที่ดีที่สุดออกมา? (แน่นอนว่ามันอาจจะมีประสิทธิภาพน้อยกว่าที่นักวิทยาศาสตร์ด้านข้อมูลมืออาชีพ แต่เขาจะดีกว่าฉัน!) ถ้าใช่คุณมีรหัสตัวอย่างหรือคุณรู้กรอบที่สามารถทำได้หรือไม่?

แก้ไข:หลังจากคำตอบบางอย่างดูเหมือนว่าจะต้องแคบลงบางส่วน ลองยกตัวอย่างเรามีหนึ่งคอลัมน์ที่มีข้อมูลหมวดหมู่ลองเรียกมันมาyและเราต้องการทำนายจากข้อมูลตัวเลขที่เป็นข้อมูลXหุ่นหรือข้อมูลตัวเลขจริง (ความสูงอุณหภูมิ) เราถือว่าการทำความสะอาดเสร็จสิ้นแล้ว มีอัลกอริทึมที่มีอยู่ที่สามารถใช้ข้อมูลดังกล่าวและเอาท์พุททำนาย? (โดยการทดสอบอัลกอริธึมหลายตัวการปรับจูนการเพิ่มประสิทธิภาพ ฯลฯ ) ถ้าใช่มันมีประสิทธิภาพในการคำนวณ (การคำนวณเสร็จในเวลาที่เหมาะสมถ้าเราเปรียบเทียบกับอัลกอริทึมปกติ) และคุณมีตัวอย่างของรหัสหรือไม่?

หากคุณทราบล่วงหน้าว่าจะใช้ฟีดข้อมูลประเภทใด ("นี่คือยอดขายรายเดือนของ CPG พร้อมด้วยราคาและเครื่องหมายส่งเสริมการขายและฉันต้องการการคาดการณ์จุด") เพื่อให้คุณสามารถปรับการตั้งค่าล่วงหน้าได้ เป็นไปได้และทำไปแล้วดู "ระบบผู้เชี่ยวชาญ" ที่หลากหลายสำหรับงานเฉพาะบางอย่าง

หากคุณกำลังมองหาบางสิ่งบางอย่างที่สามารถใช้ชนิดของข้อมูลใด ๆ และทำ "สิ่งที่มีประโยชน์" กับมัน ( "อานี่ฉันควรที่จะรับรู้การเขียนด้วยลายมือและผลผลิตไปรษณีย์รหัสและมีฉันควรทำตรวจสอบการทุจริตและแฟ้มใส่นี้อย่างเห็นได้ชัดเป็นงานให้คะแนนเครดิต ") ไม่ฉันไม่คิดว่าจะเกิดขึ้นอีกนาน

ขออภัยสำหรับคำตอบที่อ้างอิงความเห็นในสิ่งที่อาจปิดได้ดีเป็นคำถามตามความคิดเห็น

แก้ไขเพื่อตอบคำถามที่แก้ไขแล้ว:

เรามีหนึ่งคอลัมน์ที่มีข้อมูลหมวดหมู่ลองเรียกมันว่าและเราต้องการทำนายจากข้อมูลตัวเลขนั่นคือหุ่นหรือข้อมูลตัวเลขจริง$y$$X$

ดูเหมือนว่าบางสิ่งที่ป่าสุ่มนั้นดีพอสมควร จากนั้นอีกครั้งอัลกอริทึม "วัตถุประสงค์ทั่วไป" เช่น RFs จะไม่มีทางเอาชนะอัลกอริธึมที่ปรับไปยังประเภทที่เฉพาะเจาะจงของรู้จักกันล่วงหน้าเช่นตัวเลขที่เขียนด้วยลายมือหรือความเสี่ยงเริ่มต้นเครดิต$y$

สิ่งที่คุณอธิบายมีอยู่แล้วในระดับหนึ่งตัวอย่างเช่นในAutoWEKAและกำลังทำการศึกษาใหม่ (เช่นความท้าทายเช่นAutoML ของ Chalearn )

โดยปกติจะถือว่าอยู่ในฟิลด์ย่อยของการเพิ่มประสิทธิภาพพารามิเตอร์ไฮเปอร์พารามิเตอร์ แพคเกจซอฟต์แวร์เช่นOptunity , HyperoptและParamILSสามารถใช้ในการเพิ่มประสิทธิภาพพารามิเตอร์อัตโนมัติสำหรับวิธีการที่กำหนดและเลือกวิธีการที่เหมาะสมที่สุด ดังกล่าวกล่าวว่าปัญหาการปรับให้เหมาะสมนั้นไม่สำคัญและมักใช้เวลานานในการรับแบบจำลองที่ดีที่สุดโดยอัตโนมัติ (หรือใกล้เคียง)

คุณสามารถค้นหาตัวอย่างของการใช้ Optunity เพื่อกำหนดอัลกอริทึมการเรียนรู้ที่ดีที่สุดโดยอัตโนมัติและเพิ่มประสิทธิภาพพารามิเตอร์ไฮเปอร์พารามิเตอร์ที่http://optunity.readthedocs.org/en/latest/notebooks/notebooks/sklearn-automated-classification.html

ความก้าวหน้าในการปรับจูนพารามิเตอร์แบบไฮเปอร์และโมเดลวงดนตรีกำลังนำเอา 'ศิลปะ' ออกจากการสร้างแบบจำลองมากมาย อย่างไรก็ตามมีสองด้านที่สำคัญของการสร้างแบบจำลองที่การปรับแต่งพารามิเตอร์แบบไฮเปอร์และชุดรูปแบบไม่เกี่ยวข้องและจะทำให้คุณไม่สามารถหาแบบจำลองที่ดีที่สุดได้

ขั้นแรกอัลกอริทึมบางประเภทดีกว่าในการสร้างแบบจำลองข้อมูลบางประเภท ตัวอย่างเช่นหากมีการโต้ตอบระหว่างตัวแปรของคุณแบบจำลองเพิ่มเติมจะไม่พบพวกเขา แต่ต้นไม้การตัดสินใจจะ การรู้ว่าแบบจำลองทำงานอย่างไรกับชุดข้อมูลที่แตกต่างกันและการเลือกชุดที่ถูกต้องอาจต้องมีความรู้เกี่ยวกับโดเมนเพื่อค้นหาอัลกอริทึมการสร้างแบบจำลองที่ดีที่สุด

ประการที่สองคุณสมบัติด้านวิศวกรรมและการดึงคุณสมบัติเป็น 'ศิลปะ' ที่แท้จริงในการสร้างแบบจำลอง คำถามของคุณสมมติว่าชุดข้อมูลนั้นได้เตรียมไว้เรียบร้อยแล้ว แต่สิ่งที่คุณไม่ควรสันนิษฐานก็คือชุดข้อมูลเป็นการนำเสนอที่ดีที่สุดเท่าที่เป็นไปได้ของสิ่งที่คุณพยายามทำแบบจำลอง คำถามนี้เป็นคำถามเปิดเสมอ ในหลายกรณีที่ชุดข้อมูลมีความซับซ้อนคุณสามารถสร้างคุณสมบัติตลอดทั้งวัน แต่คุณมีความเสี่ยงที่จะเกิดเสียงดังขึ้นในอัลกอริทึม หากต้องการทราบว่าคุณลักษณะใดที่ควรเพิ่มคุณต้องทราบว่าคุณลักษณะใดที่เหมาะสมจากมุมมองเชิงสถิติและสิ่งใดที่เหมาะสมสำหรับมุมมองของผู้เชี่ยวชาญโดเมน

ด้วยเหตุผลทั้งสองนี้ฉันสรุปได้ว่าไม่คุณจะไม่สามารถหาอัลกอริทึมที่ค้นหาโมเดลที่ดีที่สุดโดยอัตโนมัติได้ นี่คือเหตุผลที่ฉันสงสัยผู้จำหน่ายซอฟต์แวร์ที่จะเปลี่ยนเครื่องมือที่จำเป็นสำหรับนักวิทยาศาสตร์ด้านข้อมูล

อย่างไรก็ตามหากคุณจำกัดความต้องการของคุณให้แคบลงเพื่อหาตัวแบบที่ดีที่สุดจากชุดตัวแบบคงที่โดยใช้พารามิเตอร์ไฮเปอร์ที่ดีที่สุดซึ่งคำว่า 'ดีที่สุด' ถูกกำหนดให้เป็นความแม่นยำเชิงทำนายขั้นสูงสุดในชุดฝึกอบรม

ลองดูcaretแพ็คเกจในRตัวอย่างของวิธีการปรับแต่งรุ่นโดยอัตโนมัติ caretใช้การค้นหากริดซึ่งมีข้อบกพร่องและจะสร้างเพียงหนึ่งโมเดลในแต่ละครั้ง อย่างไรก็ตามมีฟังก์ชั่นในการเปรียบเทียบแบบจำลองและตัวห่อหุ้มที่สะดวกสำหรับรายการรุ่นที่ยาวจากRแพ็คเกจที่แตกต่างกันมากมาย

ขึ้นอยู่กับว่าคุณถามใคร

ฉันเพิ่งได้ยินการพูดคุยโดยสกอตต์ Golder ที่บริบทที่เกี่ยวข้อง ผลิตภัณฑ์ของพวกเขาคือหุ่นยนต์การเลือกคุณสมบัติและรูปแบบ โมเดลพื้นฐานพื้นฐานคือการถดถอยแบบโลจิสติกส์ แต่โดยทั่วไประบบจะใช้การเรียนรู้ของเครื่องเพื่อหาการผสมผสานคุณสมบัติที่เหมาะสมของการเลือกคุณสมบัติการลดขนาดการกำหนดมาตรฐานและอื่น ๆ เพื่อสร้างการคาดการณ์ที่แม่นยำ มันเป็นการพูดคุยที่น่าประทับใจมากและรายละเอียดล้วนเป็นกรรมสิทธิ์ เห็นได้ชัดว่าลูกค้าของพวกเขารวมถึง บริษัท ทางการเงินที่สำคัญและระบบสามารถจัดการชุดข้อมูลขนาดใหญ่โดยพลการ

อย่างน้อยก็มีบางคนที่คิดว่าวิทยาศาสตร์ข้อมูลอัตโนมัติอยู่ที่นี่อย่างน้อยก็สำหรับบางแอปพลิเคชัน และบางคน (ลูกค้าที่เกี่ยวข้องกับบริบท) เห็นได้ชัดว่ากำลังจ่ายเงินผ่านทางจมูกเพื่อเข้าถึงมัน

ไม่มันไม่ใช่ความฝัน เราได้นำสิ่งนี้ไปใช้ (การรวมกันของเทคนิคทั้งหมดที่คุณพูดถึงรวมถึงวงดนตรีซ้อนกัน) ในไลบรารีการเรียนรู้ของเครื่องH2O คุณสามารถอ่านเพิ่มเติมเกี่ยวกับมันและหาตัวอย่างรหัสในการวิจัยและ Python ที่นี่