สุดยอดแห่งการเรียนรู้ทั่วไปจากข้อมูลใน '69

ฉันพยายามที่จะเข้าใจบริบทของ Minsky และ Papert book ชื่อ "Perceptrons" ที่มีชื่อเสียงตั้งแต่ปี 1969 ดังนั้นจึงมีความสำคัญต่อเครือข่ายประสาท

เท่าที่ฉันรู้แล้วยังไม่มีอัลกอริทึมการเรียนรู้แบบมีผู้ควบคุมอื่นยกเว้นสำหรับ perceptron: ต้นไม้ตัดสินใจเริ่มมีประโยชน์จริง ๆ ในปลายปี 70s ป่าสุ่มและ SVM เป็น 90s ดูเหมือนว่าวิธี jackknife เป็นที่รู้จักกันอยู่แล้ว แต่ไม่ได้ตรวจสอบ k-cross (70s) หรือ bootstrap (1979?)

Wikipedia กล่าวว่ากรอบสถิติแบบคลาสสิกของ Neyman-Pearson และ Fisher ยังคงไม่เห็นด้วยใน '50s แม้ว่าจะมีความพยายามครั้งแรกในการอธิบายทฤษฎีลูกผสมอยู่ใน' 40s

ดังนั้นคำถามของฉัน: อะไรคือวิธีการที่ทันสมัยของการแก้ปัญหาทั่วไปของการทำนายจากข้อมูล?

ฉันอยากรู้เกี่ยวกับเรื่องนี้ดังนั้นฉันจึงขุดบ้าง ฉันแปลกใจที่พบว่าอัลกอริธึมการจำแนกประเภททั่วไปหลายรุ่นที่รู้จักมีอยู่แล้วในปี 1969 หรือราวนั้น ลิงค์และการอ้างอิงได้รับด้านล่าง

เป็นที่น่าสังเกตว่าการวิจัย AI นั้นไม่ได้มุ่งเน้นไปที่การจำแนกประเภทเสมอไป มีความสนใจอย่างมากในการวางแผนและการใช้เหตุผลเชิงสัญลักษณ์ซึ่งไม่ได้อยู่ในความนิยมอีกต่อไปและข้อมูลที่ติดฉลากนั้นหาได้ยากกว่ามาก ไม่ใช่บทความทั้งหมดที่มีอยู่ในวงกว้างเช่นกันตัวอย่างเช่นงานโปรโต - SVM ส่วนใหญ่ตีพิมพ์เป็นภาษารัสเซีย ดังนั้นสิ่งนี้อาจประเมินได้ว่านักวิทยาศาสตร์โดยเฉลี่ยรู้จำนวนเท่าใดในการจำแนกในปี 1969

การวิเคราะห์จำแนก

ในปี 1936 บทความในพงศาวดารของสุพันธุศาสตร์ชาวประมงอธิบายขั้นตอนสำหรับการหาฟังก์ชั่นเชิงเส้นซึ่งจำแนกระหว่างสามชนิดของดอกไม้ม่านตาบนพื้นฐานของมิติกลีบดอกและกลีบเลี้ยงของพวกเขา กระดาษดังกล่าวระบุว่าฟิชเชอร์ได้ใช้เทคนิคที่คล้ายกันเพื่อทำนายเพศของกระดูกขากรรไกรมนุษย์ (กระดูกขากรรไกร) ที่ขุดในอียิปต์โดยความร่วมมือกับ E. S Martin และ Karl Pearson ( jstor ) เช่นเดียวกับโครงการวัดกะโหลกแยก กับ Miss Mildred Barnard (ซึ่งฉันติดตามไม่ได้)

การถดถอยโลจิสติก

ฟังก์ชันลอจิสติกนั้นเป็นที่รู้จักกันมาตั้งแต่ศตวรรษที่ 19 แต่ส่วนใหญ่เป็นแบบจำลองสำหรับกระบวนการอิ่มตัวเช่นการเติบโตของประชากรหรือปฏิกิริยาทางชีวเคมี Tim เชื่อมโยงไปยังบทความของ JS Cramer ด้านบนซึ่งเป็นประวัติที่ดีของวันแรก ๆ 1969 โดย แต่ค็อกซ์ได้รับการตีพิมพ์ฉบับแรกของการวิเคราะห์ข้อมูลไบนารี ฉันหาต้นฉบับไม่พบ แต่รุ่นที่ใหม่กว่ามีทั้งบทเกี่ยวกับการใช้การถดถอยโลจิสติกเพื่อจัดหมวดหมู่ ตัวอย่างเช่น:

$y=0,1$$x'$$y$$y$

$k$

$k$$k$

โครงข่ายประสาท

Rosenblatt ตีพิมพ์รายงานทางเทคนิคอธิบายตรอนในปี 1957 และตามมันขึ้นกับหนังสือ , หลักการ Neurodynamicsในปี 1962 รุ่นอย่างต่อเนื่องของแพร่กระจายย้อนกลับได้รับรอบตั้งแต่ต้นปี 1960 รวมถึงการทำงานโดยเคลลี่ , ไบร์และไบรสัน & โฮ (ปรับปรุง 1975 แต่เดิมคือจาก 1,969 . แต่มันก็ไม่ได้นำไปใช้กับเครือข่ายประสาทจนบิตต่อมาและวิธีการสำหรับการฝึกอบรมเครือข่ายลึกมากมีมากขึ้นเมื่อเร็ว ๆ นี้. นี้บทความ scholarpedia การเรียนรู้ลึกมีข้อมูลเพิ่มเติม

วิธีการทางสถิติ

ฉันสงสัยว่าใช้กฎของเบย์ในการจัดหมวดหมู่ได้รับการค้นพบและค้นพบซ้ำหลายครั้ง - มันเป็นผลลัพธ์ที่เป็นไปตามธรรมชาติของกฎเอง ทฤษฎีการตรวจจับสัญญาณพัฒนากรอบเชิงปริมาณสำหรับการตัดสินใจว่าอินพุตที่กำหนดเป็น "สัญญาณ" หรือเสียงรบกวน บางส่วนมาจากการวิจัยด้วยเรดาร์หลังจากสงครามโลกครั้งที่สอง แต่มันถูกดัดแปลงอย่างรวดเร็วสำหรับการทดลองแบบรับรู้ (เช่นโดยGreen และ Swets ) ผมไม่ทราบว่าใครเป็นอิสระพบว่าสมมติว่าระหว่างทำนายทำงานได้ดี แต่การทำงานจากต้นปี 1970 ดูเหมือนว่าจะได้ใช้ประโยชน์จากความคิดนี้เป็นสรุปในบทความนี้ บังเอิญบทความนั้นยังชี้ให้เห็นว่าไร้เดียงสาเบย์ครั้งหนึ่งเคยถูกเรียกว่า "คนบ้า Bayes"!

รองรับ Vector Machines

ในปี 1962 Vapnik และ Chervonenkis อธิบาย "Generalized Portrait Algorithm" ( สแกนแย่มากขอโทษ ) ซึ่งดูเหมือนว่าเป็นกรณีพิเศษของเครื่องเวกเตอร์สนับสนุน (หรือที่จริงแล้วเป็น SVM แบบชั้นเดียว) Chervonenkis เขียนบทความเรื่อง"Early History of Support Vector Machines"ซึ่งอธิบายสิ่งนี้และงานติดตามผลอย่างละเอียด เคอร์เนลเคล็ดลับ (เมล็ดเป็นผลิตภัณฑ์ภายใน) ถูกอธิบายโดย Aizerman, Braverman และ Rozonoer ในปี 1964 svms.org มีอีกเล็กน้อยเกี่ยวกับประวัติความเป็นมาของการสนับสนุนเครื่องเวกเตอร์ที่นี่

การปฏิเสธความรับผิด : คำตอบนี้ไม่สมบูรณ์ แต่ฉันไม่มีเวลาที่จะทำให้เป็นปัจจุบันในขณะนี้ ฉันหวังว่าจะทำงานกับมันในสัปดาห์นี้

คำถาม:
อะไรคือวิธีการที่ทันสมัยในการแก้ปัญหาจำพวกของการทำนายจากข้อมูลประมาณปี 1969?

หมายเหตุ: นี่จะไม่ซ้ำคำตอบที่ยอดเยี่ยมโดย 'แมตต์กรอส'

"สถานะของศิลปะ" หมายถึง "ดีที่สุดและทันสมัยที่สุด" แต่ไม่จำเป็นต้องลดลงเพื่อฝึกฝนเป็นบรรทัดฐานอุตสาหกรรม ในทางตรงกันข้ามกฎหมายสิทธิบัตรของสหรัฐอเมริกามองหา "ไม่ชัดเจน" ตามที่กำหนดโดย "ทักษะธรรมดาในงานศิลปะ" "สถานะของศิลปะ" สำหรับปี 1969 น่าจะถูกนำไปจดสิทธิบัตรในทศวรรษหน้า

มันเป็นไปได้อย่างยิ่งที่ "ดีที่สุดและสว่าง" แนวทาง 1969 ถูกนำมาใช้หรือประเมินสำหรับการใช้งานในระดับ(1) (2) นอกจากนี้ยังจะแสดงในการประเมินของมหาอำมาตย์ล้าหลัง (3) ฉันใช้เวลาหลายปีในการสร้างดาวเทียมและดังนั้นเราก็คาดหวังว่าเทคโนโลยีหรือเนื้อหาสำหรับการสื่อสารในระยะ 5 ~ 5 ปีถัดไปของการสื่อสาร telemetry หรือดาวเทียมสำรวจเพื่อแสดงสถานะของศิลปะของปี 1969 ตัวอย่างหนึ่งคือ ดาวเทียมสำรวจสภาพอากาศ Meteor-2 เริ่มต้นในปี 1967 และมีการออกแบบเบื้องต้นเสร็จสมบูรณ์ในปี 1971 (4) วิศวกรรมน้ำหนักบรรทุกสเปกโตรเมทริกและแอคติโนเมตริกนั้นได้รับแจ้งจากความสามารถในการประมวลผลข้อมูลของวันและโดยการจัดการข้อมูลในอนาคต "อนาคตอันใกล้" การประมวลผลข้อมูลประเภทนี้คือที่ที่จะมองหาแนวปฏิบัติที่เหมาะสมที่สุดของช่วงเวลา

การอ่าน "วารสารทฤษฎีการปรับให้เหมาะสมและแอปพลิเคชัน" ได้ดำเนินการมาหลายปีแล้วและสามารถเข้าถึงเนื้อหาได้ (5) พิจารณาการประเมินนี้(6)ของตัวประมาณค่าที่เหมาะสมและอันนี้สำหรับตัวประมาณแบบเรียกซ้ำ (7)

โครงการ SETI เริ่มต้นขึ้นในปี 1970 มีแนวโน้มที่จะใช้เทคโนโลยีงบประมาณที่ต่ำกว่าและเทคนิคที่เก่ากว่าเพื่อให้เหมาะสมกับเทคโนโลยีของเวลา การสำรวจเทคนิค SETI ในช่วงต้นสามารถพูดคุยกับสิ่งที่ถูกพิจารณาว่าเป็นผู้นำในรอบปี 1969 ผู้สมัครที่น่าจะเป็นคนหนึ่งคือผู้นำ " SETI กระเป๋าเดินทาง " "suitcase SETI" ใช้ DSP เพื่อสร้างเครื่องรับสัญญาณอัตโนมัติในช่องสัญญาณแคบ ๆ ~ 130k กลุ่มคน SETI กำลังมองหาการวิเคราะห์สเปกตรัมเป็นพิเศษ วิธีการนี้ใช้แบบออฟไลน์ครั้งแรกเพื่อประมวลผลข้อมูล Aricebo มันได้รับการเชื่อมต่อต่อมาก็ไปที่กล้องโทรทรรศน์วิทยุ Aricebo ในปี 1978 สำหรับข้อมูลสดและผลที่ได้รับการตีพิมพ์ในปีเดียวกัน Suitecase-SETI ที่แท้จริงแล้วเสร็จในปี 1982 ที่นี่(ลิงค์) เป็นแผนภาพบล็อกแสดงกระบวนการ

วิธีนี้ใช้การแปลงฟูริเยร์แบบยาวแบบออฟไลน์ (~ 64k ตัวอย่าง) เพื่อค้นหาส่วนของแบนด์วิดท์รวมถึงการจัดการเสียงร้องเจี๊ยก ๆ และการชดเชยแบบเรียลไทม์สำหรับการเลื่อนดอปเลอร์ วิธีการคือ "ไม่ใหม่" และมีการอ้างอิง ได้แก่ : ดูตัวอย่าง

A. G. W. Cameron, Ed., 
In- terstellar Communication 
(Benjamin, New York,1963); 

I. S. Shklovskii and C. Sagan, 
In-telligent Life in the Universe 
(Holden-Day, San Francisco, 1966); 

C. Sagan, Ed., 
Communication with Extraterrestrial Intelligence 
(MIT Press, Cambridge, Mass., 1973); 
P. Morrison, J.

B. M. Oliver and J. Billingham, 
"Project Cyclops: A Design Study of a System for Detecting Extraterrestrial Intelligent Life," 
NASA Contract. Rep. CR114445 (1973). 

เครื่องมือที่ใช้ในการทำนายสถานะถัดไปเนื่องจากสถานะก่อนหน้าซึ่งเป็นที่นิยมในขณะนั้น ได้แก่ :

• ตัวกรองคาลมาน (และอนุพันธ์) (Weiner, Bucy, ไม่เชิงเส้น ... )
• วิธีอนุกรมเวลา (และอนุพันธ์)
• วิธีการโดเมนความถี่ (ฟูริเยร์) รวมถึงการกรองและการขยาย

"คำหลัก" ทั่วไป (หรือคำที่เป็นคำปากต่อปาก) รวมถึง "adjoint, Variation, ไล่ระดับสี, ดีที่สุด, ลำดับที่สองและเชื่อมต่อกัน"

สถานที่ตั้งของตัวกรองคาลมานคือการผสมผสานที่ดีที่สุดของข้อมูลโลกแห่งความจริงด้วยรูปแบบการวิเคราะห์และการทำนาย พวกมันถูกใช้สำหรับการทำสิ่งต่าง ๆ เช่นขีปนาวุธพุ่งเป้า