คำถามติดแท็ก ensemble

ความเหมือนและความแตกต่างระหว่าง 3 วิธีนี้คืออะไร: บรรจุถุง, ส่งเสริม เก็บซ้อน? อันไหนดีที่สุด? และทำไม? คุณสามารถยกตัวอย่างให้ฉันได้ไหม

245 machine-learning  boosting  ensemble  bagging  model-averaging 

การส่งเสริมต้นไม้ไล่โทนสีตามที่เสนอโดยฟรีดแมนใช้ต้นไม้ตัดสินใจเป็นผู้เรียนพื้นฐาน ฉันสงสัยว่าเราควรสร้างแผนภูมิการตัดสินใจพื้นฐานที่ซับซ้อนที่สุดเท่าที่จะเป็นไปได้ (โตเต็มที่) หรือง่ายกว่านี้หรือไม่? มีคำอธิบายสำหรับการเลือกหรือไม่? ป่าสุ่มเป็นอีกวิธีการหนึ่งที่ใช้ต้นไม้ตัดสินใจเป็นฐานในการเรียนรู้ จากความเข้าใจของฉันเรามักใช้ต้นไม้ตัดสินใจที่โตเต็มที่ในการทำซ้ำแต่ละครั้ง ฉันถูกไหม?

110 machine-learning  random-forest  cart  boosting  ensemble 

ครั้งแรกมันคือBrexitตอนนี้การเลือกตั้งสหรัฐ การทำนายแบบจำลองจำนวนมากถูกปิดลงโดยมีระยะขอบกว้างและมีบทเรียนที่ต้องเรียนรู้ที่นี่หรือไม่? ดึกแค่สี่ทุ่ม PST เมื่อวานนี้ตลาดการเดิมพันยังคงเป็นที่นิยมของฮิลลารี 4 ต่อ 1 ฉันคิดว่าตลาดการเดิมพันด้วยเงินจริงในบรรทัดควรทำหน้าที่เป็นชุดของการทำนายที่มีทั้งหมด ดังนั้นจึงไม่ใช่เรื่องที่ไกลเกินกว่าที่จะบอกว่าแบบจำลองเหล่านี้ทำงานได้ไม่ดีนัก ฉันเห็นหนึ่งคำอธิบายว่าผู้ลงคะแนนไม่เต็มใจที่จะระบุตัวเองว่าเป็นผู้สนับสนุนทรัมป์ แบบจำลองสามารถรวมเอฟเฟกต์แบบนั้นได้อย่างไร คำอธิบายหนึ่งแมโครผมอ่านคือการเพิ่มขึ้นของประชานิยม คำถามคือโมเดลทางสถิติสามารถจับแนวโน้มมาโครได้อย่างไร แบบจำลองการทำนายเหล่านี้ออกมามีน้ำหนักมากเกินไปกับข้อมูลจากการสำรวจและความเชื่อมั่นซึ่งไม่เพียงพอจากที่ประเทศกำลังยืนอยู่ในมุมมอง 100 ปี? ฉันกำลังพูดถึงความคิดเห็นของเพื่อน

108 predictive-models  ensemble  confounding 

ในขณะที่เรียนรู้เกี่ยวกับการไล่ระดับสีแบบค่อยเป็นค่อยไปฉันไม่เคยได้ยินข้อ จำกัด ใด ๆ เกี่ยวกับคุณสมบัติของ "ตัวจําแนกแบบอ่อน" ที่วิธีใช้ในการสร้างและสร้างแบบจําลองทั้งหมด อย่างไรก็ตามฉันไม่สามารถจินตนาการแอปพลิเคชันของ GB ที่ใช้การถดถอยเชิงเส้นและในความเป็นจริงเมื่อฉันทำการทดสอบบางอย่าง - มันไม่ทำงาน ฉันกำลังทดสอบวิธีมาตรฐานที่สุดด้วยการไล่ระดับสีของผลรวมของส่วนที่เหลือกำลังสองและการเพิ่มแบบจำลองที่ตามมาเข้าด้วยกัน ปัญหาที่เห็นได้ชัดคือส่วนที่เหลือจากแบบจำลองแรกมีประชากรในลักษณะที่ไม่มีเส้นการถดถอยให้เหมาะสมอีกต่อไป การสังเกตอีกอย่างของฉันคือผลรวมของตัวแบบการถดถอยเชิงเส้นที่ตามมาสามารถแสดงเป็นตัวแบบการถดถอยแบบเดียวได้เช่นกัน (การเพิ่มการสกัดกั้นทั้งหมดและสัมประสิทธิ์ที่สอดคล้องกัน) ดังนั้นฉันจึงไม่สามารถจินตนาการได้ว่า การสังเกตครั้งสุดท้ายคือการถดถอยเชิงเส้น (วิธีการทั่วไปมากที่สุด) ใช้ผลรวมของค่าคงที่กำลังสองเป็นฟังก์ชันการสูญเสียซึ่งเป็นค่าเดียวกับที่ GB ใช้ ฉันคิดเกี่ยวกับการลดอัตราการเรียนรู้หรือใช้เพียงชุดย่อยของตัวทำนายสำหรับการวนซ้ำแต่ละครั้ง แต่ก็ยังสามารถสรุปได้ถึงการนำเสนอแบบจำลองเดียวในที่สุดดังนั้นฉันคิดว่ามันจะไม่ทำให้ดีขึ้น สิ่งที่ฉันหายไปที่นี่? การถดถอยเชิงเส้นอย่างใดที่ไม่เหมาะสมที่จะใช้กับการไล่ระดับสีไล่โทนสี? เป็นเพราะการถดถอยเชิงเส้นใช้ผลรวมของส่วนที่เหลือกำลังสองเป็นฟังก์ชันการสูญเสียหรือไม่? มีข้อ จำกัด บางประการเกี่ยวกับตัวพยากรณ์ที่อ่อนแอเพื่อให้สามารถใช้กับการไล่ระดับสีไล่โทนสีได้หรือไม่?

35 regression  machine-learning  boosting  ensemble  gradient 

ในความเข้าใจของฉันตัวแปรที่มีความสัมพันธ์สูงจะไม่ทำให้เกิดปัญหาความหลากหลายในรูปแบบฟอเรสต์แบบสุ่ม (โปรดแก้ไขฉันหากฉันผิด) อย่างไรก็ตามในทางกลับกันถ้าฉันมีตัวแปรมากเกินไปที่มีข้อมูลที่คล้ายกันโมเดลน้ำหนักจะมากเกินไปในเซตนี้หรือไม่ ตัวอย่างเช่นมีชุดข้อมูลสองชุด (A, B) ที่มีพลังการทำนายเท่ากัน ตัวแปร , X 2 , ... X 1000ทั้งหมดมีข้อมูล A และมีเพียง Y เท่านั้นที่มีข้อมูล B เมื่อสุ่มตัวอย่างตัวแปรต้นไม้ส่วนใหญ่จะเติบโตบนข้อมูล A และเป็นผลให้ข้อมูล B ไม่ได้รับการบันทึกอย่างสมบูรณ์หรือไม่X1X1X_1X2X2X_2X1000X1000X_{1000}

32 random-forest  multicollinearity  ensemble 

ฉันใช้คาเร็ตเพื่อรันฟอเรสต์แบบสุ่มที่ผ่านการตรวจสอบความถูกต้องข้ามชุดข้อมูล ตัวแปร Y เป็นปัจจัย ไม่มีชุดข้อมูลของ NaN, Inf's หรือ NA ในชุดข้อมูลของฉัน อย่างไรก็ตามเมื่อใช้ป่าสุ่มฉันได้รับ Error in randomForest.default(m, y, ...) : NA/NaN/Inf in foreign function call (arg 1) In addition: There were 28 warnings (use warnings() to see them) Warning messages: 1: In data.matrix(x) : NAs introduced by coercion 2: In data.matrix(x) : NAs …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

ฉันพยายามที่จะแก้ปัญหาการถดถอย ฉันพบว่า 3 รุ่นทำงานได้ดีกับชุดย่อยของข้อมูลที่แตกต่างกัน: LassoLARS, SVR และการไล่ระดับต้นไม้แบบไล่ระดับ ฉันสังเกตเห็นว่าเมื่อฉันทำการทำนายโดยใช้ทั้ง 3 โมเดลจากนั้นสร้างตารางของ 'เอาท์พุทที่แท้จริง' และเอาท์พุทของโมเดล 3 ของฉันฉันเห็นว่าในแต่ละครั้งที่อย่างน้อยหนึ่งโมเดลนั้นใกล้เคียงกับเอาต์พุตจริง อาจอยู่ค่อนข้างไกล เมื่อฉันคำนวณข้อผิดพลาดน้อยที่สุดที่เป็นไปได้ (ถ้าฉันใช้การทำนายจากตัวทำนายที่ดีที่สุดสำหรับแต่ละตัวอย่างการทดสอบ) ฉันได้รับข้อผิดพลาดซึ่งเล็กกว่าข้อผิดพลาดของแบบจำลองใด ๆ เพียงอย่างเดียว ดังนั้นฉันจึงคิดว่าจะพยายามรวมการทำนายจากแบบจำลองต่าง ๆ ทั้งสามนี้เข้าด้วยกันเป็นชุด คำถามคือทำอย่างไรให้ถูกต้อง? โมเดล 3 แบบของฉันทั้งหมดได้รับการสร้างและปรับแต่งโดยใช้ Scikit-Learn มันมีวิธีการบางอย่างที่สามารถใช้ในการแพ็คแบบจำลองเป็นชุดหรือไม่? ปัญหาตรงนี้คือฉันไม่ต้องการเพียงแค่การคาดคะเนค่าเฉลี่ยจากทั้งสามรุ่นฉันต้องการทำสิ่งนี้ด้วยการถ่วงน้ำหนักซึ่งควรกำหนดน้ำหนักตามคุณสมบัติของตัวอย่างเฉพาะ แม้ว่า Scikit-Learn จะไม่ได้มีฟังก์ชั่นดังกล่าว แต่มันก็ดีถ้ามีคนรู้วิธีที่จะจัดการกับงานนี้ - การหาน้ำหนักของแต่ละรุ่นสำหรับแต่ละตัวอย่างในข้อมูล ฉันคิดว่ามันอาจจะทำได้โดย regressor แยกต่างหากที่สร้างไว้ด้านบนของทั้งสามรุ่นซึ่งจะลองใช้น้ำหนักที่เหมาะสมที่สุดสำหรับแต่ละรุ่น 3 รุ่น แต่ฉันไม่แน่ใจว่านี่เป็นวิธีที่ดีที่สุดในการทำสิ่งนี้หรือไม่

27 regression  scikit-learn  ensemble 

ฉันมีคำถามที่เกี่ยวข้องอย่างใกล้ชิดเกี่ยวกับผู้เรียนที่อ่อนแอในการเรียนรู้ทั้งมวล (เช่นการส่งเสริม) สิ่งนี้อาจฟังดูเป็นใบ้ แต่ประโยชน์ของการใช้ที่อ่อนแอเมื่อเทียบกับผู้เรียนที่แข็งแกร่งคืออะไร (เช่นทำไมไม่ส่งเสริมด้วยวิธีการเรียนรู้ "ที่รัดกุม") มีความแข็งแรง "ดีที่สุด" สำหรับผู้เรียนที่อ่อนแอ (เช่นในขณะที่รักษาพารามิเตอร์อื่น ๆ ทั้งหมดไว้)? มี "จุดหวาน" เมื่อพูดถึงจุดแข็งของพวกเขาหรือไม่? เราจะวัดความแข็งแกร่งของผู้เรียนที่อ่อนแอได้อย่างไรโดยเทียบกับวิธีการรวมกลุ่มที่เกิดขึ้น เราจะวัดผลประโยชน์ที่ได้จากการใช้ทั้งมวลในเชิงปริมาณได้อย่างไร เราจะเปรียบเทียบอัลกอริทึมการเรียนรู้ที่อ่อนแอหลายอย่างเพื่อตัดสินใจว่าจะใช้อันใดสำหรับวิธีการรวมวงที่กำหนดได้อย่างไร หากวิธีการของวงดนตรีที่ให้มาช่วยจำแนกลักษณนามที่อ่อนแอกว่าคนที่แข็งแกร่งเราจะบอกตัวจําแนกที่ได้รับมาว่า "แข็งแกร่งเกินไป" เพื่อให้ได้รับผลกําไรที่สําคัญเมื่อเพิ่มด้วย

22 machine-learning  boosting  ensemble 

เมื่อเร็ว ๆ นี้ฉันกำลังทำงานเกี่ยวกับการเรียนรู้อัลกอริทึมการส่งเสริมเช่น adaboost, การไล่ระดับสีและฉันได้ทราบความจริงที่ว่าผู้เรียนอ่อนแอที่ใช้กันมากที่สุดคือต้นไม้ ฉันอยากรู้ว่ามีตัวอย่างที่ประสบความสำเร็จเมื่อเร็ว ๆ นี้ (ฉันหมายถึงบางบทความหรือบทความ) สำหรับการใช้เครือข่ายประสาทในฐานะผู้เรียนพื้นฐาน

21 neural-networks  deep-learning  boosting  ensemble  dropout 

ฉันมักจะพบว่าตัวเองกำลังฝึกอบรมตัวพยากรณ์ที่แตกต่างกันหลายตัวที่ใช้caretในอาร์ฉันจะฝึกพวกมันทั้งหมดในการตรวจสอบความถูกต้องไขว้แบบเดียวกันโดยใช้caret::: createFoldsแล้วเลือกโมเดลที่ดีที่สุดโดยอิงจากข้อผิดพลาดการตรวจสอบข้าม อย่างไรก็ตามการทำนายค่ามัธยฐานจากหลายรุ่นมักจะดีกว่าแบบจำลองเดี่ยวที่ดีที่สุดในชุดทดสอบอิสระ ฉันกำลังคิดว่าจะเขียนฟังก์ชั่นบางอย่างสำหรับการวางซ้อน / การวางแบบ caret ที่ได้รับการฝึกอบรมโดยใช้ cross-validation folds เช่นโดยการคาดคะเนค่ามัธยฐานจากแต่ละแบบจำลองในแต่ละครั้งหรือโดยการฝึก "meta-model" แน่นอนว่าอาจต้องใช้ลูปการตรวจสอบความถูกต้องภายนอก ไม่มีใครรู้แพคเกจที่มีอยู่ / รหัสโอเพนซอร์สที่มีอยู่สำหรับรุ่น caret ตระการตา

21 r  caret  ensemble 

ฉันยังใหม่กับการเรียนรู้ข้อมูล / การเรียนรู้ของเครื่อง / ฯลฯ และได้อ่านเกี่ยวกับวิธีการรวมแบบจำลองหลายแบบและแบบจำลองเดียวกันเพื่อปรับปรุงการทำนาย ความประทับใจของฉันจากการอ่านบทความสองเล่ม (ซึ่งมักจะน่าสนใจและยอดเยี่ยมเกี่ยวกับทฤษฎีและตัวอักษรกรีก แต่สั้น ๆ เกี่ยวกับรหัสและตัวอย่างจริง) คือมันควรจะเป็นเช่นนี้: ฉันใช้แบบจำลอง ( knn, RFและอื่น ๆ ) และรับรายการตัวแยกประเภทระหว่าง 0 และ 1 คำถามของฉันคือวิธีรวมรายการตัวแยกประเภทแต่ละรายการเหล่านี้หรือไม่ ฉันใช้โมเดลเดียวกันกับชุดการฝึกอบรมของฉันหรือไม่เพื่อให้จำนวนคอลัมน์ที่เข้าสู่โมเดลสุดท้ายเหมือนกันหรือมีเคล็ดลับอื่น ๆ อีกหรือไม่ มันจะดีถ้าคำแนะนำ / ตัวอย่างรวมถึงรหัส R หมายเหตุ: สำหรับชุดข้อมูลที่มีเส้น 100k ในชุดฝึกอบรมและ 70k ในชุดทดสอบและ 10 คอลัมน์

20 r  random-forest  k-nearest-neighbour  ensemble 

ฉันสับสนเกี่ยวกับวิธีแบ่งพาร์ติชันข้อมูลสำหรับการตรวจสอบความถูกต้องของวง k-fold สมมติว่าฉันมีกรอบการเรียนรู้ทั้งมวลสำหรับการจำแนก เลเยอร์แรกของฉันมีโมเดลการจัดหมวดหมู่เช่น svm แผนภูมิการตัดสินใจ เลเยอร์ที่สองของฉันมีโมเดลการลงคะแนนซึ่งรวมการทำนายจากเลเยอร์แรกและให้การทำนายขั้นสุดท้าย หากเราใช้การตรวจสอบความถูกต้อง 5 เท่าของ cross-cross ฉันคิดว่าจะใช้ 5 folds ดังนี้: 3 เท่าสำหรับการฝึกชั้นแรก 1 เท่าสำหรับฝึกซ้อมเลเยอร์ที่สอง 1 เท่าสำหรับการทดสอบ นี้เป็นวิธีที่ถูกต้องหรือไม่? ข้อมูลการฝึกอบรมสำหรับชั้นหนึ่งและชั้นสองควรเป็นอิสระหรือไม่? ฉันคิดว่าพวกเขาควรจะมีความเป็นอิสระเพื่อให้กรอบการเรียนรู้ทั้งมวลจะแข็งแกร่ง เพื่อนของฉันแนะนำข้อมูลการฝึกอบรมสำหรับเลเยอร์แรกและเลเยอร์ที่สองควรเหมือนกันเช่น 4 เท่าสำหรับการฝึกชั้นหนึ่งและชั้นสอง 1 เท่าสำหรับการทดสอบ ด้วยวิธีนี้เราจะมีข้อผิดพลาดที่แม่นยำยิ่งขึ้นของกรอบการเรียนรู้ทั้งมวลและการปรับกรอบซ้ำ ๆ จะมีความแม่นยำมากขึ้นเนื่องจากมีพื้นฐานจากข้อมูลการฝึกอบรมเพียงครั้งเดียว นอกจากนี้เลเยอร์ที่สองอาจมีอคติต่อข้อมูลการฝึกอบรมที่เป็นอิสระ คำแนะนำใด ๆ ที่ชื่นชมอย่างมาก

20 classification  cross-validation  ensemble 

โดยทั่วไปแล้วในปัญหาการจำแนกประเภทที่เป้าหมายคือการทำนายการเป็นสมาชิกคลาสนอกกลุ่มตัวอย่างได้อย่างถูกต้องเมื่อใดฉันจึงไม่ควรใช้ตัวจําแนก ensemble คำถามนี้เกี่ยวข้องกับทำไมไม่ใช้การเรียนรู้ทั้งมวลเสมอไป . คำถามนั้นถามว่าทำไมเราไม่ใช้วงดนตรีตลอดเวลา ฉันต้องการที่จะรู้ว่ามีบางกรณีที่วงดนตรีเป็นที่รู้กันว่าแย่กว่านี้ (ไม่ใช่แค่ "ไม่ดีขึ้นและเสียเวลา") มากกว่ากลุ่มที่ไม่ใช่ทั้งมวล และโดย "ensemble ลักษณนาม" ฉันหมายถึงตัวแยกประเภทเช่น AdaBoost และฟอเรสต์แบบสุ่มโดยเฉพาะซึ่งตรงกันข้ามกับเครื่องเวกเตอร์สนับสนุนแบบม้วนของคุณเอง

17 classification  boosting  ensemble  bagging 

ฉันสับสนเล็กน้อยเกี่ยวกับการเรียนรู้ทั้งมวล โดยสรุปมันรันโมเดล k และรับค่าเฉลี่ยของโมเดล k เหล่านี้ จะรับประกันได้อย่างไรว่าค่าเฉลี่ยของโมเดล k จะดีกว่ารุ่นใด ๆ ด้วยตัวเอง? ฉันเข้าใจว่าอคติ "กระจาย" หรือ "เฉลี่ย" อย่างไรก็ตามจะเกิดอะไรขึ้นถ้ามีสองรุ่นในชุด (เช่น k = 2) และหนึ่งในนั้นแย่กว่าอีกรุ่นหนึ่ง - ชุดนั้นจะไม่แย่กว่ารุ่นที่ดีกว่าหรือไม่

16 machine-learning  ensemble 

โครงสร้างของคำถามนี้มีดังต่อไปนี้:ในตอนแรกฉันให้แนวคิดของการเรียนรู้ทั้งมวลฉันยังจัดทำรายการของการจดจำรูปแบบจากนั้นฉันก็ยกตัวอย่างของอัลกอริทึมการเรียนรู้ทั้งมวลและในที่สุดก็แนะนำคำถามของฉัน ผู้ที่ไม่ต้องการข้อมูลเสริมทั้งหมดอาจแค่ดูหัวข้อข่าวและตรงไปที่คำถามของฉัน การเรียนรู้ทั้งมวลคืออะไร ตามบทความ Wikipedia : ในสถิติและการเรียนรู้ของเครื่องจักรวิธีการทั้งมวลใช้อัลกอริทึมการเรียนรู้หลายอย่างเพื่อให้ได้ประสิทธิภาพการทำนายที่ดีกว่าที่จะได้รับจากอัลกอริทึมการเรียนรู้ที่เป็นส่วนประกอบใด ๆ เพียงอย่างเดียว ซึ่งแตกต่างจากชุดสถิติในกลศาสตร์เชิงสถิติซึ่งโดยทั่วไปแล้วจะไม่มีที่สิ้นสุดชุดการเรียนรู้ของเครื่องหมายถึงชุดรูปแบบทางเลือกที่ จำกัด ของคอนกรีตเท่านั้น แต่โดยทั่วไปแล้วจะช่วยให้โครงสร้างมีความยืดหยุ่นมากขึ้น ตัวอย่างของงานการจดจำรูปแบบ: การรู้จำอักขระด้วยแสง การจดจำบาร์โค้ด การจดจำป้ายทะเบียนรถ การตรวจจับใบหน้า การรู้จำเสียง การจดจำรูปภาพ การจำแนกเอกสาร ตัวอย่างของอัลกอริทึมการเรียนรู้ทั้งมวล: ต่อไปนี้ขั้นตอนวิธีการเรียนรู้ชุดใช้สำหรับงานพีอาร์ (ตามวิกิพีเดีย) Ensemble learning algorithm (การควบคุม meta-algorithms สำหรับการรวมอัลกอริทึมการเรียนรู้หลายตัวเข้าด้วยกัน): Boosting (การเรียนรู้ของเครื่องโดยใช้เมตาดาต้าอัลกอริธึมสำหรับการลดอคติและความแปรปรวนในการเรียนรู้แบบมีผู้ควบคุมและอัลกอริทึมการเรียนรู้ของเครื่องซึ่งเปลี่ยนผู้เรียนที่อ่อนแอไปเป็นคนที่แข็งแกร่ง) การรวม Bootstrap ("การห่อ ") (เครื่องเรียนรู้ชุดเมตาอัลกอริทึมที่ออกแบบมาเพื่อปรับปรุงเสถียรภาพและความแม่นยำของอัลกอริทึมการเรียนรู้ของเครื่องที่ใช้ในการจำแนกทางสถิติและการถดถอย) ค่าเฉลี่ยของ Ensemble (กระบวนการสร้างหลายรุ่นและรวมเข้าด้วยกันเพื่อสร้างเอาต์พุตที่ต้องการซึ่งต่างจากการสร้างเพียงหนึ่งโมเดลบ่อยครั้งที่ชุดของโมเดลทำงานได้ดีกว่าโมเดลใด ๆ ก็ตามเนื่องจากข้อผิดพลาดต่างๆของโมเดล "เฉลี่ยหมด" ) ส่วนผสมของผู้เชี่ยวชาญการผสมผสานของผู้เชี่ยวชาญ การใช้งานที่แตกต่างกัน ตระการตาของโครงข่ายประสาทเทียม (ชุดของโมเดลโครงข่ายประสาทเทียมที่ใช้ตัดสินใจโดยเฉลี่ยผลลัพธ์ของแบบจำลองแต่ละตัว) ป่าสุ่ม (วิธีการเรียนรู้ทั้งมวลสำหรับการจำแนกการถดถอยและงานอื่น …

14 machine-learning  neural-networks  pattern-recognition  ensemble  ocr