คำถามติดแท็ก machine-learning

มีวิธีทดสอบการแยกเชิงเส้นของชุดข้อมูลสองระดับในมิติที่สูงหรือไม่? คุณสมบัติเวคเตอร์ของฉันมีความยาว 40 ฉันรู้ว่าฉันสามารถใช้การทดลองการถดถอยโลจิสติกและกำหนดอัตราการเตือนภัยที่ผิดพลาดเพื่อสรุปว่าทั้งสองคลาสนั้นแยกกันเป็นเส้นตรงหรือไม่ แต่ก็เป็นการดีที่จะรู้ว่ามีกระบวนการมาตรฐานอยู่แล้ว

20 machine-learning  classification 

ฉันกำลังใช้ libsvm ในโหมด C-SVC กับเคอร์เนลโพลิโนเมียลระดับ 2 และฉันต้องฝึก SVM หลายตัว ชุดฝึกอบรมแต่ละชุดมี 10 คุณสมบัติและ 5,000 เวกเตอร์ ในระหว่างการฝึกอบรมฉันได้รับคำเตือนนี้สำหรับ SVM ส่วนใหญ่ที่ฉันฝึก: WARNING: reaching max number of iterations optimization finished, #iter = 10000000 มีคนช่วยอธิบายอธิบายคำเตือนนี้ได้อย่างไรและอาจจะหลีกเลี่ยงได้อย่างไร ฉันต้องการใช้การตรวจสอบข้ามสำหรับรุ่นของฉันเพื่อกำหนดตัวเลือกที่ดีที่สุดสำหรับแกมม่าและ C แผนของฉันคือลองใช้การรวมกันของค่า 10 ค่าเหล่านี้: 0.00001, 0.0001, 0.001, 0.01, 0.1, 1, 10, 100, 1,000, 10,000, 10,000 สำหรับพารามิเตอร์ทั้งสองและดูว่าชุดค่าผสมใดให้ความแม่นยำที่ดีที่สุดระหว่างการตรวจสอบ เพียงพอหรือไม่ ฉันควรใช้ค่ามากขึ้นในช่วงเวลานี้หรือฉันควรเลือกช่วงเวลาที่กว้างขึ้น?

20 machine-learning  cross-validation  svm  regularization  libsvm 

Breiman กล่าวว่าต้นไม้นั้นโตโดยไม่ต้องตัดแต่งกิ่ง ทำไม? ฉันหมายความว่าต้องมีเหตุผลที่ชัดเจนว่าทำไมต้นไม้ในป่าสุ่มไม่ถูกตัด ในทางกลับกันก็ถือว่าสำคัญมากที่จะตัดต้นไม้การตัดสินใจเดียวเพื่อหลีกเลี่ยงการกระชับ มีวรรณกรรมให้อ่านด้วยเหตุผลนี้ไหม แน่นอนว่าต้นไม้อาจไม่มีความสัมพันธ์กัน แต่ก็ยังมีความเป็นไปได้ที่จะเกิดความเหมาะสม

20 machine-learning 

ฉันได้อ่านข้อความที่ขัดแย้งกัน (ดูเหมือน) หลายฉบับว่า AdaBoost (หรือเทคนิคการส่งเสริมอื่น ๆ ) นั้นมีความเป็นไปได้น้อยหรือมีแนวโน้มที่จะมีน้ำหนักเกินกว่าวิธีการเรียนรู้อื่น ๆ มีเหตุผลที่ดีที่จะเชื่ออย่างใดอย่างหนึ่งหรือไม่? ถ้ามันขึ้นอยู่กับว่ามันขึ้นอยู่กับอะไร? อะไรคือสาเหตุที่ AdaBoost มีแนวโน้มน้อยลง / มากขึ้นที่จะทำให้อ้วนมากเกินไป?

20 machine-learning  boosting 

เคล็ดลับเคอร์เนลจะใช้ในโมเดลการเรียนรู้หลายเครื่อง (เช่นSVM ) มันถูกนำมาใช้ครั้งแรกในกระดาษ "รากฐานทางทฤษฎีของวิธีการทำงานที่มีศักยภาพในการเรียนรู้การจดจำรูปแบบ" กระดาษในปี 1964 คำนิยามของวิกิพีเดียบอกว่ามันเป็น วิธีการใช้อัลกอริธึมลักษณนามลักษณนามเชิงเส้นเพื่อแก้ปัญหาที่ไม่ใช่เชิงเส้นโดยการทำแผนที่การสังเกตที่ไม่ใช่เชิงเส้นดั้งเดิมลงในพื้นที่มิติที่สูงขึ้นซึ่งจะใช้ตัวจําแนกเชิงเส้นในภายหลัง สิ่งนี้ทำให้การจำแนกเชิงเส้นในพื้นที่ใหม่เทียบเท่ากับการจัดหมวดหมู่ที่ไม่ใช่เชิงเส้นในพื้นที่เดิม ตัวอย่างหนึ่งของโมเดลเชิงเส้นตรงที่ได้รับการขยายไปสู่ปัญหาที่ไม่ใช่เชิงเส้นเป็นPCA เคอร์เนล เคล็ดลับเคอร์เนลสามารถนำไปใช้กับโมเดลเชิงเส้นใด ๆ หรือมีข้อ จำกัด บางอย่าง

20 machine-learning  kernel-trick 

ฉันไม่ใช่ผู้เชี่ยวชาญของป่าสุ่ม แต่ฉันเข้าใจชัดเจนว่าปัญหาสำคัญของป่าสุ่มคือการสร้างต้นไม้ (สุ่ม) คุณช่วยอธิบายฉันได้อย่างไรว่าต้นไม้สร้างขึ้นได้อย่างไร? (เช่นการกระจายที่ใช้สำหรับการสร้างต้นไม้คืออะไร) ขอบคุณล่วงหน้า !

20 machine-learning  r  algorithms  cart  random-forest 

เมื่อเร็ว ๆ นี้ฉันได้เรียนรู้ว่าวิธีหนึ่งในการค้นหาวิธีแก้ไขปัญหา ML ที่ดีกว่าคือการสร้างคุณลักษณะ หนึ่งสามารถทำได้โดยตัวอย่างเช่นการรวมสองคุณสมบัติ ตัวอย่างเช่นเรามีคุณสมบัติสองอย่างคือ "การโจมตี" และ "การป้องกัน" ของฮีโร่บางประเภท จากนั้นเราสร้างคุณลักษณะเพิ่มเติมที่เรียกว่า "ผลรวม" ซึ่งเป็นผลรวมของ "การโจมตี" และ "การป้องกัน" ตอนนี้สิ่งที่ดูเหมือนแปลกสำหรับฉันคือแม้แต่ "การโจมตี" และ "การป้องกัน" ที่ยากลำบากก็มีความสัมพันธ์อย่างสมบูรณ์แบบกับ "ทั้งหมด" เรายังคงได้รับข้อมูลที่เป็นประโยชน์ คณิตศาสตร์อยู่เบื้องหลังอะไร? หรือฉันคิดผิด นอกจากนี้นั่นไม่ใช่ปัญหาสำหรับผู้จัดประเภทเช่น kNN ว่า "ยอดรวม" จะใหญ่กว่า "การโจมตี" หรือ "การป้องกัน" เสมอหรือไม่ ดังนั้นแม้หลังจาก standarization เราจะมีคุณสมบัติที่มีค่าจากช่วงที่แตกต่างกันอย่างไร

20 machine-learning  feature-construction 

อะไรคือความแตกต่างที่สำคัญระหว่างข้อมูลที่กระจัดกระจายและข้อมูลที่ขาดหายไป? และมันมีอิทธิพลต่อการเรียนรู้ของเครื่องอย่างไร โดยเฉพาะอย่างยิ่งสิ่งที่ทำให้ข้อมูลกระจัดกระจายและข้อมูลที่ขาดหายไปนั้นมีต่ออัลกอริธึมการจำแนกและประเภทการถดถอย ฉันกำลังพูดถึงสถานการณ์ที่เปอร์เซ็นต์ของข้อมูลที่ขาดหายไปมีความสำคัญและเราไม่สามารถวางแถวที่มีข้อมูลที่ขาดหายไปได้

20 machine-learning  dataset  missing-data  sparse 

ฉันกำลังอ่านบทของการแลกเปลี่ยนความแปรปรวนแบบอคติขององค์ประกอบของการเรียนรู้ทางสถิติและฉันมีข้อสงสัยในสูตรที่หน้า 29 ให้ข้อมูลเกิดขึ้นจากแบบจำลองที่โดยที่สุ่ม จำนวนที่มีค่าคาดว่าและความแปรปรวน 2 ให้ค่าที่คาดหวังของข้อผิดพลาดของแบบจำลองคือ E [(Y-f_k (x)) ^ 2] โดยที่f_k (x)คือคำทำนายของxของผู้เรียนของเรา ข้อผิดพลาดคือ E [(Y-f_k (x)) ^ 2] = \ sigma ^ 2 + Bias (f_k) ^ 2 + Var (f_k (x)) Y=f(x)+ϵY=f(x)+ϵ Y = f(x)+\epsilonε = E [ ε ] = 0 E E [ ( Y - …

20 machine-learning  unbiased-estimator  mse  bias-variance-tradeoff 

ฉันใช้ theano เพื่อทดสอบกับ LSTM และสงสัยว่าวิธีการเพิ่มประสิทธิภาพใด (SGD, Adagrad, Adadelta, RMSprop, Adam และอื่น ๆ ) ทำงานได้ดีที่สุดสำหรับ LSTMs หรือไม่ มีบทความวิจัยในหัวข้อนี้หรือไม่? นอกจากนี้คำตอบยังขึ้นอยู่กับประเภทของแอปพลิเคชันที่ฉันใช้ LSTM ด้วยหรือไม่ ถ้าเป็นเช่นนั้นฉันใช้ LSTM สำหรับการจำแนกข้อความ (โดยที่ข้อความถูกแปลงเป็นคำเวกเตอร์) ในที่สุดคำตอบจะเหมือนหรือแตกต่างกันสำหรับ RNNs หรือไม่ พอยน์เตอร์ใด ๆ สำหรับงานวิจัยหรือความเข้าใจส่วนบุคคลจะได้รับการชื่นชมอย่างมาก! LSTM ดูเหมือนจะทรงพลังมากและฉันสนใจที่จะเรียนรู้เพิ่มเติมเกี่ยวกับวิธีการใช้งานให้ดีที่สุด

20 machine-learning  neural-networks  optimization  lstm 

ไม่ R caretแพคเกจข้ามการตรวจสอบทั้งในalphaและlambdaสำหรับglmnetรูปแบบ? ใช้รหัสนี้ eGrid <- expand.grid(.alpha = (1:10) * 0.1, .lambda = (1:10) * 0.1) Control <- trainControl(method = "repeatedcv",repeats = 3,verboseIter =TRUE) netFit <- train(x =train_features, y = y_train, method = "glmnet", tuneGrid = eGrid, trControl = Control) บันทึกการฝึกอบรมมีลักษณะเช่นนี้ Fold10.Rep3: alpha=1.0, lambda=NA อะไรlambda=NAหมายถึง?

20 r  machine-learning  cross-validation  caret  glmnet 

ทำไม backpropagation ไม่ทำงานเมื่อคุณเริ่มต้นน้ำหนักทั้งหมดด้วยค่าเดียวกัน (พูด 0.5) แต่ทำงานได้ดีเมื่อได้รับตัวเลขสุ่ม อัลกอริทึมไม่ควรคำนวณข้อผิดพลาดและทำงานจากที่นั่นแม้ว่าความจริงแล้วน้ำหนักจะเหมือนเดิมหรือไม่

20 machine-learning  neural-networks  backpropagation 

ในแง่ของศัพท์แสงเครือข่ายประสาท (y = Weight * x + bias) ฉันจะรู้ได้อย่างไรว่าตัวแปรใดสำคัญกว่าตัวอื่น? ฉันมีเครือข่ายนิวรัลที่มี 10 อินพุต, 1 เลเยอร์ที่ซ่อนอยู่กับ 20 โหนดและ 1 เลเยอร์เอาท์พุทซึ่งมี 1 โหนด ฉันไม่แน่ใจว่าจะรู้ได้อย่างไรว่าตัวแปรอินพุตใดบ้างที่มีอิทธิพลมากกว่าตัวแปรอื่น ๆ สิ่งที่ฉันคิดคือถ้าอินพุตมีความสำคัญก็จะมีการเชื่อมต่อกับชั้นแรกที่มีน้ำหนักสูง แต่น้ำหนักอาจจะเป็นบวกหรือลบ ดังนั้นสิ่งที่ฉันอาจทำคือใช้ค่าสัมบูรณ์ของน้ำหนักของอินพุทและรวมเข้าด้วยกัน ปัจจัยการผลิตที่สำคัญกว่าจะมีจำนวนเงินที่สูงขึ้น ตัวอย่างเช่นถ้าความยาวของผมเป็นหนึ่งในอินพุตดังนั้นมันควรมีการเชื่อมต่อ 1 จุดกับแต่ละโหนดในเลเยอร์ถัดไปดังนั้นการเชื่อมต่อ 20 ครั้ง (ดังนั้นจึงมีน้ำหนัก 20) ฉันสามารถนำค่าสัมบูรณ์ของน้ำหนักแต่ละอย่างมารวมเข้าด้วยกันได้หรือไม่?

20 machine-learning  neural-networks  bias  tensorflow  theano 

อัลกอริทึมทางพันธุกรรมเป็นรูปแบบหนึ่งของวิธีการเพิ่มประสิทธิภาพ บ่อยครั้งที่การไล่ระดับสีแบบสุ่มและอนุพันธ์เป็นทางเลือกที่ดีที่สุดสำหรับการปรับฟังก์ชั่นให้ดีที่สุด แต่บางครั้งก็ยังใช้อัลกอริทึมทางพันธุกรรม ตัวอย่างเช่นเสาอากาศของยานอวกาศ ST5 ของนาซาสร้างขึ้นด้วยอัลกอริธึมทางพันธุกรรม: เมื่อใดที่การเพิ่มประสิทธิภาพทางพันธุกรรมเป็นทางเลือกที่ดีกว่าวิธีการไล่ระดับสีแบบลาดชันทั่วไป

20 machine-learning  optimization  gradient-descent  genetic-algorithms 

เมื่อไม่นานมานี้ฉันสนใจ LSTM และฉันรู้สึกประหลาดใจเมื่อรู้ว่าน้ำหนักจะถูกแบ่งปันข้ามเวลา ฉันรู้ว่าถ้าคุณแบ่งปันน้ำหนักข้ามช่วงเวลาลำดับการป้อนข้อมูลของคุณอาจเป็นความยาวผันแปรได้ ด้วยน้ำหนักที่ใช้ร่วมกันคุณจะมีพารามิเตอร์น้อยลงในการฝึกอบรม จากความเข้าใจของฉันเหตุผลที่จะกลายเป็น LSTM กับวิธีการเรียนรู้อื่น ๆ ก็เพราะคุณเชื่อว่ามีโครงสร้าง / ลำดับ / การพึ่งพาชั่วคราวในข้อมูลของคุณที่คุณต้องการเรียนรู้ หากคุณเสียสละความยาว 'หรูหรา' และยอมรับเวลาคำนวณนาน RNN / LSTM จะไม่มีน้ำหนักที่ใช้ร่วมกัน (เช่นสำหรับทุกขั้นตอนที่คุณมีน้ำหนักแตกต่างกัน) ทำงานได้ดีขึ้นหรือมีบางสิ่งที่ขาดหายไป?

20 machine-learning  lstm  rnn