คำถามติดแท็ก classification

ฉันอ่านคำอธิบายภาพนี้ในกระดาษและไม่เคยเห็น AUC อธิบายในลักษณะนี้ที่อื่น มันเป็นเรื่องจริงเหรอ? มีหลักฐานหรือวิธีง่ายๆในการดูสิ่งนี้หรือไม่? ภาพที่ 2 แสดงความถูกต้องในการทำนายของตัวแปรโดมิโนที่แสดงในรูปของพื้นที่ภายใต้เส้นโค้งลักษณะการรับ - ปฏิบัติการ (AUC) ซึ่งเทียบเท่ากับความน่าจะเป็นในการจำแนกผู้ใช้สองคนที่เลือกแบบสุ่มอย่างละหนึ่งคน ) สำหรับฉันแล้วดูเหมือนว่ามันไม่เป็นความจริงเนื่องจากสำหรับ AUC = 0.5 ข้างต้นจะแนะนำว่ามีความน่าจะเป็น 50% ในการทำนายการพลิกเหรียญอย่างถูกต้องสองครั้งติดต่อกัน แต่ในความเป็นจริงคุณมีโอกาส 25% เท่านั้น การทำนายการโยนเหรียญสองครั้งในแถวอย่างถูกต้อง อย่างน้อยนั่นคือสิ่งที่ฉันกำลังคิดถึงคำแถลงนี้

11 classification  roc  auc 

ฉันเข้าใจว่า f- การวัด (ตามความแม่นยำและการเรียกคืน) เป็นค่าประมาณความแม่นยำของตัวจําแนก นอกจากนี้f-measure ยังได้รับความนิยมมากกว่าความถูกต้องเมื่อเรามีชุดข้อมูลที่ไม่สมดุล ฉันมีคำถามง่าย ๆ (ซึ่งเกี่ยวกับการใช้คำศัพท์ที่ถูกต้องมากกว่าเกี่ยวกับเทคโนโลยี) ฉันมีชุดข้อมูลที่ไม่สมดุลและฉันใช้การวัดแบบ f ในการทดลองของฉัน ฉันกำลังจะเขียนกระดาษซึ่งไม่ใช่สำหรับการเรียนรู้ด้วยเครื่องจักร / การประชุมการทำเหมืองข้อมูล ดังนั้นฉันสามารถอ้างถึงการวัดค่า f เหมือนกันกับความถูกต้องในบริบทนี้ ยกตัวอย่างเช่นฉันมี f- วัด 0.82 แล้วฉันจะบอกได้ว่าลักษณนามของฉันบรรลุการทำนายที่แม่นยำ 82%

11 machine-learning  classification  data-mining  unbalanced-classes  accuracy 

ดังนั้นผมจึงได้อ่านโพสต์ไม่กี่เกี่ยวกับสาเหตุที่ Binning ควรเสมอที่จะหลีกเลี่ยง ข้อมูลอ้างอิงยอดนิยมสำหรับการอ้างสิทธิ์ว่าเป็นลิงก์นี้ การหลบหลีกที่สำคัญคือจุดที่ binning (หรือจุดตัด) นั้นค่อนข้างมีข้อ จำกัด รวมถึงการสูญเสียข้อมูลที่เกิดขึ้นและเส้นโค้งนั้นควรเป็นที่ต้องการ อย่างไรก็ตามฉันกำลังทำงานกับ Spotify API ซึ่งมีมาตรการความเชื่อมั่นอย่างต่อเนื่องสำหรับคุณสมบัติหลายประการของพวกเขา ดูที่คุณลักษณะหนึ่ง "instrumentalness" สถานะอ้างอิง: ทำนายว่าแทร็กไม่มีเสียงร้องหรือไม่ เสียง“ Ooh” และ“ aah” นั้นถือเป็นเครื่องมือในบริบทนี้ แร็พหรือแทร็กคำพูดนั้นชัดเจนว่า "แกนนำ" ยิ่งมีค่าใกล้กับ 1.0 มากเท่าไหร่โอกาสที่แทร็กจะไม่มีเนื้อหาเสียงร้องก็ยิ่งมากขึ้นเท่านั้น ค่าที่สูงกว่า 0.5 มีวัตถุประสงค์เพื่อเป็นตัวแทนเครื่องมือแต่ความมั่นใจสูงกว่าเมื่อค่าเข้าใกล้ 1.0 ด้วยการกระจายข้อมูลที่เบ้ไปทางซ้ายอย่างมาก (ประมาณ 90% ของกลุ่มตัวอย่างแทบจะไม่สูงกว่า 0 ฉันพบว่าเหมาะสมที่จะเปลี่ยนคุณสมบัตินี้ให้เป็นคุณสมบัติสองประเภท: "เครื่องมือ" (ตัวอย่างทั้งหมดที่มีค่าสูงกว่า 0.5) และ "non_instrumental "(สำหรับตัวอย่างทั้งหมดที่มีค่าต่ำกว่า 0.5) มันผิดหรือเปล่า? และอะไรจะเป็นทางเลือกเมื่อข้อมูล (ต่อเนื่อง) เกือบทั้งหมดของฉันหมุนรอบค่าเดียว? จากสิ่งที่ฉันเข้าใจเกี่ยวกับเส้นโค้งพวกเขาจะไม่ทำงานกับปัญหาการจำแนกประเภท …

10 classification  categorical-data  continuous-data  splines  binning 

ฉันกำลังอ่านบทความนี้เกี่ยวกับความแตกต่างระหว่างการวิเคราะห์องค์ประกอบหลักและการวิเคราะห์จำแนกหลายอย่าง (การวิเคราะห์จำแนกเชิงเส้น) และฉันพยายามเข้าใจว่าทำไมคุณถึงใช้ PCA แทน MDA / LDA คำอธิบายสรุปได้ดังนี้ การพูดอย่างคร่าวๆใน PCA เรากำลังพยายามหาแกนที่มีความแปรปรวนสูงสุดซึ่งเป็นข้อมูลที่แพร่กระจายมากที่สุด (ภายในคลาสเนื่องจาก PCA ปฏิบัติต่อชุดข้อมูลทั้งหมดเป็นหนึ่งคลาส) และใน MDA เรายังเพิ่มการแพร่กระจายระหว่างชั้นเรียนเพิ่มเติม คุณไม่ต้องการที่จะเพิ่มความแปรปรวนสูงสุดและเพิ่มการแพร่กระจายระหว่างคลาสให้สูงสุดหรือไม่?

10 classification  pca  dimensionality-reduction  discriminant-analysis 

ฉันพยายามที่จะฝึกอบรมเครือข่ายประสาทลึกเพื่อจัดหมวดหมู่โดยใช้การขยายพันธุ์กลับ โดยเฉพาะฉันใช้เครือข่ายประสาทเทียมสำหรับการจำแนกภาพโดยใช้ห้องสมุด Tensor Flow ในระหว่างการฝึกฉันพบกับพฤติกรรมแปลก ๆ และฉันแค่สงสัยว่ามันเป็นเรื่องปกติหรือว่าฉันอาจจะทำอะไรผิด ดังนั้นเครือข่ายประสาทเทียมของฉันมี 8 ชั้น (5 convolutional, 3 เชื่อมต่อเต็ม) น้ำหนักและอคติทั้งหมดจะเริ่มต้นด้วยตัวเลขสุ่มขนาดเล็ก จากนั้นฉันตั้งขนาดขั้นตอนและดำเนินการฝึกอบรมด้วยชุดเล็กโดยใช้ Adam Optimizer ของ Tensor Flow พฤติกรรมแปลก ๆ ที่ฉันกำลังพูดถึงคือประมาณ 10 ลูปแรกจากข้อมูลการฝึกอบรมของฉันการสูญเสียการฝึกอบรมโดยทั่วไปไม่ลดลง น้ำหนักกำลังได้รับการปรับปรุง แต่การสูญเสียการฝึกอบรมอยู่ที่ประมาณค่าเดียวกันบางครั้งจะเพิ่มขึ้นและบางครั้งจะลดลงระหว่างชุดมินิ มันคงอยู่แบบนี้ซักพักแล้วและฉันก็มักจะได้รับความประทับใจว่าการสูญเสียจะไม่ลดลง ทันใดนั้นการสูญเสียการฝึกอบรมก็ลดลงอย่างรวดเร็ว ตัวอย่างเช่นภายในประมาณ 10 ลูปผ่านข้อมูลการฝึกอบรมความแม่นยำในการฝึกอบรมจะอยู่ที่ประมาณ 20% ถึงประมาณ 80% จากนั้นเป็นต้นมาทุกอย่างก็จบลงอย่างบรรจบกัน สิ่งเดียวกันเกิดขึ้นทุกครั้งที่ฉันเรียกใช้ขั้นตอนการฝึกอบรมตั้งแต่เริ่มต้นและด้านล่างเป็นกราฟที่แสดงตัวอย่างการวิ่งหนึ่งครั้ง ดังนั้นสิ่งที่ฉันสงสัยคือว่านี่เป็นพฤติกรรมปกติด้วยการฝึกอบรมโครงข่ายประสาทเทียมลึกหรือไม่ หรือเป็นไปได้ว่ามีบางอย่างที่ฉันทำผิดซึ่งทำให้เกิดความล่าช้านี้ ขอบคุณมาก ๆ!

10 machine-learning  classification  neural-networks  conv-neural-network  tensorflow 

สนับสนุนเครื่องเวกเตอร์ที่มีเคอร์เนลฟังก์ชั่นพื้นฐานเป็นตัวจําแนกภายใต้การดูแลทั่วไป ในขณะที่ฉันรู้พื้นฐานทางทฤษฎีสำหรับ SVM เหล่านี้และจุดแข็งของพวกเขาฉันไม่ทราบถึงกรณีที่พวกเขาเป็นวิธีที่ต้องการ ดังนั้นจึงมีปัญหาหลายระดับที่ RBF SVMs เหนือกว่าเทคนิค ML อื่น ๆ หรือไม่? (ทั้งในแง่ของคะแนนหรืออื่น ๆ - เช่นความแข็งแกร่งความง่ายในการเริ่มต้นการตีความ ฯลฯ ) ฉันถามว่าเนื่องจากวิธีการเริ่มต้นของฉันอยู่ที่การถดถอยแบบโลจิสติกส์ (อาจมีการโต้ตอบ) ป่าสุ่มและเครือข่ายประสาท ไม่มีเพื่อนของฉันที่ทำ ML (บางคนเป็นผู้ชนะ Kaggle) เป็นผู้ใช้ SVM (แต่อาจเป็นสิ่งประดิษฐ์ของชุมชนของฉันหรือปัญหาที่พวกเขาทำ)

10 machine-learning  logistic  classification  svm  random-forest 

วันนี้อาจารย์ของเรากล่าวในชั้นเรียนว่า ฉันถือว่ามันผิดเนื่องจากแม้แต่ตัวแยกประเภทแบบเส้นตรงอาจมีความอ่อนไหวต่อค่าผิดปกติในชุดฝึกอบรม - ยกตัวอย่างเช่นเครื่องเวกเตอร์สนับสนุนยาก: ดาต้าพอยน์ที่มีเสียงดังเพียงตัวเดียวสามารถเปลี่ยนไฮเปอร์เพลนที่จะใช้แยกชุดข้อมูล หรือฉันผิด เห็นได้ชัดว่าการเรียงตัวเชิงเส้นอาจป้องกันได้มากกว่าการบรรจุเกินเนื่องจากความซับซ้อนของโมเดลที่ต่ำกว่า แต่ถึงกระนั้นฉันก็ไม่เห็นว่าทำไมการบรรจุเกินควรเป็นไปไม่ได้ อีกประเด็นหนึ่งคือเมื่อฉันพยายามคิดเกี่ยวกับปัญหานี้ฉันรู้ว่า "การ overfitting" ดูเหมือนจะไม่ได้ถูกกำหนดอย่างเป็นทางการ ทำไมถึงเป็นอย่างนั้น? การวัดระยะทางระหว่างการฝึกซ้อมและชุดทดสอบจะไม่อนุญาตให้ทำในรูปแบบดังกล่าวหรือไม่ ขอบคุณ

10 classification  overfitting 

ฉันได้เรียนรู้เมื่อเร็ว ๆ นี้เกี่ยวกับ PCA ที่ยอดเยี่ยมและผมเคยทำตัวอย่างที่ระบุไว้ในscikit เรียนรู้เอกสาร ฉันสนใจที่จะทราบว่าฉันสามารถใช้ PCA กับจุดข้อมูลใหม่เพื่อการจำแนกประเภทได้อย่างไร หลังจากแสดงภาพ PCA ในระนาบ 2 มิติ (แกน x, y) ฉันเห็นว่าฉันสามารถวาดเส้นเพื่อแยกจุดข้อมูลเพื่อว่าด้านหนึ่งจะเป็นประเภทหนึ่งและอีกประเภทหนึ่ง ฉันจะวาด "ขอบเขต" นี้และนำไปใช้กับจุดข้อมูลใหม่ได้อย่างไร

10 classification  pca  scikit-learn 

พิจารณาการป้อนข้อมูลเมทริกซ์และเอาท์พุทไบนารีYXXXyyy วิธีทั่วไปในการวัดประสิทธิภาพของตัวจําแนกคือการใช้ ROC curves ในพล็อต ROC เส้นทแยงมุมคือผลลัพธ์ที่จะได้รับจากตัวจําแนกแบบสุ่ม ในกรณีที่เอาต์พุตไม่สมดุลประสิทธิภาพของตัวจําแนกแบบสุ่มสามารถปรับปรุงได้โดยเลือกหรือมีความน่าจะเป็นต่างกันyyy000111 ประสิทธิภาพของลักษณนามดังกล่าวสามารถแสดงในพล็อตกราฟ ROC ได้อย่างไร? ฉันคิดว่ามันควรเป็นเส้นตรงที่มีมุมต่างกันและไม่ใช่เส้นทแยงมุมอีกต่อไปใช่ไหม

10 classification  roc  unbalanced-classes 

วรรณกรรมแบบจำลองการกระจายพันธุ์ทุกชนิดชี้ให้เห็นว่าเมื่อทำนายการมีอยู่ของสายพันธุ์โดยใช้แบบจำลองที่มีความน่าจะเป็นผลลัพธ์ (เช่น RandomForests) การเลือกเกณฑ์ความน่าจะเป็นที่จะจำแนกประเภทของสิ่งมีชีวิตที่มีอยู่จริง ไม่พึ่งพาค่าเริ่มต้น 0.5 เสมอไป ฉันต้องการความช่วยเหลือในเรื่องนี้! นี่คือรหัสของฉัน: library(randomForest) library(PresenceAbsence) #build model RFfit <- randomForest(Y ~ x1 + x2 + x3 + x4 + x5, data=mydata, mytry = 2, ntrees=500) #eventually I will apply this to (predict for) new data but for first I predict back to training data …

10 r  classification  random-forest  threshold 

สำหรับปัญหาการถดถอยแบบลอจิสติกแบบเบย์ฉันได้สร้างการแจกแจงการคาดการณ์หลัง ฉันสุ่มตัวอย่างจากการแจกแจงแบบคาดการณ์และได้รับตัวอย่างจำนวนมาก (0,1) สำหรับการสังเกตแต่ละครั้งที่ฉันมี การแสดงให้เห็นถึงความดีงามของพอดีนั้นน้อยกว่าที่น่าสนใจตัวอย่างเช่น พล็อตนี้แสดงตัวอย่าง 10,000 ตัวอย่าง + จุดข้อมูลที่สังเกตได้ (วิธีทางซ้ายสามารถสร้างเส้นสีแดงได้: ใช่แล้วนั่นคือการสังเกต) ปัญหาคือว่าพล็อตนี้ไม่ค่อยให้ข้อมูลและฉันจะมี 23 อันหนึ่งอันสำหรับแต่ละจุดข้อมูล มีวิธีที่ดีกว่าในการมองเห็นจุดข้อมูล 23 จุดพร้อมตัวอย่างหลังหรือไม่ ความพยายามอื่น: ความพยายามอื่นขึ้นอยู่กับกระดาษที่นี่

10 bayesian  data-visualization  classification  goodness-of-fit  binary-data 

ฉันมีแบบฟอร์ม GLMM: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) เมื่อฉันใช้drop1(model, test="Chi")ฉันได้รับผลลัพธ์ที่แตกต่างกว่าถ้าผมใช้จากแพคเกจรถหรือAnova(model, type="III") summary(model)สองหลังนี้ให้คำตอบเดียวกัน จากการใช้ข้อมูลที่ประดิษฐ์ขึ้นมาฉันพบว่าทั้งสองวิธีปกติไม่แตกต่างกัน พวกเขาให้คำตอบเดียวกันสำหรับแบบจำลองเชิงเส้นที่มีความสมดุลแบบจำลองเชิงเส้นที่ไม่สมดุล (ซึ่งไม่เท่ากันในกลุ่มต่าง ๆ ) และสำหรับแบบจำลองเชิงเส้นที่สมดุลแบบทั่วไป ดังนั้นจึงปรากฏว่าเฉพาะในกรณีที่มีการรวมปัจจัยแบบสุ่มเข้าด้วยกัน ทำไมจึงมีความคลาดเคลื่อนระหว่างสองวิธีนี้? เมื่อใช้ GLMM ควรAnova()หรือdrop1()จะใช้งานอย่างไร ความแตกต่างระหว่างสองสิ่งนี้ค่อนข้างเล็กน้อยอย่างน้อยสำหรับข้อมูลของฉัน มันมีความสำคัญต่อการใช้งานหรือไม่?

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion 

บ่อยครั้งที่ฉันเคยได้ยินว่าผู้ขุดข้อมูลใช้คำนี้ ในฐานะนักสถิติที่ทำงานเกี่ยวกับการจำแนกปัญหาฉันคุ้นเคยกับคำว่า "ฝึกฝนลักษณนาม" และฉันถือว่า "เรียนรู้ตัวแบบ" หมายถึงสิ่งเดียวกัน ฉันไม่สนใจคำว่า "ฝึกฝนลักษณนาม" ที่ดูเหมือนจะแสดงให้เห็นถึงแนวคิดของการปรับโมเดลให้เหมาะสมเนื่องจากข้อมูลการฝึกอบรมใช้เพื่อให้ได้ค่าประมาณที่ดีขึ้นหรือ "ดีขึ้น" ของพารามิเตอร์โมเดล แต่การเรียนรู้จะหมายถึงการได้รับความรู้ ในภาษาอังกฤษธรรมดา "เรียนรู้แบบจำลอง" จะหมายถึงการรู้ว่ามันคืออะไร แต่ในความเป็นจริงเราไม่เคย "รู้" โมเดล แบบจำลองความเป็นจริงโดยประมาณ แต่ไม่มีแบบจำลองที่ถูกต้อง มันเหมือนที่ Box บอกว่า "ไม่มีรุ่นที่ถูกต้อง แต่บางรุ่นก็มีประโยชน์" ฉันสนใจที่จะฟังการตอบสนองของผู้ปฏิบัติข้อมูล คำนี้มาอย่างไร ถ้าคุณใช้มันคุณชอบมันทำไม

10 classification  data-mining  terminology  model 

พิจารณาบริบทของการรวมกลุ่ม dendrogram ให้เราเรียกความแตกต่างเดิมระยะทางระหว่างบุคคล หลังจากสร้าง dendrogram เราจะกำหนดความแตกต่างของ copheneticระหว่างบุคคลสองคนเป็นระยะห่างระหว่างกลุ่มที่บุคคลเหล่านี้อยู่ บางคนคิดว่าความสัมพันธ์ระหว่างความแตกต่างดั้งเดิมและความแตกต่างของ cophenetic (เรียกว่าสหสัมพันธ์ cophenetic ) เป็น "ดัชนีความเหมาะสม" ของการจัดหมวดหมู่ เสียงนี้ทำให้ฉันงงงวยจริงๆ การคัดค้านของฉันไม่ได้ขึ้นอยู่กับตัวเลือกเฉพาะของสหสัมพันธ์ของเพียร์สัน แต่โดยทั่วไปแล้วความคิดใด ๆ ที่เชื่อมโยงระหว่างความแตกต่างเดิมกับความแตกต่างของ cophenetic อาจเกี่ยวข้องกับความเหมาะสมของการจำแนกประเภท คุณเห็นด้วยกับฉันหรือคุณอาจเสนออาร์กิวเมนต์ที่สนับสนุนการใช้สหสัมพันธ์ cophenetic เป็นดัชนีความเหมาะสมสำหรับการจำแนก dendrogram?

10 clustering  classification 

ฉันกำลังทำงานกับการทำนายอนุกรมเวลา ฉันมีสองชุดข้อมูลและ\} ฉันมีสามรูปแบบการทำนาย:M3 ทั้งหมดของรูปแบบเหล่านี้จะได้รับการฝึกฝนโดยใช้ตัวอย่างในชุดข้อมูลและประสิทธิภาพการทำงานของพวกเขาจะวัดโดยใช้กลุ่มตัวอย่างในชุดข้อมูลD2สมมติว่าตัวชี้วัดประสิทธิภาพคือ MSE (หรืออย่างอื่น) ค่า MSE ของแบบจำลองเหล่านั้นเมื่อวัดสำหรับชุดข้อมูลมีและMSE_3ฉันจะทดสอบได้อย่างไรว่าการปรับปรุงโมเดลหนึ่งเหนืออีกโมเดลหนึ่งนั้นมีนัยสำคัญทางสถิติD 1 = { x1, x2, . . . . xn}D1={x1,x2,....xn}D1=\{x_1, x_2,....x_n\}D 2 = { xn+ 1 , xn+ 2 , xn+ 3 , . . . , xn+ k }D2={xn+1,xn+2,xn+3,....,xn+k}D2=\{x_n+1, x_n+2, x_n+3,...., x_n+k\}M1 , M2 , M3M1,M2,M3M1, M2, M3D 1D1D1D 2D2D2D …

10 time-series  machine-learning  statistical-significance  classification  model-evaluation