คำถามติดแท็ก machine-learning

ในเอกสารต้นฉบับของpLSAผู้เขียนโทมัสฮอฟแมนวาดเส้นขนานระหว่าง pLSA และ LSA โครงสร้างข้อมูลที่ฉันต้องการจะพูดคุยกับคุณ พื้นหลัง: การได้รับแรงบันดาลใจจากการค้นคืนสารสนเทศคาดว่าเรามีการรวบรวม NNN เอกสาร D={d1,d2,....,dN}D={d1,d2,....,dN}D = \lbrace d_1, d_2, ...., d_N \rbrace และคำศัพท์ของ MMM เงื่อนไข Ω={ω1,ω2,...,ωM}Ω={ω1,ω2,...,ωM}\Omega = \lbrace \omega_1, \omega_2, ..., \omega_M \rbrace คลัง XXX สามารถแสดงโดย N×MN×MN \times M เมทริกซ์ของการอยู่ร่วมกัน ในการวิเคราะห์ความหมายแฝงโดยSVDเมทริกซ์XXX เป็นตัวประกอบในสามเมทริกซ์: X=UΣVTX=UΣVTX = U \Sigma V^T ที่ไหน Σ=diag{σ1,...,σs}Σ=diag{σ1,...,σs}\Sigma = diag \lbrace \sigma_1, ..., \sigma_s …

9 machine-learning  conditional-probability  svd  information-retrieval  lsa 

สำหรับภารกิจของการปั่นแบบจำลองฉันกำลังพิจารณา: คำนวณ k กลุ่มสำหรับข้อมูล สร้างโมเดล k สำหรับแต่ละคลัสเตอร์แยกกัน เหตุผลก็คือว่าไม่มีอะไรที่จะพิสูจน์ว่าประชากรของผู้ใต้บังคับบัญชาเป็นเนื้อเดียวกันดังนั้นจึงมีเหตุผลที่จะคิดว่ากระบวนการสร้างข้อมูลอาจแตกต่างกันสำหรับ "กลุ่ม" ที่แตกต่างกัน คำถามของฉันคือมันเป็นวิธีการที่เหมาะสมหรือไม่ มันละเมิดอะไรหรือไม่หรือถือว่าไม่ดีด้วยเหตุผลบางอย่าง? ถ้าเป็นเช่นนั้นทำไม ถ้าไม่คุณจะแบ่งปันแนวทางปฏิบัติที่ดีที่สุดเกี่ยวกับปัญหานั้นหรือไม่ และสิ่งที่สอง - เป็นการดีกว่าหรือแย่กว่าการทำ preclustering กว่าโมเดลต้นไม้ (ตามที่กำหนดไว้ใน Witten, Frank - ต้นไม้จำแนก / ถดถอยด้วยแบบจำลองที่ใบไม้) สังหรณ์ใจดูเหมือนว่าสเตจต้นไม้ตัดสินใจเป็นเพียงรูปแบบการรวมกลุ่มอื่น idk หากมีข้อได้เปรียบเหนือการจัดกลุ่ม "ปกติ")

9 machine-learning  clustering  data-mining  predictive-models 

เมื่อใช้libsvmพารามิเตอร์γγ\gammaเป็นพารามิเตอร์สำหรับฟังก์ชั่นเคอร์เนล ค่าเริ่มต้นของมันคือการตั้งค่าเป็นγ=1จำนวนคุณสมบัติγ=1number of features.\gamma = \frac{1}{\text{number of features.}} มีคำแนะนำเชิงทฤษฎีสำหรับการตั้งค่าพารามิเตอร์นี้นอกเหนือจากวิธีการที่มีอยู่เช่นการค้นหาแบบตารางหรือไม่?

9 machine-learning  svm  data-mining  libsvm  kernel-trick 

สมมติว่าฉันมีตัวอย่างหนึ่งความถี่ของเหตุการณ์ที่เป็นไปได้ 4 เหตุการณ์: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 และฉันมีโอกาสที่จะเกิดเหตุการณ์ที่คาดหวัง: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 ด้วยผลรวมของความถี่ที่สังเกตได้จากเหตุการณ์ทั้งสี่ของฉัน (18) ฉันสามารถคำนวณความถี่ที่คาดหวังของเหตุการณ์ได้ใช่ไหม expectedE1 - 18 * 0.2 = 3.6 expectedE2 - 18 * 0.1 = 1.8 expectedE1 - 18 * 0.1 …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

ฉันเริ่มต้นการเดินทางในระดับปริญญาเอกของฉันและเป้าหมายสูงสุดที่ฉันตั้งไว้ก่อนหน้านี้คือการพัฒนา ANNs ที่จะคอยตรวจสอบสภาพแวดล้อมที่พวกเขาทำงานและปรับสถาปัตยกรรมของพวกเขาให้เข้ากับปัญหาในมือ ความหมายที่ชัดเจนคือข้อมูลชั่วคราว: ถ้าชุดข้อมูลไม่ต่อเนื่องและไม่เปลี่ยนแปลงตลอดเวลาทำไมต้องปรับเลย คำถามใหญ่คือด้วยการเรียนรู้ที่เพิ่มขึ้นเมื่อเร็ว ๆ นี้มันยังคงเป็นหัวข้อที่เกี่ยวข้องหรือไม่? FFNNs มีโอกาสที่จะพบว่าตัวเองมีปัญหาในการดริฟท์แนวคิดหรือไม่? ฉันกลัวที่จะโอเวอร์โหลดเธรดที่มีคำถามมากเกินไป แต่คำถามนี้ไม่ได้อยู่นอกหัวข้อทั้งหมด: ฉันทราบถึง RNNs แต่ฉันมีประสบการณ์ จำกัด (ไม่เป็นไรไม่มีเหตุผลหรือเชิงทฤษฎี) กับพวกเขา ฉันเชื่อว่าการปรับสถาปัตยกรรมแบบไดนามิกต้องเป็นหัวข้อที่เกี่ยวข้องในบริบทของ RNN คำถามคือมันได้รับคำตอบแล้วและฉันจะคิดค้นล้อใหม่หรือไม่ PS ข้ามโพสต์ไปยังMetaOptimize

9 machine-learning  neural-networks 

ตัดต่อไปนี้จะนำมาจากบทความนี้ ฉันเป็นมือใหม่ในการบู๊ตสแตรปและพยายามที่จะใช้การบู๊ตสแปปปิ้งแบบกึ่งพารามิเตอร์แบบกึ่งพารามิเตอร์และแบบไม่มีพารามิเตอร์สำหรับแบบจำลองเชิงเส้นผสมกับR bootแพ็คเกจ รหัส R นี่คือRรหัสของฉัน: library(SASmixed) library(lme4) library(boot) fm1Cult <- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=Cultivation) fixef(fm1Cult) boot.fn <- function(data, indices){ data <- data[indices, ] mod <- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=data) fixef(mod) } set.seed(12345) Out <- boot(data=Cultivation, statistic=boot.fn, R=99) …

9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography 

ว่าฉันมีปัญหาการเรียนรู้เครื่องอย่างง่ายเช่นการจำแนกประเภท ด้วยเกณฑ์มาตรฐานบางอย่างในการมองเห็นหรือการรับรู้เสียงฉันในฐานะมนุษย์นั้นเป็นตัวจําแนกที่ดีมาก ฉันจึงมีสัญชาตญาณว่าลักษณนามจะดีแค่ไหน แต่ด้วยจุดข้อมูลจำนวนมากจุดหนึ่งคือฉันไม่รู้ว่าตัวจําแนกฉันฝึกได้ดีเพียงใด นี่คือข้อมูลที่ฉันไม่ใช่ลักษณนามที่ดีมาก (พูดแยกแยะอารมณ์ของบุคคลจากข้อมูล EEG) มันเป็นไปไม่ได้จริงๆที่จะได้รับปรีชาว่าปัญหาของฉันคืออะไร ตอนนี้ถ้าฉันถูกนำเสนอด้วยปัญหาการเรียนรู้ของเครื่องฉันอยากจะรู้ว่าฉันทำได้ดีแค่ไหน มีวิธีการใด ๆ ที่หลักการนี้ คุณจะทำอย่างไร เห็นภาพข้อมูลหรือไม่ เริ่มด้วยแบบง่าย ๆ ? เริ่มต้นด้วยโมเดลที่ซับซ้อนมาก ๆ และดูว่าฉันสามารถใช้งานได้มากเกินไปหรือไม่? คุณกำลังค้นหาอะไรหากคุณต้องการตอบคำถามนี้ คุณหยุดพยายามเมื่อไหร่

9 machine-learning 

ฉันมีปัญหาการจำแนกประเภท( -class) โดยมีคำสั่งจาก 100 ตัวทำนายมูลค่าจริงซึ่งหนึ่งในนั้นดูเหมือนว่าจะมีพลังในการอธิบายมากกว่าคนอื่น ๆ ฉันอยากจะให้ลึกซึ้งยิ่งขึ้นถึงผลกระทบของตัวแปรอื่น ๆ อย่างไรก็ตามเทคนิคการเรียนรู้ของเครื่องมาตรฐาน (ป่าสุ่ม, SVM, ฯลฯ ) ดูเหมือนจะล้นมือโดยผู้ทำนายที่แข็งแกร่งคนหนึ่งและไม่ให้ข้อมูลที่น่าสนใจเกี่ยวกับคนอื่นkkk หากนี่เป็นปัญหาการถดถอยฉันก็แค่ถอยหลังตัวพยากรณ์ที่แข็งแกร่งแล้วใช้ส่วนที่เหลือเป็นอินพุตสำหรับอัลกอริทึมอื่น ๆ ฉันไม่เห็นว่าวิธีนี้สามารถแปลเป็นบริบทการจำแนกได้อย่างไร สัญชาตญาณของฉันคือปัญหานี้จะต้องเป็นเรื่องธรรมดาพอสมควร: มีเทคนิคมาตรฐานสำหรับจัดการกับมันหรือไม่?

9 machine-learning  classification 

ฉันเพิ่งได้รับมอบหมายให้ทำโครงการวิเคราะห์ความเชื่อมั่นสำหรับการรวบรวมเอกสารบางอย่าง โดย Googling การวิจัยเกี่ยวกับความเชื่อมั่นจำนวนมากได้ผุดขึ้นมา คำถามของฉันคือ: อะไรคือวิธีการที่สำคัญ / อัลกอริทึมสำหรับการวิเคราะห์ความเชื่อมั่นในด้านการเรียนรู้ของเครื่องและการวิเคราะห์ทางสถิติ? มีผลลัพธ์ที่เป็นที่ยอมรับหรือไม่ มีซอฟต์แวร์โอเพ่นซอร์สที่มีอยู่ที่สามารถทำการวิเคราะห์ความเชื่อมั่นได้หรือไม่?

9 machine-learning  data-mining  text-mining  information-retrieval  sentiment-analysis 

ฉันใช้แพคเกจkernlabใน R เพื่อสร้าง SVM สำหรับการจำแนกข้อมูล SVM ทำงานได้อย่างดีในการให้ 'คาดการณ์' ของความแม่นยำที่เหมาะสมอย่างไรก็ตามรายการตัวแปรอินพุตของฉันมีขนาดใหญ่กว่าที่ฉันต้องการและฉันไม่แน่ใจว่ามีความสำคัญสัมพัทธ์ของตัวแปรที่แตกต่างกันอย่างไร ฉันต้องการใช้อัลกอริธึมทางพันธุกรรมเพื่อเลือกชุดย่อยของตัวแปรอินพุตที่สร้าง SVM ที่ได้รับการฝึกอบรม / เหมาะสมที่สุด ฉันต้องการความช่วยเหลือในการเลือกแพ็กเกจ R ที่จะใช้เมื่อพยายามใช้งาน GA นี้ (และอาจเป็นตัวอย่างสั้น ๆ ของ psuedo) ฉันดูแพ็คเกจ R GA / P ส่วนใหญ่อยู่ที่นั่น ( RGP , genalg , subselect , GALGO ) แต่ฉันกำลังดิ้นรนในเชิงแนวคิดเพื่อดูว่าฉันจะส่งผ่านฟังก์ชัน ksvm ของฉันเป็นส่วนหนึ่งของฟังก์ชั่นการออกกำลังกายและใส่ข้อมูลของฉันได้อย่างไร อาเรย์ตัวแปรเป็นกลุ่มประชากร ... ความช่วยเหลือความคิดหรือการผลักไปในทิศทางที่ถูกต้องได้รับสุดซึ้ง ขอบคุณ รหัสที่แก้ปัญหานี้เพิ่มด้านล่างในการแก้ไขในภายหลัง # Prediction function to …

9 r  machine-learning  svm  genetic-algorithms 

ให้เราบอกว่าฉันมีหลายแถวสำหรับปัญหาการจำแนก: X1, . . .Xยังไม่มีข้อความ, วายX1,...Xยังไม่มีข้อความ,YX_1, ... X_N, Y ที่ไหน X1, . . . ,Xยังไม่มีข้อความX1,...,Xยังไม่มีข้อความX_1, ..., X_N คือคุณสมบัติ / ตัวพยากรณ์และ YYY เป็นคลาสที่การรวมคุณสมบัติของแถวเป็นของ การรวมคุณสมบัติหลายอย่างและคลาสของพวกเขาถูกทำซ้ำในชุดข้อมูลซึ่งฉันใช้เพื่อให้พอดีกับตัวจําแนก ฉันแค่สงสัยว่ามันเป็นที่ยอมรับในการลบรายการที่ซ้ำกัน (โดยทั่วไปฉันทำgroup by X1 ... XN Yใน SQL)? ขอบคุณ PS: นี่เป็นเพียงชุดข้อมูลไบนารีที่มีคลาสของนักบวชค่อนข้างเบ้

9 machine-learning  classification  data-mining  logistic  stratification 

ฉันรู้สึกทึ่งกับแนวคิดของรูปแบบสูงสุดของเอนโทรปีมาร์คอฟ (MEMM) และฉันกำลังคิดที่จะใช้มันสำหรับแท็กเกอร์ Speech (POS) ส่วนหนึ่ง ในขณะนี้ฉันใช้ลักษณนาม Maximum Entropy (ME) ทั่วไปเพื่อติดแท็กแต่ละคำ สิ่งนี้ใช้คุณสมบัติหลายอย่างรวมถึงสองแท็กก่อนหน้านี้ MEMM ใช้อัลกอริทึม Viterbi เพื่อค้นหาเส้นทางที่เหมาะสมผ่านห่วงโซ่มาร์คอฟ (เช่นเพื่อค้นหาแท็กชุดที่สมบูรณ์แบบที่สุดสำหรับประโยคแทนที่จะเป็นคำแต่ละคำที่เหมาะสมที่สุด อ่านเกี่ยวกับเรื่องนี้ดูเหมือนจะมีความสง่างามและความเรียบง่ายที่ยอดเยี่ยม อย่างไรก็ตามแต่ละสเตจจะอาศัย "ผลลัพธ์" ของสเตจก่อนหน้าเท่านั้น (เช่นตามเครือมาร์คอฟ) อย่างไรก็ตามโมเดล ME ของฉันใช้สองขั้นตอนก่อนหน้า (เช่นแท็กสำหรับสองคำก่อนหน้านี้) ดูเหมือนว่าฉันมีวิธีที่เป็นไปได้สองวิธี: เช่นเดียวกับการใช้ Viterbi แบบเดิมให้ใช้ชุดของเส้นทางที่จัดเก็บตามขั้นตอนเดียว (ก่อนหน้านี้) ตัวแยกประเภท ME ของฉันจะใช้ขั้นตอนนี้และ 'แช่แข็ง' ก่อนหน้านี้ (ถูกแช่แข็งในเส้นทางภายใต้การพิจารณา) เพื่อสร้างฟังก์ชันถ่ายโอน หรือฉันเขียนอัลกอริทึมเพื่อติดตามสองขั้นตอน สิ่งนี้มีความซับซ้อนมากขึ้นและจะไม่เป็นโมเดลของมาร์คอฟที่แท้จริงอีกต่อไปเพราะฟังก์ชั่นถ่ายโอนแต่ละตัว (เช่นจาก ME Model) จะขึ้นอยู่กับสองขั้นตอนก่อนหน้านี้และไม่ใช่หนึ่งขั้นตอน มันทำให้ฉันรู้ว่าสิ่งที่สองจะแม่นยำยิ่งขึ้นแม้ว่ามันจะซับซ้อนกว่าก็ตาม ฉันยังไม่พบตัวอย่างใด ๆ ของสิ่งนี้ในระหว่างการค้นหาวรรณกรรม มันถูกลองแล้วหรือยัง? วิธีการสองขั้นตอนนี้ช่วยปรับปรุงความแม่นยำโดยรวมหรือไม่?

9 machine-learning  mcmc  maximum-entropy  memm 

คำถาม: มีแนวทางทั่วไปเกี่ยวกับคุณลักษณะของข้อมูลอินพุตที่สามารถใช้ในการตัดสินใจระหว่างการใช้ PCA กับ LSA / LSI หรือไม่ สรุปโดยย่อของ PCA กับ LSA / LSI: การวิเคราะห์องค์ประกอบหลัก (PCA) และการวิเคราะห์ความหมายแฝง (LSA) หรือดัชนีความหมายแฝง (LSI) มีความคล้ายคลึงกันในแง่ที่ว่าพวกเขาทั้งหมดอาศัยพื้นฐานการประยุกต์ใช้การสลายตัวของค่าเอกฐาน (SVD) กับเมทริกซ์ LSA และ LSI เป็นเท่าที่ฉันสามารถบอกได้ในสิ่งเดียวกัน LSA แตกต่างจาก PCA ไม่ใช่พื้นฐาน แต่ในแง่ของวิธีการที่รายการเมทริกซ์จะถูกประมวลผลล่วงหน้าก่อนที่จะใช้ SVD ใน LSA ขั้นตอนก่อนการประมวลผลโดยทั่วไปจะเกี่ยวข้องกับการทำให้เมทริกซ์การนับเป็นมาตรฐานที่คอลัมน์สอดคล้องกับ 'เอกสาร' และแถวสอดคล้องกับคำบางชนิด รายการอาจถูกคิดว่าเป็นการนับจำนวนการเกิดคำสำหรับเอกสาร ใน PCA ขั้นตอนก่อนการประมวลผลเกี่ยวข้องกับการคำนวณเมทริกซ์ความแปรปรวนร่วมจากเมทริกซ์ดั้งเดิม เมทริกซ์ดั้งเดิมนั้นมีแนวคิด 'ทั่วไป' มากกว่าในกรณีของ LSA ในกรณีที่มีความกังวล PCA คอลัมน์มักจะพูดถึงการอ้างอิงตัวอย่างเวกเตอร์ทั่วไปและแถวจะกล่าวถึงตัวแปรแต่ละตัวที่ถูกวัด เมทริกซ์ความแปรปรวนร่วมนั้นเป็นไปตามนิยามสี่เหลี่ยมจัตุรัสและสมมาตรและในความเป็นจริงมันไม่จำเป็นที่จะใช้ …

9 machine-learning  pca  lsa 

ฉันกำลังพยายามสร้างแบบจำลองการทำนายด้วย SVM บนข้อมูลที่ไม่สมดุล เลเบล / เอาต์พุตของฉันมีสามคลาส, บวก, เป็นกลางและลบ ฉันจะบอกว่าตัวอย่างบวกทำประมาณ 10 - 20% ของข้อมูลของฉันเป็นกลางประมาณ 50 - 60% และลบประมาณ 30 - 40% ฉันพยายามที่จะสร้างความสมดุลให้กับชั้นเรียนเนื่องจากค่าใช้จ่ายที่เกี่ยวข้องกับการทำนายที่ไม่ถูกต้องในชั้นเรียนนั้นไม่เหมือนกัน วิธีหนึ่งคือการสุ่มข้อมูลการฝึกอบรมซ้ำและสร้างชุดข้อมูลที่มีความสมดุลเท่ากันซึ่งใหญ่กว่าแบบเดิม ที่น่าสนใจเมื่อฉันทำเช่นนั้นฉันมักจะได้รับการคาดการณ์ที่ดีกว่าสำหรับชั้นเรียนอื่น (เช่นเมื่อฉันสร้างความสมดุลให้กับข้อมูลฉันเพิ่มจำนวนตัวอย่างสำหรับชั้นเรียนที่เป็นบวก แต่จากการคาดการณ์ตัวอย่าง ทุกคนสามารถอธิบายได้โดยทั่วไปว่าทำไมสิ่งนี้เกิดขึ้น ถ้าฉันเพิ่มจำนวนตัวอย่างสำหรับคลาสลบฉันจะได้อะไรที่คล้ายกับคลาสบวกจากการคาดการณ์ตัวอย่าง (เช่นการคาดคะเนที่ดีขึ้น) นอกจากนี้ยังเปิดกว้างมากสำหรับความคิดอื่น ๆ เกี่ยวกับวิธีที่ฉันสามารถจัดการกับข้อมูลที่ไม่สมดุลทั้งผ่านการกำหนดค่าใช้จ่ายที่แตกต่างกันในการจัดประเภทที่ผิดพลาดหรือการใช้ตุ้มน้ำหนักระดับใน LibSVM (ไม่แน่ใจว่าจะเลือก /

9 machine-learning  predictive-models  svm  unbalanced-classes 

มีวิธีอื่นที่ดีกว่าในการเลือก C และ Gamma ที่ให้ประสิทธิภาพการฝึกที่ดีขึ้นหรือไม่

9 machine-learning