คำถามติดแท็ก classification

ปิด คำถามนี้จะต้องมีมากขึ้นมุ่งเน้น ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้มุ่งเน้นที่ปัญหาเดียวโดยแก้ไขโพสต์นี้ ปิดให้บริการใน5 ปีที่ผ่านมา ดูเหมือนว่าภาษาส่วนใหญ่จะมีห้องสมุดคำนวณทางวิทยาศาสตร์จำนวนหนึ่ง Python มี Scipy Rust มี SciRust C++มีหลายอย่างรวมถึงViennaCLและArmadillo JavaมีJava NumericsและColtเช่นเดียวกับหลาย ๆ ไม่ต้องพูดถึงภาษาที่ชอบRและJuliaออกแบบมาอย่างชัดเจนสำหรับการคำนวณทางวิทยาศาสตร์ ด้วยตัวเลือกมากมายคุณจะเลือกภาษาที่ดีที่สุดสำหรับงานอย่างไร นอกจากนี้ภาษาใดที่จะเป็นคนที่มีประสิทธิภาพมากที่สุด? PythonและRดูเหมือนว่าจะมีแรงฉุดที่สุดในอวกาศ แต่ภาษาที่รวบรวมได้ดูเหมือนจะเป็นทางเลือกที่ดีกว่า และจะมีอะไรดีกว่านี้Fortranไหม ภาษาที่คอมไพล์ด้วยนอกจากนี้มักจะมีการเร่งความเร็วของ GPU ในขณะที่ตีความภาษาเช่นRและPythonไม่ ฉันควรคำนึงถึงอะไรเมื่อเลือกภาษาและภาษาใดให้ความสมดุลของยูทิลิตี้และประสิทธิภาพที่ดีที่สุด มีภาษาใดบ้างที่มีทรัพยากรการคำนวณทางวิทยาศาสตร์ที่สำคัญที่ฉันพลาดไป

10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system 

ขณะนี้ฉันกำลังฝึกอบรมเครือข่ายประสาทและฉันไม่สามารถตัดสินใจได้ว่าจะใช้เพื่อใช้เกณฑ์การหยุดก่อนกำหนดของฉัน: การสูญเสียการตรวจสอบความถูกต้องหรือตัวชี้วัดเช่นความแม่นยำ / f1score / auc / สิ่งที่คำนวณในชุดการตรวจสอบ ในการวิจัยของฉันฉันได้พบกับบทความที่ป้องกันจุดยืนทั้งสอง Keras ดูเหมือนว่าจะเป็นค่าเริ่มต้นสำหรับการสูญเสียการตรวจสอบความถูกต้อง แต่ฉันก็ได้พบคำตอบที่น่าเชื่อถือสำหรับแนวทางตรงกันข้าม (เช่นที่นี่ ) ใครบ้างมีคำแนะนำว่าควรใช้การสูญเสียการตรวจสอบความถูกต้องเมื่อใดและควรใช้การวัดแบบใด

10 machine-learning  neural-network  deep-learning  classification 

ฉันมีปัญหาการจัดหมวดหมู่ด้วยข้อมูลทั้งหมวดหมู่และตัวเลข ปัญหาที่ฉันเผชิญคือข้อมูลที่เป็นหมวดหมู่ของฉันไม่ได้รับการแก้ไขนั่นหมายความว่าผู้สมัครใหม่ที่มีป้ายกำกับที่ฉันต้องการคาดการณ์อาจมีหมวดหมู่ใหม่ที่ไม่ได้สังเกตเห็นล่วงหน้า ตัวอย่างเช่นถ้าข้อมูลที่แน่ชัดของฉันเป็นsexเพียงป้ายชื่อที่เป็นไปได้female, maleและotherไม่ว่าสิ่งที่ อย่างไรก็ตามตัวแปรตามหมวดหมู่ของฉันคือcityมันอาจเกิดขึ้นได้ว่าคนที่ฉันพยายามจะทำนายมีเมืองใหม่ที่ตัวจำแนกของฉันไม่เคยเห็น ฉันสงสัยว่ามีวิธีการจัดหมวดหมู่ในข้อกำหนดเหล่านี้หรือถ้าฉันควรทำการฝึกอบรมอีกครั้งโดยพิจารณาข้อมูลหมวดหมู่ใหม่นี้

10 machine-learning  classification  categorical-data 

ฉันกำลังเผชิญสถานการณ์ที่จำนวนตัวอย่างบวกและลบในชุดข้อมูลนั้นไม่สมดุลกัน คำถามของฉันคือมีกฎของหัวแม่มือที่บอกเราเมื่อเราควร subsample หมวดหมู่ขนาดใหญ่เพื่อบังคับสมดุลบางประเภทในชุดข้อมูล ตัวอย่าง: หากจำนวนตัวอย่างที่เป็นบวกคือ 1,000 และจำนวนตัวอย่างเชิงลบคือ 10,000 ฉันควรไปฝึกลักษณนามลักษณนามของฉันในชุดข้อมูลแบบเต็มหรือฉันควรตัวอย่างตัวอย่างเชิงลบหรือไม่ คำถามเดียวกันสำหรับตัวอย่างบวก 1,000 ข้อและลบ 100,000 ข้อ คำถามเดียวกันสำหรับ 10,000 บวกและ 1,000 ลบ ฯลฯ ...

10 classification  dataset  sampling  class-imbalance 

คำอธิบายทั่วไปของปัญหา ฉันมีกราฟที่จุดยอดบางจุดติดป้ายกำกับประเภทที่มีค่าที่เป็นไปได้ 3 หรือ 4 สำหรับจุดยอดอื่นไม่ทราบประเภท เป้าหมายของฉันคือการใช้กราฟเพื่อทำนายประเภทของจุดยอดที่ไม่มีป้ายกำกับ กรอบที่เป็นไปได้ ฉันสงสัยว่าสิ่งนี้เหมาะสมกับกรอบทั่วไปของปัญหาการแพร่กระจายของฉลากตามการอ่านวรรณกรรมของฉัน (เช่นดูบทความนี้และบทความนี้ ) อีกวิธีหนึ่งที่กล่าวถึงมักจะเป็นFrequent Subgraph Miningซึ่งรวมถึงขั้นตอนวิธีการเช่นSUBDUE, และSLEUTHgSpan พบใน R เพียงการดำเนินการขยายพันธุ์ฉลากฉันจัดการเพื่อหาRคือlabel.propagation.community()จากigraphห้องสมุด อย่างไรก็ตามตามชื่อที่แนะนำส่วนใหญ่จะใช้เพื่อค้นหาชุมชนไม่ใช่สำหรับการจำแนกจุดยอดที่ไม่มีป้ายกำกับ ดูเหมือนว่าจะมีการอ้างอิงหลายรายการไปยังsubgraphMiningห้องสมุด (ตัวอย่างเช่นที่นี่) แต่ดูเหมือนว่ามันจะหายไปจาก CRAN คำถาม คุณรู้จักห้องสมุดหรือกรอบงานที่อธิบายไว้หรือไม่?

10 classification  r  graphs 

ฉันวิเคราะห์ชุดข้อมูลของระเบียน ~ 400k และ 9 ตัวแปรตัวแปรตามเป็นไบนารี ฉันได้ติดตั้งการถดถอยแบบลอจิสติกต้นไม้การถดถอยแบบสุ่มป่าและต้นไม้แบบไล่ระดับสี พวกเขาทั้งหมดให้ความพอดีเหมือนกันของตัวเลขพอดีเมื่อฉันตรวจสอบพวกเขาในชุดข้อมูลอื่น ทำไมเป็นเช่นนี้ ฉันเดาว่าเป็นเพราะการสังเกตอัตราส่วนแปรปรวนของฉันสูงมาก หากสิ่งนี้ถูกต้องตัวแบบที่แตกต่างกันที่การสังเกตอัตราส่วนจะเริ่มให้ผลที่แตกต่างกันหรือไม่

10 data-mining  classification  binary 

ฉันทำงานใน app เพื่อช่วยให้คนเรียนรู้ภาษาอังกฤษเป็นภาษาที่สอง ฉันตรวจสอบแล้วว่าประโยคช่วยในการเรียนรู้ภาษาโดยให้บริบทเพิ่มเติม ฉันทำอย่างนั้นโดยการทำวิจัยเล็ก ๆ ในห้องเรียน 60 คน ฉันขุดกว่าแสนประโยคจากวิกิพีเดียสำหรับคำภาษาอังกฤษที่หลากหลาย (รวมถึง Barrons'800 คำและ 1,000 คำที่พบบ่อยที่สุดในอังกฤษ) ข้อมูลทั้งหมดสามารถดูได้ที่https://buildmyvocab.in เพื่อรักษาคุณภาพของเนื้อหาฉันได้กรองประโยคที่มีความยาวเกิน 160 ตัวอักษรเนื่องจากอาจเข้าใจยาก ในขั้นตอนต่อไปฉันต้องการให้กระบวนการเรียงลำดับเนื้อหานี้เป็นไปโดยอัตโนมัติเพื่อให้ง่ายต่อการเข้าใจ ฉันเป็นคนพูดภาษาอังกฤษที่ไม่ใช่เจ้าของภาษา ฉันต้องการทราบว่าคุณลักษณะใดที่ฉันสามารถใช้เพื่อแยกประโยคง่าย ๆ ออกจากประโยคที่ยาก คุณคิดว่ามันเป็นไปได้ไหม

10 machine-learning  classification  nlp  text-mining 

ฉันมีชุดข้อมูลรวมถึงชุดลูกค้าในเมืองต่าง ๆ ของรัฐแคลิฟอร์เนียเวลาที่โทรหาลูกค้าแต่ละรายและสถานะการโทร (จริงถ้าลูกค้ารับสายและเท็จถ้าลูกค้าไม่รับสาย) ฉันต้องหาเวลาที่เหมาะสมในการโทรหาลูกค้าในอนาคตเพื่อให้โอกาสในการตอบรับสูง ดังนั้นกลยุทธ์ที่ดีที่สุดสำหรับปัญหานี้คืออะไร ฉันควรพิจารณาว่าเป็นปัญหาการจำแนกซึ่งชั่วโมง (0,1,2, ... 23) เป็นชั้นเรียนหรือไม่ หรือฉันควรพิจารณาว่าเป็นงานการถดถอยซึ่งเวลาเป็นตัวแปรต่อเนื่องหรือไม่ ฉันจะแน่ใจได้อย่างไรว่าความน่าจะเป็นที่จะรับสายจะสูง ความช่วยเหลือใด ๆ ที่จะได้รับการชื่นชม มันจะดีมากถ้าคุณอ้างอิงถึงปัญหาที่คล้ายกัน ด้านล่างนี้เป็นภาพรวมของข้อมูล

10 machine-learning  classification  regression  scikit-learn 

ฉันวางแผนที่จะใช้ลักษณนามลักษณนามของเวกเตอร์สนับสนุนเชิงเส้น (SVM) ของ scikit สำหรับการจำแนกข้อความบนคลังข้อมูลซึ่งประกอบด้วยเอกสารที่มีป้ายกำกับ 1 ล้านฉบับ สิ่งที่ฉันกำลังวางแผนที่จะทำคือเมื่อผู้ใช้ป้อนคำหลักบางคำลักษณนามจะจัดประเภทไว้ในหมวดหมู่ก่อนแล้วแบบสอบถามการสืบค้นข้อมูลที่ตามมาจะเกิดขึ้นภายในเอกสารของหมวดหมู่หมวดหมู่นั้น ฉันมีคำถามสองสามข้อ: ฉันจะยืนยันได้อย่างไรว่าการจำแนกประเภทจะใช้เวลาไม่นาน ฉันไม่ต้องการให้ผู้ใช้ต้องใช้เวลารอการจัดหมวดหมู่ให้เสร็จเพื่อให้ได้ผลลัพธ์ที่ดีขึ้น การใช้ห้องสมุด scikit ของ Python สำหรับเว็บไซต์ / แอปพลิเคชันบนเว็บเหมาะสมกับเรื่องนี้หรือไม่? ไม่มีใครรู้ว่า amazon หรือ flipkart ดำเนินการจัดหมวดหมู่ในการค้นหาของผู้ใช้หรือพวกเขาใช้ตรรกะที่แตกต่างอย่างสิ้นเชิง?

10 machine-learning  classification  python  scikit-learn 

ฉันทำงานเกี่ยวกับการจำแนกข้อความที่ฉันมี 39 หมวดหมู่ / คลาสและ 8.5 ล้านบันทึก (ในอนาคตข้อมูลและหมวดหมู่จะเพิ่มขึ้น) โครงสร้างหรือรูปแบบของข้อมูลของฉันมีดังนี้ ---------------------------------------------------------------------------------------- | product_title | Key_value_pairs | taxonomy_id | ---------------------------------------------------------------------------------------- Samsung S7 Edge | Color:black,Display Size:5.5 inch,Internal | 211 Storage:128 GB, RAM:4 GB,Primary Camera:12 MP Case cover Honor 8 | Color:transparent,Height:15 mm,width:22 mm | 212 Ruggers Men's T-Shirt | Size:L,ideal for:men,fit:regular, | …

9 machine-learning  python  classification  scikit-learn  multiclass-classification 

สมมติว่าฉันสนใจในสามชั้น , , c_3แต่ชุดของฉันจริงมีหลายชั้นเรียนจริงมากขึ้น nค1c1c_1ค2c2c_2ค3c3c_3(คJ)nj = 4(cj)j=4n(c_j)_{j=4}^n คำตอบที่ชัดเจนคือการกำหนด classที่อ้างอิงถึงคลาสทั้งหมด ,แต่ฉันสงสัยว่านี่ไม่ใช่ความคิดที่ดีเนื่องจากตัวอย่างในจะหายากและไม่เหมือนกันมากค^4c^4\hat c_4คJcjc_jj > 3j>3j>3ค^4c^4\hat c_4 เพื่อให้เห็นภาพสิ่งที่ฉันพยายามจะพูดสมมติว่าฉันมีพื้นที่ว่างสองตัวแปรต่อไปนี้และคลาส , , ,ถูกอธิบายด้วยสีแดง, til, green และ สีดำตามลำดับ นี่คือวิธีที่ฉันสงสัยว่าข้อมูลของฉันจะเป็นอย่างไรค1c1c_1ค2c2c_2ค3c3c_3ค^4=⋃nJ = 4คJc^4=⋃j=4ncj\hat c_4= \bigcup_{j=4}^n c_j มีวิธีมาตรฐานในการแก้ไขปัญหานี้หรือไม่? อะไรจะเป็นลักษณนามที่มีประสิทธิภาพมากที่สุดและทำไม?

9 machine-learning  classification 

ฉันมีชุดข้อมูลที่ประกอบด้วยอนุกรมเวลา (8 คะแนน) ที่มีประมาณ 40 มิติ (ดังนั้นแต่ละชุดเวลาคือ 8 คูณ 40) ouput ที่สอดคล้องกัน (ผลลัพธ์ที่เป็นไปได้สำหรับหมวดหมู่) คือ eitheir 0 หรือ 1 อะไรจะเป็นวิธีที่ดีที่สุดในการออกแบบลักษณนามสำหรับอนุกรมเวลาที่มีหลายมิติ กลยุทธ์เริ่มต้นของฉันคือการดึงคุณสมบัติต่างๆจากอนุกรมเวลาเหล่านั้น: หมายถึงมาตรฐานรูปแบบสูงสุดสำหรับแต่ละมิติ ฉันได้รับชุดข้อมูลที่ฉันใช้ในการฝึกซ้อม RandomTreeForest การตระหนักถึงความไร้เดียงสาทั้งหมดของเรื่องนี้และหลังจากได้รับผลลัพธ์ที่ไม่ดีตอนนี้ฉันกำลังมองหาโมเดลที่ปรับปรุงมากขึ้น โอกาสในการขายของฉันมีดังนี้จัดหมวดหมู่ซีรีส์สำหรับแต่ละมิติ (โดยใช้อัลกอริธึม KNN และ DWT) ลดมิติด้วย PCA และใช้ลักษณนามสุดท้ายตามหมวดหมู่หลายมิติ การเป็น ML ค่อนข้างใหม่ฉันไม่รู้ว่าฉันผิดทั้งหมดหรือเปล่า

9 classification  time-series  pca 

ชุดข้อมูลของฉันประกอบด้วยลำดับเวกเตอร์ แต่ละเวกเตอร์มี 50 มิติของมูลค่าที่แท้จริง จำนวนเวกเตอร์ในลำดับอยู่ระหว่าง 3-5 ถึง 10-15 กล่าวอีกนัยหนึ่งความยาวของลำดับไม่คงที่ จำนวนเงินที่เหมาะสมของลำดับ (ไม่ใช่เวกเตอร์!) จะมีคำอธิบายประกอบพร้อมกับฉลากระดับ งานของฉันคือการเรียนรู้ลักษณนามที่กำหนดลำดับเวกเตอร์ฉลากคลาสสำหรับลำดับทั้งหมดถูกคำนวณ ฉันไม่สามารถบอกลักษณะที่แน่นอนของข้อมูลได้ แต่ลักษณะของลำดับไม่ได้เป็นการชั่วคราว อย่างไรก็ตามเวกเตอร์xผมxix_i ไม่สามารถสลับกับเวกเตอร์ได้ xJxjx_j โดยไม่ต้องเปลี่ยนฉลาก (ฉัน≠ ji≠ji \neq j) กล่าวอีกนัยหนึ่งลำดับของเวกเตอร์นั้นสำคัญ ตัวเวกเตอร์นั้นเปรียบได้ตัวอย่างเช่นมันสมเหตุสมผลที่จะคำนวณผลิตภัณฑ์ดอทและใช้ค่าความคล้ายคลึงกันนี้ คำถามของฉันคืออะไรเครื่องมือ / อัลกอริทึมที่สามารถช่วยจำแนกข้อมูลดังกล่าวคืออะไร? UPDATE: ข้อมูลมีคุณสมบัติเช่นนั้นเวกเตอร์หนึ่งหรือสองสามตัวมีอิทธิพลอย่างมากต่อเลเบลของคลาส วิธีแก้ปัญหาที่เป็นไปได้: หลังจากการวิจัยบางอย่างดูเหมือนว่า Recurrent Neural Networks (RNN) จะพอดีกับใบเรียกเก็บเงินตามธรรมชาติ แนวคิดที่ครอบคลุมคือการเลือกขนาดบริบทkkk, เชื่อมเวกเตอร์คำต่อกัน, ทำ maxing ร่วมกันและให้อาหารผ่าน NN คลาสสิก ที่ตำแหน่งหน้าต่างบริบทที่เป็นไปได้แต่ละประโยคในประโยคหนึ่งเวกเตอร์คุณลักษณะจะถูกสร้างขึ้น คุณลักษณะเวกเตอร์ขั้นสุดท้ายถูกสร้างขึ้นโดยใช้การรวมกำไรสูงสุดตัวอย่างเช่น backpropagation ทำเพื่อปรับพารามิเตอร์ของเครือข่าย ฉันได้รับผลลัพธ์ที่เป็นบวกแล้ว (ต้องมี …

9 classification  sequence 

ปัญหา ฉันได้ลองใช้ Naive Bayes กับชุดข้อมูลอาชญากรรมที่มีข้อความ แต่ได้ผลลัพธ์ที่แย่มาก (ความแม่นยำ 7%) Naive Bayes ทำงานเร็วกว่า alogorithms อื่น ๆ ที่ฉันใช้ดังนั้นฉันจึงอยากลองค้นหาสาเหตุที่คะแนนต่ำ วิจัย หลังจากอ่านฉันพบว่าควรใช้เบย์ Naive กับชุดข้อมูลที่สมดุลเพราะมันมีอคติสำหรับคลาสที่มีความถี่สูงกว่า เนื่องจากข้อมูลของฉันไม่สมดุลฉันจึงอยากลองใช้ Naive Bayes เพิ่มเติมเพราะทำขึ้นเป็นพิเศษสำหรับจัดการกับข้อมูลที่ลื่นไหล ในบทความที่อธิบายถึงกระบวนการแอปพลิเคชันสำหรับการจำแนกข้อความ แต่ฉันไม่เห็นว่าทำไมเทคนิคไม่ทำงานในสถานการณ์อื่น ๆ คุณสามารถค้นหากระดาษที่ผมหมายถึงที่นี่ ในระยะสั้นความคิดคือการใช้น้ำหนักตามเหตุการณ์ที่เกิดขึ้นที่ชั้นไม่ปรากฏขึ้น หลังจากทำการวิจัยบางอย่างฉันสามารถค้นหาการนำไปใช้ใน Java แต่โชคไม่ดีที่ฉันไม่ทราบว่า Java และฉันไม่เข้าใจอัลกอริทึมที่ดีพอที่จะใช้ตัวเอง คำถาม ฉันสามารถหาการใช้งานในหลามได้ที่ไหน หากไม่มีอยู่ฉันควรดำเนินการด้วยตนเองอย่างไร

9 machine-learning  classification  python  naive-bayes-classifier 

ชุดข้อมูลใดที่ฉันสามารถใช้เพื่อฝึกตัวแยกประเภทข้อความได้อย่างอิสระ เราพยายามปรับปรุงการมีส่วนร่วมของผู้ใช้โดยแนะนำเนื้อหาที่เกี่ยวข้องมากที่สุดสำหรับเขาดังนั้นเราจึงคิดว่าถ้าเราจัดหมวดหมู่เนื้อหาตามคำที่กำหนดไว้ล่วงหน้าเราสามารถแนะนำให้เขามีส่วนร่วมเนื้อหาโดยรับข้อเสนอแนะของเขา ก่อน. เราสามารถใช้ข้อมูลนี้เพื่อแนะนำให้เขาติดป้ายกำกับที่มีคลาสเหล่านั้น แต่เราพบว่าหากเราใช้ถุงคำที่กำหนดไว้ล่วงหน้าซึ่งไม่เกี่ยวข้องกับเนื้อหาของเราเวกเตอร์คุณลักษณะจะเต็มไปด้วยเลขศูนย์หมวดหมู่อาจไม่เกี่ยวข้องกับเนื้อหาของเรา ดังนั้นด้วยเหตุผลเหล่านั้นเราจึงลองใช้วิธีแก้ไขปัญหาอื่นซึ่งจะทำการจัดกลุ่มเนื้อหาของเราไม่แยกประเภท ขอบคุณ :)

9 machine-learning  classification  dataset  clustering  text-mining