วิทยาศาสตร์ข้อมูล

ฉันต้องการทราบวิธีจับคู่ที่อยู่ทางไปรษณีย์เมื่อรูปแบบของพวกเขาแตกต่างกันหรือเมื่อหนึ่งในนั้นถูกสะกดผิด จนถึงตอนนี้ฉันได้พบวิธีแก้ไขปัญหาต่าง ๆ แต่ฉันคิดว่ามันค่อนข้างเก่าและไม่มีประสิทธิภาพมาก ฉันแน่ใจว่ามีวิธีที่ดีกว่าอยู่แล้วดังนั้นหากคุณมีการอ้างอิงสำหรับฉันที่จะอ่านฉันแน่ใจว่ามันเป็นเรื่องที่น่าสนใจหลายคน วิธีแก้ปัญหาที่ฉันพบ (ตัวอย่างอยู่ใน R): ระยะทางของ Levenshtein ซึ่งเท่ากับจำนวนอักขระที่คุณต้องแทรกลบหรือเปลี่ยนเพื่อแปลงคำหนึ่งไปเป็นอีกคำหนึ่ง agrep("acusait", c("accusait", "abusait"), max = 2, value = TRUE) ## [1] "accusait" "abusait" การเปรียบเทียบหน่วยเสียง library(RecordLinkage) soundex(x<-c('accusait','acusait','abusait')) ## [1] "A223" "A223" "A123" การใช้ตัวแก้ไขการสะกดคำ(ในที่สุดก็เป็นตัวแบบเบย์เหมือนของ Peter Norvig)แต่ก็ไม่ได้มีประสิทธิภาพมากสำหรับการพูด ฉันคิดเกี่ยวกับการใช้คำแนะนำของ Google แนะนำ แต่ก็ไม่ได้มีประสิทธิภาพมากสำหรับที่อยู่ไปรษณีย์ส่วนบุคคล คุณสามารถจินตนาการโดยใช้วิธีการเรียนรู้แบบมีผู้สอนในเครื่อง แต่คุณจำเป็นต้องจัดเก็บคำขอที่ผู้ใช้สะกดผิดให้ทำเช่นนั้นซึ่งไม่ใช่ตัวเลือกสำหรับฉัน

14 text-mining  data-cleaning 

ฉันเข้าใจจากกระดาษของฮินตันว่า T-SNE ทำงานได้ดีในการรักษาความคล้ายคลึงกันในท้องถิ่นและงานที่ดีในการรักษาโครงสร้างของโลก (การจัดกลุ่ม) อย่างไรก็ตามฉันไม่ชัดเจนว่าจุดใดที่ปรากฎอยู่ใกล้ ๆ ในการแสดงภาพ 2D t-sne สามารถสันนิษฐานได้ว่าเป็นจุดข้อมูลที่ "คล้ายกันมากขึ้น" ฉันกำลังใช้ข้อมูลกับคุณสมบัติ 25 อย่าง ตัวอย่างเช่นจากการสังเกตภาพด้านล่างฉันสามารถสมมติว่าดาต้าพอยน์สีน้ำเงินนั้นมีความคล้ายคลึงกับสีเขียวมากกว่าโดยเฉพาะกับกลุ่มจุดสีเขียวที่ใหญ่ที่สุด? หรือการถามที่แตกต่างกันมันถือว่าโอเคไหมที่จุดสีน้ำเงินนั้นคล้ายกับสีเขียวในกระจุกที่อยู่ใกล้ที่สุดมากกว่าสีแดงในกระจุกอีกอัน? (ไม่สนใจจุดสีเขียวในกลุ่มสีแดง - ไอช) เมื่อสังเกตตัวอย่างอื่น ๆ เช่นตัวอย่างที่นำเสนอในชุด Sci-Kit เรียนรู้การเรียนรู้ Manifold ดูเหมือนว่าถูกต้องแล้ว แต่ฉันไม่แน่ใจว่าพูดถูกต้องหรือไม่ แก้ไข ฉันได้คำนวณระยะทางจากชุดข้อมูลดั้งเดิมด้วยตนเอง (ระยะทางแบบยุคลิดแบบคู่เฉลี่ย) และการสร้างภาพข้อมูลจริงแสดงระยะทางเชิงพื้นที่ตามสัดส่วนที่เกี่ยวข้องกับชุดข้อมูล อย่างไรก็ตามฉันอยากจะรู้ว่านี่เป็นสิ่งที่ยอมรับได้พอสมควรหรือไม่จากสูตรทางคณิตศาสตร์ดั้งเดิมของ t-sne และไม่ใช่เรื่องบังเอิญ

14 visualization  dimensionality-reduction  tsne  manifold 

ฉันกำลังทำงานกับปัญหาการจำแนก ฉันมีชุดข้อมูลที่มีตัวแปรเด็ดขาดและตัวแปรต่อเนื่องจำนวนเท่ากัน ฉันจะรู้เทคนิคการใช้งานได้อย่างไร? ระหว่างต้นไม้ตัดสินใจกับการถดถอยโลจิสติกส์? การสมมติว่าการถดถอยโลจิสติกจะเหมาะสมกว่าสำหรับตัวแปรต่อเนื่องและต้นไม้ตัดสินใจจะเหมาะสมกว่าสำหรับตัวแปรต่อเนื่อง + หมวดหมู่หรือไม่

14 classification  logistic-regression  decision-trees 

ฉันมีชุดข้อมูลของผู้ใช้ที่ซื้อผลิตภัณฑ์จากเว็บไซต์ คุณลักษณะที่ฉันมีคือรหัสผู้ใช้ภูมิภาค (รัฐ) ของผู้ใช้รหัสหมวดหมู่ของผลิตภัณฑ์รหัสคำหลักของผลิตภัณฑ์รหัสคำหลักของเว็บไซต์และยอดขายที่ใช้ไปของผลิตภัณฑ์ เป้าหมายคือการใช้ข้อมูลของผลิตภัณฑ์และเว็บไซต์เพื่อระบุตัวตนของผู้ใช้เช่น "gamer หนุ่มสาว" หรือ "อยู่กับแม่ที่บ้าน" ฉันแนบภาพตัวอย่างดังต่อไปนี้: มีการรวมหมวดหมู่ที่ไม่ซ้ำกันปี 1940 และคำหลักที่ไม่ซ้ำกัน 13845 รายการสำหรับผลิตภัณฑ์ สำหรับเว็บไซต์มีคำค้นหาที่ไม่ซ้ำ 13063 รายการ ชุดข้อมูลทั้งหมดมีขนาดใหญ่มากเนื่องจากเป็นข้อมูลการบันทึกประจำวัน ฉันกำลังคิดถึงการจัดกลุ่มเนื่องจากไม่มีการสำรอง แต่ ID เหล่านั้นเป็นหมายเลขการสั่งซื้อที่ไม่มีความหมายเชิงตัวเลข ถ้าอย่างนั้นฉันก็ไม่รู้วิธีการใช้อัลกอริทึม ฉันยังคิดถึงการจำแนกประเภท ถ้าฉันเพิ่มคอลัมน์ของคลาสตามจำนวนยอดขายของผลิตภัณฑ์ที่ซื้อ ฉันคิดว่าการรวมกลุ่มเป็นที่ต้องการมากกว่า ฉันไม่ทราบว่าอัลกอริทึมแบบใดที่ฉันควรใช้ในกรณีนี้เนื่องจากขนาดของรหัสคำหลักอาจมากกว่า 10,000 รายการ (แต่ละผลิตภัณฑ์อาจมีคำหลักจำนวนมากเช่นเว็บไซต์จะ) ฉันจำเป็นต้องใช้ Spark สำหรับโครงการนี้ ใครสามารถช่วยฉันด้วยความคิดหรือข้อเสนอแนะ? ขอบคุณมาก!

14 machine-learning  data-mining  classification  clustering 

ฉันกำลังมองหาการจัดกลุ่ม k หมายถึงชุดของจุด 10 มิติ การจับ: มี 10 ^ 10 คะแนนคะแนน ฉันกำลังมองหาเพียงศูนย์กลางและขนาดของกลุ่มที่ใหญ่ที่สุด (สมมติว่า 10 ถึง 100 กลุ่ม); ฉันไม่สนใจว่าคลัสเตอร์แต่ละจุดจะอยู่ในจุดใดการใช้ k-mean โดยเฉพาะนั้นไม่สำคัญ ฉันแค่กำลังมองหาเอฟเฟกต์ที่คล้ายกันค่าประมาณ k-mean หรืออัลกอริธึมที่เกี่ยวข้องจะดีมาก (minibatch-SGD หมายถึง ... ) เนื่องจาก GMM มีปัญหาเช่นเดียวกับ k-mean การทำ GMM กับข้อมูลขนาดเดียวกันก็น่าสนใจเช่นกัน ในระดับนี้การสุ่มตัวอย่างข้อมูลอาจไม่เปลี่ยนผลลัพธ์อย่างมีนัยสำคัญ: โอกาสในการค้นหา 10 อันดับแรกของกลุ่มเดียวกันโดยใช้ตัวอย่างที่ 1 / 10,000 ของข้อมูลนั้นดีมาก แต่ถึงอย่างนั้นนั่นคือปัญหา 10 ^ 6 จุดซึ่งอยู่บน / เกินขอบของเวไนย

14 clustering  k-means 

มีไลบรารีการเรียนรู้ของเครื่องสำหรับ Ruby ที่ค่อนข้างสมบูรณ์ (รวมถึงอัลกอริธึมที่หลากหลายสำหรับการเรียนรู้แบบมีผู้สอนและไม่ได้ดูแล) การทดสอบที่มีประสิทธิภาพและเอกสารที่ดี? ฉันชอบScikit เรียนรู้ของ Python สำหรับเอกสารที่เหลือเชื่อ แต่ลูกค้าต้องการเขียนโค้ดใน Ruby เนื่องจากเป็นสิ่งที่พวกเขาคุ้นเคย นึกคิดฉันกำลังมองหาห้องสมุดหรือชุดของห้องสมุดที่ชอบscikitและnumpyสามารถใช้โครงสร้างข้อมูลที่หลากหลายเช่นเมทริกซ์กระจัดกระจายเช่นเดียวกับผู้เรียน ตัวอย่างของสิ่งที่เราต้องทำคือการจำแนกประเภทไบนารีโดยใช้ SVM และการนำโมเดลคำที่เราหวังว่าจะเชื่อมต่อกับข้อมูลตัวเลขโดยพลการตามที่อธิบายไว้ในโพสต์ StackOverflowนี้

14 machine-learning 

ฉันมีชุดข้อมูลที่มีข้อกำหนดต่อไปนี้: ชุดข้อมูลการฝึกอบรมที่มีตัวอย่าง 193,176 ตัวอย่างมีผลบวก 2,821 รายการ ชุดข้อมูลทดสอบ 82,887 ตัวอย่างที่มีผลบวก 673 รายการ มี 10 คุณสมบัติ ฉันต้องการทำการจำแนกเลขฐานสอง (0 หรือ 1) ปัญหาที่ฉันเผชิญคือข้อมูลไม่สมดุลมาก หลังจากการทำให้เป็นมาตรฐานและปรับขนาดข้อมูลพร้อมกับคุณสมบัติทางวิศวกรรมบางอย่างและการใช้อัลกอริธึมที่แตกต่างกันสองสามอย่างนี่เป็นผลลัพธ์ที่ดีที่สุดที่ฉันสามารถทำได้: mean square error : 0.00804710026904 Confusion matrix : [[82214 667] [ 0 6]] นั่นคือเพียง 6 การค้นพบในเชิงบวกที่ถูกต้อง นี่คือการใช้การถดถอยโลจิสติก นี่คือสิ่งต่าง ๆ ที่ฉันลองด้วย: อัลกอริทึมที่แตกต่างกันเช่น RandomForest, DecisionTree, SVM การเปลี่ยนค่าพารามิเตอร์เพื่อเรียกใช้ฟังก์ชัน คุณสมบัติทางวิศวกรรมตามสัญชาตญาณเพื่อรวมเอาคุณสมบัติที่รวมเข้าด้วยกัน ตอนนี้คำถามของฉันคือ: ฉันจะทำอย่างไรเพื่อปรับปรุงจำนวนครั้งการค้นหาที่เป็นค่าบวก เราจะตัดสินได้อย่างไรว่ามีกรณีเกินจริงในกรณีเช่นนี้? (ฉันได้ลองพล็อตและอื่น …

14 machine-learning  python  classification  logistic-regression 

ฉันมีชุดข้อมูลไบนารีที่มีอคติอย่างมาก - ฉันมีตัวอย่างของคลาสลบมากกว่าคลาสเชิงบวกจำนวน 1000 เท่า ฉันต้องการฝึกอบรมชุดทรี (เช่นต้นไม้สุ่มพิเศษหรือป่าสุ่ม) จากข้อมูลนี้ แต่มันยากที่จะสร้างชุดข้อมูลการฝึกอบรมที่มีตัวอย่างของชั้นเรียนที่ดีพอ อะไรคือความหมายของการทำวิธีการสุ่มตัวอย่างแบบแบ่งชั้นเพื่อทำให้จำนวนตัวอย่างที่เป็นบวกและลบเป็นปกติ? กล่าวอีกนัยหนึ่งมันเป็นความคิดที่ดีหรือไม่ที่จะพองตัวอย่างของจำนวนบวกในชั้นเรียนในชุดฝึกอบรม?

14 machine-learning  feature-selection  unbalanced-classes 

ฉันพยายามที่จะเข้าใจว่าส่วนประกอบ "ข้อมูลขนาดใหญ่" เล่นร่วมกันอย่างไรในกรณีการใช้งานจริงเช่น hadoop, monogodb / nosql, storm, kafka, ... ฉันรู้ว่านี่เป็นเครื่องมือที่ใช้สำหรับ ประเภทต่าง ๆ แต่ฉันต้องการรับทราบเพิ่มเติมเกี่ยวกับการโต้ตอบในแอปพลิเคชันเช่นการเรียนรู้ด้วยเครื่องสำหรับแอพพลิเคชั่นเว็บแอพร้านค้าออนไลน์ ฉันมี vistor / session, data transaction ฯลฯ และเก็บไว้; แต่ถ้าฉันต้องการที่จะให้คำแนะนำได้ทันทีฉันไม่สามารถเรียกใช้แผนที่ช้า / ลดงานสำหรับฐานข้อมูลขนาดใหญ่ของบันทึกที่ฉันมี ฉันจะเรียนรู้เพิ่มเติมเกี่ยวกับโครงสร้างพื้นฐานได้ที่ไหน ฉันคิดว่าฉันสามารถใช้เครื่องมือส่วนใหญ่ด้วยตนเองได้ แต่การเสียบเข้าด้วยกันดูเหมือนว่าจะเป็นศิลปะของมันเอง มีตัวอย่างสาธารณะ / กรณีใช้งานอื่น ๆ หรือไม่ ฉันเข้าใจว่าแต่ละท่อขึ้นอยู่กับกรณีการใช้งานและผู้ใช้เป็นอย่างมาก แต่เพียงตัวอย่างอาจจะเป็นประโยชน์กับฉัน

14 machine-learning  bigdata  efficiency  scalability  distributed 

สำหรับเครือข่ายประสาทเรามีทฤษฎีบทประมาณสากลซึ่งระบุว่าเครือข่ายประสาทสามารถใกล้เคียงกับฟังก์ชั่นอย่างต่อเนื่องใด ๆ ในส่วนย่อยกะทัดรัดของ nRnRnR^n มีผลที่คล้ายกันสำหรับต้นไม้ที่เพิ่มการไล่ระดับสีหรือไม่? ดูเหมือนว่าสมเหตุสมผลเนื่องจากคุณสามารถเพิ่มสาขาได้มากขึ้น แต่ฉันไม่สามารถหาหัวข้อสนทนาที่เป็นทางการได้ แก้ไข: คำถามของฉันดูเหมือนจะคล้ายกับ ต้นไม้ถดถอยสามารถทำนายได้อย่างต่อเนื่อง? แม้ว่าอาจจะไม่ได้ถามในสิ่งเดียวกัน แต่ดูคำถามนั้นสำหรับการสนทนาที่เกี่ยวข้อง

14 decision-trees 

ฉันกำลังฝึกอบรมโครงข่ายประสาทเทียมเพื่อจำแนกภาพตามสภาพหมอก (3 คลาส) อย่างไรก็ตามสำหรับแต่ละภาพประมาณ 150.000 ภาพฉันยังมีตัวแปรอุตุนิยมวิทยาสี่ตัวที่มีอยู่ซึ่งอาจช่วยในการทำนายชั้นเรียนของภาพ ฉันสงสัยว่าฉันจะเพิ่มตัวแปรทางอุตุนิยมวิทยา (เช่นอุณหภูมิความเร็วลม) ไปยังโครงสร้าง CNN ที่มีอยู่เพื่อให้สามารถช่วยในการจำแนกประเภทได้อย่างไร วิธีหนึ่งที่ฉันสามารถนึกได้ก็คือการสร้างโครงข่ายประสาทประสาทขนาดเล็กอีกข้างหนึ่งไว้ข้างๆ CNN แล้วต่อผลลัพธ์ของชั้น CNN และชั้นที่ซ่อนอยู่ของโครงข่ายประสาทเทียมที่ไม่ใช่ภาพต่อกันที่ชั้นหนาแน่น วิธีที่สองที่ฉันนึกได้คือเพียงติดต่อคุณสมบัติเหล่านี้กับชั้นที่มีความหนาแน่นสูง อย่างไรก็ตามในกรณีนี้ตัวแปรที่ไม่ใช่รูปภาพจะ (ฉันคิดว่า) จะสามารถคาดการณ์เชิงเส้นได้เท่านั้น มีวิธีอื่นที่ดีกว่าที่จะรวมคุณสมบัติที่ไม่ใช่รูปภาพไว้ในโมเดลหรือไม่ และวิธีการที่แนะนำคืออะไรเมื่อพิจารณาปริมาณข้อมูลที่ฉันมี อีกคำถามที่ฉันมีคือฉันควรยกเลิกการตรึงเลเยอร์ convolutional หรือไม่ในขณะที่ฝึกฝนด้วยคุณสมบัติที่ไม่ใช่รูปภาพเหล่านี้ เลเยอร์ของ Resnet-18 เหล่านี้ (ซึ่งถูกกำหนดค่าเริ่มต้นว่าผ่านการฝึกอบรมล่วงหน้าบน ImageNet) ได้รับการปรับแต่งแล้วโดยใช้ภาพ ฉันเดาว่าฉันควรให้พวกมันแข็งตัวและทำให้ชั้นที่หนาทึบหลุดออกเท่านั้นเพราะมันเป็นเพียงที่นี่ที่คุณสมบัติที่ไม่ใช่รูปภาพเข้ามา 'ติดต่อ' กับคุณสมบัติของภาพ (ไม่ใช่ก่อนหน้านี้ใน CNN) ถ้าฉันผิดนี่โปรดพูดอย่างนั้น!

14 machine-learning  neural-network  deep-learning  tensorflow  cnn 

ถ้าฉันมองไปที่หนึ่งในหลายแหล่งเรียน Imagenet บนอินเทอร์เน็ตฉันไม่สามารถหาชั้นเดียวที่เกี่ยวข้องกับมนุษย์ (และไม่มีคนเกี่ยวข้าวเก็บเกี่ยวไม่ได้เป็นคนที่เก็บเกี่ยว แต่มันเป็นสิ่งที่ผมรู้ว่าเป็น Longlegs พ่อชนิดของ แมงมุม :-) เป็นไปได้อย่างไร? ผมจะมีที่คาดว่าอย่างน้อยpersonระดับและแม้กระทั่งสิ่งที่เฉพาะเจาะจงมากขึ้นเช่นman, woman, toddlerฯลฯ ไม่มีการจัดเรียง ทำไม? ไม่เฟยเฟยหลี่และทีมงานของเธอให้เป็นทางเลือกที่ใส่ใจไม่ให้มีภาพคนที่อยู่ในฐานข้อมูลหรือไม่ ฉันดูไฟล์ผิดหรือเปล่า? เพื่อประโยชน์ของคำถามเราสามารถพิจารณาImageNetรุ่นตั้งแต่ปี 2014 เป็นต้นไป

14 machine-learning  deep-learning  dataset  convnet  image-classification 

ฉันเป็นวิศวกรวิทยาการคอมพิวเตอร์ที่ไม่มีพื้นฐานด้านสถิติหรือคณิตศาสตร์ขั้นสูง ฉันเรียนหนังสือหลามเครื่องเรียนรู้โดย Raschka และ Mirjalili แต่เมื่อฉันพยายามที่จะเข้าใจคณิตศาสตร์ของการเรียนรู้ของเครื่องผมไม่สามารถที่จะเข้าใจหนังสือดีที่เพื่อนแนะนำผมองค์ประกอบของการเรียนรู้ทางสถิติ คุณรู้สถิติและหนังสือคณิตศาสตร์สำหรับการเรียนรู้ของเครื่องได้ง่ายขึ้นไหม? หากคุณไม่ฉันจะย้ายได้อย่างไร

14 machine-learning  statistics  reference-request  math 

หน้าวิกิพีเดียซึ่งคำพูด"องค์ประกอบของการเรียนรู้ทางสถิติ"พูดว่า: โดยปกติแล้วสำหรับปัญหาการจัดหมวดหมู่ที่มีคุณสมบัติ⌊ √ppp คุณลักษณะ p ⌋ถูกใช้ในการแบ่งแต่ละครั้ง⌊p–√⌋⌊p⌋\lfloor \sqrt{p}\rfloor ฉันเข้าใจว่านี่เป็นการคาดเดาที่มีการศึกษาค่อนข้างดีและอาจได้รับการยืนยันจากหลักฐานเชิงประจักษ์ แต่มีเหตุผลอื่นที่ทำให้เราเลือกรากที่สองได้หรือไม่ มีปรากฏการณ์ทางสถิติเกิดขึ้นที่นั่นไหม? นี่ช่วยลดความแปรปรวนของข้อผิดพลาดได้หรือไม่? สิ่งนี้เป็นสิ่งเดียวกันสำหรับการถดถอยและการจัดหมวดหมู่หรือไม่

14 statistics  random-forest  optimization  evaluation  sampling 

ฉันกำลังพยายามสร้างโครงข่ายประสาทเทียมโดยใช้อนุกรมเวลาเป็นอินพุทเพื่อฝึกอบรมตามประเภทของแต่ละซีรีส์ ฉันอ่านว่าการใช้ RNNs คุณสามารถแบ่งอินพุตเป็นแบทช์และใช้ทุกจุดของอนุกรมเวลาเป็นเซลล์ประสาทส่วนบุคคลและในที่สุดก็ฝึกฝนเครือข่าย สิ่งที่ฉันพยายามทำคือใช้หลายครั้งเป็นอินพุต ตัวอย่างเช่นคุณอาจได้รับอินพุตจากเซ็นเซอร์สองตัว (ดังนั้นอนุกรมสองเวลา) แต่ฉันต้องการใช้ทั้งสองอย่างเพื่อให้ได้ผลลัพธ์สุดท้าย นอกจากนี้ฉันไม่ได้พยายามทำนายค่าในอนาคตของอนุกรมเวลาฉันพยายามจำแนกตามค่าทั้งหมด ฉันจะแก้ไขปัญหานี้ได้อย่างไร มีวิธีใช้อนุกรมเวลาหลายชุดเป็นอินพุตไปยัง RNN หรือไม่? ฉันควรจะลองรวมอนุกรมเวลาเข้าด้วยกันหรือไม่? หรือฉันควรใช้สองเครือข่ายประสาทที่แตกต่างกัน? และหากวิธีการสุดท้ายนี้ถูกต้องหากจำนวนชุดเวลาเพิ่มขึ้นนั่นจะไม่ทำให้คอมพิวเตอร์เข้มข้นเกินไปใช่ไหม

14 time-series  rnn