วิทยาศาสตร์ข้อมูล

ถามตอบสำหรับผู้เชี่ยวชาญด้านข้อมูลวิทยาศาสตร์ผู้เชี่ยวชาญด้านการเรียนรู้ของเครื่องจักรและผู้ที่สนใจเรียนรู้เพิ่มเติมเกี่ยวกับสาขานี้

1
ทำไมโมเดล Keras ของฉันเรียนรู้ที่จะจำพื้นหลัง
ฉันพยายามฝึกอบรมการใช้งาน Keras ของ Deeplabv3 +บน Pascal VOC2012 โดยใช้แบบจำลองที่ได้รับการฝึกอบรม (ซึ่งได้รับการฝึกฝนในชุดข้อมูลนั้นด้วย) ฉันได้ผลลัพธ์แปลก ๆ ด้วยความแม่นยำที่บรรจบกันอย่างรวดเร็วเป็น 1.0: 5/5 [==============================] - 182s 36s/step - loss: 26864.4418 - acc: 0.7669 - val_loss: 19385.8555 - val_acc: 0.4818 Epoch 2/3 5/5 [==============================] - 77s 15s/step - loss: 42117.3555 - acc: 0.9815 - val_loss: 69088.5469 - val_acc: 0.9948 Epoch …

2
การนอร์มัลแบตช์หมายถึงว่า sigmoids ทำงานได้ดีกว่า ReLUs หรือไม่?
การปรับสภาพแบทช์และ ReLU เป็นวิธีแก้ปัญหาการไล่ระดับสีที่หายไป หากเราใช้การทำให้เป็นมาตรฐานเป็นชุดเราควรใช้ sigmoids ไหม? หรือมีคุณสมบัติของ ReLUs ที่ทำให้พวกเขามีค่าแม้เมื่อใช้ batchnorm? ฉันคิดว่าการฟื้นฟูที่ทำใน batchnorm จะส่งการเปิดใช้งานเป็นศูนย์เชิงลบ นั่นหมายความว่า batchnorm แก้ปัญหา "dead ReLU" หรือไม่? แต่ธรรมชาติอย่างต่อเนื่องของ tanh และ logistic ยังคงน่าสนใจ ถ้าฉันใช้ batchnorm tanh จะทำงานได้ดีกว่า ReLU หรือไม่ ฉันแน่ใจว่าคำตอบขึ้นอยู่กับ ดังนั้นประสบการณ์ทำงานของคุณคืออะไรและคุณสมบัติเด่นของแอปพลิเคชันของคุณคืออะไร


2
เครื่องจักร / เทคนิคการเรียนรู้อย่างลึกซึ้ง / เทคนิค nlp ใช้ในการจำแนกคำที่กำหนดเป็นชื่อหมายเลขโทรศัพท์มือถือที่อยู่อีเมลรัฐเคาน์ตีเมือง ฯลฯ
ฉันกำลังพยายามสร้างแบบจำลองอัจฉริยะที่สามารถสแกนชุดคำหรือสตริงและจำแนกเป็นชื่อหมายเลขโทรศัพท์มือถือที่อยู่เมืองรัฐประเทศและหน่วยงานอื่น ๆ โดยใช้การเรียนรู้ของเครื่องจักรหรือการเรียนรู้เชิงลึก ฉันค้นหาวิธีการ แต่น่าเสียดายที่ฉันไม่พบวิธีการใด ๆ ฉันได้ลองใช้กระเป๋าคำว่า model และ word glove เพื่อคาดเดาว่าสตริงนั้นเป็นชื่อหรือเมือง ฯลฯ แต่ฉันไม่ประสบความสำเร็จกับรูปแบบถุงคำและด้วย GloVe มีชื่อมากมายที่ไม่ครอบคลุมในตัวอย่างการฝัง: - ลอเรนมีอยู่ในถุงมือและลอเรน่าไม่ ฉันพบโพสต์นี้ที่นี่ซึ่งมีคำตอบที่สมเหตุสมผล แต่ฉันไม่สามารถเข้าหาเพื่อแก้ไขปัญหานอกเหนือจากข้อเท็จจริงที่ว่ามีการใช้ NLP และ SVM เพื่อแก้ไขปัญหา ข้อเสนอแนะใด ๆ ที่ชื่นชม ขอขอบคุณและขอแสดงความนับถือ Sai Charan Adurthi

1
ข้อมูลที่ไม่สมดุลทำให้เกิดการจำแนกผิดพลาดในชุดข้อมูลหลายคลาส
ฉันทำงานเกี่ยวกับการจำแนกข้อความที่ฉันมี 39 หมวดหมู่ / คลาสและ 8.5 ล้านบันทึก (ในอนาคตข้อมูลและหมวดหมู่จะเพิ่มขึ้น) โครงสร้างหรือรูปแบบของข้อมูลของฉันมีดังนี้ ---------------------------------------------------------------------------------------- | product_title | Key_value_pairs | taxonomy_id | ---------------------------------------------------------------------------------------- Samsung S7 Edge | Color:black,Display Size:5.5 inch,Internal | 211 Storage:128 GB, RAM:4 GB,Primary Camera:12 MP Case cover Honor 8 | Color:transparent,Height:15 mm,width:22 mm | 212 Ruggers Men's T-Shirt | Size:L,ideal for:men,fit:regular, | …

1
ฉันจะใช้ฟังก์ชัน sigmoid ใน Octave ได้อย่างไร [ปิด]
ปิด คำถามนี้ต้องการรายละเอียดหรือความคมชัด ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ เพิ่มรายละเอียดและชี้แจงปัญหาโดยแก้ไขโพสต์นี้ ปิดให้บริการใน2 ปีที่ผ่านมา ดังนั้นเมื่อฟังก์ชั่น sigmoid นั้นถูกกำหนดเป็นhθ (x) = g (θ ^ (T) x) ฉันจะใช้งาน funcion นี้ใน Octave ได้อย่างไรโดยที่ g = zeros (ขนาด (z))?

2
อัลกอริทึมที่จะใช้สำหรับการเลือกจุดที่เหมาะสม
รูปด้านล่างแสดง 7 จุดรอบจุดกำเนิด หนึ่งในนั้นได้รับการคัดเลือกโดยมนุษย์ตามกฎและประสบการณ์และเป็นสีแดง (หนึ่งในควอดเรเตอร์ซ้ายล่าง) ตอนนี้เรามีมากกว่า 1,000 ชุดของจุดเหล่านี้และสำหรับแต่ละชุดมนุษย์ได้เลือกจุดเดียว เงื่อนไขเหล่านี้ใช้กับชุดทั้งหมด: แต่ละชุดมีประมาณ 3 - 10 คะแนน ไม่มีค่าผิดปกติ คะแนนสามารถมีค่าบวกและลบ ไม่มีข้อผิดพลาดเกิดขึ้นเมื่อเลือกจุด คำถามของฉันคือ: มีอัลกอริทึมการเรียนรู้ด้วยเครื่องเพื่อเรียนรู้จากชุดเหล่านี้และการเลือกโดยมนุษย์เพื่อให้สามารถตัดสินใจเลือกจุดโดยอัตโนมัติเมื่อได้รับชุดคะแนนใหม่หรือไม่ ชุดใหม่นี้ตรงตามเงื่อนไข 3 ประการแรกจากด้านบนของหลักสูตร 2 ข้อสังเกตสุดท้าย: ตัวอย่างที่ฉันให้เป็นเพียงตัวอย่างที่ฉันสร้างขึ้นเพื่อสนับสนุนแนวคิดเกี่ยวกับจุดในระนาบรอบจุดกำเนิดพร้อมกับจุดที่เลือก ในชีวิตจริงอาจมีโครงสร้างมากขึ้น แต่ตอนนี้ฉันอยากรู้อยากเห็นและอยากจะรู้ว่าสิ่งที่เป็นไปได้สำหรับกรณีนี้ รูปแบบจะเป็นไปได้? สมมติว่าเป็นจุดที่เลือกไว้ประมาณ 2 จุดหรือคุณมีวงกลมที่มีรัศมีตามที่กำหนดแทนคะแนน

1
HDF5 สามารถเขียนและอ่านได้อย่างน่าเชื่อถือพร้อมกันด้วยกระบวนการหลามแบบแยกกันหรือไม่?
ฉันกำลังเขียนสคริปต์เพื่อบันทึกข้อมูลสดตามกาลเวลาเป็นไฟล์ HDF5 เดียวซึ่งรวมถึงชุดข้อมูลทั้งหมดของฉันสำหรับโครงการนี้ ฉันทำงานกับ Python 3.6 และตัดสินใจสร้างเครื่องมือบรรทัดคำสั่งclickเพื่อใช้รวบรวมข้อมูล ความกังวลของฉันคือสิ่งที่จะเกิดขึ้นถ้าสคริปต์รวบรวมข้อมูลคือการเขียนไปยังแฟ้ม HDF5 และยังเพื่อจะ ML พยายามประยุกต์ใช้ในการอ่านข้อมูลจากไฟล์เดียวกันได้หรือไม่ ฉันดูเอกสารของกลุ่ม HDF เกี่ยวกับHDF5 I / O แบบขนานแต่นั่นก็ไม่ได้ทำให้ฉันชัดเจน
9 python  dataset 

2
"ทฤษฎีบทของ Noether ลึก": อาคารในข้อ จำกัด สมมาตร
หากฉันมีปัญหาการเรียนรู้ที่ควรมีความสมมาตรโดยธรรมชาติมีวิธีที่จะทำให้ปัญหาการเรียนรู้ของฉันมีข้อ จำกัด ที่สมมาตรเพื่อปรับปรุงการเรียนรู้หรือไม่? ตัวอย่างเช่นหากฉันกำลังรับรู้ภาพฉันอาจต้องการสมมาตรแบบหมุนได้ 2 มิติ ความหมายว่าเวอร์ชันที่หมุนของรูปภาพควรได้ผลลัพธ์เช่นเดียวกับต้นฉบับ หรือถ้าฉันเรียนรู้ที่จะเล่นโอเอกซ์การหมุนด้วย 90deg น่าจะให้ผลเหมือนกับการเล่นเกมเดียวกัน ได้วิจัยใด ๆ รับการดำเนินการเกี่ยวกับเรื่องนี้?

1
ฉันจะเข้าถึงปัญหาการจำแนกประเภทที่คลาสใดคลาสหนึ่งได้รับการกำหนดโดย 'ไม่ได้อยู่ในคลาสอื่น'
สมมติว่าฉันสนใจในสามชั้น , , c_3แต่ชุดของฉันจริงมีหลายชั้นเรียนจริงมากขึ้น nค1c1c_1ค2c2c_2ค3c3c_3(คJ)nj = 4(cj)j=4n(c_j)_{j=4}^n คำตอบที่ชัดเจนคือการกำหนด classที่อ้างอิงถึงคลาสทั้งหมด ,แต่ฉันสงสัยว่านี่ไม่ใช่ความคิดที่ดีเนื่องจากตัวอย่างในจะหายากและไม่เหมือนกันมากค^4c^4\hat c_4คJcjc_jj > 3j>3j>3ค^4c^4\hat c_4 เพื่อให้เห็นภาพสิ่งที่ฉันพยายามจะพูดสมมติว่าฉันมีพื้นที่ว่างสองตัวแปรต่อไปนี้และคลาส , , ,ถูกอธิบายด้วยสีแดง, til, green และ สีดำตามลำดับ นี่คือวิธีที่ฉันสงสัยว่าข้อมูลของฉันจะเป็นอย่างไรค1c1c_1ค2c2c_2ค3c3c_3ค^4=⋃nJ = 4คJc^4=⋃j=4ncj\hat c_4= \bigcup_{j=4}^n c_j มีวิธีมาตรฐานในการแก้ไขปัญหานี้หรือไม่? อะไรจะเป็นลักษณนามที่มีประสิทธิภาพมากที่สุดและทำไม?

1
t-SNE: ทำไมค่าข้อมูลเท่ากันไม่ปิดทางสายตา
ฉันมีจุดข้อมูล 200 จุดที่มีค่าเหมือนกันกับคุณสมบัติทั้งหมด หลังจากการลดขนาด t-SNE พวกเขาไม่ได้ดูเท่ากันอีกต่อไปเช่นนี้ ทำไมพวกเขาถึงไม่อยู่ในจุดเดียวกันในการสร้างภาพและแม้กระทั่งดูเหมือนว่าจะกระจายอยู่ในสองกลุ่มที่แตกต่างกัน?

4
จำแนกอนุกรมเวลาหลายตัวแปร
ฉันมีชุดข้อมูลที่ประกอบด้วยอนุกรมเวลา (8 คะแนน) ที่มีประมาณ 40 มิติ (ดังนั้นแต่ละชุดเวลาคือ 8 คูณ 40) ouput ที่สอดคล้องกัน (ผลลัพธ์ที่เป็นไปได้สำหรับหมวดหมู่) คือ eitheir 0 หรือ 1 อะไรจะเป็นวิธีที่ดีที่สุดในการออกแบบลักษณนามสำหรับอนุกรมเวลาที่มีหลายมิติ กลยุทธ์เริ่มต้นของฉันคือการดึงคุณสมบัติต่างๆจากอนุกรมเวลาเหล่านั้น: หมายถึงมาตรฐานรูปแบบสูงสุดสำหรับแต่ละมิติ ฉันได้รับชุดข้อมูลที่ฉันใช้ในการฝึกซ้อม RandomTreeForest การตระหนักถึงความไร้เดียงสาทั้งหมดของเรื่องนี้และหลังจากได้รับผลลัพธ์ที่ไม่ดีตอนนี้ฉันกำลังมองหาโมเดลที่ปรับปรุงมากขึ้น โอกาสในการขายของฉันมีดังนี้จัดหมวดหมู่ซีรีส์สำหรับแต่ละมิติ (โดยใช้อัลกอริธึม KNN และ DWT) ลดมิติด้วย PCA และใช้ลักษณนามสุดท้ายตามหมวดหมู่หลายมิติ การเป็น ML ค่อนข้างใหม่ฉันไม่รู้ว่าฉันผิดทั้งหมดหรือเปล่า

3
ทำไมไม่ฝึกโมเดลสุดท้ายกับข้อมูลทั้งหมดหลังจากทำการทดสอบข้อมูลการปรับแต่งพื้นฐานแบบไฮเปอร์พาราเมตริกและข้อมูลการตรวจสอบพื้นฐานการเลือกโมเดล?
จากข้อมูลทั้งหมดฉันหมายถึงการฝึกอบรม + ทดสอบ + การตรวจสอบ เมื่อฉันแก้ไขไฮเปอร์พารามิเตอร์ของฉันโดยใช้ข้อมูลการตรวจสอบความถูกต้องและเลือกแบบจำลองโดยใช้ข้อมูลการทดสอบจะไม่เป็นการดีกว่าที่จะมีแบบจำลองที่ผ่านการฝึกอบรมกับข้อมูลทั้งหมดเพื่อให้พารามิเตอร์ได้รับการฝึกอบรมที่ดีกว่า ข้อมูลรถไฟ

2
มันสมเหตุสมผลไหมที่จะฝึกให้ CNN เป็น autoencoder?
ฉันทำงานกับการวิเคราะห์ข้อมูล EEG ซึ่งในที่สุดจะต้องจัดประเภท อย่างไรก็ตามการได้รับป้ายกำกับสำหรับการบันทึกค่อนข้างแพงซึ่งทำให้ฉันต้องพิจารณาแนวทางที่ไม่ได้รับการดูแลเพื่อใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับจำนวนมากของเรา สิ่งนี้นำไปสู่การพิจารณาตัวเข้ารหัสอัตโนมัติแบบเรียงซ้อนซึ่งอาจเป็นความคิดที่ดี อย่างไรก็ตามมันก็สมเหตุสมผลที่จะใช้โครงข่ายประสาทเทียมเนื่องจากการกรองบางประเภทนั้นเป็นวิธีที่มีประโยชน์มากต่อ EEG และมีแนวโน้มว่ายุคที่ควรพิจารณาจะวิเคราะห์เฉพาะที่และไม่ใช่ทั้งหมด มีวิธีที่ดีในการรวมสองวิธีนี้หรือไม่? ดูเหมือนว่าเมื่อผู้คนใช้ CNN พวกเขามักใช้การฝึกอบรมภายใต้การดูแลหรืออะไร ประโยชน์หลักสองประการของการสำรวจเครือข่ายประสาทเทียมสำหรับปัญหาของฉันดูเหมือนจะเป็นแง่มุมที่ไม่ได้รับการดูแลและการปรับแต่งอย่างละเอียด (มันน่าสนใจที่จะสร้างเครือข่ายข้อมูลประชากรแล้วปรับแต่งสำหรับแต่ละบุคคล) มีใครรู้บ้างไหมว่าฉันสามารถสั่งให้ CNN เป็นเหมือนตัวแปลงสัญญาณอัตโนมัติที่ "พิการ" หรือว่าจะไม่มีประโยชน์หรือไม่? ฉันควรจะพิจารณาสถาปัตยกรรมอื่น ๆ เช่นเครือข่ายความเชื่อที่ลึกซึ้งหรือไม่?

3
เหตุใดจึงต้องใช้ NN แบบ convolutional สำหรับงานตรวจสอบด้วยภาพผ่านการจับคู่แม่แบบ CV แบบคลาสสิก
ฉันมีการสนทนาที่น่าสนใจเกิดขึ้นจากโครงการที่เรากำลังทำอยู่: เหตุใดจึงต้องใช้ระบบตรวจสอบด้วยภาพของ CNN ผ่านอัลกอริทึมการจับคู่แม่แบบ พื้นหลัง: ฉันได้แสดงตัวอย่างของระบบการมองเห็นซีเอ็นเอ็นอย่างง่าย (เว็บแคม + แล็ปท็อป) ที่ตรวจพบว่าวัตถุชนิดใดชนิดหนึ่ง "แตก" / มีข้อบกพร่องหรือไม่ - ในกรณีนี้แผงวงจร PCB โมเดล CNN ของฉันแสดงตัวอย่างแผงวงจรที่เหมาะสมและชำรุด (ประมาณ 100 ภาพของแต่ละภาพ) บนพื้นหลังแบบคงที่ โมเดลของเราใช้เลเยอร์ Conv / maxpool สองสามตัวแรกของ VGG16 ที่ผ่านการฝึกอบรมล่วงหน้า (บน imagenet) และจากนั้นเราเพิ่มการฝึกอบรม / สระว่ายน้ำที่สามารถฝึกอบรมได้อีกสองสามอัน : (is_empty, has_good_product, has_defective_product) รูปแบบการฝึกอบรมได้อย่างง่ายดายและถึง 99% การตรวจสอบตามมาตรฐานไม่มีปัญหา; เรายังได้รับการฝึกฝนด้วยการเพิ่มข้อมูลต่าง ๆ เนื่องจากเรารู้ว่าชุดข้อมูลของเรามีขนาดเล็ก ในทางปฏิบัติมันใช้งานได้ประมาณ 9 ครั้งจาก 10 ครั้ง …

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.