คำถามติดแท็ก keras

เมื่อใช้การเรียกกลับก่อนหยุดในการฝึกซ้อมของ Keras จะหยุดเมื่อตัวชี้วัดบางตัว (โดยปกติสูญเสียการตรวจสอบ) ไม่เพิ่มขึ้น มีวิธีใช้ตัวชี้วัดอื่น (เช่นความแม่นยำการเรียกคืนการวัด f) แทนการสูญเสียการตรวจสอบหรือไม่ ตัวอย่างทั้งหมดที่ฉันเคยเห็นมีความคล้ายคลึงกับนี้: callbacks.EarlyStopping (monitor = 'val_loss', อดทน = 5, verbose = 0, mode = 'auto')

13 machine-learning  neural-network  deep-learning  keras 

ฉันได้รับการพยายามที่จะเข้าใจวิธีการที่จะเป็นตัวแทนของข้อมูลและรูปร่างที่จะทำให้Multidimentionalและหลายตัวแปรเวลาคาดการณ์โดยใช้ Keras (หรือ TensorFlow) ชุด แต่ผมยังไม่ชัดเจนมากหลังจากอ่านบล็อกโพสต์หลาย tutorials / / เอกสารเกี่ยวกับวิธีการที่จะนำเสนอข้อมูลใน รูปร่างที่ถูกต้อง (ตัวอย่างส่วนใหญ่มีค่าน้อยกว่าเล็กน้อย ชุดข้อมูลของฉัน: หลายเมือง ที่ฉันมีข้อมูลเกี่ยวกับพูดอุณหภูมิการจราจรรถยนต์ความชื้น สำหรับพูด 2 ปีที่ผ่านมา (บันทึกหนึ่งรายการในแต่ละวัน) สิ่งที่ฉันต้องการจะทำ: ฉันต้องการที่จะคาดการณ์สำหรับแต่ละเมืองอุณหภูมิที่ฉันคาดหวังสำหรับปีถัดไปโดยใช้รุ่นที่อาจล่าช้า, การจราจรรถยนต์และความชื้น (แน่นอนว่าจะมีคุณสมบัติอื่น ๆ อีกมากมาย แต่นี่เป็นเพียง ตัวอย่างความคิด) สิ่งที่ฉันสับสนเกี่ยวกับ: หากฉันมี 2 เมืองซึ่งฉันบันทึกคุณสมบัติ 3 แห่งไว้สำหรับ 365 วัน ฉันจะกำหนดรูปแบบการป้อนข้อมูลของฉันอย่างไรเพื่อให้แบบจำลองสามารถส่งออกการพยากรณ์เป็นเวลา 365 วันสำหรับเมืองทั้งสองนี้ (เช่นชุดข้อมูลอุณหภูมิ 2 ชุดเป็นเวลา 365 วัน) รูปทรงเทนเซอร์นั้นเป็นไปอย่างง่ายดาย(?, 365, 3)สำหรับ 365 วันและ 3 คุณสมบัติ …

12 python  keras  rnn  lstm 

ฉันกำลังพยายามใช้เลเยอร์ที่แชร์ใน Keras ฉันเห็นว่า Keras มีkeras.layers.concatenateแต่ฉันไม่แน่ใจจากเอกสารเกี่ยวกับการใช้งาน ฉันสามารถใช้มันเพื่อสร้างเลเยอร์ที่ใช้ร่วมกันหลายชั้นได้หรือไม่ อะไรจะเป็นวิธีที่ดีที่สุดในการติดตั้งเครือข่ายประสาทส่วนกลางอย่างง่ายดังที่แสดงด้านล่างโดยใช้ Keras โปรดทราบว่ารูปร่างทั้งหมดของอินพุทเอาท์พุทและเลเยอร์ที่แชร์สำหรับ 3 NN ทั้งหมดนั้นเหมือนกัน มีเลเยอร์ที่แชร์หลายอัน (และเลเยอร์ที่ไม่แชร์) ใน NN สามตัว เลเยอร์สีมีความเป็นเอกลักษณ์ของ NN แต่ละตัวและมีรูปร่างเหมือนกัน โดยทั่วไปรูปภาพแสดงถึง NNs ที่เหมือนกัน 3 รายการพร้อมกับเลเยอร์ที่ซ่อนอยู่หลายชั้นตามด้วยเลเยอร์ที่ซ่อนอยู่ที่ไม่แชร์หลายชั้น ฉันไม่แน่ใจว่าจะแชร์หลายเลเยอร์ได้อย่างไรในตัวอย่าง Twitter มีเลเยอร์ที่แชร์เพียงหนึ่งเลเยอร์ (ตัวอย่างใน API เอกสาร)

12 machine-learning  neural-network  deep-learning  keras  multitask-learning 

ฉันมีชุดข้อมูลหลายมิติขนาดใหญ่ที่สร้างขึ้นในแต่ละวัน อะไรจะเป็นวิธีที่ดีในการตรวจจับความผิดปกติใด ๆ เมื่อเปรียบเทียบกับวันก่อน? นี่เป็นปัญหาที่เหมาะสมที่สามารถจัดการกับโครงข่ายประสาทเทียมได้หรือไม่? ข้อเสนอแนะใด ๆ ที่ชื่นชม ข้อมูลเพิ่มเติม: ไม่มีตัวอย่างดังนั้นวิธีการควรตรวจสอบความผิดปกติของตัวเอง

12 tensorflow  keras  anomaly-detection 

ฉันมีโมเดล + LSTM แบบ convolutional ใน Keras คล้ายกับที่นี่ (อ้างอิง 1) ที่ฉันใช้สำหรับการแข่งขัน Kaggle สถาปัตยกรรมที่แสดงด้านล่าง ฉันได้ฝึกมันในชุดตัวอย่างที่มีป้ายกำกับของฉัน 11000 ตัวอย่าง (สองคลาสความชุกเริ่มต้นคือ ~ 9: 1 ดังนั้นฉันจึงเพิ่ม 1 ต่อ 1 เป็นอัตราส่วน 1/1) สำหรับ 50 epochs ที่มีการตรวจสอบความถูกต้อง 20% ชั่วครู่หนึ่ง แต่ฉันคิดว่ามันสามารถควบคุมเสียงและเลเยอร์กลางคันได้ แบบจำลองดูเหมือนว่าจะเป็นการฝึกอบรมที่ยอดเยี่ยมในตอนท้ายได้คะแนน 91% จากชุดฝึกอบรมทั้งหมด แต่เมื่อทดสอบชุดข้อมูลการทดสอบแล้วขยะสมบูรณ์ ข้อสังเกต: ความแม่นยำในการตรวจสอบความถูกต้องสูงกว่าความแม่นยำในการฝึกอบรม นี่คือสิ่งที่ตรงกันข้ามกับการ overfitting "ทั่วไป" ปรีชาญาณของฉันคือเมื่อแยกการตรวจสอบความถูกต้องของไอซ์เล็กโมเดลยังคงจัดการเพื่อให้พอดีกับชุดอินพุตและการสูญเสียลักษณะทั่วไปมากเกินไป เบาะแสอื่น ๆ คือ val_acc นั้นดีกว่ามาตรฐานดูเหมือนว่าคาว นั่นเป็นสถานการณ์ที่เป็นไปได้มากที่สุดที่นี่ใช่ไหม หากสิ่งนี้มากเกินไปจะเพิ่มการแยกการตรวจสอบที่ลดลงทั้งหมดหรือฉันจะพบปัญหาเดียวกันเนื่องจากโดยเฉลี่ยแต่ละตัวอย่างจะเห็นครึ่งยุคทั้งหมดยังคงอยู่หรือไม่ …

12 keras  cross-validation  overfitting 

ฉันพยายามที่จะใช้กระดาษนี้ในชุดของภาพทางการแพทย์ ฉันกำลังทำอยู่ใน Keras เครือข่ายประกอบด้วยเลเยอร์ Conv 4 และ max-pool ตามด้วยเลเยอร์ที่เชื่อมต่อเต็มที่และซอฟต์แวร์ลักษณนามสูงสุด เท่าที่ฉันรู้ฉันได้ปฏิบัติตามสถาปัตยกรรมที่กล่าวถึงในกระดาษ อย่างไรก็ตามการสูญเสียการตรวจสอบและความถูกต้องเพียงแค่คงอยู่ตลอด ความแม่นยำดูเหมือนจะถูกแก้ไขที่ ~ 57.5% ความช่วยเหลือใด ๆ ที่ฉันอาจจะผิดพลาดจะได้รับการชื่นชมอย่างมาก รหัสของฉัน: from keras.models import Sequential from keras.layers import Activation, Dropout, Dense, Flatten from keras.layers import Convolution2D, MaxPooling2D from keras.optimizers import SGD from keras.utils import np_utils from PIL import Image import numpy as np …

12 machine-learning  python  deep-learning  keras 

ฉันพยายามกำหนด fuction เมตริกที่กำหนดเอง (คะแนน F1) ใน Keras (Tensorflow แบ็กเอนด์) ตามต่อไปนี้: def f1_score(tags, predicted): tags = set(tags) predicted = set(predicted) tp = len(tags & predicted) fp = len(predicted) - tp fn = len(tags) - tp if tp>0: precision=float(tp)/(tp+fp) recall=float(tp)/(tp+fn) return 2*((precision*recall)/(precision+recall)) else: return 0 จนถึงตอนนี้ดีมาก แต่เมื่อฉันพยายามใช้มันในการรวบรวมแบบจำลอง: model1.compile(loss="binary_crossentropy", optimizer=Adam(), metrics=[f1_score]) มันให้ข้อผิดพลาด: TypeError …

12 tensorflow  keras  evaluation 

มีกฎของหัวแม่มือ (หรือกฎจริง) ที่เกี่ยวข้องกับจำนวน LSTM ขั้นต่ำ, สูงสุดและ "สมเหตุสมผล" ที่ฉันควรใช้หรือไม่? โดยเฉพาะฉันเกี่ยวข้องกับBasicLSTMCellจาก TensorFlow และnum_unitsคุณสมบัติ โปรดสมมติว่าฉันมีปัญหาการจำแนกที่กำหนดโดย: t - number of time steps n - length of input vector in each time step m - length of output vector (number of classes) i - number of training examples ตัวอย่างจริงหรือไม่ที่จำนวนตัวอย่างการฝึกอบรมควรมากกว่า: 4*((n+1)*m + m*m)*c ที่cเป็นจำนวนของเซลล์? ฉันใช้สิ่งนี้: จะคำนวณจำนวนพารามิเตอร์ของเครือข่าย …

12 rnn  machine-learning  r  predictive-modeling  random-forest  python  language-model  sentiment-analysis  encoding  machine-learning  deep-learning  neural-network  dataset  caffe  classification  xgboost  multiclass-classification  unbalanced-classes  time-series  descriptive-statistics  python  r  clustering  machine-learning  python  deep-learning  tensorflow  machine-learning  python  predictive-modeling  probability  scikit-learn  svm  machine-learning  python  classification  gradient-descent  regression  research  python  neural-network  deep-learning  convnet  keras  python  tensorflow  machine-learning  deep-learning  tensorflow  python  r  bigdata  visualization  rstudio  pandas  pyspark  dataset  time-series  multilabel-classification  machine-learning  neural-network  ensemble-modeling  kaggle  machine-learning  linear-regression  cnn  convnet  machine-learning  tensorflow  association-rules  machine-learning  predictive-modeling  training  model-selection  neural-network  keras  deep-learning  deep-learning  convnet  image-classification  predictive-modeling  prediction  machine-learning  python  classification  predictive-modeling  scikit-learn  machine-learning  python  random-forest  sampling  training  recommender-system  books  python  neural-network  nlp  deep-learning  tensorflow  python  matlab  information-retrieval  search  search-engine  deep-learning  convnet  keras  machine-learning  python  cross-validation  sampling  machine-learning 

ฉันกำลังสร้างต้นแบบแอปพลิเคชันและฉันต้องการโมเดลภาษาเพื่อคำนวณความงุนงงในประโยคที่สร้างขึ้น มีรูปแบบภาษาที่ผ่านการฝึกอบรมในภาษาไพ ธ อนที่ฉันสามารถใช้ได้หรือไม่? บางสิ่งที่เรียบง่ายเช่น model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') assert p1 < p2 ฉันดูบางกรอบ แต่ไม่สามารถค้นหาสิ่งที่ฉันต้องการ ฉันรู้ว่าฉันสามารถใช้สิ่งที่ชอบ: from nltk.model.ngram import NgramModel lm = NgramModel(3, brown.words(categories='news')) สิ่งนี้ใช้การแจกแจงความน่าจะเป็นที่ดีใน Brown Corpus แต่ฉันกำลังมองหาโมเดลที่สร้างขึ้นอย่างดีในชุดข้อมูลขนาดใหญ่เช่นชุดข้อมูลคำ 1b สิ่งที่ฉันสามารถเชื่อถือได้จริง ๆ ผลลัพธ์สำหรับโดเมนทั่วไป (ไม่เพียงข่าว)

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

ฉันเพิ่งสร้างเครือข่ายประสาท LSTMนี้ด้วย Keras import numpy as np import pandas as pd from sklearn import preprocessing from keras.layers.core import Dense, Dropout, Activation from keras.activations import linear from keras.layers.recurrent import LSTM from keras.models import Sequential from matplotlib import pyplot #read and prepare data from datafile data_file_name = "DailyDemand.csv" data_csv = pd.read_csv(data_file_name, delimiter …

11 machine-learning  python  keras  prediction  forecasting 

ฉันกำลังทำงานกับ Python, scikit-learn และ keras ฉันมี 3000 พันภาพของนาฬิกาหน้าต้องเผชิญเช่นคนต่อไปนี้: Watch_1 , Watch_2 , Watch_3 ฉันต้องการเขียนโปรแกรมที่ได้รับเป็นรูปถ่ายของนาฬิกาจริงซึ่งอาจถ่ายภายใต้เงื่อนไขในอุดมคติน้อยกว่าภาพถ่ายด้านบน (สีพื้นหลังที่แตกต่างกันสายฟ้าที่มืดกว่า ฯลฯ ) และค้นหานาฬิกาที่คล้ายกันมากที่สุดในบรรดานาฬิกา 3000 เรือน ตามความคล้ายคลึงกันฉันหมายความว่าถ้าฉันให้รูปถ่ายของนาฬิกากลมสีน้ำตาลด้วยลูกไม้บาง ๆ ฉันก็คาดว่าจะเป็นนาฬิการูปทรงกลมสีเข้มและลูกไม้บาง ๆ อัลกอริทึมการเรียนรู้ของเครื่องที่มีประสิทธิภาพที่สุดในการทำเช่นนี้คืออะไร? ตัวอย่างเช่นโดยไปที่ลิงค์นี้ฉันมีสองโซลูชั่นที่แตกต่างกันในใจของฉัน: 1) ใช้ CNN เป็นตัวแยกคุณลักษณะและเปรียบเทียบระยะห่างระหว่างคุณลักษณะเหล่านี้สำหรับทุกคู่ของรูปภาพที่อ้างอิงถึงภาพอินพุต 2) ใช้ CNN สองตัวในเครือข่ายประสาทสยามเพื่อเปรียบเทียบภาพ ตัวเลือกทั้งสองนี้เป็นตัวเลือกที่ดีที่สุดสำหรับงานนี้หรือคุณจะแนะนำอย่างอื่นหรือไม่? คุณรู้จักโครงข่ายประสาทเทียมที่ได้รับการฝึกอบรมมาก่อน (พร้อมพารามิเตอร์ไฮเปอร์พารามิเตอร์) สำหรับงานนี้หรือไม่? ฉันได้พบโพสต์ที่น่าสนใจบางใน StackOverflow เกี่ยวกับเรื่องนี้ แต่พวกเขามีความเก่าแก่สวย: Post_1 , Post_2 , Post_3

11 python  neural-network  keras 

ฉันกำลังทำงานกับโมเดล Seq2Seqโดยใช้ LSTM จาก Keras (โดยใช้พื้นหลัง Theano) และฉันต้องการที่จะทำให้กระบวนการเป็นคู่ขนานกันเพราะแม้แต่ข้อมูลไม่กี่ MB ก็ต้องใช้เวลาฝึกอบรมหลายชั่วโมง เป็นที่ชัดเจนว่า GPU นั้นดีกว่าในการขนานมากกว่า CPU ในขณะนี้ฉันมี CPU เท่านั้นที่จะทำงานได้ ฉันสามารถเข้าถึง 16 CPUs (2 เธรดต่อคอร์ X 4 คอร์ต่อซ็อกเก็ต X 2 ซ็อกเก็ต) จากเอกสารของการสนับสนุนมัลติคอร์ใน Theano ฉันจัดการเพื่อใช้ทั้งสี่คอร์ของซ็อกเก็ตเดียว ดังนั้นโดยทั่วไปซีพียูจะใช้งานที่ 400% เมื่อใช้ 4CPU และส่วนที่เหลืออีก 12 CPU ก็ยังไม่ได้ใช้งาน ฉันจะใช้ประโยชน์จากพวกเขาได้อย่างไร Tensorflow สามารถใช้แทนพื้นหลัง Theano ได้หากใช้งานได้

11 tensorflow  keras  theano  parallel 

ฉันกำลังพยายามสร้างระบบรู้จำท่าทางเพื่อจำแนกASL (ภาษามือแบบอเมริกัน)ท่าทางดังนั้นการป้อนข้อมูลของฉันควรเป็นลำดับของเฟรมไม่ว่าจะเป็นจากกล้องหรือไฟล์วิดีโอจากนั้นมันจะตรวจจับลำดับและแมปตามความเหมาะสม ชั้นเรียน (การนอนหลับการช่วยเหลือการกินการวิ่งเป็นต้น) สิ่งนี้คือฉันได้สร้างระบบที่คล้ายกันแล้ว แต่สำหรับรูปภาพแบบสแตติก (ไม่รวมการเคลื่อนไหว) มันมีประโยชน์สำหรับการแปลตัวอักษรเฉพาะในการสร้างซีเอ็นเอ็นนั้นเป็นงานที่ตรงไปตรงมาเนื่องจากมือไม่ขยับมากและ โครงสร้างชุดข้อมูลก็จัดการได้เช่นกันเมื่อฉันใช้kerasและอาจยังตั้งใจจะทำเช่นนั้น (ทุก ๆ โฟลเดอร์มีชุดภาพสำหรับสัญญาณเฉพาะและชื่อของโฟลเดอร์คือชื่อคลาสของเครื่องหมายนี้เช่น A, B, C , .. ) คำถามของฉันที่นี่ว่าฉันสามารถจัดชุดข้อมูลของฉันเพื่อให้สามารถป้อนข้อมูลลงในRNNใน keras และสิ่งที่ฟังก์ชั่นบางอย่างที่ฉันควรใช้ให้เกิดประสิทธิภาพในการฝึกอบรมรุ่นและพารามิเตอร์ใด ๆ ที่จำเป็นของฉันบางคนแนะนำให้ใช้TimeDistributedชั้น แต่ฉันทำไม่ได้ มีความคิดที่ชัดเจนเกี่ยวกับวิธีการใช้เพื่อประโยชน์ของฉันและคำนึงถึงรูปร่างอินพุตของทุกเลเยอร์ในเครือข่าย การพิจารณาว่าชุดข้อมูลของฉันจะประกอบด้วยภาพฉันอาจต้องใช้เลเยอร์ convolutional เป็นไปได้อย่างไรที่จะรวมเลเยอร์Convเข้ากับLSTMหนึ่ง (ฉันหมายถึงในแง่ของรหัส) ตัวอย่างเช่นฉันจินตนาการว่าชุดข้อมูลของฉันเป็นแบบนี้ โฟลเดอร์ที่ชื่อว่า 'Run' มี 3 โฟลเดอร์ 1, 2 และ 3 แต่ละโฟลเดอร์สอดคล้องกับเฟรมในลำดับ ดังนั้นRun_1จะมีชุดของภาพสำหรับกรอบแรกบางRun_2สำหรับกรอบสองและRun_3สำหรับสามรูปแบบของฉันวัตถุประสงค์คือการได้รับการอบรมที่มีลำดับนี้การส่งออกคำเรียก

10 neural-network  deep-learning  keras  rnn  lstm 

รายละเอียด: GPU : GTX 1080 การฝึกอบรม : ~ 1.1 ล้านภาพเป็นของ 10 คลาส การตรวจสอบความถูกต้อง : ~ 150 ภาพที่เป็นของ 10 คลาส เวลาต่อยุค : ~ 10 ชั่วโมง ฉันตั้งค่า CUDA, cuDNN และ Tensorflow (Tensorflow GPU ด้วย) ฉันไม่คิดว่าแบบจำลองของฉันมีความซับซ้อนซึ่งใช้เวลา 10 ชั่วโมงต่อยุค ฉันยังตรวจสอบว่า GPU ของฉันเป็นปัญหาหรือไม่ เป็นเวลาการฝึกอบรมเนื่องจากเลเยอร์ที่เชื่อมต่อเต็มที่หรือไม่ โมเดลของฉัน: model = Sequential() model.add() model.add(Conv2D(64, (3, 3), padding="same", strides=2)) model.add(Activation('relu')) …

10 machine-learning  python  keras 

ข้อมูลประกอบ: ในขณะที่โครงข่ายประสาทเทียมที่เหมาะสมพร้อมการเปิดใช้งาน relu ฉันพบว่าบางครั้งคำทำนายนั้นใกล้เคียงกับค่าคงที่ ฉันเชื่อว่านี่เป็นเพราะเซลล์ประสาท relu ตายในระหว่างการฝึกอบรมตามที่ระบุไว้ที่นี่ ( ปัญหา "ตาย ReLU" ในเครือข่ายประสาทคืออะไร ) คำถาม: สิ่งที่ฉันหวังว่าจะทำคือการใช้การตรวจสอบในรหัสเพื่อตรวจสอบว่าเซลล์ประสาทเสียชีวิตหรือไม่ หลังจากนั้นรหัสสามารถปรับโฉมเครือข่ายได้หากจำเป็น ดังนั้นเกณฑ์ที่ดีในการตรวจสอบเซลล์ประสาทที่ตายแล้วคืออะไร ขณะนี้ฉันกำลังคิดที่จะตรวจสอบความแปรปรวนต่ำในการทำนายว่าเป็นเกณฑ์ ถ้ามันช่วยได้ฉันใช้ keras

10 machine-learning  neural-network  keras