คำถามติดแท็ก loss-functions

ฉันกำลังฝึกโครงข่ายประสาทเทียมเพื่อจัดกลุ่มวัตถุเป็นคลาส n แต่ละวัตถุสามารถเป็นของหลายคลาสในเวลาเดียวกัน (หลายคลาสหลายป้าย) ฉันอ่านว่าสำหรับปัญหาหลายคลาสแนะนำโดยทั่วไปให้ใช้ softmax และหมวดหมู่ข้ามเอนโทรปีเป็นฟังก์ชั่นการสูญเสียแทน mse และฉันเข้าใจมากขึ้นหรือน้อยลงว่าทำไม สำหรับปัญหาของฉันเกี่ยวกับมัลติ - เลเบลมันไม่สมเหตุสมผลที่จะใช้ซอฟต์แม็กซ์แน่นอนเพราะความน่าจะเป็นในแต่ละชั้นควรเป็นอิสระจากที่อื่น ดังนั้นชั้นสุดท้ายของฉันคือหน่วย sigmoid ที่สควอชใส่ลงในช่วงความน่าจะเป็น 0..1 สำหรับทุกชั้น ตอนนี้ฉันไม่แน่ใจว่าฟังก์ชั่นการสูญเสียที่ฉันควรใช้สำหรับสิ่งนี้ เมื่อพิจารณาถึงคำจำกัดความของ crossentropy ที่เป็นหมวดหมู่ฉันเชื่อว่ามันจะใช้ไม่ได้กับปัญหานี้เพราะมันจะคำนึงถึงผลลัพธ์ของเซลล์ประสาทที่ควรจะเป็น 1 เท่านั้นและไม่สนใจสิ่งอื่น เอนโทรปีของ Binary cross ดูเหมือนว่าจะเหมาะกว่า แต่ฉันเห็นเพียงว่ามันเคยถูกกล่าวถึงสำหรับปัญหาการจำแนกเลขฐานสองด้วยเซลล์ประสาทเอาท์พุทเดี่ยว ฉันใช้ python และ keras เพื่อฝึกฝนในกรณีที่มันสำคัญ

64 neural-networks  python  loss-functions  keras  cross-entropy 

ฟังก์ชั่นค่าใช้จ่ายของเครือข่ายประสาทเป็นและมันจะอ้างว่าเป็นที่ไม่นูน ฉันไม่เข้าใจว่าทำไมมันถึงเป็นเช่นนั้นเพราะเมื่อฉันเห็นว่ามันค่อนข้างคล้ายกับฟังก์ชันต้นทุนของการถดถอยโลจิสติกใช่มั้ยJ(W,b)J(W,b)J(W,b) ถ้ามันไม่ใช่แบบนูนดังนั้นอนุพันธ์อันดับสองใช่ไหม?∂J∂W&lt;0∂J∂W&lt;0\frac{\partial J}{\partial W} < 0 UPDATE ขอบคุณคำตอบด้านล่างรวมถึงความคิดเห็นของ @ gung ฉันได้รับประเด็นของคุณหากไม่มีเลเยอร์ที่ซ่อนอยู่เลยมันก็นูนเหมือนการถดถอยโลจิสติก แต่ถ้ามีเลเยอร์ที่ซ่อนอยู่โดยอนุญาตให้โหนดในเลเยอร์ที่ซ่อนอยู่รวมถึงตุ้มน้ำหนักในการเชื่อมต่อที่ตามมาเราอาจมีวิธีแก้ปัญหาหลายอย่างของน้ำหนักที่ทำให้สูญเสียเหมือนกัน ตอนนี้คำถามเพิ่มเติม 1) มีหลายท้องถิ่นน้อยและบางอันควรมีค่าเท่ากันเนื่องจากมันสอดคล้องกับบางโหนดและการเปลี่ยนลำดับน้ำหนักใช่ไหม? 2) ถ้าโหนดและตุ้มน้ำหนักไม่ได้ถูกดัดแปรเลยงั้นมันก็จะโค้งงั้นเหรอ? และ Minima จะเป็น Minima ทั่วโลก ถ้าเป็นเช่นนั้นคำตอบของ 1) คือ minima ท้องถิ่นทั้งหมดนั้นจะมีค่าเท่ากันถูกต้องหรือไม่

36 neural-networks  loss-functions 

ก่อนอื่นฉันรู้ว่าฉันต้องทำการคาดคะเนไบนารีฉันต้องสร้างคลาสอย่างน้อยสองคลาสผ่านการเข้ารหัสหนึ่งครั้ง ถูกต้องหรือไม่ อย่างไรก็ตามเอนโทรปีของไบนารีไขว้สำหรับการทำนายด้วยคลาสเดียวเท่านั้น? หากฉันต้องใช้การสูญเสียเอนโทรปีของการจำแนกอย่างเป็นหมวดหมู่ซึ่งมักพบในห้องสมุดส่วนใหญ่ (เช่น TensorFlow) จะมีความแตกต่างที่สำคัญหรือไม่ ในความเป็นจริงอะไรคือความแตกต่างที่แน่นอนระหว่างเอนโทรปีของการแบ่งประเภทและการข้ามแบบไบนารี? ฉันไม่เคยเห็นการใช้งานของเอนโทรปีของการข้ามเลขฐานสองใน TensorFlow ดังนั้นฉันคิดว่าบางทีหมวดหมู่อาจใช้ได้ดี

35 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

ฉันสับสนเล็กน้อยกับการบรรยายเกี่ยวกับการถดถอยเชิงเส้นที่ Andrew Ng ให้กับ Coursera เกี่ยวกับการเรียนรู้ของเครื่อง ที่นั่นเขาได้จัดทำฟังก์ชั่นต้นทุนที่จะลดผลรวมของกำลังสองเป็น: 12m∑i=1m(hθ(X(i))−Y(i))212m∑i=1m(hθ(X(i))−Y(i))2 \frac{1}{2m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 ฉันเข้าใจว่ามาจากไหน ฉันคิดว่าเขาทำเพื่อที่ว่าเมื่อเขาทำอนุพันธ์บนเทอมสแควร์, 2 ในเทอมสแควร์จะยกเลิกด้วยครึ่งหนึ่ง แต่ฉันไม่เข้าใจว่ามาจากไหน 11212\frac{1}{2}1m1m\frac{1}{m} ทำไมเราต้องทำ ? ในการถดถอยเชิงเส้นมาตรฐานเราไม่มีมันเราแค่ลดจำนวนเหลือ ทำไมเราต้องการที่นี่?1m1m\frac{1}{m}

31 regression  machine-learning  loss-functions 

คำว่า "สูญเสีย" ตรงกันกับ "ข้อผิดพลาด" หรือไม่? มีคำจำกัดความแตกต่างกันหรือไม่? นอกจากนี้ต้นกำเนิดของคำว่า "การสูญเสีย" คืออะไร? NB: ฟังก์ชั่นข้อผิดพลาดที่กล่าวถึงที่นี่จะไม่สับสนกับข้อผิดพลาดปกติ

31 loss-functions 

ฉันอ่านเกี่ยวกับฟังก์ชั่นการสูญเสียสองรุ่นสำหรับการถดถอยโลจิสติกส์ซึ่งเป็นรุ่นใดที่ถูกต้องและเพราะเหตุใด จากMachine Learning , Zhou ZH (ภาษาจีน), ด้วย :β=(w,b) and βTx=wTx+bβ=(w,b) and βTx=wTx+b\beta = (w, b)\text{ and }\beta^Tx=w^Tx +b l(β)=∑i=1m(−yiβTxi+ln(1+eβTxi))(1)(1)l(β)=∑i=1m(−yiβTxi+ln⁡(1+eβTxi))l(\beta) = \sum\limits_{i=1}^{m}\Big(-y_i\beta^Tx_i+\ln(1+e^{\beta^Tx_i})\Big) \tag 1 จากหลักสูตรวิทยาลัยของฉันด้วย :zi=yif(xi)=yi(wTxi+b)zi=yif(xi)=yi(wTxi+b)z_i = y_if(x_i)=y_i(w^Tx_i + b) L(zi)=log(1+e−zi)(2)(2)L(zi)=log⁡(1+e−zi)L(z_i)=\log(1+e^{-z_i}) \tag 2 ฉันรู้ว่าอันแรกคือการสะสมของตัวอย่างทั้งหมดและอันที่สองสำหรับตัวอย่างเดียว แต่ฉันอยากรู้มากขึ้นเกี่ยวกับความแตกต่างในรูปแบบของฟังก์ชันการสูญเสียสองอย่าง อย่างใดฉันมีความรู้สึกว่าพวกเขาจะเทียบเท่า

30 logistic  loss-functions 

ฉันจะอธิบายปัญหาด้วยตัวอย่าง สมมติว่าคุณต้องการที่จะทำนายรายได้ของแต่ละบุคคลที่มีคุณลักษณะบางอย่าง: {อายุ, เพศ, ประเทศ, ภูมิภาค, เมือง} คุณมีชุดข้อมูลการฝึกอบรมเช่นนั้น train &lt;- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID Age Gender Income 1 1 1 1 23 M 31 2 1 1 1 48 F 42 3 …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

ยกตัวอย่างเช่นใช้ฟังก์ชันวัตถุประสงค์ของโมเดล XGBoost ในการวนซ้ำ 'th:tเสื้อt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(เสื้อ)=Σผม=1nℓ(Yผม,Y^ผม(เสื้อ-1)+ฉเสื้อ(xผม))+Ω(ฉเสื้อ)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) ที่เป็นฟังก์ชั่นการสูญเสียเป็น 'เอาท์พุทต้นไม้ TH และเป็นกู หนึ่งในขั้นตอนสำคัญ (มากมาย) สำหรับการคำนวณที่รวดเร็วคือการประมาณ:ℓℓ\ellftฉเสื้อf_ttเสื้อtΩΩ\Omega L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), โดยที่และเป็นอนุพันธ์อันดับหนึ่งและสองของฟังก์ชันการสูญเสียgigig_ihihih_i สิ่งที่ฉันขอคือข้อโต้แย้งที่น่าเชื่อถือเพื่อทำให้เข้าใจผิดว่าเหตุใดการประมาณข้างต้นจึงทำงาน: 1) XGBoost ที่มีการประมาณด้านบนเปรียบเทียบกับ XGBoost กับฟังก์ชั่นวัตถุประสงค์ได้อย่างไร สิ่งที่น่าสนใจพฤติกรรมที่มีลำดับสูงกว่าจะหายไปในการประมาณ? 2) มันค่อนข้างยากที่จะเห็นภาพ (และขึ้นอยู่กับฟังก์ชั่นการสูญเสีย) แต่ถ้าฟังก์ชั่นการสูญเสียมีองค์ประกอบลูกบาศก์ขนาดใหญ่แล้วการประมาณอาจจะล้มเหลว มันเป็นวิธีการที่ไม่ก่อให้เกิดปัญหาสำหรับ XGBoost?

28 optimization  loss-functions  boosting  xgboost  taylor-series 

เรารู้ว่าฟังก์ชันวัตถุประสงค์บางอย่างนั้นง่ายต่อการปรับให้เหมาะสมและบางฟังก์ชันก็ยาก และมีฟังก์ชั่นการสูญเสียมากมายที่เราต้องการใช้ แต่ยากที่จะใช้เช่นการสูญเสีย 0-1 ดังนั้นเราจึงหาฟังก์ชั่นการสูญเสียพร็อกซีเพื่อทำงาน ตัวอย่างเช่นเราใช้การสูญเสียบานพับหรือการสูญเสียโลจิสติกเพื่อ "การสูญเสีย" โดยประมาณ 0-1 ต่อไปนี้พล็อตมาจากหนังสือ PRML คริสบิชอป การสูญเสียบานพับถูกพล็อตเป็นสีน้ำเงินบันทึกการสูญเสียในสีแดง, การสูญเสียสแควร์ในสีเขียวและข้อผิดพลาด 0/1 ในสีดำ ฉันเข้าใจว่าเหตุผลที่เรามีการออกแบบ (สำหรับบานพับและการสูญเสียโลจิสติก) คือเราต้องการให้ฟังก์ชันวัตถุประสงค์นูนออกมา โดยดูที่การสูญเสียและการสูญเสียบานพับโลจิสติกก็ลงโทษเพิ่มเติมเกี่ยวกับกรณีแบ่งอย่างยิ่งและที่น่าสนใจก็ยังจัดได้อย่างถูกต้องลงโทษกรณีถ้าพวกเขาจะจัดอย่างอ่อน มันเป็นการออกแบบที่แปลกจริงๆ คำถามของฉันคือราคาที่เราต้องจ่ายโดยใช้ "ฟังก์ชั่นการสูญเสียพร็อกซี" ที่แตกต่างกันเช่นการสูญเสียบานพับและการสูญเสียโลจิสติกคืออะไร?

27 machine-learning  classification  optimization  loss-functions 

เมื่อทำการฝึกอบรมการแบ่งส่วนพิกเซลของโครงข่ายประสาทเทียมเช่นเครือข่าย convolutional ทั้งหมดคุณจะตัดสินใจใช้ฟังก์ชั่นการสูญเสียข้ามเอนโทรปีกับฟังก์ชันการสูญเสียค่าสัมประสิทธิ์ Dice ได้อย่างไร? ฉันรู้ว่านี่เป็นคำถามสั้น ๆ แต่ไม่แน่ใจว่าจะให้ข้อมูลอื่นใดอีก ฉันดูเอกสารจำนวนมากเกี่ยวกับฟังก์ชั่นการสูญเสียสองอย่าง แต่ไม่สามารถเข้าใจได้ง่ายว่าจะใช้ฟังก์ชันใดฟังก์ชันหนึ่ง

27 neural-networks  loss-functions  cross-entropy 

การสูญเสียการฝึกอบรมของฉันลดลงจากนั้นขึ้นอีกครั้ง มันแปลกมาก การสูญเสียการตรวจสอบข้ามติดตามการสูญเสียการฝึกอบรม เกิดอะไรขึ้น? ฉันมี LSTMS สองกองซ้อนกันดังต่อไปนี้ (บน Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') ฉันฝึกฝนมาเป็น 100 Epochs: model.fit(X_train, np.array(y_train), batch_size=1024, nb_epoch=100, validation_split=0.2) อบรมเกี่ยวกับตัวอย่าง 127803 ตรวจสอบตัวอย่าง 31951 และนั่นคือลักษณะของการสูญเสีย:

26 machine-learning  neural-networks  loss-functions  lstm 

ฉันกำลังพยายามใช้การไล่ระดับสีพื้นฐานและฉันทดสอบด้วยฟังก์ชันการสูญเสียบานพับเช่นlhinge=max(0,1−y x⋅w)lhinge=max(0,1−y x⋅w)l_{\text{hinge}} = \max(0,1-y\ \boldsymbol{x}\cdot\boldsymbol{w})}) อย่างไรก็ตามฉันสับสนเกี่ยวกับการไล่ระดับสีของการสูญเสียบานพับ ฉันอยู่ภายใต้ความประทับใจที่มันเป็น ∂∂wlhinge={−y x0if y x⋅w&lt;1if y x⋅w≥1∂∂wlhinge={−y xif y x⋅w&lt;10if y x⋅w≥1 \frac{\partial }{\partial w}l_{\text{hinge}} = \begin{cases} -y\ \boldsymbol{x} &\text{if } y\ \boldsymbol{x}\cdot\boldsymbol{w} < 1 \\ 0&\text{if } y\ \boldsymbol{x}\cdot\boldsymbol{w} \geq 1 \end{cases} แต่นี่จะไม่ส่งกลับเมทริกซ์ที่มีขนาดเท่ากับxx\boldsymbol{x}หรือไม่ ฉันคิดว่าเราต้องการคืนเวกเตอร์ที่มีความยาวww\boldsymbol{w} ? เห็นได้ชัดว่าฉันมีอะไรบางอย่างสับสน ใครบางคนสามารถชี้ไปในทิศทางที่ถูกต้องที่นี่? ฉันได้รวมรหัสพื้นฐานไว้ในกรณีที่คำอธิบายงานของฉันไม่ชัดเจน #Run standard gradient descent …

25 loss-functions 

ฉันกำลังพยายามทำความเข้าใจกับการถดถอยเชิงปริมาณ แต่สิ่งหนึ่งที่ทำให้ฉันต้องทนทุกข์คือทางเลือกของฟังก์ชั่นการสูญเสีย ρτ(u)=u(τ−1{u&lt;0})ρτ(u)=u(τ−1{u&lt;0})\rho_\tau(u) = u(\tau-1_{\{u<0\}}) ฉันรู้ว่าความคาดหวังขั้นต่ำของเท่ากับ -quantile แต่อะไรคือเหตุผลเชิงสัญชาตญาณที่จะเริ่มต้นด้วยฟังก์ชั่นนี้? ฉันไม่เห็นความสัมพันธ์ระหว่างการลดฟังก์ชั่นนี้และควอนไทล์ ใครสามารถอธิบายให้ฉันได้ไหมτρτ(y−u)ρτ(y−u)\rho_\tau(y-u)τ%τ%\tau\%

24 quantiles  loss-functions  quantile-regression 

ปัญหา ในการถดถอยเรามักจะคำนวณความผิดพลาดกำลังสองเฉลี่ย (MSE) สำหรับตัวอย่าง: เพื่อวัดคุณภาพของเครื่องทำนายMSE=1n∑i=1n(g(xi)−gˆ(xi))2MSE=1n∑i=1n(g(xi)−g^(xi))2 \text{MSE} = \frac{1}{n} \sum_{i=1}^n\left(g(x_i) - \widehat{g}(x_i)\right)^2 ตอนนี้ฉันกำลังทำงานกับปัญหาการถดถอยที่เป้าหมายคือการคาดการณ์ราคาที่ลูกค้ายินดีจ่ายสำหรับผลิตภัณฑ์ที่มีคุณสมบัติเป็นตัวเลขจำนวนหนึ่ง หากราคาที่คาดการณ์ไว้สูงเกินไปไม่มีลูกค้าจะซื้อผลิตภัณฑ์ แต่การสูญเสียทางการเงินต่ำเพราะราคาสามารถลดลงได้ง่าย แน่นอนว่าไม่ควรสูงเกินไปเพราะอาจไม่สามารถซื้อผลิตภัณฑ์ได้เป็นเวลานาน ในทางกลับกันหากราคาที่คาดการณ์ไว้ต่ำเกินไปผลิตภัณฑ์จะถูกซื้ออย่างรวดเร็วโดยไม่มีโอกาสปรับราคา กล่าวอีกนัยหนึ่งอัลกอริทึมการเรียนรู้ควรทำนายราคาที่สูงขึ้นเล็กน้อยซึ่งสามารถลดลงได้หากจำเป็นแทนที่จะประเมินราคาที่แท้จริงต่ำกว่าซึ่งจะส่งผลให้เกิดการสูญเสียเงินทันที คำถาม คุณจะออกแบบเมตริกข้อผิดพลาดที่รวมค่าใช้จ่ายไม่สมดุลนี้ได้อย่างไร ทางออกที่เป็นไปได้ วิธีการกำหนดฟังก์ชั่นการสูญเสียแบบอสมมาตรคือเพียงแค่คูณด้วยน้ำหนัก: โดยที่เป็นพารามิเตอร์ที่เราสามารถปรับเปลี่ยนระดับของความไม่สมดุลได้ ฉันได้พบมันนี่ ดูเหมือนว่าสิ่งที่ตรงไปตรงมาที่สุดที่จะทำในขณะที่ยังคงสูญเสียกำลังสอง1n∑i=1n∣∣α−1(g(xi)−gˆ(xi))&lt;0∣∣⋅(g(xi)−gˆ(xi))21n∑i=1n|α−1(g(xi)−g^(xi))&lt;0|⋅(g(xi)−g^(xi))2 \frac{1}{n} \sum_{i=1}^n \left| \alpha - \mathbb{1}_{(g(x_i) - \widehat{g}(x_i)) < 0} \right|\cdot \left(g(x_i) - \widehat{g}(x_i)\right)^2 α∈(0,1)α∈(0,1)\alpha \in (0,1)

24 regression  error  loss-functions 

ดังนั้นฉันจึงถูกถามคำถามที่มาตรการกลาง L1 (เช่น Lasso) และ L2 (เช่นการถดถอยสัน) ประเมิน คำตอบคือ L1 = ค่ามัธยฐานและ L2 = ค่าเฉลี่ย มีเหตุผลแบบนี้หรือไม่? หรือว่าจะต้องมีการกำหนดทางพีชคณิต? ถ้าเป็นเช่นนั้นฉันจะทำยังไงต่อ

24 lasso  regularization  loss-functions  ridge-regression