คำถามติดแท็ก optimization

วรรณกรรมการเรียนรู้ลึกนั้นเต็มไปด้วยเทคนิคที่ชาญฉลาดโดยใช้อัตราการเรียนรู้ที่ไม่คงที่ในการไล่ระดับสี สิ่งต่าง ๆ เช่นการสลายตัวแบบเอ็กซ์โพเนนเชียล, RMSprop, Adagrad ฯลฯ นั้นง่ายต่อการติดตั้งและมีอยู่ในชุดการเรียนรู้ลึก ๆ มีเหตุผลสำหรับสิ่งนี้หรือไม่? ถ้าเป็นที่คนไม่สนใจมีเหตุผลทำไมเราไม่ต้องดูแลนอกเครือข่ายประสาท?

14 machine-learning  deep-learning  optimization  gradient-descent 

คำถามนี้เกี่ยวกับการประมาณค่าความน่าจะเป็นสูงสุด (REML) ที่ จำกัด ในรุ่นเฉพาะของตัวแบบเชิงเส้นกล่าวคือ: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), ที่X(α)X(α)X(\alpha)เป็น ( n×pn×pn \times p ) เมทริกซ์ parametrized โดยα∈Rkα∈Rk\alpha \in \mathbb R^kที่เป็นΣ(α)Σ(α)\Sigma(\alpha) ) ββ\betaเป็นเวกเตอร์ที่ไม่รู้จักพารามิเตอร์รำคาญ; ที่น่าสนใจคือในการประมาณαα\alphaและเรามีk≤p≪nk≤p≪nk\leq p\ll n n การประมาณแบบจำลองโดยโอกาสสูงสุดไม่มีปัญหา แต่ฉันต้องการใช้ REML มันเป็นที่รู้จักกันดีให้ดูเช่นLaMotteว่าโอกาสA′YA′YA'Yโดยที่AAAคือเมทริกซ์กึ่งมุมฉากใด ๆ เช่นนั้นสามารถเขียนได้A′X=0A′X=0A'X=0 LREML(α∣Y)∝|X′X|1/2|Σ|−1/2|X′Σ−1X|−1/2exp{−12r′Σ−1r},r=(I−X(X′Σ−1X)+X′Σ−1)Y,LREML(α∣Y)∝|X′X|1/2|Σ|−1/2|X′Σ−1X|−1/2exp⁡{−12r′Σ−1r},r=(I−X(X′Σ−1X)+X′Σ−1)Y, L_{\text{REML}}(\alpha\mid Y) \propto\vert X'X\vert^{1/2} \vert \Sigma\vert^{-1/2}\vert X'\Sigma^{-1}X\vert^{-1/2}\exp\left\{-\frac{1}{2} r'\Sigma^{-1}r \right\}, \\ …

14 mixed-model  maximum-likelihood  linear-model  optimization  reml 

ฉันกำลังอ่านเกี่ยวกับการปรับให้เหมาะสมสำหรับปัญหาที่ไม่ถูกต้องในสายตาคอมพิวเตอร์และพบคำอธิบายด้านล่างเกี่ยวกับการปรับให้เหมาะสมใน Wikipedia สิ่งที่ฉันไม่เข้าใจคือทำไมพวกเขาเรียกการเพิ่มประสิทธิภาพนี้ "ลดพลังงาน " ใน Computer Vision ปัญหาการปรับให้เหมาะสมสามารถแสดงได้ด้วยวิธีต่อไปนี้: รับ: ฟังก์ชั่นจากบางชุดf:A→Rf:A→Rf: A \to Rเป็นจำนวนจริงAAA ขอ: องค์ประกอบในAที่f ( x 0 ) ≤ f ( x )สำหรับxทั้งหมดในA ("ย่อเล็กสุด") หรือเช่นนั้นf ( x 0 ) ≥ f ( x )สำหรับxทั้งหมดในA (" สูงสุด ")x0x0x_0AAAf(x0)≤f(x)f(x0)≤f(x)f(x_0) ≤ f(x)xxxAAAf(x0)≥f(x)f(x0)≥f(x)f(x_0) ≥ f(x)xxxAAA สูตรดังกล่าวเรียกว่าปัญหาการเพิ่มประสิทธิภาพหรือปัญหาการเขียนโปรแกรมทางคณิตศาสตร์ (คำที่ไม่เกี่ยวข้องโดยตรงกับการเขียนโปรแกรมคอมพิวเตอร์ แต่ยังคงใช้งานอยู่เช่นในการเขียนโปรแกรมเชิงเส้น - ดูประวัติด้านล่าง) ปัญหาที่เกิดขึ้นจริงในทางทฤษฎีและทางทฤษฎีหลายอย่างอาจเป็นแบบจำลองในกรอบทั่วไปนี้ ปัญหาที่เกิดขึ้นจากการใช้เทคนิคนี้ในสาขาฟิสิกส์และการมองเห็นด้วยคอมพิวเตอร์อาจหมายถึงเทคนิคที่เป็นการลดพลังงานโดยการพูดถึงค่าของฟังก์ชั่นแทนค่าพลังงานของระบบที่ถูกจำลองfff

14 machine-learning  optimization  computer-vision 

ฉันรู้ว่าk หมายถึงมักจะมีการเพิ่มประสิทธิภาพการใช้เพิ่มประสิทธิภาพของความคาดหวัง อย่างไรก็ตามเราสามารถปรับฟังก์ชั่นการสูญเสียของมันให้เป็นแบบเดียวกับที่เราเพิ่มประสิทธิภาพอื่น ๆ ! ฉันพบเอกสารบางอย่างที่ใช้การไล่ระดับสีแบบสโตแคสติกสำหรับวิธี k ขนาดใหญ่ แต่ฉันไม่ได้รับคำตอบ มีใครรู้บ้างไหมว่าเพราะเหตุใด เป็นเพราะความคาดหวังของการรวมกันมาเร็วขึ้น ? มีการรับประกันเป็นพิเศษหรือไม่? หรือมันเป็นเหตุผลทางประวัติศาสตร์ ?

14 optimization  k-means  expectation-maximization  loss-functions 

ฉันเคยได้ยินนิพจน์ต่อไปนี้มาก่อน: "การเพิ่มประสิทธิภาพเป็นรากฐานของความชั่วร้ายทั้งหมดในสถิติ" ตัวอย่างเช่นคำตอบที่ดีที่สุดในหัวข้อนี้ทำให้คำสั่งนั้นอ้างอิงถึงอันตรายของการปรับให้เหมาะสมเกินไปในระหว่างการเลือกแบบจำลอง คำถามแรกของฉันคือต่อไปนี้: คำพูดนี้เป็นของใครโดยเฉพาะ? (เช่นในเอกสารสถิติ) จากสิ่งที่ฉันเข้าใจข้อความดังกล่าวหมายถึงความเสี่ยงของการมีน้ำหนักเกิน ภูมิปัญญาดั้งเดิมจะบอกว่าการตรวจสอบข้ามที่เหมาะสมได้ต่อสู้กับปัญหานี้อยู่แล้ว แต่ดูเหมือนว่าปัญหานี้จะมีมากกว่านั้น นักสถิติและผู้ปฏิบัติงาน ML ควรระมัดระวังในการเพิ่มประสิทธิภาพโมเดลของพวกเขาแม้ในขณะที่ปฏิบัติตามโปรโตคอลการตรวจสอบข้ามที่เข้มงวด (เช่น 100 ซ้อน CV 10 เท่า) ถ้าเป็นเช่นนั้นเราจะรู้ได้อย่างไรว่าเมื่อไรที่จะหยุดการค้นหานางแบบ "ดีที่สุด"?

14 cross-validation  optimization  overfitting 

คำแนะนำใด ๆ สำหรับการเลือกไลบรารีการเพิ่มประสิทธิภาพที่ จำกัด เหมาะสำหรับฟังก์ชั่นการเพิ่มประสิทธิภาพของฉัน ฉันกำลังลดขนาด ai) ฟังก์ชันที่ไม่ใช่เชิงเส้นด้วยข้อ จำกัด เชิงเส้นตรงและความไม่เท่าเทียมกันและ ii) มีการไล่ระดับสีและ hessian ของฟังก์ชัน ถ้ามันจะช่วยให้การทำงานของผมที่ลดเป็นความแตกต่าง Kullback-Liebler constrOptim เกี่ยวข้องเฉพาะกับข้อ จำกัด ที่ไม่เท่าเทียมกัน Quadprogจัดการ quadratics ความน่าเชื่อถือไม่สนับสนุนข้อ จำกัด ดังนั้นความแตกต่างของ KL จึงไม่สอดคล้องกับโซลูชันเหล่านี้ มีวิธีแก้ปัญหาค่อนข้างน้อยในหน้าR Cran Task สำหรับการปรับให้เหมาะสม เอี่ยมสามารถทำการปรับให้เหมาะสมใน MATLAB โดยใช้ฟังก์ชั่นfmincon () ซึ่งดูเหมือนว่าจะใช้การตกแต่งภายในหรือจุดสะท้อนแสงที่น่าเชื่อถือ เป็นการดีที่มีห้องสมุดที่เหมาะสมกับปัญหาที่กำหนดไว้

14 r  optimization  software 

ฉันมีคำถามเกี่ยวกับการปรับพารามิเตอร์ให้เหมาะสมเมื่อฉันใช้การตรวจสอบความถูกต้องไขว้ 10 เท่า ฉันต้องการถามว่าพารามิเตอร์ควรแก้ไขหรือไม่ในระหว่างการฝึกอบรมแบบจำลองของทุกครั้งหรือไม่เช่น (1) เลือกพารามิเตอร์ที่ปรับให้เหมาะสมหนึ่งชุดเพื่อความแม่นยำเฉลี่ยของการพับทุกครั้ง หรือ (2) ฉันควรค้นหาพารามิเตอร์ที่เหมาะสมสำหรับทุก ๆ เท่าและทุก ๆ เท่าจะใช้พารามิเตอร์ที่ปรับให้เหมาะสมที่สุดเพื่อฝึกโมเดลของมันจากนั้นทดสอบข้อมูลการทดสอบของโฟลด์ตามลำดับและในที่สุดก็เฉลี่ยความแม่นยำของทุกเท่า วิธีใดที่ถูกต้องสำหรับการตรวจสอบข้าม ขอบคุณมาก.

14 cross-validation  optimization  parameterization 

โดยปกติแล้วในการถดถอยโลจิสติกเราพอดีแบบและได้รับการคาดการณ์ในชุดการฝึกอบรม จากนั้นเราจะตรวจสอบความถูกต้องของการคาดการณ์การฝึกอบรมเหล่านี้ (บางอย่างเช่นที่นี่ ) และตัดสินใจค่าเกณฑ์ที่เหมาะสมโดยพิจารณาจาก ROC curve ทำไมเราไม่รวมการตรวจสอบข้ามเขตแดนเข้ากับรูปแบบที่แท้จริงและฝึกอบรมทุกสิ่งตั้งแต่ต้นจนจบ

13 logistic  cross-validation  optimization  roc  threshold 

ฉันต้องการที่จะรู้ว่าการเรียนรู้ของเครื่องต้องมีการเพิ่มประสิทธิภาพ จากสิ่งที่ฉันได้ยินสถิติเป็นหัวข้อทางคณิตศาสตร์ที่สำคัญสำหรับผู้ที่ทำงานกับการเรียนรู้ของเครื่อง ในทำนองเดียวกันความสำคัญสำหรับคนที่ทำงานกับการเรียนรู้ด้วยเครื่องเพื่อเรียนรู้เกี่ยวกับการเพิ่มประสิทธิภาพแบบนูนหรือแบบไม่นูนคืออะไร?

13 machine-learning  optimization 

วัตถุประสงค์ ยืนยันว่าการเข้าใจ KKT นั้นถูกต้องหรือไม่ ขอคำอธิบายและการยืนยันเพิ่มเติมเกี่ยวกับ KKT พื้นหลัง พยายามทำความเข้าใจกับเงื่อนไข KKT โดยเฉพาะอย่างยิ่งเงื่อนไขเสริมซึ่งจะปรากฏขึ้นสีน้ำเงินในบทความ SVM ฉันไม่ต้องการรายการสูตรนามธรรม แต่ต้องการคำอธิบายที่เป็นรูปธรรมใช้งานง่ายและแบบกราฟิก คำถาม หาก P ซึ่งลดฟังก์ชันต้นทุนให้น้อยที่สุด f (X) จะอยู่ภายในข้อ จำกัด (g (P)> = 0) นั่นคือทางออก ดูเหมือนว่า KKT จะไม่เกี่ยวข้องในกรณีนี้ ดูเหมือนว่า KKT จะบอกว่าถ้า P ไม่ได้อยู่ในข้อ จำกัด แล้วโซลูชัน X ควรตอบสนองด้านล่างในภาพ KKT เกี่ยวกับหรือฉันคิดถึงประเด็นสำคัญอื่น ๆ หรือไม่? คำชี้แจงอื่น ๆ ควรจะ f (x) ให้นูนเพื่อให้ KKT ใช้หรือไม่ …

13 svm  optimization  lagrange-multipliers 

ฉันกำลังทำงานในโครงการสำหรับการกรองร่วมกัน (CF) เช่นการทำเมทริกซ์ที่สังเกตได้บางส่วนหรือเทนเซอร์ทั่วไป ฉันเป็นมือใหม่ในสนามและสำหรับโครงการนี้ในที่สุดฉันก็ต้องเปรียบเทียบวิธีการของเรากับคนอื่น ๆ ที่รู้จักกันดีว่าทุกวันนี้มีการเปรียบเทียบวิธีที่เสนอกับพวกเขานั่นคือ state-of-the-art การค้นหาของฉันเปิดเผยวิธีการดังต่อไปนี้ แน่นอนฉันเจอพวกเขาโดยดูที่เอกสารเหล่านี้บางส่วนและการอ้างอิงของพวกเขาหรือโดยดูที่ส่วนการทดลองเมื่อพวกเขาทำการเปรียบเทียบ ฉันยินดีที่จะทราบวิธีการเสนอใหม่และทำการเปรียบเทียบกับ SoTA ข้อใดต่อไปนี้เป็นทางเลือกที่ดีที่จะทำ หากไม่ใช่ในหมู่พวกเขาฉันยินดีที่จะรู้จักตัวแทนที่ดี ขึ้นอยู่กับการแยกตัวประกอบเมทริกซ์: การจัดอันดับโดยถ่วงน้ำหนักต่ำ (ICML 2003) การสร้างแบบจำลองโปรไฟล์คะแนนผู้ใช้สำหรับการกรองแบบร่วมมือกัน (NIPS 2003) รูปแบบ Multiplicative Factor หลายตัวสำหรับการกรองแบบร่วมมือกัน (ICML 2004) การแยกตัวประกอบอัตรากำไรขั้นต้นสูงสุดอย่างรวดเร็วสำหรับการคาดการณ์ความร่วมมือ (ICML 2005) การแยกตัวประกอบเมทริกซ์น่าจะเป็น (NIPS 2007) การแยกตัวประกอบเมทริกซ์น่าจะเป็นแบบเบย์ (ICML 2008) แบบจำลองปัจจัยแฝงที่อิงตามการถดถอย (KDD 2009) การแยกตัวประกอบเมทริกซ์แบบไม่เชิงเส้นด้วยกระบวนการเกาส์เซียน (ICML 2009) การแยกตัวประกอบการทรงตัวแบบไดนามิก (การประชุม ACM บนระบบผู้แนะนำ 2015) ขึ้นอยู่กับการแยกตัวประกอบแรงดึง: การรวมข้อมูลบริบทในระบบผู้แนะนำโดยใช้วิธีการหลายมิติ (ธุรกรรม ACM …

13 optimization  recommender-system  matrix-decomposition 

แรงจูงใจอย่างหนึ่งของตาข่ายยางยืดคือข้อ จำกัด ของ LASSO ดังต่อไปนี้: ในกรณีสายบาศกเลือกตัวแปร n ส่วนใหญ่ก่อนที่จะอิ่มตัวเนื่องจากลักษณะของปัญหาการปรับให้เหมาะสมของนูน นี่ดูเหมือนจะเป็นคุณสมบัติที่ จำกัด สำหรับวิธีการเลือกตัวแปร ยิ่งไปกว่านั้นเชือกไม่ได้กำหนดไว้อย่างชัดเจนเว้นแต่ขอบเขตของ L1-norm ของสัมประสิทธิ์มีค่าน้อยกว่าค่าที่แน่นอนp > np>np > n ( http://onlinelibrary.wiley.com/doi/10.1111/j.1467-9868.2005.00503.x/full ) ฉันเข้าใจว่า LASSO เป็นปัญหาการเขียนโปรแกรมสมการกำลังสอง แต่ยังสามารถแก้ไขได้ผ่าน LARS หรือการไล่ระดับสีแบบองค์ประกอบที่ชาญฉลาด แต่ฉันไม่เข้าใจว่าในอัลกอริธึมเหล่านี้ฉันพบปัญหาหรือไม่ถ้าโดยที่คือจำนวนตัวทำนายและคือขนาดตัวอย่าง และทำไมปัญหานี้แก้ไขได้โดยใช้สุทธิยืดหยุ่นที่ฉันเพิ่มปัญหาไปตัวแปรที่ชัดเจนเกินหน้าp n p + n pp > np>np > nพีppnnnp + np+np+nพีpp

13 regression  optimization  feature-selection  lasso 

เพื่อนคนหนึ่งของฉันขายเครื่องปั่นรุ่นต่างๆ เครื่องปั่นบางเครื่องนั้นเรียบง่ายและราคาถูกเครื่องปั่นอื่น ๆ นั้นซับซ้อนและแพงกว่า ข้อมูลของเขาประกอบด้วยราคาของเครื่องปั่นแต่ละเครื่อง (ซึ่งกำหนดโดยเขา) ในแต่ละเดือนและจำนวนหน่วยขายสำหรับแต่ละรุ่น เพื่อสร้างสัญกรณ์เขารู้เดือนเวกเตอร์ ที่คือราคาของรุ่นเครื่องปั่นในช่วงเดือนและเป็นจำนวนหน่วยขายของรูปแบบการปั่นในช่วงเดือนJj = 1 , … , n ( p 1 j , … , p k j )kkkj=1,…,nj=1,…,nj=1,\dots,np i j i j n i j i j(p1j,…,pkj)and(n1j,…,nkj),(p1j,…,pkj)and(n1j,…,nkj), (p_{1j},\dots,p_{kj}) \qquad \textrm{and} \qquad (n_{1j},\dots,n_{kj}) \, , pijpijp_{ij}iiijjjnijnijn_{ij}iiijjj เมื่อได้รับข้อมูลเขาต้องการกำหนดราคาซึ่งจะเพิ่มมูลค่าสูงสุดของยอดขายในอนาคตของเขา(p∗1,…,p∗k)(p1∗,…,pk∗)(p^*_1,\dots,p^*_k) ฉันมีความคิดบางอย่างเกี่ยวกับวิธีเริ่มแบบจำลองปัญหานี้ด้วยการถดถอยแบบปัวซอง แต่ฉันไม่ต้องการบูรณาการล้อ นอกจากนี้ยังเป็นการดีที่จะพิสูจน์ว่าค่าสูงสุดที่ต้องการนั้นมีอยู่ภายใต้เงื่อนไขบางประการ ใครช่วยกรุณาชี้ให้ฉันวรรณกรรมของปัญหาชนิดนี้?

13 optimization 

มีทางเลือกอื่น ๆ สำหรับอัลกอริทึม EM สำหรับการเรียนรู้รูปแบบที่มีตัวแปรแฝง (โดยเฉพาะ pLSA) หรือไม่? ฉันโอเคกับการเสียสละความแม่นยำเพื่อความเร็ว

13 machine-learning  optimization  expectation-maximization  lsa 

ฟังก์ชั่นวัตถุประสงค์ของการวิเคราะห์องค์ประกอบหลัก (PCA) จะลดการผิดพลาดในการฟื้นฟูใน L2 บรรทัดฐาน (ดูหัวข้อ 2.12 นี่อีกมุมมองหนึ่งพยายามที่จะเพิ่มความแปรปรวนในการฉายนอกจากนี้เรายังมีการโพสต์ที่ยอดเยี่ยมที่นี่:.. เป็นฟังก์ชันวัตถุประสงค์ของ PCA อะไร ? ) คำถามของฉันคือการเพิ่มประสิทธิภาพ PCA นูนหรือไม่ (ฉันพบการสนทนาที่นี่แต่หวังว่าใครบางคนสามารถให้หลักฐานที่ดีเกี่ยวกับ CV)

13 machine-learning  pca  optimization  convex