แพคเกจซอฟต์แวร์เพื่อแก้ปัญหาการถดถอยเชิงเส้นของ L-infinity norm

มีแพคเกจซอฟต์แวร์ใด ๆ ที่จะแก้ปัญหาการถดถอยเชิงเส้นโดยมีวัตถุประสงค์เพื่อลดบรรทัดฐาน L-infinity

regression

แพ็คเกจการเขียนโปรแกรมเชิงเส้นใด ๆ ก็ใช้ได้ นั่นทำให้คุณมีตัวเลือกมากมาย :)

— สำคัญ

@ Cardinal คุณจะลองใช้วิธีนี้เป็นโปรแกรมเชิงเส้นได้อย่างไร ไม่ชัดเจนว่าจะทำอย่างไรในกรณีที่ไม่สำคัญ (เช่นจุดข้อมูลสองจุดและพารามิเตอร์หนึ่งตัว): ไม่มีข้อ จำกัด และฟังก์ชันวัตถุประสงค์ไม่เชิงเส้น

— whuber

วลีสำคัญ : การประมาณ Chebyshev (ให้ทำตามมากยิ่งขึ้นความคิดคือการแนะนำตัวแปรเพิ่มเติมจากนั้นเปลี่ยนวัตถุประสงค์เป็นข้อ จำกัด )

— cardinal

@cardinal คุณหมายถึงสิ่งนี้: mathworld.wolfram.com/ChebyshevApproximationFormula.htmlดูเหมือนว่าจะค่อนข้างซับซ้อน

— Fan Zhang

มันเกี่ยวข้องกันเล็กน้อย แต่ก็ไม่ได้เกี่ยวพันกับปัญหานี้ ปัญหาของคุณสามารถแก้ไขได้ด้วย LP อย่างง่าย ทันทีที่ฉันไปถึงคอมพิวเตอร์ฉันจะโพสต์คำตอบ

— พระคาร์ดินัล

คำตอบ:

คำตอบสั้น ๆ : ปัญหาของคุณสามารถกำหนดเป็นโปรแกรมเชิงเส้น (LP) ทำให้คุณเลือกตัวแก้ LP ที่คุณชื่นชอบสำหรับงาน หากต้องการดูวิธีเขียนปัญหาเป็น LP ให้อ่านต่อ

ปัญหาการลดนี้มักจะถูกเรียกว่าประมาณ Chebyshev

ปล่อย ,แถวแสดงโดยและพี จากนั้นเราพยายามที่จะลดฟังก์ชันด้วยความเคารพข แสดงค่าที่เหมาะสมโดย $\newcommand{\y}{\mathbf{y}}\newcommand{\X}{\mathbf{X}}\newcommand{\x}{\mathbf{x}}\newcommand{\b}{\mathbf{\beta}}\newcommand{\reals}{\mathbb{R}}\newcommand{\ones}{\mathbf{1}_n} \y = (y_i) \in \reals^n$ $\X \in \reals^{n \times p}$ $i$ $\x_i$ $\b \in \reals^p$ $f(\b) = \|\y - \X \b\|_\infty$ $\b$

f^{⋆} = f (β^{⋆}) = inf {f (β) : β \in R^{p}} .

$f^\star = f(\b^\star) = \inf \{f(\b): \b \in \reals^p \} \>.$

กุญแจสำคัญในการรีไซเคิลสิ่งนี้ในฐานะ LP คือการเขียนปัญหาซ้ำในแบบฟอร์มการเขียน ไม่ยากที่จะโน้มน้าวใจตัวเองว่าที่จริงแล้ว

f^{⋆} = inf {t : f (β) \leq t, t \in R, β \in R^{p}} .

$f^\star = \inf\{t: f(\b) \leq t, \;t \in \reals, \;\b \in \reals^p \} \> .$

ตอนนี้การใช้คำจำกัดความของฟังก์ชั่นเราสามารถเขียนทางด้านขวามือข้างบนเป็น และดังนั้นเราจึงเห็นว่าการลดบรรทัดฐานในการตั้งค่าการถดถอยนั้นเทียบเท่ากับ LP ซึ่งการเพิ่มประสิทธิภาพเสร็จสิ้น มากกว่าและหมายถึงเวกเตอร์ของคนของความยาวnฉันปล่อยให้มันเป็นแบบฝึกหัด (ง่าย) สำหรับผู้อ่านที่จะแต่งใหม่ LP ข้างต้นในรูปแบบมาตรฐาน $f$

f^{⋆} = inf {t : - t \leq y_{i} - x_{i} β \leq t, t \in R, β \in R^{p}, 1 \leq i \leq n},

$f^\star = \inf\{t: -t \leq y_i - \x_i \b \leq t, \;t \in \reals, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$

ℓ_{\infty}

$\ell_\infty$

\begin{array}{ll} minimize & t \\ subject to & y - X β \leq t 1_{n} \\ y - X β \geq - t 1_{n}, \end{array}

$\begin{array}{ll} \text{minimize} & t \\ \text{subject to} & \y-\X \b \leq t\ones \\ & \y - \X \b \geq - t \ones \>, \\ \end{array}$

(β, t)

$(\b, t)$

1_{n}

$\ones$

n

$n$

ความสัมพันธ์กับเวอร์ชั่น (รูปแบบโดยรวม) ของการถดถอยเชิงเส้น $\ell_1$

เป็นที่น่าสนใจที่จะทราบว่าบางสิ่งที่คล้ายกันมากสามารถทำได้ด้วย norm Let\ จากนั้นการโต้แย้งที่คล้ายกันนำไปสู่การสรุปว่า ดังนั้น LP ที่สอดคล้องกันคือ $\ell_1$ $g(\b) = \|\y - \X \b \|_1$

g^{⋆} = inf {t^{T} 1_{n} : - t_{i} \leq y_{i} - x_{i} β \leq t_{i}, t = (t_{i}) \in R^{n}, β \in R^{p}, 1 \leq i \leq n},

$\newcommand{\t}{\mathbf{t}} g^\star = \inf\{\t^T \ones : -t_i \leq y_i - \x_i \b \leq t_i, \;\t = (t_i) \in \reals^n, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$

\begin{array}{ll} minimize & t^{T} 1_{n} \\ subject to & y - X β \leq t \\ y - X β \geq - t . \end{array}

$\begin{array}{ll} \text{minimize} & \t^T \ones \\ \text{subject to} & \y-\X \b \leq \t \\ & \y - \X \b \geq - \t \>. \\ \end{array}$

ทราบที่นี่ที่คือตอนนี้เวกเตอร์ของความยาวแทนเกลาเป็นมันอยู่ในกรณี $\t$ $n$ $\ell_\infty$

ความคล้ายคลึงกันของปัญหาทั้งสองนี้และความจริงที่ว่าพวกเขาสามารถนำแสดงโดย LP ได้แน่นอนไม่มีอุบัติเหตุ ทั้งสองบรรทัดฐานมีความเกี่ยวข้องกับสิ่งที่พวกเขาเป็นบรรทัดฐานสองของกันและกัน

— พระราชาคณะ
แหล่งที่มา

คุณจะพบการวัดความแม่นยำสำหรับพารามิเตอร์และ / หรือการทำนายได้อย่างไร ฉันถามเพราะคำถามล่าสุดต่อไปนี้: mathematica.stackexchange.com/questions/214226/… .

— JimB

Malab สามารถทำได้โดยใช้ cvx เพื่อรับ cvx (ฟรี):

http://cvxr.com/cvx/download/

ใน cvx คุณจะเขียนด้วยวิธีนี้:

cvx_begin
   variable x(n);
   minimize( norm(A*x-b,Inf) );
cvx_end

(ตรวจสอบตัวอย่างหน้า 12 ของคู่มือ )

มีการใช้ Python ของ CVX ( ที่นี่ ) แต่คำสั่งนั้นแตกต่างกันเล็กน้อย ...

— user603
แหล่งที่มา

คำตอบของ @ cardinal นั้นได้รับการตอบรับเป็นอย่างดีและได้รับการยอมรับ แต่เพื่อปิดกระทู้นี้อย่างสมบูรณ์ฉันจะเสนอสิ่งต่อไปนี้: IMSL Numerical Librariesมีกิจวัตรประจำวันสำหรับการถดถอยเชิงบรรทัด L-infinity รูทีนพร้อมใช้งานใน Fortran, C, Java, C # และ Python ฉันได้ใช้รุ่น C และ Python ซึ่งวิธีการที่ lnorm_regression โทรซึ่งยังสนับสนุนทั่วไป -norm ถดถอย1 $L_p$ $p >= 1$

โปรดทราบว่าสิ่งเหล่านี้เป็นห้องสมุดเชิงพาณิชย์ แต่รุ่น Python นั้นฟรี (เหมือนในเบียร์) สำหรับการใช้ที่ไม่ใช่เชิงพาณิชย์

— Josh Hemann
แหล่งที่มา

น่าเสียดายที่ลิงค์ไม่ทำงานอีกต่อไป คุณสามารถปรับปรุงได้หรือไม่

— COOLSerdash