การแบ่งปันพารามิเตอร์ระหว่างคุณลักษณะและคลาสหมายความว่าอย่างไร

เมื่ออ่านบทความนี้จะมีบรรทัดที่ระบุว่า "ตัวแยกประเภทแบบเส้นตรงไม่ใช้พารามิเตอร์ร่วมกันระหว่างคุณลักษณะและคลาส" ความหมายของคำนี้คืออะไร? หมายความว่าลักษณนามเชิงเส้นเช่นการถดถอยโลจิสติกต้องการคุณสมบัติที่เป็นอิสระร่วมกัน?

machine-learning logistic-regression multilabel-classification

— joydeep bhattacharjee
แหล่งที่มา

ฉันจะพยายามตอบคำถามนี้ผ่านการถดถอยโลจิสติกซึ่งเป็นตัวแยกประเภทแบบเส้นตรงที่ง่ายที่สุดตัวหนึ่ง

กรณีที่ง่ายที่สุดของการถดถอยโลจิสติกคือถ้าเรามีงานการจำแนกประเภทไบนารี ( $y \in\{0,1\})$ และมีเพียงหนึ่งคุณลักษณะอินพุต ( $x \in R$ ) ในกรณีนี้ผลลัพธ์ของการถดถอยโลจิสติกจะเป็น:

\hat{y} = σ (w \cdot x + b)

$\hat y = σ(w \cdot x + b)$ ที่และมีทั้งสเกลา การส่งออกของรูปแบบสอดคล้องกับความเป็นไปได้ว่าจะเป็นระดับ1

w

$w$

b

$b$

\hat{y} \in [0, 1]

$\hat y \in [0,1]$

x

$x$

1

$1$

เราจะพยายามแบ่งวลี"ตัวแยกประเภทเชิงเส้นไม่แชร์พารามิเตอร์ระหว่างคุณลักษณะและคลาส"เป็นสองส่วน เราจะตรวจสอบกรณีของคุณสมบัติหลายอย่างและหลายคลาสแยกกันเพื่อดูว่าการถดถอยโลจิสติกใช้พารามิเตอร์ร่วมกันสำหรับงานเหล่านั้นหรือไม่:

ตัวแยกประเภทเชิงเส้นใช้พารามิเตอร์ร่วมกันระหว่างคุณลักษณะหรือไม่

ในกรณีนี้สำหรับแต่ละตัวอย่าง $y$ เป็นสเกลาร์ที่รับค่าไบนารี (เหมือนก่อน) ในขณะที่ $x$ เป็นเวกเตอร์ของความยาว $N$ (โดยที่ $N$ คือจำนวนของคุณลักษณะ) ที่นี่ผลลัพธ์คือการรวมกันเชิงเส้นของคุณสมบัติการป้อนข้อมูล (เช่นผลรวมถ่วงน้ำหนักของคุณสมบัติเหล่านี้บวกกับอคติ)

\hat{y} = σ (\sum_{i}^{N} (w_{i} \cdot x_{i}) + b) o r σ (w \cdot x + b)

$\hat y = σ \left(\sum_i^N{(w_i \cdot x_i)} + b\right) \;\; or \;\; σ( \mathbf w \cdot \mathbf x + b)$ ที่และเป็นพาหะของความยาวNผลิตภัณฑ์สร้างสเกลาร์ ดังที่คุณเห็นจากด้านบนมีน้ำหนักแยกต่างหากสำหรับแต่ละคุณลักษณะอินพุตและน้ำหนักเหล่านี้มีความเป็นอิสระโดยทุกวิถีทาง จากนี้เราสามารถสรุปได้ว่ามีไม่มีการแบ่งปันพารามิเตอร์ในคุณสมบัติ

x

$\mathbf x$

w

$\mathbf w$

N

$N$

x \cdot w

$\mathbf x \cdot \mathbf w$

w_{i}

$w_i$

x_{i}

$x_i$

ตัวแยกประเภทเชิงเส้นใช้พารามิเตอร์ร่วมกันระหว่างคลาสหรือไม่

ในกรณีนี้เป็นสเกลาร์อย่างไรก็ตามเป็นเวกเตอร์ที่มีความยาว (โดยที่คือจำนวนคลาส) เพื่อจัดการกับปัญหานี้การถดถอยแบบลอจิสติกจะสร้างเอาต์พุตแยกต่างหากสำหรับคลาสแต่ละคลาส การส่งออกแต่ละคนเป็นสเกลาและสอดคล้องกับความน่าจะเป็นของที่อยู่ในระดับที่ j $x$ $y$ $M$ $M$ $y_j$ $M$ $y_j \in [0,1]$ $x$ $j$

\hat{y} = w \cdot x + b, w h e r e \hat{y} = {\hat{y}}_{1}, {\hat{y}}_{2}, . . ., y_{M}

$\mathbf{ \hat y} = w \cdot \mathbf x + \mathbf b, \;\; where \;\; \mathbf{ \hat y} = {\hat y_1, \hat y_2, ..., y_M}$

วิธีที่ง่ายที่สุดในการคิดสิ่งนี้คือการถดถอยโลจิสติกที่เป็นอิสระอย่างง่ายแต่ละตัวมีเอาต์พุต: $M$

{\hat{y}}_{j} = σ (w_{j} \cdot x + b_{j})

$\hat y_j = σ(w_j \cdot x + b_j)$

จากข้างต้นจะเห็นได้ชัดว่าไม่มีน้ำหนักที่จะใช้ร่วมกันระหว่างการเรียนที่แตกต่างกัน

หลายคุณสมบัติและหลายชั้น :

เมื่อรวมสองกรณีข้างต้นเข้าด้วยกันเราก็สามารถเข้าถึงกรณีทั่วไปมากที่สุดของฟีเจอร์หลากหลายและคลาสที่หลากหลาย:

\hat{y} = σ (W \cdot x + b)

$\mathbf{ \hat y} = σ( \mathbf W \cdot \mathbf x + \mathbf b)$ โดยที่เป็นเวกเตอร์ที่มีขนาด ,เป็นเวกเตอร์ที่มีขนาดเท่ากับ ,เป็นเวกเตอร์ที่มีขนาดของและเป็นเมทริกซ์ที่มีขนาดหนึ่งM)

\hat{y}

$\mathbf{ \hat y}$

M

$M$

x

$\mathbf x$

N

$N$

b

$\mathbf b$

M

$M$

W

$W$

(N \times M)

$(N \times M)$

ในกรณีใด ๆลักษณนามเชิงเส้นไม่ได้ใช้พารามิเตอร์ใด ๆ ในคุณสมบัติหรือชั้นเรียน

ในการตอบคำถามที่สองของคุณตัวแยกประเภทแบบเส้นตรงมีข้อสมมติฐานที่สำคัญว่าคุณลักษณะต้องเป็นอิสระแต่นี่ไม่ใช่สิ่งที่ผู้เขียนบทความตั้งใจจะพูด

— Djib2011
แหล่งที่มา

คำอธิบายที่ดี :)

— joydeep bhattacharjee