Naive Bayes เป็นลักษณนามเชิงเส้นอย่างไร

ฉันเห็นหัวข้ออื่นที่นี่แต่ฉันไม่คิดว่าคำตอบจะตอบคำถามที่แท้จริง สิ่งที่ฉันได้อ่านมาอย่างต่อเนื่องคือ Naive Bayes เป็นตัวแยกประเภทแบบเชิงเส้น (เช่น: ที่นี่ ) (เช่นวาดขอบเขตการตัดสินใจเชิงเส้น) โดยใช้การสาธิตอัตราต่อรองแบบล็อก

อย่างไรก็ตามฉันจำลองเมฆแบบเกาส์สองแห่งและติดตั้งขอบเขตการตัดสินใจและได้ผลลัพธ์เช่นนี้ (ไลบรารี่ e1071 ใน r โดยใช้ naiveBayes ()) 1- สีเขียว, 0 - สีแดง

อย่างที่เราเห็นขอบเขตการตัดสินใจไม่ใช่แบบเส้นตรง มันพยายามที่จะบอกว่าพารามิเตอร์ (ความน่าจะเป็นเงื่อนไข) เป็นชุดค่าผสมเชิงเส้นในพื้นที่บันทึกแทนที่จะบอกตัวแยกประเภทเองแยกข้อมูลเป็นเส้นตรงหรือไม่?

classification naive-bayes

— เควินเป่ย
แหล่งที่มา

คุณสร้างขอบเขตการตัดสินใจอย่างไร ฉันสงสัยว่ามันจะทำอย่างไรกับกิจวัตรที่เหมาะสมของคุณมากกว่าขอบเขตการตัดสินใจที่แท้จริงของตัวจําแนก โดยปกติจะสร้างขอบเขตการตัดสินใจโดยการคำนวณการตัดสินใจทุก ๆ จุดในจตุภาคของคุณ

— seanv507

นั่นคือสิ่งที่ฉันทำฉันใช้สองช่วงคือ X = [Min (x), Max (x)] และ Y = [Min (Y), Max (Y)] ด้วยระยะห่าง 0.1 จากนั้นฉันติดตั้งจุดข้อมูลเหล่านั้นทั้งหมดด้วยลักษณนามที่ผ่านการฝึกอบรมและพบว่าคะแนนอัตราล็อกอยู่ระหว่าง -0.05 ถึง 0.05

— Kevin Pei

คำตอบ:

โดยทั่วไปตัวจําแนกแบบไร้เดียงสา Bayes ไม่ใช่แบบเชิงเส้น แต่ถ้าปัจจัยความน่าจะเป็นมาจากครอบครัวแบบเอ็กซ์โพเนนเชียลตัวจําแนกแบบไร้เดียงสา Bayes นั้นจะตรงกับตัวจําแนกเชิงเส้น นี่คือวิธีการดูนี้ $p(x_i \mid c)$

คุณสามารถเขียนตัวจําแนกเบส์ที่ไร้เดียงสาเป็น *

พี (ค = 1 | x) = σ (\underset{ผม}{Σ} เข้าสู่ระบบ \frac{พี (x_{ผม} | ค = 1)}{พี (x_{ผม} | ค = 0)} + เข้าสู่ระบบ \frac{พี (ค = 1)}{พี (ค = 0)}),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right),$

ที่เป็นฟังก์ชั่นโลจิสติก ถ้ามาจากตระกูล exponential เราสามารถเขียนมันเป็น $\sigma$ $p(x_i \mid c)$

พี (x_{ผม} | ค) = {ชั่วโมง}_{ผม} (x_{ผม}) ประสบการณ์ ({ยู}_{ผม ค}^{⊤} φ_{ผม} (x_{ผม}) - A_{ผม} ({ยู}_{ผม ค})),

$p(x_i \mid c) = h_i(x_i)\exp\left(\mathbf{u}_{ic}^\top \phi_i(x_i) - A_i(\mathbf{u}_{ic})\right),$

และด้วยเหตุนี้

พี (ค = 1 | x) = σ (\underset{ผม}{Σ} W_{ผม}^{⊤} φ_{ผม} (x_{ผม}) + ข),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \mathbf{w}_i^\top \phi_i(x_i) + b \right),$

ที่ไหน

\begin{aligned} W_{ผม} & = {ยู}_{ผม 1} - {ยู}_{ผม 0}, \\ ข & = เข้าสู่ระบบ \frac{พี (ค = 1)}{พี (ค = 0)} - \underset{ผม}{Σ} (A_{ผม} ({ยู}_{ผม 1}) - A_{ผม} ({ยู}_{ผม 0})) . \end{aligned}

$\begin{align} \mathbf{w}_i &= \mathbf{u}_{i1} - \mathbf{u}_{i0}, \\ b &= \log \frac{p(c = 1)}{p(c = 0)} - \sum_i \left( A_i(\mathbf{u}_{i1}) - A_i(\mathbf{u}_{i0}) \right). \end{align}$

โปรดทราบว่านี้จะคล้ายกับการถดถอยโลจิสติก - ลักษณนามเชิงเส้น - ในพื้นที่คุณลักษณะที่กำหนดโดย\เป็นเวลากว่าสองชั้นเราได้รับ analogously โลจิสติกพหุนาม (หรือ softmax) ถดถอย $\phi_i$

ถ้าเป็น Gaussian แล้วและเราควรมี $p(x_i \mid c)$ $\phi_i(x_i) = (x_i, x_i^2)$

\begin{aligned} W_{ผม 1} & = σ_{1}^{- 2} μ_{1} - σ_{0}^{- 2} μ_{0}, \\ W_{ผม 2} & = 2 σ_{0}^{- 2} - 2 σ_{1}^{- 2}, \\ ข_{ผม} & = เข้าสู่ระบบ σ_{0} - เข้าสู่ระบบ σ_{1}, \end{aligned}

$\begin{align} w_{i1} &= \sigma_1^{-2}\mu_1 - \sigma_0^{-2}\mu_0, \\ w_{i2} &= 2\sigma_0^{-2} - 2\sigma_1^{-2}, \\ b_i &= \log \sigma_0 - \log \sigma_1, \end{align}$

สมมติว่า{2} $p(c = 1) = p(c = 0) = \frac{1}{2}$

* นี่คือวิธีรับผลลัพธ์นี้:

\begin{aligned} พี (ค = 1 | x) & = \frac{พี (x | ค = 1) พี (ค = 1)}{พี (x | ค = 1) พี (ค = 1) + พี (x | ค = 0) พี (ค = 0)} \\ = \frac{1}{1 + \frac{พี (x | ค = 0) พี (ค = 0)}{พี (x | ค = 1) พี (ค = 1)}} \\ = \frac{1}{1 + ประสบการณ์ (- เข้าสู่ระบบ \frac{พี (x | ค = 1) พี (ค = 1)}{พี (x | ค = 0) พี (ค = 0)})} \\ = σ (\underset{ผม}{Σ} เข้าสู่ระบบ \frac{พี (x_{ผม} | ค = 1)}{พี (x_{ผม} | ค = 0)} + เข้าสู่ระบบ \frac{พี (ค = 1)}{พี (ค = 0)}) \end{aligned}

$\begin{align} p(c = 1 \mid \mathbf{x}) &= \frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 1) p(c = 1) + p(\mathbf{x} \mid c = 0) p(c = 0)} \\ &= \frac{1}{1 + \frac{p(\mathbf{x} \mid c = 0) p(c = 0)}{p(\mathbf{x} \mid c = 1) p(c = 1)}} \\ &= \frac{1}{1 + \exp\left( -\log\frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 0) p(c = 0)} \right)} \\ &= \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right) \end{align}$

— ลูคัส
แหล่งที่มา

ขอบคุณที่มาซึ่งฉันเข้าใจตอนนี้คุณสามารถอธิบายสัญลักษณ์ในสมการที่ 2 และด้านล่างได้ไหม (u, h (x_i), phi (x_i) และอื่น ๆ ) P (x_i | c) อยู่ภายใต้ตระกูลเอ็กซ์โปเนนเชียลเพียงแค่รับค่าจาก pdf หรือไม่

— Kevin Pei

มีวิธีที่แตกต่างกันคุณสามารถแสดงหนึ่งและการกระจายเดียวกัน สมการที่สองคือการแจกแจงแบบเอ็กซ์โพเนนเชียลในรูปแบบบัญญัติ การแจกแจงจำนวนมากคือตระกูลเอ็กซ์โพเนนเชียล (Gaussian, Laplace, Dirichlet, Bernoulli, binomial, เพื่อตั้งชื่อไม่กี่) แต่ความหนาแน่น / ฟังก์ชันมวลของพวกมันมักไม่ได้รับในรูปแบบมาตรฐาน ดังนั้นก่อนอื่นคุณต้องซ่อมแซมการกระจายตัว ตารางนี้จะบอกวิธีการคำนวณ (พารามิเตอร์ธรรมชาติ) และ (สถิติที่เพียงพอ) สำหรับการแจกแจงต่าง ๆ : en.wikipedia.org/wiki/Exponential_family#Table_of_distribution

u

$\mathbf{u}$

ϕ

$\phi$

— Lucas

ขอให้สังเกตจุดสำคัญที่2) สิ่งนี้หมายความว่าลักษณนามเชิงเส้นคือการรวมกันของน้ำหนักและฟังก์ชั่นที่ไม่ใช่เชิงเส้นของคุณสมบัติ! ดังนั้นไปที่จุดของผู้โพสต์ต้นฉบับพล็อตของดาต้าพอยน์อาจไม่แสดงว่าพวกเขาจะแยกออกจากกันโดยบรรทัด

ϕ (x) = (x, x^{2})

$\phi(x) = (x, x^2)$

w

$\mathbf{w}$

— RMurphy

ฉันพบว่าคำตอบนี้ทำให้เข้าใจผิด: ตามที่ระบุไว้ในความคิดเห็นและคำตอบด้านล่างอ่าว Gaussian ไร้เดียงสาไม่ได้เป็นแบบเส้นตรงในพื้นที่คุณลักษณะดั้งเดิม แต่เป็นการแปลงแบบไม่เป็นเชิงเส้น ดังนั้นมันจึงไม่ใช่ลักษณนามเชิงเส้นแบบดั้งเดิม

— Gael Varoquaux

ทำไมคือ Gaussian แล้ว ? ผมคิดว่าสถิติเพียงพอสำหรับการกระจายแบบเกาส์ควรจะx

p (x_{i} | c)

$p(x_i|c)$

ϕ_{i} (x_{i}) = (x_{i}, x_{i}^{2})

$\phi_i(x_i)=(x_i,x_i^2)$

T (x)

$T(x)$

x / σ

$x/\sigma$

— นาโอมิ

มันเป็นแบบเชิงเส้นก็ต่อเมื่อเมทริกซ์ความแปรปรวนแบบมีเงื่อนไขมีเงื่อนไขเดียวกันสำหรับทั้งสองคลาส หากต้องการดูสิ่งนี้ให้คำนึงถึงสัดส่วนของผู้โพสต์บันทึกและคุณจะได้ฟังก์ชันเชิงเส้นออกมาถ้าความแปรปรวนที่สอดคล้องกันเท่ากัน มิฉะนั้นจะเป็นกำลังสอง

— axk
แหล่งที่มา

ฉันต้องการเพิ่มอีกหนึ่งจุด: เหตุผลของความสับสนบางอย่างขึ้นอยู่กับความหมายของการแสดง "การจำแนก Naive Bayes"

ภายใต้หัวข้อคร่าว ๆ ของ "การวิเคราะห์การจำแนกแบบเกาส์เซียน (GDA)" มีหลายเทคนิค: QDA, LDA, GNB และ DLDA (สมการกำลังสอง DA, linear DA, Linear DA, อ่าวไร้เดียงสา Gaussian, LDA แนวทแยง) [อัพเดท] LDA และ DLDA ควรเป็นเส้นตรงในพื้นที่ของตัวทำนายที่ให้มา (ดูเช่นMurphy , 4.2, pg. 101 สำหรับ DA และ pg. 82 สำหรับ NB หมายเหตุ: GNB นั้นไม่จำเป็นต้องเป็นเส้นตรง Discrete NB (ซึ่งใช้การกระจายแบบมัลติโนเมียลภายใต้ประทุน) เป็นเส้นตรงคุณสามารถตรวจสอบ Duda ได้ , Hart & Stork Section 2.6) QDA เป็นกำลังสองตามที่คำตอบอื่น ๆ ได้ชี้ให้เห็น (และฉันคิดว่าเป็นสิ่งที่เกิดขึ้นในกราฟิกของคุณ - ดูด้านล่าง)

เทคนิคเหล่านี้ก่อให้เกิดตาข่ายที่มีข้อ จำกัด ที่ดีใน "เมทริกซ์ความแปรปรวนร่วมระดับที่ชาญฉลาด" : $\Sigma_c$

QDA:โดยพล: ftr โดยพลการ COV เมทริกซ์ต่อคลาส $\Sigma_c$
LDA: : cov ที่ใช้ร่วมกัน เมทริกซ์ (มากกว่าคลาส) $\Sigma_c = \Sigma$
GNB: : คลาส cov เส้นทแยงมุมฉลาด เมทริกซ์ (สมมติฐานของ ind. ในโมเดล diagonal cov. matrix) $\Sigma_c = {diag}_c$ $\rightarrow$
DLDA: : shared & diagonal cov มดลูก $\Sigma_c = diag$

ในขณะที่เอกสารสำหรับ e1071 อ้างว่ามันเป็นความเป็นอิสระระดับเงื่อนไข (เช่น GNB) ฉันสงสัยว่าจริง ๆ แล้วมันกำลังทำ QDA บางคนพูดว่า "ไร้เดียงสาเบย์" (การตั้งสมมติฐานอย่างอิสระ) กับ "การจำแนกแบบเบย์แบบง่ายๆ" วิธีการ GDA ทั้งหมดมาจากภายหลัง แต่มีเพียง GNB และ DLDA เท่านั้นที่ใช้แบบเดิม

คำเตือนครั้งใหญ่ฉันยังไม่ได้อ่านซอร์สโค้ด e1071 เพื่อยืนยันสิ่งที่กำลังทำอยู่

— MrDrFenner
แหล่งที่มา