ตัวอย่างการหลอกลวง log-sum-exp ใน Naive Bayes

ฉันได้อ่านเกี่ยวกับเคล็ดลับการบันทึกผลรวมในหลายสถานที่ (เช่นที่นี่และที่นี่ ) แต่ไม่เคยเห็นตัวอย่างของวิธีการใช้งานเฉพาะกับตัวจําแนก Naive Bayes (เช่นด้วยคุณสมบัติแยกและสองคลาส)

เราจะหลีกเลี่ยงปัญหาอันเดอร์โฟลว์ที่เป็นตัวเลขโดยใช้เคล็ดลับนี้ได้อย่างไร?

naive-bayes underflow

— หยอกเย้า
แหล่งที่มา

มีหลายตัวอย่างของการใช้งานที่นี่ แต่ไม่จำเป็นต้องชัดเจนสำหรับเบย์ไร้เดียงสา อย่างไรก็ตามนั่นแทบจะไม่สำคัญเนื่องจากความคิดเรื่องกลอุบายนั้นค่อนข้างตรงไปตรงมาและสามารถปรับเปลี่ยนได้อย่างง่ายดาย

— Glen_b -Reinstate Monica

ปัญหามีแนวโน้มที่จะ underflow มากกว่าล้น

— เฮนรี่

ฉันขอแนะนำให้คุณลองค้นหาunderflowจากนั้นอัปเดตคำถามของคุณเพื่อระบุสิ่งที่ไม่ได้กล่าวถึงแล้วโดยเฉพาะ

— Glen_b -Reinstate Monica

คุณช่วยอธิบายได้ไหม - นี่คือเบอนูลี่ - เบย์ไร้เดียงสานางแบบ? อย่างอื่นอาจจะ?

— Glen_b -Reinstate Monica

ดูตัวอย่างที่นี่ที่ด้านล่าง (ก่อนหน้า 'เห็นด้วย' โดยที่พวกเขาใช้บันทึกการยกกำลังทั้งสองด้าน แต่การทิ้ง RHS "ตาม - คือ" (เนื่องจาก exp ของผลรวมของบันทึก) จะเป็นตัวอย่างของบันทึก เคล็ดลับ -sum-exp ที่ให้ข้อมูลที่เพียงพอเกี่ยวกับการใช้งานใน Naive Bayes เพื่อถามคำถามที่เฉพาะเจาะจงมากกว่านี้หรือไม่

— Glen_b -Reinstate Monica

คำตอบ:

ใน

p (Y = C | x) = \frac{p (x | Y = C) p (Y = C)}{\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})}

$p(Y=C|\mathbf{x}) = \frac{p(\mathbf{x}|Y=C)p(Y=C)}{~\sum_{k=1}^{|C|}{}p(\mathbf{x}|Y=C_k)p(Y=C_k)}$

ทั้งตัวส่วนและตัวเศษอาจเล็กมากโดยทั่วไปแล้วเนื่องจากสามารถใกล้เคียงกับ 0 และเราคูณพวกมันเข้าด้วยกัน เพื่อป้องกันไม่ให้อันเดอร์โฟล์วสามารถใช้บันทึกของตัวเศษได้ แต่ต้องใช้เคล็ดลับการบันทึกผลรวมสำหรับตัวส่วน $p(x_i \vert C_k)$

โดยเฉพาะอย่างยิ่งเพื่อป้องกันไม่ให้มีอันเดอร์โฟลว์:

ถ้าเราจะดูแลเกี่ยวกับการรู้ซึ่งระดับอินพุตส่วนใหญ่จะเป็นของที่มีค่าสูงสุดที่กฎการตัดสินใจ posteriori (MAP) เราจะได้ไม่ต้องใช้ log- เคล็ดลับผลรวมเนื่องจากเราไม่ต้องคำนวณตัวส่วนในกรณีนั้น สำหรับเศษหนึ่งก็สามารถใช้เข้าสู่ระบบเพื่อป้องกันไม่ให้ underflows: $(\hat{y})$ $(\mathbf{x}=x_1, \dots, x_n)$ $log \left( p(\mathbf{x}|Y=C)p(Y=C) \right)$ . โดยเฉพาะอย่างยิ่ง:

$\hat{y} = \underset{k \in {1, \dots, | C |}}{argmax} p (C_{k} | x_{1}, \dots, x_{n}) = \underset{k \in {1, \dots, | C |}}{argmax} p (C_{k}) \prod_{i = 1}^{n} p (x_{i} | C_{k})$ $\hat{y} = \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}}p(C_k \vert x_1, \dots, x_n) = \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \ p(C_k) \displaystyle\prod_{i=1}^n p(x_i \vert C_k)$
ซึ่งกลายเป็นหลังจากการบันทึก:

\begin{aligned} \hat{y} & = \underset{k \in {1, \dots, | C |}}{argmax} \log (p (C_{k} | x_{1}, \dots, x_{n})) \\ = \underset{k \in {1, \dots, | C |}}{argmax} \log (p (C_{k}) \prod_{i = 1}^{n} p (x_{i} | C_{k})) \\ = \underset{k \in {1, \dots, | C |}}{argmax} (\log (p (C_{k})) + \sum_{i = 1}^{n} \log (p (x_{i} | C_{k}))) \end{aligned}

$\begin{align} \hat{y} &= \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \log \left( p(C_k \vert x_1, \dots, x_n) \right)\\ &= \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \log \left( \ p(C_k) \displaystyle\prod_{i=1}^n p(x_i \vert C_k) \right) \\ &= \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \left( \log \left( p(C_k) \right) + \ \displaystyle\sum_{i=1}^n \log \left(p(x_i \vert C_k) \right) \right) \end{align}$

ถ้าเราต้องการคำนวณความน่าจะเป็นของคลาสเราจะต้องคำนวณตัวส่วน: $p(Y=C|\mathbf{x})$

$\begin{aligned} \log (p (Y = C | x)) & = \log (\frac{p (x | Y = C) p (Y = C)}{\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})}) \\ = \log (\underset{numerator}{\underset{⏟}{p (x | Y = C) p (Y = C)}}) - \log (\underset{denominator}{\underset{⏟}{\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})}}) \end{aligned}$

องค์ประกอบ $\log \left( ~\sum_{k=1}^{|C|}{}p(\mathbf{x}|Y=C_k)p(Y=C_k) \right)\\$ อาจ underflow เนื่องจากอาจมีขนาดเล็กมาก: มันเป็นปัญหาเดียวกับตัวเศษ แต่คราวนี้เรามีผลบวกภายในลอการิทึมซึ่งทำให้เราไม่สามารถเปลี่ยน (สามารถใกล้ถึง 0) ใน (ลบและไม่ใกล้กับ 0 อีกต่อไปตั้งแต่ $p(x_i \vert C_k)$ $p(x_i \vert C_k)$ $\log \left(p(x_i \vert C_k) \right)$ $0 \leq p(x_i \vert C_k) \leq 1$ ) ในการหลีกเลี่ยงปัญหานี้เราสามารถใช้ข้อเท็จจริงที่ว่าเพื่อรับ: $p(x_i \vert C_k) = \exp \left( {\log \left(p(x_i \vert C_k) \right)} \right)$

$\log (\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})) = \log (\sum_{k = 1}^{| C |} \exp (\log (p (x | Y = C_{k}) p (Y = C_{k}))))$

ณ จุดนั้นมีปัญหาใหม่เกิดขึ้น: อาจเป็นค่าลบซึ่งหมายถึงอาจใกล้เคียงกับ 0 มากเช่นอันเดอร์โฟล์ นี่คือที่เราใช้เคล็ดลับการบันทึกผลรวม : $\log \left( p(\mathbf{x}|Y=C_k)p(Y=C_k) \right)$ $\exp \left( \log \left( p(\mathbf{x}|Y=C_k)p(Y=C_k) \right) \right)$

$\log \sum_{k} e^{a_{k}} = \log \sum_{k} e^{a_{k}} e^{A - A} = A + \log \sum_{k} e^{a_{k} - A}$

ด้วย:
- , $a_k=\log \left( p(\mathbf{x}|Y=C_k)p(Y=C_k) \right)$
- $A = \underset{k \in \{1, \dots, |C|\}} \max a_k.$
เราจะเห็นได้ว่าการแนะนำตัวแปรหลีกเลี่ยงอันเดอร์โฟลว์ เช่นกับเรามี: $A$ $k=2, a_1 = - 245, a_2 = - 255$
- $\exp \left(a_1\right) = \exp \left(- 245\right) =3.96143\times 10^{- 107}$
- $\exp \left(a_2\right) = \exp \left(- 255\right) =1.798486 \times 10^{-111}$
การใช้เคล็ดลับ log-sum-exp เราหลีกเลี่ยง underflow ด้วย : $A=\max ( -245, -255 )=-245$ $\begin{align}\log \sum_k e^{a_k} &= \log \sum_k e^{a_k}e^{A-A} \\&= A+ \log\sum_k e^{a_k -A}\\ &= -245+ \log\sum_k e^{a_k +245}\\&= -245+ \log \left(e^{-245 +245}+e^{-255 +245}\right) \\&=-245+ \log \left(e^{0}+e^{-10}\right) \end{align}$

เราหลีกเลี่ยงอันเดอร์โฟล์เนื่องจาก อยู่ห่างจาก 0 มากกว่าหรือมาก $e^{-10}$ $3.96143\times 10^{- 107}$ $1.798486 \times 10^{-111}$

— Franck Dernoncourt
แหล่งที่มา

สมมติว่าเราต้องการระบุว่าฐานข้อมูลใดในสองฐานข้อมูลมีแนวโน้มที่จะสร้างวลี (ตัวอย่างเช่นนวนิยายชนิดใดที่เป็นวลีนี้มีแนวโน้มที่จะมาจาก) เราสามารถสมมติความเป็นอิสระของคำที่มีเงื่อนไขบนฐานข้อมูล (สมมติฐานของ Naive Bayes)

ตอนนี้ค้นหาลิงค์ที่สองที่คุณโพสต์ มีจะเป็นตัวแทนของความน่าจะเป็นร่วมกันของการสังเกตประโยคที่กำหนดฐานข้อมูลและ s จะเป็นตัวแทนของความน่าจะเป็นในการสังเกตแต่ละคำในประโยค $a$ $e^{b_{t}}$

— ซิด
แหล่งที่มา

เราสามารถเห็นได้จากคำตอบนี้ว่าจำนวนที่น้อยที่สุดใน Python (ยกตัวอย่างเช่น) นั้น5e-324เกิดจากIEEE754และสาเหตุของฮาร์ดแวร์จะนำไปใช้กับภาษาอื่นเช่นกัน

In [2]: np.nextafter(0, 1)
Out[2]: 5e-324

และทุ่นใด ๆ ที่เล็กกว่านั้นจะนำไปสู่ 0

In [3]: np.nextafter(0, 1)/2
Out[3]: 0.0

และมาดูฟังก์ชั่นของ Naive Bayes with discrete features and two classesตามที่คุณต้องการ:

p (S = 1 | w_{1}, . . . w_{n}) = \frac{p (S = 1) \prod_{i = 1}^{n} p (w_{i} | S = 1)}{\sum_{s = {0, 1}} p (S = s) \prod_{i = 1}^{n} p (w_{i} | S = s)}

$p(S=1|w_1, ... w_n) = \frac{p(S=1) \prod_{i=1}^n p(\mathbf{w_i}|S=1)}{~\sum_{s=\{0, 1\}}p(S=s)\prod_{i=1}^n p(\mathbf{w_i}|S=s)}$

ให้ฉันยกตัวอย่างฟังก์ชั่นนั้นโดยงานร้อง NLP ง่าย

เราตัดสินใจที่จะตรวจสอบว่าอีเมลที่เข้ามาเป็นสแปม ( ) หรือไม่เป็นสแปม ( ) และเรามีคำศัพท์ที่มีขนาด 5,000 คำ ( ) และข้อกังวลเดียวคือถ้ามีคำ ( ) เกิดขึ้น ( ) ในอีเมลหรือไม่ ( ) เพื่อความเรียบง่าย ( Bernoulli naive Bayes ) $S=1$ $S=0$ $n=5,000$ $w_i$ $p(w_i|S=1)$ $1-p(w_i|S=1)$

In [1]: import numpy as np
In [2]: from sklearn.naive_bayes import BernoulliNB
# let's train our model with 200 samples
In [3]: X = np.random.randint(2, size=(200, 5000))
In [4]: y = np.random.randint(2, size=(200, 1)).ravel()
In [5]: clf = BernoulliNB()
In [6]: model = clf.fit(X, y)

เราจะเห็นว่าจะมีขนาดเล็กมากเนื่องจากความน่าจะเป็น (ทั้งและจะอยู่ระหว่าง 0 และ 1) ในและด้วยเหตุนี้เรามั่นใจว่าสินค้าจะมีขนาดเล็กกว่าและเราก็จะได้รับ0/0 $p(S=s)\prod_{i=1}^n p(\mathbf{w_i}|S=s)$ $p(w_i|S=1)$ $1-p(w_i|S=1)$ $\prod_i^{5000}$ $5e^{-324}$ $0/0$

In [7]: (np.nextafter(0, 1)*2) / (np.nextafter(0, 1)*2)
Out[7]: 1.0

In [8]: (np.nextafter(0, 1)/2) / (np.nextafter(0, 1)/2)
/home/lerner/anaconda3/bin/ipython3:1: RuntimeWarning: invalid value encountered in double_scalars
  #!/home/lerner/anaconda3/bin/python
Out[8]: nan
In [9]: l_cpt = model.feature_log_prob_
In [10]: x = np.random.randint(2, size=(1, 5000))
In [11]: cls_lp = model.class_log_prior_
In [12]: probs = np.where(x, np.exp(l_cpt[1]), 1-np.exp(l_cpt[1]))
In [13]: np.exp(cls_lp[1]) * np.prod(probs)
Out[14]: 0.0

แล้วปัญหาที่เกิดขึ้น: วิธีการที่เราสามารถคำนวณความน่าจะเป็นของอีเมลที่เป็นสแปม ? หรือเราจะคำนวณตัวเศษและส่วนได้อย่างไร $p(S=1|w_1, ... w_n)$

เราสามารถเห็นการดำเนินการอย่างเป็นทางการในsklearn :

jll = self._joint_log_likelihood(X)
# normalize by P(x) = P(f_1, ..., f_n)
log_prob_x = logsumexp(jll, axis=1)
return jll - np.atleast_2d(log_prob_x).T

สำหรับตัวเศษมันจะแปลงผลคูณของความน่าจะเป็นผลรวมของความน่าจะเป็นของบันทึกและสำหรับตัวส่วนที่มันใช้งานlogumexp ใน scipyซึ่งก็คือ:

out = log(sum(exp(a - a_max), axis=0))
out += a_max

เนื่องจากเราไม่สามารถเพิ่มความน่าจะเป็นร่วมสองข้อด้วยการเพิ่มโอกาสในการบันทึกร่วมและเราควรออกจากพื้นที่บันทึกไปยังพื้นที่ความน่าจะเป็น แต่เราไม่สามารถเพิ่มความน่าจะเป็นที่แท้จริงทั้งสองได้เนื่องจากมันมีขนาดเล็กเกินไปและเราควรปรับขนาดและทำการเพิ่ม: และนำผลลัพธ์กลับมา ในพื้นที่บันทึกจากนั้นให้ขายอีกครั้ง:ในพื้นที่การบันทึกโดยการเพิ่มสูงสุด $\sum_{s=\{0,1\}} e^{jll_s - max\_jll}$ $\log\sum_{s=\{0,1\}} e^{jll_s - max\_jll}$ $max\_jll+ \log\sum_{s=\{0,1\}} e^{jll_s - max\_jll}$ $max\_jll$

และนี่คือที่มา:

$\begin{align} \log \sum_{s=\{0,1\}} e^{jll_s} & = \log \sum_{s=\{0,1\}} e^{jll_s}e^{max\_jll-max\_jll} \\& = \log e ^{max\_jll}+ \log\sum_{s=\{0,1\}} e^{jll_s - max\_jll} \\& = max\_jll+ \log\sum_{s=\{0,1\}} e^{jll_s - max\_jll} \end{align}$

โดยที่คือในรหัส $max\_jll$ $a\_max$

เมื่อเราได้รับทั้งเศษและส่วนในพื้นที่บันทึกเราจะได้รับความน่าจะเป็นตามเงื่อนไขของบันทึก ( ) โดยการลบตัวส่วนจากเศษ : $\log p(S=1|w_1, ... w_n)$

return jll - np.atleast_2d(log_prob_x).T

หวังว่าจะช่วย

การอ้างอิง:
1. ตัวแยกประเภท Bernoulli Naive Bayes
2. การกรองสแปมด้วย Naive Bayes - Naive Bayes ใด?

— เลิร์นเนอจาง
แหล่งที่มา