ไฮเปอร์เพลนจำแนกข้อมูลได้อย่างเหมาะสมที่สุดเมื่ออินพุตไม่ขึ้นกับเงื่อนไข - ทำไม?

ในกระดาษที่เรียกว่าการเรียนรู้อย่างลึกซึ้งและหลักการคอขวดข้อมูลผู้เขียนระบุไว้ในส่วน II A) ดังต่อไปนี้:

เซลล์ประสาทเดี่ยวจัดประเภทอินพุตแบบแยกได้เชิงเส้นเท่านั้นเนื่องจากพวกมันสามารถนำไฮเปอร์เพลนมาใช้ในพื้นที่อินพุตเท่านั้น $u = wh+b$. ไฮเปอร์เพลนสามารถจำแนกข้อมูลได้อย่างเหมาะสมที่สุดเมื่ออินพุทถูกปล่อยให้เป็นอิสระ

เพื่อแสดงสิ่งนี้พวกเขาได้รับสิ่งต่อไปนี้ ใช้ทฤษฎีบทของเบย์พวกเขาได้:

$p(y|x) = \frac{1}{1 + exp(-log\frac{p(x|y)}{p(x|y')} -log\frac{p(y)}{p(y')})}$ (1)

ที่ไหน $x$ คืออินพุต $y$ เป็นชั้นเรียนและ $y'$ คือคลาสที่ทำนายไว้ (ฉันถือว่า $y'$ไม่ได้กำหนด) พวกเขากล่าวว่า:

$\frac{p(x|y)}{p(x|y')} = \prod^N_{j=1}[\frac{p(x_j|y)}{p(x_j|y')}]^{np(x_j)}$ (2)

ที่ไหน $N$ เป็นมิติข้อมูลเข้าและ $n$ฉันไม่แน่ใจ (ทั้งคู่ไม่ได้กำหนด) พิจารณาเซลล์ประสาท sigmoidal ด้วยฟังก์ชันการเปิดใช้งาน sigmoid$\sigma(u) = \frac{1}{1+exp(-u)}$ และการเตรียมการล่วงหน้า $u$หลังจากใส่ (2) เป็น (1) เราจะได้ค่าน้ำหนักที่เหมาะสมที่สุด $w_j = log\frac{p(x_j|y)}{p(x_j|y')}$ และ $b=log\frac{p(y)}{p(y')}$เมื่อค่าอินพุต $h_j=np(x_j)$.

ตอนนี้คำถามของฉัน ฉันเข้าใจว่าการแทรก (2) ลงใน (1) นำไปสู่น้ำหนักที่เหมาะสมและค่าอินพุตได้อย่างไร$w,b,h$. อย่างไรก็ตามสิ่งที่ฉันไม่เข้าใจมีดังต่อไปนี้:

1. (1) มาจากการใช้ทฤษฎีบทของเบย์ได้อย่างไร
2. ได้รับ (2) อย่างไร คืออะไร$n$? ความหมายของมันคืออะไร? ฉันคิดว่ามันเกี่ยวข้องกับความเป็นอิสระตามเงื่อนไข
3. แม้ว่ามิติของ x จะมีความเป็นอิสระตามเงื่อนไขเงื่อนไขใดสถานะหนึ่งจะมีค่าเท่ากับความน่าจะเป็นที่ปรับขนาดได้อย่างไร (เช่นคุณจะระบุได้อย่างไร$h_j=np(x_j)$?)

แก้ไข: ตัวแปร $y$เป็นตัวแปรคลาสไบนารี จากนี้ฉันคิดว่า$y'$เป็นคลาส "อื่น ๆ " สิ่งนี้จะแก้คำถามที่ 1 คุณเห็นด้วยไหม

ขออภัยเกี่ยวกับรายละเอียดที่ขาดหายไปในเอกสารสั้น ๆ ของเรา แต่ความสัมพันธ์และการเชื่อมต่อระหว่างการทดสอบอัตราส่วนความน่าจะเป็นและเซลล์ประสาท sigmoidal นั้นไม่ใช่เรื่องใหม่แน่นอนและสามารถพบได้ในตำรา (เช่นบิชอป 2006) ในกระดาษของเรา 'N' คือมิติข้อมูลเข้าและ 'n' คือขนาดตัวอย่างทดสอบ (ซึ่งแปลเป็นจริงไปยังอินพุต SNR ภายใต้สมมติฐานว่า SNR เติบโตเช่น sqrt (n)) การเชื่อมต่อกับฟังก์ชั่น sigmoidal นั้นทำผ่านกฎของเบย์ซึ่งเป็นส่วนหลังของคลาส ไม่มีอะไรในกระดาษที่เหลือและกระดาษที่ใหม่กว่าและสำคัญกว่าของเราในปี 2560 ขึ้นอยู่กับสิ่งนี้

Naftali Tishby

นี่คือการตั้งค่ารูปแบบที่ผู้เขียนกำลังใช้รูปแบบพิเศษของทฤษฎีบทเบย์ที่ใช้เมื่อคุณมีตัวแปรไบนารีที่น่าสนใจ ก่อนอื่นพวกเขาจะได้รับทฤษฎีบทของเบย์แบบพิเศษนี้เป็นสมการ (1) แล้วพวกเขาก็แสดงให้เห็นว่าสภาพในสมการ (2) นำพวกเขาไปสู่รูปแบบเชิงเส้นที่ระบุสำหรับเครือข่ายของพวกเขา สิ่งสำคัญคือให้สังเกตว่าสมการหลังไม่ได้มาจากเงื่อนไขก่อนหน้า --- แต่เป็นเงื่อนไขสำหรับรูปแบบเชิงเส้นที่ใช้สำหรับเครือข่าย

---

การได้รับสมการแรก:สมการ (1) ในกระดาษเป็นเพียงรูปแบบของทฤษฎีบทของเบย์ที่แสดงความน่าจะเป็นเงื่อนไขที่น่าสนใจในแง่ของฟังก์ชันลอจิสติกมาตรฐาน (sigmoid) ที่ทำงานบนฟังก์ชันของความน่าจะเป็น สละ$y$ และ $y'$ เป็นสองผลลัพธ์ไบนารีของตัวแปรสุ่ม $Y$และการใช้ทฤษฎีบท Bayes ให้:

$$\begin{equation} \begin{aligned} p(y|\mathbf{x}) = \frac{p(y,\mathbf{x})}{p(\mathbf{x})} &= \frac{p(\mathbf{x}|y) p(y)}{p(\mathbf{x}|y) p(y)+p(\mathbf{x}|y') p(y')} \\[6pt] &= \frac{1}{1+ p(\mathbf{x}|y') p(y')/p(\mathbf{x}|y) p(y)} \\[6pt] &= \frac{1}{1+ \exp \Big( \log \Big( \tfrac{p(\mathbf{x}|y') p(y')}{p(\mathbf{x}|y) p(y)} \Big) \Big)} \\[6pt] &= \frac{1}{1+ \exp \Big( - \log \tfrac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} - \log \tfrac{p(y)}{p(y')} \Big)} \\[6pt] &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg). \\[6pt] \end{aligned} \end{equation}$$

การใช้สมการ (2) เป็นเงื่อนไขสำหรับรูปแบบ lienar ของเครือข่าย:ตามที่ระบุไว้ข้างต้นสมการนี้ไม่ใช่สิ่งที่ได้มาจากผลลัพธ์ก่อนหน้า ค่อนข้างเป็นเงื่อนไขที่เพียงพอที่จะนำไปสู่รูปแบบเชิงเส้นที่ผู้เขียนใช้ในรูปแบบของพวกเขา --- กล่าวคือผู้เขียนบอกว่าถ้าสมการนี้ถือแล้วผลที่ตามมาบางอย่างตามมา ปล่อยเวกเตอร์อินพุต$\mathbf{x} = (x_1,...,x_N)$ มีความยาว $N$ถ้าถือ Equation (2) แล้วนำลอการิทึมของทั้งสองด้านมาให้:

$$\begin{equation} \begin{aligned} \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} &= \log \prod_{i=1}^N \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big]^{n p (x_i)} \\[6pt] &= \sum_{i=1}^N n p (x_i) \log \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big] \\[6pt] &= \sum_{i=1}^N h_i w_i. \\[6pt] \end{aligned} \end{equation}$$

ภายใต้เงื่อนไขนี้เราจึงได้รับแบบฟอร์มด้านหลัง:

$$\begin{equation} \begin{aligned} p(y|\mathbf{x}) &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg) \\[6pt] &= \text{logistic} \Bigg( \sum_{i=1}^N h_i w_i + b \Bigg), \\[6pt] \end{aligned} \end{equation}$$

รูปแบบที่ผู้เขียนใช้ในเครือข่ายของตน นี่คือรูปแบบโมเดลที่ถูกอ้างถึงโดยผู้แต่งในส่วนพื้นหลังก่อนที่จะระบุสมการ (1) - (2) กระดาษไม่ได้กำหนด$n$อยู่ในการตั้งค่ารุ่นนี้ แต่เมื่อคุณชี้ให้เห็นคำตอบของศาสตราจารย์ Tishby บอกว่านี่คือขนาดตัวอย่างทดสอบ เมื่อพิจารณาถึงคำถามที่สามของคุณปรากฏว่าข้อกำหนดของสมการ (2) หมายถึงค่าต่างๆ$\mathbf{x}$จะไม่ได้รับอิสระตามเงื่อนไข$y$.

สำหรับ 1

$P(y \mid x) = \frac{P(y, x)}{P(x)}$

$= \frac{P(y,x)}{\sum_{i}P(y_{i},x)}$

ตอนนี้เป็น $y_{i}$ เป็นไบนารีสิ่งนี้จะกลายเป็น:

$= \frac{P(y,x)}{P(y,x)+P(y',x)}$

$= \frac{1}{1+\frac{P(y',x)}{P(y,x)}}$

$= \frac{1}{1+exp[-log \ \frac{P(y,x)}{P(y',x)}]}$

และจากที่นั่นเป็นเพียงคุณสมบัติของลอการิทึมเพื่อไปยังแบบฟอร์มสุดท้าย (ควรมีความชัดเจนเพียงพอโดยจุดนี้แจ้งให้เราทราบหากไม่ได้)