ทำไมคะแนน f เบต้ากำหนดเบต้าเช่นนั้น

10

นี่คือคะแนน F เบต้า:

F_{β} = (1 + β^{2}) \cdot \frac{พี R อี ค ผม s ผม โอ n \cdot R อี ค a ล. ล.}{(β^{2} \cdot พี R อี ค ผม s ผม โอ n) + R อี ค a ล. ล.}

$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$

วิกิพีเดียบทความระบุว่าF_ $F_\beta$ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

ฉันไม่ได้รับความคิด ทำไมนิยามเช่นนั้น ฉันสามารถกำหนดแบบนี้: $\beta$ $F_\beta$

F_{β} = (1 + β) \cdot \frac{พี R อี ค ผม s ผม โอ n \cdot R อี ค a ล. ล.}{(β \cdot พี R อี ค ผม s ผม โอ n) + R อี ค a ล. ล.}

$F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta \cdot \mathrm{precision}) + \mathrm{recall}}$

และวิธีการแสดงβ times as much importance?

machine-learning precision-recall model-evaluation

— เรียบร้อย
แหล่งที่มา

2

ตรวจสอบคำตอบใหม่ด้านล่างที่มีแคลคูลัสความแตกต่างอยู่ที่ว่า "ทำไม Beta ยืดและไม่เบต้า"

— javadba

19

การให้เป็นน้ำหนักในคำจำกัดความแรกที่คุณให้และน้ำหนักในคำนิยามที่สองคำจำกัดความทั้งสองนั้นเทียบเท่ากันเมื่อคุณตั้งค่าดังนั้นคำจำกัดความทั้งสองนี้แสดงถึงความแตกต่างเชิงสัญญะเท่านั้นในนิยามของคะแนน . ฉันได้เห็นมันกำหนดทั้งวิธีแรก (เช่นในหน้า wikipedia ) และวิธีที่สอง (เช่นที่นี่ ) $\beta$ $\tilde\beta$ $\tilde\beta = \beta^2$ $F_\beta$

การวัดนั้นได้มาจากการหาค่าเฉลี่ยฮาร์มอนิกของความแม่นยำและการเรียกคืนซึ่งก็คือค่าตอบแทนส่วนกลับของค่าเฉลี่ยของความแม่นยำซึ่งกันและกันและการเรียกคืนซึ่งกันและกัน: $F_1$

\begin{aligned} F_{1} & = \frac{1}{\frac{1}{2} \frac{1}{ความแม่นยำ} + \frac{1}{2} \frac{1}{จำ}} \\ = 2 \frac{ความแม่นยำ \cdot จำ}{ความแม่นยำ + จำ} \end{aligned}

$\begin{align*} F_1 &= \frac{1}{\frac{1}{2}\frac{1}{\text{precision}}+\frac{1}{2}\frac{1}{\text{recall}}} \\ &= 2\frac{\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}} \end{align*}$

แทนที่จะใช้น้ำหนักในตัวส่วนที่เท่ากันและรวมเป็น 1 ( สำหรับการเรียกคืนและ $\frac{1}{2}$ เพื่อความแม่นยำ) เราอาจกำหนดน้ำหนักที่ยังคงรวมเป็น 1 แต่สำหรับน้ำหนักที่จำได้คือคูณใหญ่เท่ากับน้ำหนักของความแม่นยำ ( $\frac{1}{2}$ $\beta$ สำหรับการเรียกคืนและ $\frac{\beta}{\beta+1}$ เพื่อความแม่นยำ) นี้ผลตอบแทนถัวเฉลี่ยความหมายที่สองของคุณของคะแนน: $\frac{1}{\beta+1}$ $F_\beta$

\begin{aligned} F_{β} & = \frac{1}{\frac{1}{β + 1} \frac{1}{ความแม่นยำ} + \frac{β}{β + 1} \frac{1}{จำ}} \\ = (1 + β) \frac{ความแม่นยำ \cdot จำ}{β \cdot ความแม่นยำ + จำ} \end{aligned}

$\begin{align*} F_\beta &= \frac{1}{\frac{1}{\beta+1}\frac{1}{\text{precision}}+\frac{\beta}{\beta+1}\frac{1}{\text{recall}}} \\ &= (1+\beta)\frac{\text{precision}\cdot\text{recall}}{\beta\cdot\text{precision}+\text{recall}} \end{align*}$

อีกครั้งถ้าเราได้ใช้แทนที่นี่เราจะได้มาถึงที่หมายแรกของคุณเพื่อให้แตกต่างระหว่างสองคำจำกัดความเป็นเพียงสัญลักษณ์ $\beta^2$ $\beta$

— josliber
แหล่งที่มา

1

ทำไมพวกเขาคูณ

ด้วยเทอมที่แม่นยำแทนที่จะเป็นเทอมการเรียกคืน?

β

$\beta$

— Anwarvic

1

ค่าแคลคูลัสว่าที่อยู่ "ทำไม Beta ยืดและไม่เบต้า" จะรวมอยู่ในคำตอบที่ใหม่กว่าด้านล่าง

— javadba

@ อันวาร์วิคพวกเขาคูณ

กับการเรียกคืนแบบผกผัน หลังจากที่แฟออก

และการขยายตัวที่มี

มี

ระยะซ้าย

β

$\beta$

(1 + β)

$(1+ \beta)$

precision \cdot recall

$\text{precision} \cdot \text{recall}$

β \cdot precision

$\beta \cdot \text{precision}$

— user2740

6

เหตุผลสำหรับการกำหนดคะแนน F-เบต้ากับ $\beta^{2}$ เป็นว่าคำพูดที่คุณให้ (คือต้องการที่จะแนบ $\beta$ ครั้งเป็นความสำคัญมากที่จะเรียกคืนความแม่นยำ) ให้คำนิยามโดยเฉพาะอย่างยิ่งสำหรับสิ่งที่มันหมายถึงการแนบ $\beta$ ครั้งเป็นความสำคัญมากในการเรียกคืน กว่าความแม่นยำ

วิธีการเฉพาะในการกำหนดความสำคัญเชิงสัมพันธ์ของสองตัวชี้วัดที่นำไปสู่การกำหนด $\beta^{2}$ สามารถพบได้ในการสืบค้นข้อมูล (Van Rijsbergen, 1979):

คำจำกัดความ: ความสำคัญสัมพัทธ์ที่ผู้ใช้ยึดติดกับความแม่นยำและการเรียกคืนคืออัตราส่วน $P/R$ ที่ $\partial{E}/ \partial{R} = \partial{E}/ \partial{P}$ โดยที่ $E = E(P, R)$ เป็นการวัดประสิทธิภาพตามความแม่นยำและ จำ.

แรงจูงใจสำหรับสิ่งนี้:

วิธีที่ง่ายที่สุดที่ฉันรู้ในการหาจำนวนนี้คือการระบุอัตราส่วน $P/R$ ที่ผู้ใช้ยินดีแลกเปลี่ยนความแม่นยำที่เพิ่มขึ้นสำหรับการสูญเสียการเรียกคืนที่เท่ากัน

จะเห็นว่าโอกาสในการขายนี้ไป $\beta^{2}$ สูตรที่เราสามารถเริ่มต้นด้วยสูตรทั่วไปสำหรับค่าเฉลี่ยถ่วงน้ำหนักของฮาร์โมนิ $P$ และ $R$ และคำนวณอนุพันธ์บางส่วนของพวกเขาด้วยความเคารพ $P$ และR $R$ แหล่งที่มาอ้างใช้ $E$ (สำหรับ "ประสิทธิผลวัด") ซึ่งเป็นเพียง $1-F$ และคำอธิบายจะเท่ากับว่าเราพิจารณา $E$ หรือF $F$

F = \frac{1}{(\frac{α}{P} + \frac{1 - α}{R})}

$\begin{equation} F = \frac{1}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})} \end{equation}$

\partial F / \partial P = \frac{α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} P^{2}}

$\begin{equation} \partial{F}/\partial{P} = \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}} \end{equation}$

\partial F / \partial R = \frac{1 - α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} R^{2}}

$\begin{equation} \partial{F}/\partial{R} = \frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} \end{equation}$

ตอนนี้การตั้งค่าสัญญาซื้อขายล่วงหน้าเท่ากับหนึ่งสถานที่อื่นข้อ จำกัด เกี่ยวกับความสัมพันธ์ระหว่าง $\alpha$ และอัตราส่วน $P/R$ Rระบุว่าเราต้องการที่จะแนบ $\beta$ ครั้งเป็นความสำคัญมากที่จะเรียกคืนความแม่นยำเราจะพิจารณาอัตราส่วน $R/P$ ¹ :

\partial F / \partial P = \partial F / \partial R \to \frac{α}{P^{2}} = \frac{1 - α}{R^{2}} \to \frac{R}{P} = \sqrt{\frac{1 - α}{α}}

$\begin{equation} \partial{F}/\partial{P} = \partial{F}/\partial{R} \rightarrow \frac{\alpha}{P^{2}} = \frac{1-\alpha}{R^{2}} \rightarrow \frac{R}{P} = \sqrt{\frac{1-\alpha}{\alpha}} \end{equation}$

การกำหนด $\beta$ เป็นอัตราส่วนนี้และการจัดเรียงใหม่สำหรับ $\alpha$ จะให้น้ำหนักในแง่ของ $\beta^{2}$ :

β = \sqrt{\frac{1 - α}{α}} \to β^{2} = \frac{1 - α}{α} \to β^{2} + 1 = \frac{1}{α} \to α = \frac{1}{β^{2} + 1}

$\begin{equation} \beta = \sqrt{\frac{1-\alpha}{\alpha}} \rightarrow \beta^{2} = \frac{1-\alpha}{\alpha} \rightarrow \beta^{2} + 1 = \frac{1}{\alpha} \rightarrow \alpha = \frac{1}{\beta^{2} + 1} \end{equation}$

1 - α = 1 - \frac{1}{β^{2} + 1} \to \frac{β^{2}}{β^{2} + 1}

$\begin{equation} 1 - \alpha = 1 - \frac{1}{\beta^{2} + 1} \rightarrow \frac{\beta^{2}}{\beta^{2} + 1} \end{equation}$

เราได้รับ:

F = \frac{1}{(\frac{1}{β^{2} + 1} \frac{1}{P} + \frac{β^{2}}{β^{2} + 1} \frac{1}{R})}

$\begin{equation} F = \frac{1}{(\frac{1}{\beta^{2} + 1}\frac{1}{P} + \frac{\beta^{2}}{\beta^{2} + 1}\frac{1}{R})} \end{equation}$

ซึ่งสามารถจัดเรียงใหม่เพื่อให้แบบฟอร์มในคำถามของคุณ

ดังนั้นจึงให้ความหมายที่ยกมาถ้าคุณต้องการที่จะแนบ $\beta$ ครั้งเป็นความสำคัญมากที่จะเรียกคืนความแม่นยำแล้ว $\beta^{2}$ สูตรควรใช้ การตีความเช่นนี้ไม่ถือถ้าใครใช้เบต้า $\beta$ การตีความที่ใช้งานง่ายและเทียบเท่าน้อยกว่าในกรณีที่เราเพิ่งใช้ $\beta$ จะเป็นสิ่งที่เราต้องการแนบ $\sqrt{\beta}$ ความสำคัญมากในการเรียกคืนความแม่นยำ

คุณสามารถกำหนดคะแนนได้ตามที่คุณแนะนำอย่างไรก็ตามคุณควรตระหนักว่าในกรณีนี้การตีความที่กล่าวถึงไม่ได้เกิดขึ้นอีกต่อไปหรือคุณกำลังอ้างถึงคำจำกัดความอื่น ๆ สำหรับการหาปริมาณการแลกเปลี่ยนระหว่างความแม่นยำและการเรียกคืน

เชิงอรรถ:

$P/R$

อ้างอิง:

— บุคคลหนึ่ง
แหล่งที่มา

1

นี่ควรเป็นคำตอบที่ยอมรับได้

— javadba

3

เพื่อชี้สิ่งที่ออกอย่างรวดเร็ว

หมายความว่าเมื่อค่าเบต้าเพิ่มขึ้นคุณจะให้ความแม่นยำมากกว่า

ฉันคิดว่าจริง ๆ แล้วมันตรงกันข้าม - เนื่องจากการให้คะแนนแบบ F-higher สูงกว่าคุณจึงต้องการให้ตัวส่วนเล็ก ดังนั้นหากคุณลดβโมเดลจะถูกลงโทษน้อยลงเนื่องจากมีคะแนนความแม่นยำที่ดี หากคุณเพิ่มβคะแนน F-is จะถูกลงโทษมากขึ้นเมื่อความแม่นยำสูง

หากคุณต้องการให้น้ำหนักการให้คะแนน F-so เพื่อให้ค่าความแม่นยำβควรเป็น 0 <1 <1 โดยที่β-> 0 ค่าความแม่นยำเท่านั้น (ตัวเศษเล็กมากและสิ่งเดียวในตัวหารคือเรียกคืน ดังนั้นคะแนน F-βจะลดลงเมื่อการเรียกคืนเพิ่มขึ้น)

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

— H Froedge
แหล่งที่มา

0

เหตุผลที่β ^ 2 ถูกคูณด้วยความแม่นยำนั้นเป็นเพียงวิธีการกำหนดคะแนน F หมายความว่าเมื่อค่าเบต้าเพิ่มขึ้นคุณจะให้ความแม่นยำมากกว่า หากคุณต้องการคูณด้วยการเรียกคืนที่ใช้งานได้ก็หมายความว่าเมื่อค่าเบต้าเพิ่มขึ้นคุณจะได้รับการเรียกคืนมากขึ้น

— มาห์มุด
แหล่งที่มา

0

ค่าเบต้าที่มากกว่า 1 หมายความว่าเราต้องการให้แบบจำลองของเราให้ความสำคัญกับรุ่นของ Recall มากกว่าความแม่นยำ ในอีกทางหนึ่งค่าน้อยกว่า 1 ให้ความสำคัญกับความแม่นยำมากขึ้น

— Mohit Sharma
แหล่งที่มา