จะคำนวณจำนวนฟีเจอร์ตามความละเอียดของภาพได้อย่างไร?

18

เพิ่งครอบคลุมสมมุติฐานของ Neural Netowrks ที่ไม่ใช่เชิงเส้นของ Andrew Ng และเรามีคำถามแบบปรนัยสำหรับกำหนดจำนวนของคุณสมบัติสำหรับภาพความละเอียด100x100ของความเข้มระดับgrescale

และคำตอบคือ 50 ล้าน, x $5$ $10^7$

อย่างไรก็ตามก่อนหน้านี้สำหรับรูปภาพขนาด 50 x 50 พิกเซลสีเทา จำนวนคุณสมบัติคือ 50x50 (2500)

ทำไมมันจะเป็น xแทน ? $5$ $10^7$ $10,000$

อย่างไรก็ตามเขาพูดว่ารวมถึงคำที่เป็นกำลังสองทั้งหมด ( $x_ix_j$ ) เป็นคุณสมบัติ

สมมติว่าคุณกำลังเรียนรู้ที่จะรับรู้รถยนต์จากภาพ 100 × 100 พิกเซล (โทนสีเทาไม่ใช่ RGB) ปล่อยให้คุณสมบัติเป็นค่าความเข้มของพิกเซล หากคุณฝึกการถดถอยโลจิสติกรวมถึงเงื่อนไขกำลังสองทั้งหมด ( ) เป็นฟีเจอร์คุณจะมีฟีเจอร์จำนวนเท่าใด $x_ix_j$

และในสไลด์ก่อนหน้าเกี่ยวกับ 100x100 นั้นฟีเจอร์สมการกำลังสอง ( x ) = 3 ล้านฟีเจอร์ แต่ฉันยังไม่สามารถวางนิ้วบนการเชื่อมต่อ $x_i$ $x_j$

feature-selection image-processing

— Iancovici
แหล่งที่มา

16

บางทีกรณีที่เรียบง่ายอาจทำให้สิ่งต่าง ๆ ชัดเจนขึ้น สมมติว่าเราเลือกพิกเซล 1x2 ตัวอย่างแทนที่จะเป็น 100x100

ตัวอย่างพิกเซลจากภาพ

+----+----+
| x1 | x2 |
+----+----+

ลองนึกภาพเมื่อวางแผนชุดการฝึกอบรมของเราเราสังเกตว่ามันไม่สามารถแยกออกได้อย่างง่ายดายด้วยตัวแบบเชิงเส้นดังนั้นเราเลือกที่จะเพิ่มคำพหุนามเพื่อให้พอดีกับข้อมูลมากขึ้น

สมมติว่าเราตัดสินใจสร้างพหุนามของเราโดยรวมความเข้มของพิกเซลทั้งหมดและทวีคูณที่เป็นไปได้ทั้งหมดที่สามารถเกิดขึ้นได้จากพวกเขา

เนื่องจากเมทริกซ์ของเรามีขนาดเล็กลองแจกแจง:

x_{1}, x_{2}, x_{1}^{2}, x_{2}^{2}, x_{1} \times x_{2}, x_{2} \times x_{1}

$x_1,\ x_2,\ x_1^2,\ x_2^2,\ x_1 \times x_2,\ x_2 \times x_1$

การตีความลำดับของคุณลักษณะข้างต้นจะเห็นว่ามีรูปแบบ คำสองคำแรกกลุ่มที่ 1 เป็นคุณลักษณะที่ประกอบด้วยความเข้มของพิกเซลเท่านั้น คำสองคำต่อไปนี้หลังจากนั้นกลุ่ม 2 เป็นคุณลักษณะที่ประกอบด้วยความเข้มของสี่เหลี่ยมจัตุรัส คำสองคำหลังสุดกลุ่มที่ 3 เป็นผลผลิตของการรวมกันของความเข้มของพิกเซลแบบคู่ (สอง)

กลุ่ม 1: $x_1,\ x_2$

กลุ่ม 2: $x_1^2,\ x_2^2$

กลุ่ม 3: $x_1 \times x_2,\ x_2 \times x_1$

แต่เดี๋ยวก่อนมีปัญหา หากคุณดูคำศัพท์กลุ่ม 3 ตามลำดับ (และ ) คุณจะสังเกตเห็นว่าพวกเขาเท่ากัน จำตัวอย่างที่อยู่อาศัยของเรา ลองนึกภาพว่ามีคุณสมบัติสองอย่างคือ x1 = พื้นที่เป็นตารางฟุตและ x2 = พื้นที่เป็นตารางฟุตสำหรับบ้านหลังเดียวกัน ... นั่นไม่สมเหตุสมผลเลย! ตกลงดังนั้นเราจำเป็นต้องได้รับการกำจัดของคุณลักษณะที่ซ้ำกันให้พูดโดยพลx_1 ตอนนี้เราสามารถเขียนรายการคุณสมบัติสามกลุ่มใหม่เป็น: $x_1 \times x_2$ $x_2 \times x_1$ $x_2 \times x_1$

กลุ่ม 3: $x_1 \times x_2$

เรานับคุณสมบัติในทั้งสามกลุ่มและได้รับ 5

แต่นี่เป็นตัวอย่างของเล่น ให้ได้สูตรทั่วไปสำหรับการคำนวณจำนวนคุณลักษณะ มาใช้กลุ่มคุณสมบัติดั้งเดิมของเราเป็นจุดเริ่มต้น

$size group 1 + size group 2 + size group 3 = m \times n + m \times n +m \times n = 3 \times m \times n$

อา! แต่เราต้องกำจัดผลิตภัณฑ์ที่ซ้ำกันในกลุ่ม 3

ดังนั้นในการนับคุณสมบัติที่เหมาะสมสำหรับกลุ่ม 3 เราจะต้องมีวิธีการนับผลิตภัณฑ์คู่ที่ไม่ซ้ำกันทั้งหมดในเมทริกซ์ ซึ่งสามารถทำได้ด้วยสัมประสิทธิ์ทวินามซึ่งเป็นวิธีการนับกลุ่มย่อยที่ไม่ซ้ำกันทั้งหมดที่เป็นไปได้ของขนาด k จากกลุ่มเท่ากับหรือใหญ่กว่าของขนาด n ดังนั้นจะต้องนับคุณสมบัติในกลุ่มที่ 3 คำนวณ2) $C(m \times n, 2)$

ดังนั้นสูตรทั่วไปของเราคือ:

m \times n + m \times n + C (m \times n, 2) = 2 m \times n + C (m \times n, 2)

$m \times n + m \times n +C(m \times n, 2) = 2m \times n + C(m \times n, 2)$

ให้ใช้เพื่อคำนวณจำนวนของคุณสมบัติในตัวอย่างของเล่นของเรา:

2 \times 1 \times 2 + C (1 \times 2, 2) = 4 + 1 = 5

$2 \times 1 \times 2 + C(1 \times 2, 2) = 4 + 1 = 5$

แค่นั้นแหละ!

— อันวาร์เอ. รัฟฟ์
แหล่งที่มา

2

หวังว่าคำอธิบายนี้จะได้รับในการบรรยาย!

— Ian Walker-Sperber

ฉันสงสัยว่าเราควรจะรู้เรื่องนี้อย่างไรในหลักสูตรโดยไม่ได้รับการอธิบาย

— Mohammed Noureldin

6

หากคุณกำลังใช้คุณสมบัติเชิงเส้นและกำลังสองจำนวนรวมควรจะเป็น:

100*100 + 100*100 + C(100*100,2) = 50015000
10000   + 10000   + 49995000     = 50015000
xi         xi^2       xixj

— lennon310
แหล่งที่มา

1

คุณช่วยอธิบายเพิ่มเติมอีกหน่อยได้ไหม? คุณกำลังพูดว่า xi + xi ^ 2 + xixi xi คือ 100 และ xj = 100 ทำไม xi และ xi ^ 2 ทั้งคู่คือ 100 * 100 C (100 * 100,2) คืออะไร

— Iancovici

4

(1) มีทั้งหมด 100 * 100 พิกเซลหากคุณใช้ความเข้มเป็นคุณสมบัติจะมีคุณสมบัติ 100 * 100 ทั้งหมดนั่นคือ xi; และ (ii) คุณอาจใช้ความหนาแน่นพลังงานเป็นคุณลักษณะนั่นคือ (xi, xi) หรือ xi. ^ 2, ยังคงรวม 100 * 100; ในที่สุด (iii) ถ้าคุณใช้ความสัมพันธ์ระหว่างสองพิกเซลจะมีจำนวนพิกเซล C คู่นั่นคือ (xi, xj), C คือการรวมกันในคณิตศาสตร์ ( mathworld.wolfram.com/Combination.html )

— lennon310

ขอบคุณหนึ่งคำถามสุดท้ายคือทำไม xi = xi ^ 2 ในบริบทนี้

— Iancovici

ฉันใช้ xi เพื่อแทนพิกเซลเดียวและ xi ^ 2 หมายถึงใช้คู่ของพิกเซลเดียวกัน (xi, xi) จำนวนพิกเซลเดียวเป็นคู่เดียวกันของพิกเซลเดียวกัน มันไม่มีส่วนเกี่ยวข้องกับความเข้มของพิกเซล ขอโทษสำหรับความสับสน.

— lennon310

คำถามเดียวกันไม่กี่ปีต่อมา เราไม่ควรคำนึงถึงค่าความเข้มที่เป็นไปได้ (จาก 0 ถึง 255) ด้วยหรือไม่

— albus_c

0

$x^2$

— Opetunde Adepoju
แหล่งที่มา

2

2500^{2} / 2 \approx 3

$2500^2/2 \approx 3$

50

$50$

0

@whuber 50 ล้านมาเมื่อคุณมีภาพขนาด 100 * 100 พิกเซล โดยที่ square (100 * 100) = 100000000 (10 ล้าน) และ square (100 * 100) / 2 = 5 ล้าน หวังว่าคำตอบนี้

— Tahir Ahmad
แหล่งที่มา

นี่คือการตอบกลับความคิดเห็นและไม่ใช่คำตอบสำหรับคำถามนี้

— Michael R. Chernick