การวัดเอนโทรปี / ข้อมูล / รูปแบบของเมทริกซ์ไบนารี 2d

53

ฉันต้องการวัดความหนาแน่นของข้อมูลเอนโทรปี / ข้อมูล / รูปแบบความคล้ายคลึงของเมทริกซ์ไบนารีสองมิติ ให้ฉันแสดงภาพเพื่อความกระจ่าง:

จอแสดงผลนี้ควรมีเอนโทรปีค่อนข้างสูง:

A)

ป้อนคำอธิบายรูปภาพที่นี่

สิ่งนี้ควรมีเอนโทรปีปานกลาง:

B)

ป้อนคำอธิบายรูปภาพที่นี่

ในที่สุดภาพเหล่านี้ทั้งหมดควรมีค่าใกล้ศูนย์ - เอนโทรปี:

C)

ป้อนคำอธิบายรูปภาพที่นี่

D)

ป้อนคำอธิบายรูปภาพที่นี่

E)

ป้อนคำอธิบายรูปภาพที่นี่

มีดัชนีที่จับเอนโทรปีหรือไม่ "รูปแบบเหมือนกัน" ของจอแสดงผลเหล่านี้คืออะไร?

แน่นอนว่าอัลกอริทึมแต่ละตัว (เช่นอัลกอริธึมการบีบอัดหรืออัลกอริทึมการหมุนที่เสนอโดย ttnphns ) นั้นไวต่อคุณสมบัติอื่น ๆ ของจอแสดงผล ฉันกำลังมองหาอัลกอริทึมที่พยายามจับภาพคุณสมบัติต่อไปนี้:

สมมาตรการหมุนและแกน
ปริมาณของการทำคลัสเตอร์
ซ้ำ

อาจจะซับซ้อนกว่านี้อัลกอริทึมอาจมีความอ่อนไหวต่อคุณสมบัติของจิตวิทยา " หลักการเกสตัลต์ " โดยเฉพาะ:

กฎหมายของความใกล้ชิด:
กฎแห่งความสมมาตร: ภาพสมมาตรถูกรับรู้ร่วมกันแม้จะอยู่ในระยะไกล:

แสดงด้วยคุณสมบัติเหล่านี้ควรได้รับการกำหนด "ค่าเอนโทรปีต่ำ"; จอแสดงผลที่มีคะแนนค่อนข้างสุ่ม / ไม่มีโครงสร้างควรได้รับการกำหนด "ค่าเอนโทรปีสูง"

ฉันทราบว่าอาจไม่มีอัลกอริทึมเดียวที่จะจับภาพคุณลักษณะเหล่านี้ทั้งหมด ดังนั้นคำแนะนำสำหรับอัลกอริทึมที่กล่าวถึงเพียงคุณลักษณะบางอย่างหรือแม้แต่คุณสมบัติเดียวก็ยินดีต้อนรับเช่นกัน

โดยเฉพาะอย่างยิ่งฉันกำลังมองหาที่เป็นรูปธรรมอัลกอริทึมที่มีอยู่หรือความคิดที่นำไปใช้เฉพาะ (และฉันจะให้รางวัลตามเกณฑ์เหล่านี้)

— เฟลิกซ์
แหล่งที่มา

คำถามเจ๋ง! ฉันขอถามได้มั้ยว่าแรงกระตุ้นอะไรที่ต้องใช้การวัดเดียว? คุณสมบัติทั้งสามของคุณ (สมมาตรการทำคลัสเตอร์และการทำซ้ำ) บนใบหน้าของพวกเขาดูเป็นอิสระพอที่จะรับประกันการแยกต่างหาก

— Andy W

จนถึงตอนนี้ฉันค่อนข้าง sceptik ที่คุณสามารถหาalgo สากลที่ใช้หลักการ gestalt หลังขึ้นอยู่กับการรับรู้ของต้นแบบต้นแบบที่มีอยู่จริง จิตใจของคุณอาจมีสิ่งเหล่านี้ แต่คอมพิวเตอร์ของคุณอาจไม่มี

— ttnphns

ฉันเห็นด้วยกับคุณทั้งคู่ ที่จริงฉันไม่ได้มองหาอัลกอริทึมเดียว - แม้ว่าถ้อยคำก่อนหน้าของฉันจะแนะนำสิ่งนี้ ฉันอัปเดตคำถามเพื่อให้อนุญาตอัลกอริทึมสำหรับคุณสมบัติเดียวอย่างชัดเจน อาจมีใครบางคนมีความคิดเกี่ยวกับวิธีการรวมเอาท์พุทของ algos หลายอัน (เช่น "ใช้ค่าเอนโทรปีต่ำสุดของเซตของ algos เสมอ")

— Felix S

1

Bounty มากกว่า ขอบคุณผู้มีส่วนร่วมทั้งหมดและความคิดที่ยอดเยี่ยม! เงินรางวัลนี้สร้างแนวทางที่น่าสนใจมากมาย คำตอบหลายคำตอบมีการทำงานของสมองจำนวนมากและบางครั้งก็น่าเสียดายที่การแบ่งเงินไม่สามารถแยกออกได้ ในที่สุดฉันตัดสินใจที่จะมอบรางวัลให้กับ @whuber เนื่องจากวิธีแก้ปัญหาของเขาคืออัลกอริทึมที่ดูเหมือนจะครอบคลุมถึงคุณสมบัติที่จับได้มากที่สุดและใช้งานง่าย ฉันยังชื่นชมว่ามันถูกใช้กับตัวอย่างที่เป็นรูปธรรมของฉัน ที่น่าประทับใจที่สุดคือความสามารถในการกำหนดตัวเลขตามลำดับ "การจัดอันดับที่เข้าใจง่าย" ของฉัน ขอบคุณ F

— Felix S

35

มีขั้นตอนง่าย ๆ ที่จับสัญชาตญาณทั้งหมดรวมถึงองค์ประกอบทางจิตวิทยาและเรขาคณิต มันอาศัยการใช้พื้นที่ใกล้เคียงซึ่งเป็นพื้นฐานของการรับรู้ของเราและให้วิธีการที่แท้จริงในการจับภาพสิ่งที่วัดได้ไม่สมบูรณ์เพียงโดยสมมาตร

ในการทำเช่นนี้เราจำเป็นต้องวัด "ความซับซ้อน" ของอาร์เรย์เหล่านี้ในระดับท้องถิ่นที่แตกต่างกัน แม้ว่าเราจะมีความยืดหยุ่นมากในการเลือกเครื่องชั่งเหล่านั้นและเลือกความรู้สึกที่เราวัด "ความใกล้ชิด" มันง่ายพอและมีประสิทธิภาพเพียงพอที่จะใช้ละแวกใกล้เคียงสี่เหลี่ยมเล็ก ๆ และดูค่าเฉลี่ย (หรือผลรวมเทียบเท่า) ภายในพวกเขา ด้วยเหตุนี้ลำดับของอาร์เรย์ที่สามารถจะได้มาจากส่วนใดโดยอาร์เรย์โดยการสร้างเงินก้อนย่านที่กำลังเคลื่อนที่ด้วยโดยในละแวกใกล้เคียงแล้วโดยฯลฯ ถึงโดย $m$ $n$ $k=2$ $2$ $3$ $3$ $\min(n,m)$ $\min(n,m)$ (แม้ว่าโดยทั่วไปแล้วจะมีค่าน้อยเกินไปที่จะให้สิ่งที่เชื่อถือได้)

หากต้องการดูวิธีการทำงานเราจะทำการคำนวณอาร์เรย์ในคำถามซึ่งฉันจะเรียกถึงจากบนลงล่าง นี่คือพล็อตของจำนวนเงินที่เคลื่อนที่สำหรับ (เป็นอาร์เรย์ดั้งเดิมและแน่นอน) ที่ใช้กับ $a_1$ $a_5$ $k=1,2,3,4$ $k=1$ 1 $a_1$

รูปที่ 1

$k$ $1$ $2$ $4$ $3$ $5$ $5$ $4$ $4$ $2$ $2$ $3$ $3$ $a_1$ $(0.97, 0.99, 0.92, 1.5)$ $a_1$

$a_4$

รูปที่ 2

$k=2, 3, 4$ $(1.00, 0, 0.99, 0)$ $a_1$ $a_4$

$0$ $1$ $1$ $k$ $k$ $1 + \log_2(k)$

พล็อตเอนโทรปี

$m=n=100$ $5$ $5$ $5$ $5$

แปลงรายละเอียด

$a_1$ $a_2$ $a_3$ $a_4$ $a_5$ $a_4$ $k$ $a_1$ $k=4$ $2$ $2$ $a_1$ $1$ $2$ $2^{k^2}$ $k^2+1$ $k$ $k$ $2^{k^2}$ $a_1$

เทคนิคการสร้างโพรไฟล์ของเอนโทรปีในช่วงการควบคุมของเครื่องชั่งโดยการรวม (หรือการต่อเชื่อมหรือรวมกัน) ค่าภายในย่านที่เคลื่อนไหวได้ถูกนำมาใช้ในการวิเคราะห์ภาพ มันเป็นภาพรวมสองมิติของความคิดที่รู้จักกันดีในการวิเคราะห์ข้อความก่อนเป็นชุดของตัวอักษรจากนั้นเป็นชุดของ digraphs (ลำดับสองตัวอักษร) จากนั้นเป็น trigraphs ฯลฯ นอกจากนี้ยังมีความสัมพันธ์ที่ชัดเจนบางอย่างกับเศษส่วน การวิเคราะห์ (ซึ่งสำรวจคุณสมบัติของภาพในระดับปลีกย่อยและปลีกย่อย) ถ้าเราใช้ความระมัดระวังในการใช้ผลรวมการเคลื่อนที่แบบบล็อกหรือการต่อบล็อก (ดังนั้นจึงไม่มีการเหลื่อมกันระหว่างหน้าต่าง) ใคร ๆ ก็สามารถได้รับความสัมพันธ์ทางคณิตศาสตร์อย่างง่ายในหมู่เอนโทรปีที่ต่อเนื่องกัน อย่างไรก็ตาม

นามสกุลต่าง ๆ เป็นไปได้ ตัวอย่างเช่นสำหรับโปรไฟล์ที่ไม่แปรเปลี่ยนแบบหมุนให้ใช้ย่านวงกลมเป็นวงกลมแทนที่จะเป็นสี่เหลี่ยมจัตุรัส แน่นอนว่าทุกอย่างอยู่นอกเหนือขอบเขตของไบนารี ด้วยอาร์เรย์ที่มีขนาดใหญ่พอเพียงเราสามารถคำนวณโปรไฟล์เอนโทรปีที่แตกต่างกันในท้องถิ่นเพื่อตรวจจับที่ไม่อยู่นิ่งได้

$3$ $3$ $4$ $4$ $5$ $5$ $a_1$ $a_5$ $1.50$ $0.81$ $0$ $0$ $0$ $1.34$ $a_1$ $a_3$ $a_4$ $a_5$ $0$ $3$ $3$ $1.39$ $0.99$ $0.92$ $1.77$ คำถามเดิมทำให้อาร์เรย์ในลำดับที่ถูกต้อง

— whuber
แหล่งที่มา

ฉันขอโทษฉันไม่สามารถเข้าใจวิธีการที่คุณสร้างผลรวมแปลงของคุณ โปรดอธิบายรายละเอียดเพิ่มเติมเกี่ยวกับวิธีคำนวณผลรวมการย้าย

— ttnphns

1

@ttnphns ต่อไปนี้เป็นหน้าช่วยเหลือที่แสดงในหัวข้อ

— whuber

4

ฉันทำซ้ำผลลัพธ์จากคำตอบที่ยอดเยี่ยมนี้โดย @whuber โดยใช้ NumPy และ matplotlib ใน Python มีให้ที่นี่: github.com/cosmoharrigan/matrix-entropy

— Cosmo Harrigan

M

$M$

μ (e)

$\mu(e)$

e

$e$

p (e) := \frac{μ (e)}{\sum_{e \in S} μ (e)} (e \in S)

$p(e) := \frac{\mu(e)}{\sum_{e\in S}\mu(e)}\ \ (e\in S)$

S

$S$

M

$M$

k

$k$

k

$k$

@whuber คำตอบที่ยอดเยี่ยม ในขณะที่มันใช้งานได้ง่ายมีบทความหรือตำราที่สามารถอ้างถึงต้นกำเนิดของเรื่องนี้ได้หรือไม่ (ฉันสมมติว่าถ้านี่เป็นงานต้นฉบับของคุณคุณได้ตีพิมพ์อย่างเป็นทางการในวารสาร) หรือไม่?

— subhacom

10

อันดับแรกข้อเสนอแนะของฉันคือใช้งานง่ายอย่างหมดจด: ฉันไม่รู้อะไรเลยในฟิลด์การจดจำรูปแบบ ประการที่สองข้อเสนอแนะอื่น ๆ อีกหลายสิบอย่างเช่นของฉันสามารถทำได้

ฉันเริ่มต้นด้วยแนวคิดว่าการกำหนดค่าปกติ (นั่นคือมีเอนโทรปีต่ำ) ควรมีความสมมาตร isomorphic กับสิ่งนี้หรือสิ่งที่แปรเปลี่ยน ตัวอย่างเช่นในการหมุน

คุณสามารถหมุน (พลิกไป 90 องศากว่า 180 องศา ฯลฯ ) เมทริกซ์ของคุณจนกว่าจะเห็นพ้องการกำหนดค่าที่มีต้นฉบับหนึ่ง มันจะเห็นพ้องกับการหมุน 4 ครั้ง (360 องศา) เสมอ แต่บางครั้งก็สามารถเห็นก่อนหน้านี้ได้ (เช่นเมทริกซ์ E ในภาพ)

ในการหมุนแต่ละครั้งให้นับจำนวนเซลล์ที่มีค่าไม่เหมือนกันระหว่างการกำหนดค่าดั้งเดิมกับเซลล์ที่หมุน ตัวอย่างเช่นถ้าคุณเปรียบเทียบเมทริกซ์Aดั้งเดิมกับการหมุน 90 องศาคุณจะค้นพบ 10 เซลล์ที่มีจุดในเมทริกซ์หนึ่งและว่างในเมทริกซ์อื่น จากนั้นเปรียบเทียบเมทริกซ์ดั้งเดิมกับการหมุน 180 องศา: จะพบเซลล์ 11 เซลล์ 10 เซลล์คือความคลาดเคลื่อนระหว่างเมทริกซ์Aดั้งเดิมกับการหมุน 270 องศา 10 + 11 + 10 = 31 เป็นโดยรวม "เอนโทรปี" ของเมทริกซ์

สำหรับเมทริกซ์B "entropy" คือ 20 และสำหรับเมทริกซ์Eเพียง 12 สำหรับเมทริกซ์CและD "entropy" คือ 0 เพราะการหมุนหยุดหลังจาก 90 องศา: isomorphism บรรลุแล้ว

ป้อนคำอธิบายรูปภาพที่นี่

— ttnphns
แหล่งที่มา

ขอบคุณสำหรับคำแนะนำของคุณ! แม้ว่าฉันจะนึกถึงจอแสดงผล "ง่าย" หลายจอที่ไม่คงที่กับการแปลงแบบหมุนนี่เป็นวิธีที่ดีและง่าย (และขยายได้!) ฉันต้องคิดว่าฉันอยากจะเปลี่ยนแปลงอะไร และฉันชอบแนวทางของคุณในการนับคะแนนในการเปลี่ยนแปลงแต่ละครั้ง

— เฟลิกซ์ S

ขอบคุณที่ชื่นชม แต่วิธีการนี้เป็นเพียงแค่ส่วนเริ่มต้นแนวคิดทั่วไปและคุณพูดถูกว่าสามารถขยายได้

— ttnphns

D_{4}

$D_4$

d

$d$

8 * 7

$8* 7$

r = k \frac{1}{8 * 7} \frac{25}{2 n (25 - n)})

$r=k\frac{1}{8*7}\frac{25}{2n(25-n)})$

n

$n$

r \approx 1

$r\approx 1$

r \approx 0

$r \approx 0$

r

$r$

7

$7$

7

$7$

7 * 8

$7*8$

5

$h(x) = \log p(x)$ $\log_2 p(x)$ $x$ $p$

$p$ $-\log p(x)$ $x$

$p$

$2^{25}$
ใช้เครื่อง Boltzmann แบบ จำกัดเพื่อให้พอดีกับข้อมูลของคุณ (จากนั้นคุณต้องใช้พลังงานฟรีแทนข้อมูล แต่ก็ไม่เป็นไร)
$-\log p(x)$
อาจใช้รูปแบบกราฟิกเพื่อรวมความเชื่อก่อนหน้าเชิงพื้นที่และใช้ตัวแปร Bernoulli ในพื้นที่
การเข้ารหัสไม่แปรเปลี่ยนแปลที่คุณสามารถใช้รูปแบบตามการใช้พลังงานโดยใช้เครือข่ายความสับสน

ความคิดบางอย่างข้างต้นค่อนข้างหนักและมาจากการเรียนรู้ของเครื่อง ในกรณีที่คุณต้องการคำแนะนำเพิ่มเติมเพียงใช้ความคิดเห็น

— bayerj
แหล่งที่มา

เห็นได้ชัดว่าเอนโทรปีของ Kolmogorov เป็นวิธีการที่ดีที่สุดในแง่ปรัชญาถ้าคุณคิดว่า "รูปแบบนามธรรมที่เรียบง่าย" และคุณไม่ได้พยายามทำนายว่ามันจะส่งผลต่อจิตใจของมนุษย์ได้ง่ายเพียงใด มันบอกว่าเอนโทรปีเป็น "ความยาวของโปรแกรมที่สั้นที่สุดซึ่งสามารถสร้างรูปแบบนั้น" แน่นอนคุณยังต้องระบุภาษาคอมพิวเตอร์ แต่คุณยังสามารถพึ่งพาเครื่องทัวริงที่เป็นนามธรรมเพื่อเล่นเคล็ดลับ

— Javier Rodriguez Laguna

ภาษาการเขียนโปรแกรมนั้นไม่สำคัญ ส่วนเพิ่มเติมของโปรแกรมที่คอมไพล์จากภาษา A ถึงภาษา B จะใช้เวลาเพิ่มขึ้นเล็กน้อย (คอมไพเลอร์) และสามารถถูกทอดทิ้ง

— bayerj

4

ข้อเสนอต่อไปนี้ของฉันค่อนข้างลึกซึ้งกว่าอนุมานดังนั้นฉันจึงไม่สามารถพิสูจน์ได้ แต่อย่างน้อยก็สามารถเสนอเหตุผลได้ ขั้นตอนการประเมิน "เอนโทรปี" ของการกำหนดค่าจุดรวมถึง:

แปลงเป็นจุด
ดำเนินการเปรียบเทียบของการกำหนดค่าด้วยตัวเอง permuted หลายครั้งโดยมุมฉากวิเคราะห์ Procrustes
ผลการพล็อตของการเปรียบเทียบ (สัมประสิทธิ์ตัวตน) และประเมินความขรุขระของพล็อต

แปลงรูปแบบจุดที่เป็นพิกัดของพวกเขา ตัวอย่างเช่นด้านล่างคือการกำหนดค่า D ของคุณที่มีจุดหมายเลข (ลำดับเลขอาจเป็นกฎเกณฑ์) และพิกัดของพวกเขา ป้อนคำอธิบายรูปภาพที่นี่

ทำการเรียงสับเปลี่ยนและทำการวิเคราะห์ Procrustes จุด Permail (แถวในข้อมูล) แบบสุ่มและทำการเปรียบเทียบ Procrustes ของข้อมูลเดิม (ไม่อนุญาต) กับหนึ่ง permced; บันทึกค่าสัมประสิทธิ์ตัวตน (วัดความคล้ายคลึงกันของการกำหนดค่าทั้งสองออกโดยการวิเคราะห์) การเปลี่ยนรูปแบบซ้ำ - Procrustes - ประหยัดค่าสัมประสิทธิ์หลายครั้ง (เช่น 1,000 ครั้งหรือมากกว่า)

เราสามารถรออะไรจากสัมประสิทธิ์เอกลักษณ์ (IDc) ที่ได้รับหลังจากการดำเนินการข้างต้นในโครงสร้างปกติ ?ลองพิจารณาตัวอย่างของการตั้งค่าข้างต้นถ้าเราเปรียบเทียบค่าพิกัดดั้งเดิมกับตัวมันเองเราจะได้ IDc = 1 แน่นอน แต่ถ้าเราเปลี่ยน IDC บางจุดระหว่างชุดเดิมและค่าที่เปลี่ยนแปลงจะมีค่าต่ำกว่า 1 ขอให้เราเปลี่ยนตัวอย่างเช่นจุดหนึ่งคู่ซึ่งมีป้าย 1 และ 4 IDc = .964 ทีนี้แทนจุดที่ 3 และ 5 ที่น่าสนใจ IDc จะเป็น. 964 อีกครั้ง ค่าเดียวกันทำไม สปอตที่ 3 และ 5 นั้นมีความสมมาตรถึง 1 และ 4 ดังนั้นการหมุนถึง 90 องศาจะทับซ้อนกัน การเปรียบเทียบ Procrustes นั้นไม่ไวต่อการหมุนหรือการสะท้อนกลับดังนั้นการเรียงสับเปลี่ยนภายในคู่ 1-4 จึงเท่ากับ "การเปลี่ยนแปลง" แบบเดียวกันภายในคู่ที่ 5-3 หากต้องการเพิ่มตัวอย่างเพิ่มเติมถ้าคุณอนุญาตเพียงแค่จุดที่ 4 และ 7 IDc จะเป็นอีกครั้งที่. 964! ปรากฏว่าสำหรับ Procrustes การเปลี่ยนแปลงภายในคู่ที่ 4-7 คือ "เหมือนเดิม" ในฐานะที่เป็นสองข้างต้นในแง่ที่ว่ามันให้ความเหมือนกันในระดับเดียวกัน (วัดโดย IDc) เห็นได้ชัดว่าทั้งหมดนี้เป็นเพราะการกำหนดค่า D เป็นปกติสำหรับการกำหนดค่าปกติเราคาดว่าจะได้รับค่า IDC ที่ค่อนข้างไม่ต่อเนื่องในการทดสอบการเปลี่ยนรูป / การเปรียบเทียบของเรา ในขณะที่การกำหนดค่าที่ผิดปกติเราคาดหวังว่าค่าจะมีแนวโน้มที่จะต่อเนื่อง

พล็อตค่า IDc ที่บันทึกไว้ ตัวอย่างเช่นเรียงลำดับค่าและสร้าง line-plot ฉันทำการทดลอง - 5,000 พีชคณิต - ด้วยการกำหนดค่าแต่ละแบบของคุณ A, B (ทั้งค่อนข้างผิดปกติ), D, E (ทั้งแบบปกติ) และนี่คือพล็อตเรื่อง:

ป้อนคำอธิบายรูปภาพที่นี่

สังเกตว่าขรุขระมากแค่ไหนที่บรรทัด D และ E (D โดยเฉพาะ) เพราะนี่คือความแตกต่างของค่า ค่าสำหรับ A และ B นั้นต่อเนื่องกันมากขึ้น คุณสามารถเลือกสถิติที่ประเมินระดับความแตกต่าง / ความต่อเนื่องแทนการวางแผน A ดูเหมือนจะไม่ต่อเนื่องมากกว่า B (สำหรับคุณการกำหนดค่า A ค่อนข้างปกติน้อยกว่า แต่พล็อตรายการของฉันดูเหมือนจะไม่แสดงให้เห็น) หรือถ้าไม่อาจแสดงรูปแบบอื่นของค่า IDC อีกเล็กน้อย อะไรรูปแบบอื่นได้หรือไม่ นี่เกินขอบเขตคำตอบของฉันเลย คำถามใหญ่ว่า A นั้นปกติน้อยกว่า B หรือเปล่านั่นอาจเป็นเรื่องต่อตาของคุณ แต่ไม่จำเป็นสำหรับการวิเคราะห์ Procrustes หรือสายตาของบุคคลอื่น

โดยวิธีการเปลี่ยนแปลงทั้งหมด / การทดลอง Procrustes ฉันได้อย่างรวดเร็ว ฉันใช้มาโครการวิเคราะห์ Procrustes ของฉันเองสำหรับ SPSS (พบได้บนหน้าเว็บของฉัน) และเพิ่มโค้ดบางบรรทัดเพื่อทำพีชคณิต

— ttnphns
แหล่งที่มา

3

ข้อมูลร่วมกันการพิจารณาแต่ละมิติเป็นตัวแปรสุ่มดังนั้นแต่ละเมทริกซ์เป็นชุดของตัวเลขจะช่วยได้ในทุกกรณียกเว้น C ซึ่งฉันไม่แน่ใจเกี่ยวกับผลลัพธ์

ดูการอภิปรายรอบรูปที่ 8 (เริ่มต้นในหน้า 24) เกี่ยวกับการวิเคราะห์ประสิทธิภาพการถดถอยในคู่มือ TMVAหรือรายการ arxiv ที่เกี่ยวข้อง

ตัวชี้วัดที่แตกต่างกันสำหรับการแจกแจงที่แตกต่างกัน

— adavid
แหล่งที่มา

ฉันมีปัญหาในการเปิดเอกสารที่เชื่อมโยง

— ttnphns

เพิ่มลิงค์อื่น แต่อันแรกใช้ได้กับฉัน (เพิ่งผ่านการทดสอบ)

— adavid

3

$s$

P_{r a n d, p} (k neighbors | n places) = (\binom{n}{k}) p^{k} (1 - p)^{n - k},

$P_{rand,p}(k\ \text{neighbors}|n\ \text{places} ) = {n \choose k} p^{k} (1-p)^{n-k},$

p = s / 25

$p = s/25$

n

$n$

n = 8

$n=8$

n = 5

$n=5$

(n = 3)

$(n=3)$

$4$ $\approx (0\%,2\%,9\%,20\%,27\%,24\%,13\%,4\%,0\%)$ $(0\%,0\%,0\%,0\%,100\%,0\%,0\%,0\%,0\%)$

$P_{measured}(k|n)$ $P_{rand,p}(k|n)$

\sum_{n = {3, 5, 8}} \sum_{k = 0}^{n} {[P_{m e a s u r e d} (k | n) P_{m e a s u r e d} (n) - P_{r a n d, p} (k | n) P_{r a n d, p} (n)]}^{2},

$\sum_{n=\{3,5,8\}} \sum_{k=0}^n\left[P_{measured}(k|n)P_{measured}(n) -P_{rand,p}(k|n)P_{rand,p}(n)\right]^2,$

P_{m e a s u r e d} (n)

$P_{measured}(n)$

n

$n$

P_{r a n d, p} (n)

$P_{rand,p}(n)$

P_{r a n d, p} (3) = 4 / 25

$P_{rand,p}(3) = 4/25$

P_{r a n d, p} (5) = 12 / 25

$P_{rand,p}(5) = 12/25$

P_{r a n d, p} (8) = 9 / 25

$P_{rand,p}(8) = 9/25$

— Piotr Migdal
แหล่งที่มา

2

มีวิธีที่ง่ายมากในการกำหนดแนวคิดเนื้อหาข้อมูลที่กลับไปสู่แนวคิดของ Shannon (เป็นที่ยอมรับในมิติเดียว) โดยใช้ความน่าจะเป็นและความเป็นไปได้ในการเปลี่ยนแปลงเพื่อค้นหาการนำเสนอสตริงข้อความที่ซ้ำซ้อนน้อยที่สุด สำหรับรูปภาพ (ในกรณีนี้เป็นภาพไบนารีที่กำหนดไว้ในเมทริกซ์จตุรัส) เราสามารถสร้างขึ้นมาใหม่จากความรู้เกี่ยวกับอนุพันธ์ของ x และ y (-1,0, + 1) เราสามารถกำหนดความน่าจะเป็นทรานซิชัน 3x3 และฟังก์ชันความหนาแน่นความน่าจะเป็นระดับโลกได้เช่นกันเช่น 3x3 ข้อมูลจากแชนนอนนั้นได้มาจากสูตรการสรุปแบบลอการิทึมแบบคลาสสิกที่นำมาใช้มากกว่า 3x3 นี่เป็นการวัดข้อมูล Shannon อันดับที่สองและจับภาพโครงสร้างเชิงพื้นที่ในรูปแบบไฟล์ PDF 3x3

วิธีการนี้ใช้งานง่ายขึ้นเมื่อนำไปใช้กับภาพระดับสีเทาที่มีมากกว่า 2 ระดับ (ไบนารี) ดูhttps://arxiv.org/abs/1609.01117 สำหรับรายละเอียดเพิ่มเติม

— Kieran Larkin
แหล่งที่มา

1

ในการอ่านสิ่งนี้คำนึงถึงสองสิ่ง อย่างแรกก็คือคุณสมบัติของ gestalt จำนวนมากนั้นค่อนข้างท้าทายในการทำนายและงานระดับปริญญาเอกมากมายก็พยายามที่จะหาแบบจำลองสำหรับการจัดกลุ่มที่เกิดขึ้น สัญชาตญาณของฉันคือกฎง่ายที่สุดที่คุณคิดได้ว่าจะจบลงด้วยตัวอย่างที่เคาน์เตอร์

หากคุณสามารถแยกคำอธิบายของการจัดกลุ่ม gestalt ได้ในตอนนี้ฉันคิดว่าสิ่งที่เป็นนามธรรมคือการคิดถึงการป้อนข้อมูลของคุณเป็นกรณีพิเศษของรูปภาพ มีอัลกอริธึมมากมายในการมองเห็นคอมพิวเตอร์ที่มีจุดประสงค์เพื่อกำหนดลายเซ็นให้กับรูปภาพตามชุดของคุณสมบัติที่ไม่แปรเปลี่ยนขนาดและคงที่ของคุณลักษณะ ฉันคิดว่าสิ่งที่รู้จักกันดีที่สุดคือคุณสมบัติของ SIFT:

http://en.wikipedia.org/wiki/Scale-invariant_feature_transform

โดยทั่วไปผลลัพธ์ของคุณจะเป็นเวกเตอร์ใหม่ที่ให้น้ำหนักกับคุณสมบัติเหล่านี้ คุณสามารถใช้เวกเตอร์นี้และใช้ฮิวริสติกกับมัน (ค้นหาบรรทัดฐานบางที) และหวังว่ามันจะอธิบายสิ่งที่คุณกำลังมองหา หรือคุณสามารถฝึกฝนตัวแยกประเภทเพื่อใช้เวกเตอร์คุณลักษณะเป็นอินพุตและเพียงแค่บอกสิ่งที่คุณประทับใจใน 'เอนโทรปี' ข้อดีของการทำเช่นนี้คือมันจะใช้คุณสมบัติ SIFT ที่เหมาะสม (ซึ่งแน่นอนว่าเกินความจำเป็นสำหรับปัญหาของคุณ) และสร้างการแมปบางประเภทที่อาจเหมาะสม ข้อเสียคือคุณต้องทำฉลากจำนวนมากด้วยตัวเองและสิ่งที่คุณได้รับอาจยากกว่าที่จะตีความขึ้นอยู่กับตัวจําแนกที่คุณใช้

ฉันหวังว่านี้จะเป็นประโยชน์! อัลกอริธึมการมองเห็นคอมพิวเตอร์แบบดั้งเดิมจำนวนมากอาจเหมาะกับคุณที่นี่ด้วยเช่นกันการเรียกดูวิกิพีเดียอย่างรวดเร็วในพอร์ทัลนั้นอาจทำให้คุณมีความเข้าใจเพิ่มเติม

— alexplanation
แหล่งที่มา

0

ตัวอย่างของคุณทำให้ฉันนึกถึงตารางความจริงจากพีชคณิตแบบบูลและวงจรดิจิตอล ในอาณาจักรนี้แผนที่ Karnaugh (http://en.wikipedia.org/wiki/Karnaugh_map) สามารถใช้เป็นเครื่องมือในการจัดทำฟังก์ชันบูลีนที่น้อยที่สุดเพื่อแสดงตารางทั้งหมด อีกทางเลือกหนึ่งการใช้เอกลักษณ์พีชคณิตแบบบูลสามารถช่วยลดฟังก์ชันให้เหลือน้อยที่สุด การนับจำนวนคำในฟังก์ชันบูลีนที่ย่อเล็กสุดสามารถใช้เป็นการวัดเอนโทรปีของคุณได้ สิ่งนี้ให้ความสมมาตรในแนวตั้งและแนวนอนพร้อมกับการบีบอัดเพื่อนบ้านที่อยู่ติดกัน แต่ขาดความสมมาตรในแนวทแยง

การใช้พีชคณิตแบบบูลแกนทั้งสองจะมีป้ายกำกับจาก AE เริ่มต้นที่มุมซ้ายบน ในลักษณะนี้ตัวอย่าง C จะจับคู่กับฟังก์ชันบูลีน (! A &! E) สำหรับตัวอย่างอื่นแกนจะต้องติดป้ายแยกต่างหาก (เช่น AE, FJ)

— edgester
แหล่งที่มา