คำถามติดแท็ก information

ฉันต้องการวัดความหนาแน่นของข้อมูลเอนโทรปี / ข้อมูล / รูปแบบความคล้ายคลึงของเมทริกซ์ไบนารีสองมิติ ให้ฉันแสดงภาพเพื่อความกระจ่าง: จอแสดงผลนี้ควรมีเอนโทรปีค่อนข้างสูง: A) สิ่งนี้ควรมีเอนโทรปีปานกลาง: B) ในที่สุดภาพเหล่านี้ทั้งหมดควรมีค่าใกล้ศูนย์ - เอนโทรปี: C) D) E) มีดัชนีที่จับเอนโทรปีหรือไม่ "รูปแบบเหมือนกัน" ของจอแสดงผลเหล่านี้คืออะไร? แน่นอนว่าอัลกอริทึมแต่ละตัว (เช่นอัลกอริธึมการบีบอัดหรืออัลกอริทึมการหมุนที่เสนอโดย ttnphns ) นั้นไวต่อคุณสมบัติอื่น ๆ ของจอแสดงผล ฉันกำลังมองหาอัลกอริทึมที่พยายามจับภาพคุณสมบัติต่อไปนี้: สมมาตรการหมุนและแกน ปริมาณของการทำคลัสเตอร์ ซ้ำ อาจจะซับซ้อนกว่านี้อัลกอริทึมอาจมีความอ่อนไหวต่อคุณสมบัติของจิตวิทยา " หลักการเกสตัลต์ " โดยเฉพาะ: กฎหมายของความใกล้ชิด: กฎแห่งความสมมาตร: ภาพสมมาตรถูกรับรู้ร่วมกันแม้จะอยู่ในระยะไกล: แสดงด้วยคุณสมบัติเหล่านี้ควรได้รับการกำหนด "ค่าเอนโทรปีต่ำ"; จอแสดงผลที่มีคะแนนค่อนข้างสุ่ม / ไม่มีโครงสร้างควรได้รับการกำหนด "ค่าเอนโทรปีสูง" ฉันทราบว่าอาจไม่มีอัลกอริทึมเดียวที่จะจับภาพคุณลักษณะเหล่านี้ทั้งหมด ดังนั้นคำแนะนำสำหรับอัลกอริทึมที่กล่าวถึงเพียงคุณลักษณะบางอย่างหรือแม้แต่คุณสมบัติเดียวก็ยินดีต้อนรับเช่นกัน โดยเฉพาะอย่างยิ่งฉันกำลังมองหาที่เป็นรูปธรรมอัลกอริทึมที่มีอยู่หรือความคิดที่นำไปใช้เฉพาะ (และฉันจะให้รางวัลตามเกณฑ์เหล่านี้)

53 algorithms  binary-data  entropy  pattern-recognition  information 

หากความสนใจเป็นเพียงการประมาณค่าพารามิเตอร์ของแบบจำลอง (การประมาณค่าแบบจุดและ / หรือช่วงเวลา) และข้อมูลก่อนหน้านี้ไม่น่าเชื่อถืออ่อนแอ (ฉันรู้ว่านี่เป็นบิตที่คลุมเครือ แต่ฉันพยายามสร้างสถานการณ์ที่เลือก ก่อนหน้านี้เป็นเรื่องยาก) ... ทำไมบางคนเลือกที่จะใช้วิธีการแบบเบย์กับนักบวชที่ไม่เหมาะสมแทนที่จะเป็นแบบดั้งเดิม

44 bayesian  inference  prior  likelihood  information 

ให้เป็นแบบลำดับชั้น และ โดยที่เป็นการแจกแจงแบบปกติ มีวิธีที่จะได้รับการแสดงออกที่แน่นอนสำหรับข้อมูลฟิชเชอร์ของการกระจายร่อแร่ของได้รับคนั่นคือสิ่งที่เป็นข้อมูลฟิชเชอร์ของ: ฉันจะได้รับการแสดงออกสำหรับการกระจายส่วนเพิ่มของได้รับ , แต่การแยกแยะความแตกต่าง wrtและจากนั้นการรับความคาดหวังดูเหมือนยากมาก ฉันขาดอะไรที่ชัดเจนหรือไม่ ความช่วยเหลือใด ๆ ที่จะได้รับการชื่นชมμ ∼ l a p l a c e ( 0 , c ) N ( ⋅ , ⋅ ) X c p ( x | c ) = ∫ p ( x | μ ) p ( μ …

20 multilevel-analysis  information  fisher-information 

ฉันพยายามที่จะพิสูจน์ว่าเมทริกซ์ข้อมูลที่สังเกตได้ประเมินที่ตัวประมาณความน่าจะเป็นค่าสูงสุดที่ไม่สม่ำเสมอ (MLE) ซึ่งเป็นค่าประมาณที่ไม่แน่นอนของเมทริกซ์ข้อมูลที่คาดหวัง นี่คือผลลัพธ์ที่ยกมาอย่างกว้างขวาง แต่ไม่มีใครให้การอ้างอิงหรือหลักฐาน (ฉันหมดแรงฉันคิดว่าหน้าแรกของผลการค้นหาของ google และตำราสถิติของฉัน) 20 หน้า! การใช้ลำดับของ MLE ที่สอดคล้องกันอย่างอ่อนฉันสามารถใช้กฏที่อ่อนแอของจำนวนมาก (WLLN) และทฤษฎีการทำแผนที่แบบต่อเนื่องเพื่อให้ได้ผลลัพธ์ตามที่ฉันต้องการ อย่างไรก็ตามฉันเชื่อว่าไม่สามารถใช้ทฤษฎีบทการทำแผนที่อย่างต่อเนื่องได้ แต่ฉันคิดว่าต้องใช้กฎหมายเครื่องแบบของคนจำนวนมาก (ULLN) มีใครทราบถึงข้อมูลอ้างอิงที่มีหลักฐานนี้หรือไม่? ฉันมีความพยายามที่ ULLN แต่ไม่ต้องสนใจเลยสำหรับตอนนี้ ฉันต้องขออภัยในความยาวของคำถามนี้ แต่จะต้องมีการจดบันทึก สัญกรณ์เป็นเหมือน folows (หลักฐานของฉันอยู่ท้าย) สมมติว่าเรามีตัวอย่าง IID ของตัวแปรสุ่ม{ Y 1 , ... , Y N }{Y1,…,YN}\{Y_1,\ldots,Y_N\}กับความหนาแน่นฉ( ~ Y | θ )f(Y~|θ)f(\tilde{Y}|\theta)ที่θ ∈ Θ ⊆ R kθ∈Θ⊆Rk\theta\in\Theta\subseteq\mathbb{R}^{k} (ที่นี่~ YY~\tilde{Y}เป็นเพียงตัวแปรสุ่มทั่วไปที่มีความหนาแน่นเดียวกัน …

16 maximum-likelihood  expected-value  asymptotics  information  fisher-information 

เช่นเดียวกับชื่อเรื่องการลดขนาดจะสูญเสียข้อมูลบางส่วนหรือไม่ พิจารณาตัวอย่าง PCA หากข้อมูลที่ฉันมีอยู่น้อยมากฉันจะถือว่า "การเข้ารหัสที่ดีกว่า" สามารถพบได้ (นี่เกี่ยวข้องกับการจัดอันดับของข้อมูลหรือไม่) และไม่มีอะไรจะหายไป

10 pca  information-theory  information