อะนาล็อกของการตรวจจับการบีบอัด

ในการตรวจจับแบบบีบอัดเป้าหมายคือการค้นหาโครงร่างการบีบอัดเชิงเส้นสำหรับสัญญาณอินพุตขนาดใหญ่ที่ทราบว่ามีการกระจายแบบเบาบางเพื่อให้สัญญาณอินพุตสามารถกู้คืนได้อย่างมีประสิทธิภาพจากการบีบอัด ("ร่าง") การตั้งค่ามาตรฐานคือมีสัญญาณเวกเตอร์ที่และการแทนค่าการบีบอัดเท่ากับAxโดยที่AคือR - by จริง เมทริกซ์ที่เราต้องการr \ n ความมหัศจรรย์ของการตรวจจับที่ถูกบีบอัดคือใครสามารถสร้างAอย่างชัดเจนเพื่อให้สามารถกู้คืนได้อย่างรวดเร็ว (ใกล้เวลาเชิงเส้น) ของkใด ๆ$x \in \mathbb{R}^n$$\|x\|_0 < k$R n R « n $Ax$$A$$R$$n$$R \ll n$$A$$k$-sparse $x$กับ$R$ขนาดเล็กเป็น$O(k n^{o(1)})$(1)}) ฉันอาจไม่รู้จักพารามิเตอร์ที่ดีที่สุด แต่นี่เป็นแนวคิดทั่วไป

คำถามของฉันคือ: มีปรากฏการณ์ที่คล้ายกันในการตั้งค่าอื่น ๆ ? สิ่งที่ฉันหมายถึงคือสัญญาณอินพุตอาจมาจาก "ตระกูลที่มีความซับซ้อนต่ำ" ตามการวัดความซับซ้อนที่ไม่จำเป็นต้องมีการกระจัดกระจาย จากนั้นเราต้องการอัลกอริธึมการบีบอัดและการบีบอัดไม่จำเป็นต้องเป็นแผนที่เชิงเส้นที่มีประสิทธิภาพและถูกต้อง ผลลัพธ์ดังกล่าวเป็นที่รู้จักกันในบริบทที่แตกต่างกันหรือไม่? สิ่งที่คุณคาดเดาสำหรับทฤษฎี "ทั่วไป" ที่มากขึ้นของการรับรู้แบบบีบอัด

(แน่นอนในการประยุกต์ใช้การตรวจจับแบบกดความเป็นเชิงเส้นและการแยกเป็นประเด็นสำคัญคำถามที่ฉันถามที่นี่เป็น "ปรัชญา" มากกว่า)

คำถามของคุณเน้นปัญหาการกู้คืน "ที่แน่นอน" (เราต้องการกู้คืนขวาน k-sparse $x$ได้รับอย่างแน่นอน) ในต่อไปนี้แม้ว่าฉันจะมุ่งเน้นไปที่รุ่น "แข็งแกร่ง" โดยที่xเป็นเวกเตอร์โดยพลการและเป้าหมายของอัลกอริทึมการกู้คืนคือการหาค่าประมาณk -sparse x 'ถึงx (ความแตกต่างนี้สำคัญสำหรับการอภิปรายด้านล่าง ) เป็นทางการที่คุณต้องการติดตามปัญหา (เรียกว่าP_1 ):$Ax$$x$$k$$x'$$x$$P_1$

การออกแบบ$A$ที่xใด ๆ$x$สามารถกู้คืน$x'$โดยที่ $\|x-x'\|_L \le$

$\min_{x"} C \|x-x"\|_R$โดยที่อยู่เหนือเวกเตอร์ -sparse ทั้งหมด$x"$$k$

ที่นี่ และ แสดงถึงซ้ายและบรรทัดฐานที่ถูกต้องและ คือ "ปัจจัยการประมาณ" มีตัวเลือกต่าง ๆ ที่เป็นไปได้สำหรับและ \ สำหรับ concreteness เราสามารถคิดว่าทั้งสองมีค่าเท่ากับหรือ ; มันสามารถทำให้ยุ่งมากขึ้นได้$\| \cdot \|_L$$\| \cdot \|_R$$C$$\| \cdot \|_L$$\| \cdot \|_R$$\ell_2$$\ell_1$

ตอนนี้ถึงบางส่วนของ analogs และ generalisations

พื้นฐานโดยพลการ ก่อนสังเกตว่าโครงการใด ๆ ที่ตอบสนองความหมายข้างต้นสามารถใช้ในการแก้ปัญหาทั่วไปได้มากขึ้นซึ่งสัญญาณที่กู้คืนนั้นกระจัดกระจายตามอำเภอใจ (เช่นเวฟของฟูริเยร์) ไม่ใช่แค่มาตรฐานเดียว ให้เป็นเมทริกซ์พื้นฐาน อย่างเป็นทางการเวกเตอร์คือ -sparse ในพื้นฐานถ้าโดยที่คือ -sparse ตอนนี้เราสามารถพิจารณาปัญหาทั่วไป (เรียกว่า ):$x'$$B$$u$$k$$B$$u=Bv$$v$$k$$P_B$

ออกแบบเช่นนี้ซึ่งได้รับเราสามารถกู้คืนโดยที่$A_B$$A_B x$$x'$$\|x-x'\|_L \le$

$\min_{x"} C \|x-x"\|_R$ที่ ช่วงกว่าเวกเตอร์ทั้งหมดที่ -sparse ในB$x"$$k$$B$

หนึ่งสามารถลดปัญหานี้ให้กับปัญหาที่เกิดขึ้นก่อนหน้านี้โดยการเปลี่ยนพื้นฐานคือใช้วัดเมทริกซ์1} หากเรามีวิธีแก้ปัญหาใน norm (เช่นซ้ายและขวาปกติเท่ากับ ) เราก็จะได้คำตอบสำหรับใน norm หากใช้บรรทัดฐานอื่นเราจะแก้ในบรรทัดฐานเหล่านั้นที่แก้ไขโดยเปลี่ยนพื้นฐาน$P_1$$A_B = A B^{-1}$$P_1$$\ell_2$$\ell_2$$P_B$$\ell_2$$P_1$$P_B$

หนึ่งข้อแม้ในข้างต้นคือว่าในวิธีการข้างต้นเราจำเป็นต้องรู้เมทริกซ์เพื่อกำหนดA_Bอาจจะแปลกใจถ้าเราช่วยให้การสุ่ม (ไม่คงที่ แต่เลือกแทนการสุ่ม) มันเป็นไปได้ที่จะเลือกจากการกระจายการแก้ไขที่เป็นอิสระจากBนี่คือคุณสมบัติสากลที่เรียกว่า$B$$A_B$$A_B$$A_B$$B$

พจนานุกรม การวางนัยทั่วไปต่อไปสามารถทำได้โดยการวางข้อกำหนดที่เป็นพื้นฐาน แต่เราสามารถอนุญาตให้มีแถวมากกว่าคอลัมน์ได้ เมทริกซ์ดังกล่าวเรียกว่า (เกินความสมบูรณ์) พจนานุกรม ตัวอย่างหนึ่งที่ได้รับความนิยมคือเมทริกซ์เอกลักษณ์ด้านบนของเมทริกซ์ฟูริเยร์ อีกตัวอย่างคือเมทริกซ์ที่แถวเป็นเวกเตอร์ลักษณะของช่วงเวลาทั้งหมดใน {1 ... n}; ในกรณีนี้ชุด { } มีคำว่า " -histograms" ทั้งหมดนั่นคือฟังก์ชันคงที่ทีละหนึ่งส่วน {1 ... n} กับส่วนใหญ่$B$$B$$Bu: \mbox{u is k-sparse}$$k$$k$

เท่าที่ฉันรู้ว่าไม่มีทฤษฎีทั่วไปสำหรับพจนานุกรมตามอำเภอใจเช่นนี้แม้ว่าจะมีงานจำนวนมากพอสมควรในหัวข้อนี้ ดูเช่น Candes-Eldar-Needell'10หรือ Donoho-Elad-Temlyakov, ธุรกรรมอีอีอีทฤษฎีสารสนเทศ 2004

ร่างสำหรับ histograms ถูกตรวจสอบอย่างกว้างขวางในการสตรีมมิ่งและวรรณกรรมฐานข้อมูลเช่น กิลเบิร์กู-Indyk-Kotidis-Muthukrishnan สเตราส์, STOC 2002หรือ Thaper-กู-Indyk-Koudas, SIGMOD 2002

รุ่น (ยังเอ่ยถึงโดย Arnab) ลักษณะทั่วไปที่แตกต่างคือการแนะนำข้อ จำกัด ในรูปแบบ sparsity ให้เป็นส่วนย่อยของ -subsets ของ {1 ... n} เราบอกว่าเป็น -sparse ถ้าการสนับสนุนของจะรวมอยู่ในองค์ประกอบของMตอนนี้เราสามารถทำให้เกิดปัญหา (เรียกว่า ):$M$$k$$u$$M$$u$$M$$P_M$

การออกแบบที่ใด ๆสามารถกู้คืนโดยที่$A$$x$$x'$$\|x-x'\|_L \le$

$\min_{x"} C \|x-x"\|_R$โดยที่อยู่เหนือเวกเตอร์ -sparse ทั้งหมด$x"$$M$

ตัวอย่างเช่นองค์ประกอบของอาจอยู่ในรูปแบบโดยที่แต่ละตรงกับ "sub-block" หนึ่งตัวของ {1 ... n} ของความยาวบางส่วนเช่นนั้นเป็นของ รูปแบบ {JB + 1 ... (ญ + 1) ข} สำหรับบางญนี่คือโมเดลที่เรียกว่า "block sparsity" $M$$I_1 \cup \ldots \cup I_k$$I_i$$b$$I_i$$j$

ประโยชน์ของแบบจำลองคือสามารถประหยัดจำนวนการตรวจวัดเปรียบเทียบกับวิธี -sparsity ทั่วไป นี่เป็นเพราะพื้นที่ของสัญญาณ -sparse มีขนาดเล็กกว่าพื้นที่ของสัญญาณ sparse ทั้งหมดดังนั้นเมทริกซ์จำเป็นต้องเก็บรักษาข้อมูลให้น้อยลง สำหรับข้อมูลเพิ่มเติมโปรดดูที่ Baraniuk-Cevher-Duarte-จด์, ธุรกรรมอีอีอีทฤษฎีสารสนเทศ 2010หรือ เอลดาร์-Mishali, ธุรกรรมอีอีอีทฤษฎีสารสนเทศ 2009$k$$M$$k$$A$

หวังว่านี่จะช่วยได้

มีลักษณะทั่วไปของการตรวจวัดการบีบอัดการตั้งค่าที่ไม่สลับที่เรียกว่าเป็นเมทริกซ์เสร็จสิ้น ในการตั้งค่าที่แน่นอนคุณจะได้รับรู้จักเมทริกซ์ซึ่งแทนที่จะ sparsity เป็นที่รู้จักกันที่จะมียศต่ำ n เป้าหมายของคุณคือการสร้างค่าเอกพจน์และเอกพจน์เวกเตอร์เอกพจน์ของเมทริกซ์นี้ใหม่โดยการสุ่มตัวอย่างเฉพาะค่าสัมประสิทธิ์ของเมทริกซ์แทนที่จะเป็นตามต้องการในกรณีที่เลวร้ายที่สุด $m \times n$$M$$r \ll m,n$$r$$\tilde{O}(rm+rn)$$O(mn)$

หากเวกเตอร์เอกพจน์นั้นเพียงพอ "ไม่ต่อเนื่องกัน" (โดยประมาณไม่จัดแนวที่ไม่ดีเกินไป) กับพื้นฐานที่คุณสุ่มตัวอย่างองค์ประกอบเมทริกซ์คุณสามารถประสบความสำเร็จกับความน่าจะเป็นสูงโดยการแก้โปรแกรมนูนซึ่งคล้ายกับการรับรู้แบบบีบอัดมาตรฐาน ในกรณีนี้คุณจะต้องลด Schatten 1-norm ให้เหลือน้อยที่สุดนั่นคือผลรวมของค่าเอกพจน์

ปัญหานี้ยังมีแอปพลิเคชั่นจำนวนมากเช่นการให้คำแนะนำหนังสือให้กับลูกค้าของร้านหนังสือออนไลน์จากการรู้คะแนนเพียงเล็กน้อยที่ลูกค้ารายอื่นสร้างขึ้น ในบริบทนี้แถวและคอลัมน์ของมีป้ายกำกับโดยหนังสือและลูกค้าตามลำดับ องค์ประกอบเมทริกซ์ที่มองเห็นได้ไม่กี่อย่างคือการจัดอันดับโดยลูกค้าของหนังสือที่ซื้อมาก่อนหน้านี้ เมทริกซ์คาดว่าจะอยู่ในอันดับที่ต่ำเพราะเราเชื่อว่าโดยทั่วไปมีเพียงไม่กี่ปัจจัยหลักที่มีผลต่อการตั้งค่าของเรา เมื่อดำเนินการเสร็จแล้วผู้ขายสามารถทำการคาดการณ์ที่แม่นยำเกี่ยวกับหนังสือที่คุณต้องการ$M$$M$$M$

เริ่มต้นที่ดีคือกระดาษนี้โดยCandésและ Recht, Exact Matrix เสร็จผ่านนูนเพิ่มประสิทธิภาพ นอกจากนี้ยังมีลักษณะทั่วไปที่เจ๋งมากที่คุณได้รับอนุญาตให้สุ่มตัวอย่างตามอำเภอใจสำหรับพื้นที่เมทริกซ์ บทความนี้โดย David Gross, การกู้คืนเมทริกซ์ระดับต่ำจากค่าสัมประสิทธิ์ไม่กี่อย่างในพื้นฐานใด ๆใช้การสรุปนี้เพื่อทำให้หลักฐานพิสูจน์การเมทริกซ์สำเร็จได้ง่ายขึ้นและสำหรับบางฐาน กระดาษนั้นยังมีขอบเขตที่ดีที่สุดในปัจจุบันเกี่ยวกับความซับซ้อนของการสุ่มตัวอย่าง มันอาจจะฟังดูแปลกที่จะลิ้มลองในพื้นฐานโดยพลการ แต่มันเป็นจริงค่อนข้างเป็นธรรมชาติในการตั้งค่าของกลศาสตร์ควอนตัม, ดูตัวอย่างกระดาษนี้รัฐควอนตัมเอกซ์เรย์ผ่านการตรวจวัดการบีบอัด

มีการตรวจจับที่ถูกบีบอัดโดยใช้ manifold ซึ่งเงื่อนไข sparsity จะถูกแทนที่ด้วยเงื่อนไขที่ข้อมูลอยู่ใน submanifold มิติต่ำของพื้นที่ธรรมชาติของสัญญาณ โปรดทราบว่า sparsity สามารถใช้ถ้อยคำเป็นการวางลงบนท่อร่วมที่เฉพาะเจาะจง

ดูตัวอย่างบทความนี้และข้อมูลอ้างอิงในบทนำ (ฉันยอมรับว่าไม่ทราบว่าบทความนี้เป็นตัวแทนของพื้นที่ - ฉันคุ้นเคยกับหัวข้อที่เกี่ยวข้องของตัวจําแนกตามลักษณนามมากมาย la niyogi-Smale-Weinberger )

ฉันคิดว่าในระดับทั่วไปซึ่งฉันได้ตั้งคำถามกระดาษ"การบีบอัดแหล่งที่มาซึ่งสามารถสุ่มตัวอย่างได้"โดย Trevisan, Vadhan และ Zuckerman (2004) ก็ถือว่าเป็นคำตอบเดียวเช่นกัน พวกเขาแสดงให้เห็นว่าในหลายกรณีหากแหล่งที่มาของสายป้อนข้อมูลมีความซับซ้อนต่ำ (เช่นตัวอย่างโดยเครื่อง logspace) จากนั้นหนึ่งสามารถบีบอัดและขยายในเวลาพหุนามเพื่อเพิ่มค่าคงที่ออกไปจากเอนโทรปีของแหล่งที่มา

ฉันไม่รู้จริงๆว่าการตรวจจับที่ถูกบีบอัดสามารถนำไปใช้กับทฤษฎีการบีบอัดขนาดใหญ่กว่าได้ไหม

อะนาล็อกของการตรวจจับแรงอัดคือการเรียนรู้ของเครื่องเมื่อคุณพยายามที่จะประเมินเวกเตอร์น้ำหนักขนาดสูง (เช่นในการจำแนกประเภท / การถดถอย) จากขนาดตัวอย่างที่เล็กมาก เพื่อจัดการกับระบบที่บั่นทอนของสมการเชิงเส้นในการตั้งค่าเช่นนี้โดยทั่วไปแล้วจะบังคับให้มีการ sparsity (ผ่าน l0 หรือการลงโทษ l1) ในเวกเตอร์น้ำหนักที่กำลังเรียนรู้ หากต้องการดูการเชื่อมต่อให้พิจารณาปัญหาการจำแนกประเภท / การถดถอยต่อไปนี้จากการเรียนรู้ของเครื่อง:

แสดงตัวอย่าง N ของมิติ D แต่ละมิติ (D >> N) เป็นเมทริกซ์ NxD X แสดงการตอบสนอง N (หนึ่งตัวอย่างสำหรับแต่ละตัวอย่าง) เป็นเวกเตอร์ Nx1 Y. เป้าหมายคือการแก้ปัญหาสำหรับเวกเตอร์ Dx1 theta ผ่านสมการต่อไปนี้ : Y = X * theta

ทีนี้นี่คือการเปรียบเทียบของปัญหานี้กับการตรวจจับแรงอัด (CS): คุณต้องการประมาณ / วัดทีต้าซึ่งเป็นเวกเตอร์มิติ D (คล้ายกับ "สัญญาณ" ที่ไม่รู้จักใน CS) ในการประมาณค่านี้คุณใช้เมทริกซ์ X (คล้ายกับเมทริกซ์การออกแบบใน CS) และการวัด N 1-D Y (คล้ายกับสัญญาณบีบอัดใน CS ตั้งแต่ D >> N)

ดู: http://www.damtp.cam.ac.uk/user/na/people/Anders/Inf_CS43.pdf