ขอบเขตใน

ถ้า $f$ เป็นฟังก์ชันนูนแล้วความไม่เท่าเทียมของ Jensen ระบุว่า $f(\textbf{E}[x]) \le \textbf{E}[f(x)]$ และโดยอนุโลมโดยอนุโลมเมื่อ $f$ เป็นเว้า เห็นได้ชัดว่าในกรณีที่เลวร้ายที่สุดคุณไม่สามารถ จำกัด ขอบเขต $\textbf{E}[f(x)]$ ในรูปของ $f(\textbf{E}[x])$ สำหรับนูน $f$ แต่มีขอบเขตที่ไปในทิศทางนี้ถ้า $f$ นูน แต่ "ไม่นูนเกินไป" คือมีมาตรฐานบางผูกพันที่ให้เงื่อนไขในการฟังก์ชั่นนูน $f$ (และอาจกระจายเช่นกันถ้าจำเป็น) ที่จะช่วยให้คุณสามารถที่จะสรุปว่า $\textbf{E}[f(x)] \le \varphi(f)f(\textbf{E}[x])$ ที่ $\varphi(f)$ เป็นหน้าที่ของความโค้ง / ระดับของนูนบาง $f$ ? บางสิ่งบางอย่างคล้ายกับสภาพ Lipschitz บางที?

randomness pr.probability randomized-algorithms

— เอียน
แหล่งที่มา

การลงคะแนนเพื่อปิดเป็นปิดหัวข้อ math.stackexchange.comอาจจะ?

— Aryabhata

ฉันคิดว่าคำถามนี้ควรเปิดอยู่ นี่คือความไม่เท่าเทียมที่นักทฤษฎีการทำงานจำนวนมากจะพบว่ามีประโยชน์เป็นประจำ

— Aaron Roth

ฉันรู้ว่ามันใกล้กับคณิตศาสตร์บริสุทธิ์มากกว่าคำถามส่วนใหญ่ที่โพสต์ไปแล้ว แต่ฉันจะเถียงว่านี่เป็นหัวข้อเนื่องจากสิ่งนี้เกิดขึ้นบ่อยครั้งในการวิเคราะห์อัลกอริทึมแบบสุ่ม (ซึ่งเป็นแอปพลิเคชันที่ฉันมี ใจ) ฉันคิดว่าคณิตศาสตร์ที่ใช้อย่างมากในสาขาวิทยาศาสตร์คอมพิวเตอร์ควรได้รับการพิจารณาให้เป็นเกมที่ยุติธรรมสำหรับคำถาม

— เอียน

ออกเสียงลงคะแนนเพื่อให้เปิด แน่นอนในหัวข้อ

— Suresh Venkat

ฉันยังออกเสียงลงคะแนนเพื่อให้เปิด

— Jeff

คำตอบ:

แก้ไข: เวอร์ชันดั้งเดิมพลาดค่าสัมบูรณ์ เสียใจ !!

สวัสดีเอียน ฉันจะสรุปคร่าว ๆ ของสองตัวอย่างอย่างย่อหนึ่งโดยใช้ Lipschitz ที่ถูกผูกไว้อีกตัวหนึ่งใช้อนุพันธ์ที่สองจากนั้นพูดถึงปัญหาบางอย่างในปัญหานี้ แม้ว่าฉันจะซ้ำซ้อนเนื่องจากวิธีการใช้อนุพันธ์หนึ่งอธิบายว่าเกิดอะไรขึ้นกับตราสารอนุพันธ์เพิ่มเติม (ผ่านเทย์เลอร์) แต่ปรากฎว่ารุ่นอนุพันธ์อันดับสองค่อนข้างดี

ครั้งแรกกับ Lipschitz ผูกไว้: เพียงแค่ทำงานอสมการเซ่นมาตรฐานอีกครั้ง ใช้เล่ห์เหลี่ยมเดียวกัน: คำนวณการขยายตัวของเทย์เลอร์ด้วยค่าที่คาดหวัง

โดยเฉพาะ Let ได้สอดคล้องวัดและชุด )ถ้ามีค่าคงที่ Lipschitz ตามทฤษฎีบทของเทย์เลอร์ $X$ $\mu$ $m := \textrm E(x)$ $f$ $L$

f (x) = f (m) + f^{'} (z) (x - m) \leq f (m) + L | x - m |,

$f(x) = f(m) + f'(z)(x-m) \leq f(m) + L|x-m|,$

โดยที่ (โปรดทราบว่าและเป็นไปได้) การใช้สิ่งนี้และพิสูจน์หลักฐานเซ่นอีกครั้ง (ฉันเป็นคนหวาดระแวงและตรวจสอบว่ามาตรฐานฉบับนั้นเป็นวิกิพีเดียจริง ๆ ) $z \in [m, x]$ $x\leq m$ $x> m$

\begin{aligned} E (f (X)) & = \int f (x) d μ (x) \leq f (m) \int d μ (x) + L \int | x - m | d μ (x) \\ = f (E (X)) + L E (| X - E (X) |) . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & = \int f(x) \, d\mu(x) \leq f(m) \int d\mu(x) + L\int |x-m| \, d\mu(x) \\[6pt] & = f(\operatorname{E}(X)) + L \operatorname{E} (|X-\operatorname{E}(X)|). \end{align}$

$|f''(x)| \leq \lambda$

\begin{aligned} f (x) & = f (m) + f^{'} (m) (x - m) + f^{″} (z) \frac{(x - m)^{2}}{2} \\ \leq f (m) + f^{'} (m) (x - m) + λ \frac{(x - m)^{2}}{2}, \end{aligned}

$\begin{align} f(x) & = f(m) + f'(m)(x-m) + f''(z) \frac{(x-m)^2} 2 \\[6pt] & \leq f(m) + f'(m)(x-m) + \lambda \frac{(x-m)^2} 2, \end{align}$

และอื่น ๆ

\begin{aligned} E (f (X)) & \leq f (m) + f^{'} (m) (E (X) - m) + \frac{λ E ((X - m)^{2})}{2} \\ = f (E (X)) + \frac{λ Var (X)}{2} . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & \leq f(m) + f'(m)(\operatorname{E}(X) - m) + \frac {\lambda \operatorname{E}((X-m)^2)}{2} \\[6pt] & = f(\operatorname{E}(X)) + \frac {\lambda \operatorname{Var}(X)}2. \end{align}$

ฉันต้องการพูดถึงบางสิ่งสั้น ๆ ขออภัยถ้าเห็นได้ชัด

หนึ่งคือการที่คุณไม่สามารถเพียงแค่พูดว่า "WLOG " โดยขยับกระจายเพราะคุณจะมีการเปลี่ยนแปลงความสัมพันธ์ระหว่างและ\ $\operatorname{E}(X) = 0$ $f$ $\mu$

ถัดไปคือขอบเขตต้องขึ้นอยู่กับการแจกแจงในบางวิธี หากต้องการดูนี้คิดว่าและ 2 ไม่ว่าค่าของคุณยังคงได้รับ0 บนมืออื่น ๆ , 2 ดังนั้นโดยการเปลี่ยนคุณสามารถสร้างช่องว่างระหว่างปริมาณสองปริมาณโดยพลการ! โดยสัญชาตญาณจำนวนมากถูกผลักออกไปจากค่าเฉลี่ยและดังนั้นสำหรับการทำงานของนูนอย่างเข้มงวดจะเพิ่มขึ้น $X \sim \textrm{Gaussian}(0, \sigma^2)$ $f(x) = x^2$ $\sigma$ $f(\operatorname{E}(X)) = f(0) = 0$ $\operatorname{E}(f(X)) = \operatorname{E}(X^2) = \sigma^2$ $\sigma$ $\operatorname{E} (f(X))$

ท้ายสุดฉันไม่เห็นวิธีรับขอบเขตทวีคูณเหมือนที่คุณแนะนำ ทุกอย่างที่ฉันใช้ในโพสต์นี้เป็นมาตรฐาน: ทฤษฎีบทของเทย์เลอร์และขอบเขตอนุพันธ์คือขนมปังและเนยในขอบเขตสถิติและพวกมันให้ข้อผิดพลาดเพิ่มเติมโดยอัตโนมัติไม่ใช่ข้อผิดพลาดคูณ

ฉันจะคิดถึงมันและโพสต์บางสิ่ง สัญชาตญาณที่คลุมเครือก็คือมันจะต้องมีเงื่อนไขที่ยอดเยี่ยมทั้งในเรื่องของฟังก์ชั่นและการแจกแจงและการเติมสารเติมแต่งนั้นเป็นหัวใจสำคัญของมัน

— Matus
แหล่งที่มา

ทุกครั้งที่ฉันแก้ไขคำตอบจะถูกกระแทก ดังนั้นฉันจะชี้ให้เห็น: ขอบเขตอนุพันธ์อันดับสองนั้นแน่นสำหรับตัวอย่างที่ฉันให้

— matus

ฉันคิดว่าคุณถูกต้องในขอบเขตของสารเติมแต่งนั้นเป็นไปได้ที่ดีที่สุดโดยไม่มีเงื่อนไขที่แข็งแกร่งในฟังก์ชั่น

— เอียน

ถึงเอียนฉันคิดเกี่ยวกับปัญหานี้อีกเล็กน้อย แต่ปัญหาหลักในใจของฉันถูกบอกใบ้โดยตัวอย่างที่ฉันให้โดยที่แต่0 คุณสามารถ จำกัด ทั้งฟังก์ชันตระกูล (ขอบเขต, อนุพันธ์ขอบเขต, รวมได้) และการแจกแจง (ราบรื่น, จำกัด ขอบเขต, Momemts จำกัด ) และคุณยังมีตัวอย่างเหล่านี้ มันพอเพียงที่จะมีฟังก์ชันสมมาตรไม่ใช่เชิงลบเท่ากับศูนย์ที่ค่าเฉลี่ยของการแจกแจง ที่กล่าวว่าทุกอย่างขึ้นอยู่กับข้อ จำกัด ในปัญหาที่แน่นอนของคุณ ในกรณีทั่วไปฉันคิดว่าธรรมชาติของสารเติมแต่งเป็นพื้นฐาน

f (E (X)) = 0

$f(\textrm E(X))= 0$

E (f (X)) > 0

$\textrm E (f(X)) > 0$

— matus

@Ian: หลักฐานของความไม่เท่าเทียมเชิง Chernoff และ Azuma-Hoeffding ใช้การโต้เถียงเพื่อเตือนความทรงจำของเรื่องนี้ดังนั้นคุณอาจต้องการที่จะอ่านแรงบันดาลใจ ดูเช่นหนังสือของ Mitzenmacher และ Upfal เกี่ยวกับการสุ่มในการคำนวณ

— Warren Schudy

สำหรับข้อมูลเชิงลึกให้พิจารณาการกระจายที่เน้นสองค่า พูดด้วยความน่าจะเป็นเท่ากับ 1/2 ว่ามันเท่ากับ 1 หรือ 3 ดังนั้น 2 ใช้และ0 พิจารณาฟังก์ชั่นซึ่งและ\ โดยการทำให้มีขนาดเล็กเพียงพอและเชื่อมต่ออย่างต่อเนื่องระหว่างจุดสามจุดนี้เราสามารถทำให้ความโค้งของขนาดเล็กตามที่ต้องการ แล้วก็ $\textbf{E}[x] = 2$ $N >> 0$ $\epsilon > 0$ $f$ $f(1) = f(3)= N\epsilon$ $f(\textbf{E}[x]) = f(2) = \epsilon$ $\epsilon$ $f$ $f$

$\textbf{E}[f(x)] = N\epsilon$ ยัง

$N = N\epsilon / \epsilon = \textbf{E}[f(x)] / f(\textbf{E}[x]) \le \varphi(f)$ (ฉ)

สิ่งนี้แสดงต้องมีขนาดใหญ่โดยพลการ $\varphi(f)$

— whuber
แหล่งที่มา