ฟังก์ชั่น autocorrelation อธิบายกระบวนการสุ่มอย่างสมบูรณ์หรือไม่?

คำอธิบายที่สมบูรณ์ของกระบวนการสโทคาสติกคืออะไร ดีทางคณิตศาสตร์เป็นกระบวนการสุ่มเป็นคอลเลกชัน $\{X(t) : t \in {\mathbb T}\}$ ของตัวแปรสุ่มหนึ่งสำหรับแต่ละครั้งทันที $t$ ในดัชนีชุด $\mathbb T$ ที่มัก $\mathbb T$ เป็นบรรทัดจริงทั้งหมดหรือเส้นจริงบวก และคำอธิบายที่สมบูรณ์หมายความว่าสำหรับแต่ละจำนวนเต็ม $n \geq 1$ และ $n$ เวลา instants $t_1, t_2, \ldots, t_n \in \mathbb T$ เรารู้ (ร่วม) การกระจายของ $n$ ตัวแปรสุ่ม $X(t_1)$ , $X(t_2)$ , $\ldots, X(t_n)$ )นี่เป็นข้อมูลจำนวนมหาศาล: เราจำเป็นต้องรู้ CDF ของ $X(t)$ ในแต่ละครั้งที่ $t$ , ร่วมกัน (สองมิติ) CDF ของ $X(t_1)$ และ $X(t_2)$ สำหรับตัวเลือกทั้งหมดของเวลา instants $t_1$ และ $t_2$ , CDFs (สามมิติ) ของ $X(t_1)$ , $X(t_2)$ , และ $X(t_3)$ , ฯลฯ เป็นต้น

คนทั่วไปจึงมองหาคำอธิบายที่ง่ายกว่าและแบบจำลองที่เข้มงวดมากขึ้น การทำให้เข้าใจง่ายอย่างหนึ่งเกิดขึ้นเมื่อกระบวนการไม่แปรเปลี่ยนไปจากการเปลี่ยนแปลงของเวลา สิ่งนี้หมายความว่าอะไร

ทั้งหมดตัวแปรสุ่มในกระบวนการมี CDFS เหมือน: $F_{X(t_1)}(x) = F_{X(t_2)}(x)$ ทั้งหมด $t_1, t_2$ 2
สองตัวแปรสุ่มแยกออกจากกันโดยบางส่วนระยะเวลาที่ระบุมี CDF ร่วมเช่นเดียวกับคนอื่น ๆคู่ของตัวแปรสุ่มแยกจากกันโดยเดียวกันปริมาณของเวลา ตัวอย่างเช่นตัวแปรสุ่ม $X(t_1)$ และ $X(t_1 + \tau)$ จะถูกคั่นด้วย $\tau$ วินาทีเช่นเดียวกับตัวแปรสุ่ม $X(t_2)$ และ $X(t_2 + \tau)$ และทำให้ $F_{X(t_1), X(t_1 + \tau)}(x,y) = F_{X(t_2), X(t_2 + \tau)}(x,y)$
ตัวแปรสุ่มสามตัวใด ๆ $X(t_1)$ , $X(t_1 + \tau_1)$ , $X(t_1 + \tau_1 + \tau_2)$ เว้นระยะ $\tau_1$ และ $\tau_2$ แยกมี CDF ร่วมกันเช่นเดียวกับ $X(t_2)$ , $X(t_2 + \tau_1)$ , $X(t_2 + \tau_1 + \tau_2)$ ซึ่งเป็นระยะห่างยัง $\tau_1$ และ $\tau_2$ ออกจากกัน
และอื่น ๆ สำหรับCDF หลายมิติทั้งหมด ตัวอย่างเช่นคำตอบของ Peter K. สำหรับรายละเอียดของกรณีหลายมิติ

ได้อย่างมีประสิทธิภาพรายละเอียดความน่าจะเป็นของกระบวนการสุ่มไม่ได้ขึ้นอยู่กับสิ่งที่เราเลือกที่จะเรียกต้นกำเนิดอยู่กับเวลาที่แกน: ขยับจังหวะเวลาทั้งหมด $t_1, t_2, \ldots, t_n$ โดยจำนวนคงที่บาง $\tau$ ไป $t_1 + \tau, t_2 + \tau, \ldots, t_n + \tau$ ให้คำอธิบายที่น่าจะเป็นเหมือนกันของตัวแปรสุ่ม คุณสมบัตินี้เรียกว่าstationarity แบบเข้มงวด และกระบวนการสุ่มที่สนุกกับคุณสมบัตินี้เรียกว่ากระบวนการสุ่มที่อยู่กับที่อย่างเข้มงวดหรือกระบวนการสุ่มที่คงที่

โปรดทราบว่า stationarity ที่เข้มงวดด้วยตัวเองไม่จำเป็นต้องมีรูปแบบเฉพาะของ CDF ตัวอย่างเช่นไม่ได้บอกว่าตัวแปรทั้งหมดเป็น Gaussian

คำคุณศัพท์แสดงให้เห็นอย่างเคร่งครัดว่าเป็นไปได้ที่จะกำหนดรูปแบบของความนิ่ง หากCDF ร่วม $N^{\text{th}}$ $X(t_1), X(t_2), \ldots, X(t_N)$ จะเหมือนกับCDF ร่วม $N^{\text{th}}$ $X(t_1+\tau), X(t_2+\tau), \ldots, X(t_N +\tau)$ สำหรับตัวเลือกทั้งหมดของ $t_1,t_2, \ldots, t_N$ และ $\tau$ แล้วกระบวนการสุ่มกล่าวจะนิ่งกับการสั่งซื้อ $N$ และเป็นที่เรียกว่า $N^{\text{th}}$ -order นิ่งกระบวนการสุ่ม ทราบว่า $N^{\text{th}}$ -order นิ่งกระบวนการสุ่มยังนิ่งกับการสั่งซื้อ $n$ สำหรับแต่ละบวก $n < N$ N(นี่เป็นเพราะCDF ที่ใช้ร่วมกัน $n^{\text{th}}$ คือขีด จำกัด ของCDF $N^{\text{th}}$ ที่ $N-n$ ของการขัดแย้งวิธี $\infty$ : ลักษณะทั่วไปของ $F_X(x) = \lim_{y\to\infty}F_{X,Y}(x,y)$ ) กระบวนการสุ่มนิ่งอย่างเคร่งครัดแล้วเป็นกระบวนการสุ่มที่นิ่งทุกคำสั่งซื้อยังไม่มีข้อความ $N$

หากกระบวนการสุ่มอยู่กับที่ (อย่างน้อย) ลำดับ $1$ ดังนั้น $X(t)$ จะมีการแจกแจงแบบเดียวกันดังนั้นสมมติว่าค่าเฉลี่ยมีอยู่ $E[X(t)] = \mu$ นั้นเหมือนกันสำหรับ $t$ ทั้งหมด. ในทำนองเดียวกัน $E[(X(t))^2]$ นั้นเหมือนกันสำหรับ $t$ ทั้งหมดและถูกเรียกว่าพลังของกระบวนการ กระบวนการทางกายภาพทั้งหมดมีพลังงานจำกัดดังนั้นจึงเป็นเรื่องปกติที่จะสมมติว่า $E[(X(t))^2] < \infty$ ในกรณีนี้และโดยเฉพาะอย่างยิ่งในวรรณคดีวิศวกรรมเก่ากระบวนการนี้เรียกว่ากระบวนการลำดับที่สอง ทางเลือกของชื่อเป็นโชคร้ายเพราะมันเชิญชวนให้สับสนกับสองสั่ง stationarity(cfคำตอบของฉันใน stats.SE นี้) และเพื่อให้ที่นี่เราจะเรียกกระบวนการที่ $E[(X(t))^2]$ มี จำกัด สำหรับ $t$ ทั้งหมด(หรือไม่ว่า $E[(X(t))^2]$ เป็นค่าคงที่) เป็นกระบวนการจำกัด กำลังและหลีกเลี่ยงความสับสน แต่ทราบอีกว่า

กระบวนการคงที่ลำดับที่หนึ่งไม่จำเป็นต้องเป็นกระบวนการ จำกัด กำลัง

พิจารณากระบวนการสุ่มที่นิ่งการสั่งซื้อสินค้า2 $2$ ตอนนี้เนื่องจากการกระจายข้อต่อของ $X(t_1)$ และ $X(t_1 + \tau)$ เท่ากับฟังก์ชั่นการแจกแจงร่วมของ $X(t_2)$ และ $X(t_2 + \tau)$ , $E[X(t_1)X(t_1 + \tau)] = E[X(t_2)X(t_2 + \tau)]$ และความคุ้มค่าขึ้นอยู่กับτ $\tau$ ความคาดหวังเหล่านี้มี จำกัด สำหรับกระบวนการขอบเขตอำนาจและความคุ้มค่าของพวกเขาจะเรียกว่าฟังก์ชั่นอัตของกระบวนการ: $R_X(\tau) = E[X(t)X(t+\tau)]$ เป็นหน้าที่ของ $\tau$ แยกเวลา ของตัวแปรสุ่ม $X(t)$ และ $X(t+\tau)$ และไม่ขึ้นอยู่กับ $t$ เลย โปรดทราบว่า

E [X (t) X (t + τ)] = E [X (t + τ) X (t)] = E [X (t + τ) X (t + τ - τ)] = R_{X} (- τ),

$E[X(t)X(t+\tau)] = E[X(t+\tau)X(t)] = E[X(t+\tau)X(t + \tau - \tau)] = R_X(-\tau),$ และอื่น ๆ ฟังก์ชั่นอัตเป็นฟังก์ชั่นของการโต้แย้งของมัน

กระบวนการสุ่มแบบคงที่ลำดับที่สองกำลังสองมีคุณสมบัติที่

ค่าเฉลี่ย $E[X(t)]$ เป็นค่าคงที่

ฟังก์ชัน autocorrelation $R_X(\tau) = E[X(t)X(t+\tau)]$ คือฟังก์ชันของ $\tau$ , การแยกเวลาของตัวแปรสุ่ม $X(t)$ และ $X(t+\tau)$ และไม่ได้ ขึ้นอยู่กับ $t$ เลย

สมมติฐานของ stationarity ช่วยลดความซับซ้อนของคำอธิบายของกระบวนการสุ่มในระดับหนึ่ง แต่สำหรับวิศวกรและนักสถิติที่สนใจในการสร้างแบบจำลองจากข้อมูลการทดลองการประเมิน CDFs ทั้งหมดนั้นเป็นงานที่ไม่สำคัญโดยเฉพาะอย่างยิ่งเมื่อมีเพียงส่วนหนึ่งของเส้นทางตัวอย่างเดียว การรับรู้) $x(t)$ ซึ่งสามารถทำการวัดได้ การวัดสองแบบที่ทำได้ค่อนข้างง่าย (เนื่องจากวิศวกรมีเครื่องมือที่จำเป็นใน workbench แล้ว (หรือโปรแกรมใน MATLAB / Python / Octave / C ++ ในไลบรารีซอฟต์แวร์ของเขา) คือค่า DC $\frac 1T\int_0^T x(t)\,\mathrm dt$ ของ $x(t)$ และฟังก์ชัน autocorrelation $R_x(\tau) = \frac 1T\int_0^T x(t)x(t+\tau)\,\mathrm dt$ (หรือการแปลงฟูริเยร์, สเปกตรัมกำลังของ $x(t)$ ) การวัดค่าเหล่านี้เป็นค่าประมาณของค่าเฉลี่ยและฟังก์ชั่นออโต้คอร์เรชั่นของกระบวนการ จำกัด กำลังไฟจะนำไปสู่แบบจำลองที่มีประโยชน์มากที่เราจะพูดถึงต่อไป

จำกัด พลังงานกระบวนการสุ่มเรียกว่านิ่งกว้างความรู้สึก (WSS) กระบวนการ (ยังไม่ค่อยกระบวนการสุ่มนิ่งซึ่งโชคดีที่ยังมี WSS ย่อเดียวกัน) ถ้ามันมีค่าคงที่ค่าเฉลี่ยและฟังก์ชั่นอัตของ $R_X(t_1, t_2) = E[X(t_1)X(t_2)]$ ขึ้นอยู่กับความแตกต่างของเวลา $t_1 - t_2$ (หรือ $t_2 - t_1$ )

โปรดทราบว่าคำจำกัดความไม่ได้เกี่ยวกับ CDF ของตัวแปรสุ่มที่ประกอบไปด้วยกระบวนการ มันเป็นข้อ จำกัด อย่างสมบูรณ์ในช่วงเวลาลำดับที่หนึ่งและลำดับที่สองของตัวแปรสุ่ม แน่นอนว่าการ จำกัด ลำดับที่สองของกำลังไฟนิ่ง (หรือ $N^{\text{th}}$ นิ่งอยู่นิ่ง (สำหรับ $N>2$ ) หรือการเคลื่อนที่แบบสุ่ม) เป็น กระบวนการ WSS แต่การสนทนาไม่จำเป็นต้องเป็นจริง

กระบวนการ WSS ไม่จำเป็นต้องอยู่กับคำสั่งใด ๆ

พิจารณาตัวอย่างเช่นกระบวนการสุ่ม $\{X(t)\colon X(t)= \cos (t + \Theta), -\infty < t < \infty\}$ โดยที่ $\Theta$ ใช้ค่าที่มีโอกาสเท่ากันสี่ค่า $0, \pi/2, \pi$ และ $3\pi/2$ 2(ไม่ต้องกลัว: เส้นทางตัวอย่างสี่เส้นทางที่เป็นไปได้ของกระบวนการสุ่มนี้เป็นเพียงรูปคลื่นสี่สัญญาณของสัญญาณ QPSK) โปรดทราบว่าแต่ละ $X(t)$ เป็นตัวแปรสุ่มที่ไม่ต่อเนื่องซึ่งโดยทั่วไปแล้วจะใช้ค่าสี่ค่าที่น่าจะเท่ากัน $\cos(t), \cos(t+\pi/2)=-\sin(t), \cos(t+\pi) = -\cos(t)$ และ $\cos(t+3\pi/2)=\sin(t)$ , มันง่ายที่จะเห็นว่าโดยทั่วไป $X(t)$ และ $X(s)$ มีการแจกแจงที่แตกต่างกัน, และดังนั้นกระบวนการไม่ได้เป็นคำสั่งแรกที่นิ่ง. ในทางกลับกัน

E [X (t)] = \frac{1}{4} \cos (t) + \frac{1}{4} (- \sin (t)) + \frac{1}{4} (- \cos (t)) + \frac{1}{4} \sin (t) = 0

$E[X(t)] = \frac 14\cos(t)+ \frac 14(-\sin(t)) + \frac 14(-\cos(t))+\frac 14 \sin(t) = 0$ สำหรับทุกๆ

t

$t$ ในขณะที่

\begin{aligned} E [X (t) X (s)] & = \frac{1}{4} [\cos (t) \cos (s) + (- \cos (t)) (- \cos (s)) + \sin (t) \sin (s) + (- \sin (t)) (- \sin (s))] \\ = \frac{1}{2} [\cos (t) \cos (s) + \sin (t) \sin (s)] \\ = \frac{1}{2} \cos (t - s) . \end{aligned}

$\begin{align} E[X(t)X(s)]&= \left.\left.\frac 14\right[\cos(t)\cos(s) + (-\cos(t))(-\cos(s)) + \sin(t)\sin(s) + (-\sin(t))(-\sin(s))\right]\\ &= \left.\left.\frac 12\right[\cos(t)\cos(s) + \sin(t)\sin(s)\right]\\ &= \frac 12 \cos(t-s). \end{align}$ ในระยะสั้นกระบวนการมีศูนย์ค่าเฉลี่ยและฟังก์ชั่นอัตมันขึ้นอยู่กับเวลาที่แตกต่างกัน

t - s

$t-s$ และเพื่อให้กระบวนการเป็นความรู้สึกนิ่งกว้าง แต่มันไม่ได้อยู่ที่การสั่งซื้อครั้งแรกดังนั้นจึงไม่สามารถหยุดอยู่กับคำสั่งซื้อที่สูงขึ้นได้เช่นกัน

แม้สำหรับกระบวนการ WSS ที่เป็นกระบวนการสุ่มอันดับสองที่อยู่กับที่ (หรืออยู่กับที่อย่างเข้มงวด) อาจกล่าวได้เพียงเล็กน้อยเกี่ยวกับรูปแบบเฉพาะของการแจกแจงของตัวแปรสุ่ม ในระยะสั้น

กระบวนการ WSS นั้นไม่จำเป็นต้องอยู่กับที่เสมอไป (กับคำสั่งใด ๆ ) และฟังก์ชันค่าเฉลี่ยและความสัมพันธ์อัตโนมัติของกระบวนการ WSS นั้นไม่เพียงพอที่จะให้คำอธิบายทางสถิติที่สมบูรณ์ของกระบวนการ

ในที่สุดสมมติว่ากระบวนการสุ่มถือว่าเป็นกระบวนการเกาส์เซียน ("พิสูจน์" สิ่งนี้ด้วยความมั่นใจในระดับที่สมเหตุสมผลไม่ได้เป็นงานที่ไม่สำคัญ) ซึ่งหมายความว่าสำหรับแต่ละ $t$ , $X(t)$ เป็นตัวแปรสุ่มแบบเกาส์และสำหรับจำนวนเต็มบวกทั้งหมด $n \geq 2$ และทางเลือกของ $n$ แต่ละเวลาโดย $t_1$ , $t_2$ , $\ldots, t_n$ ที่ $N$ ตัวแปรสุ่ม $X(t_1)$ , $X(t_2)$ , $\ldots, X(t_n)$ เป็นตัวแปรสุ่มแบบเกาส์กัน ตอนนี้ร่วมฟังก์ชั่นความหนาแน่นของเกาส์จะสมบูรณ์กำหนดโดยวิธีการที่แปรปรวนและ covariances ของตัวแปรสุ่มและในกรณีนี้รู้ฟังก์ชั่นเฉลี่ย $\mu_X(t) = E[X(t)]$ (มันไม่จำเป็นต้องเป็น ค่าคงที่ตามที่จำเป็นสำหรับไวด์สเตชั่น - ความคงที่) และฟังก์ชันความสัมพันธ์อัตโนมัติ $R_X(t_1, t_2) = E[X(t_1)X(t_2)]$ สำหรับทุกคน $t_1, t_2$ (มันไม่จำเป็นต้องขึ้นอยู่กับ $t_1-t_2$ เท่าที่จำเป็นสำหรับไวด์สเตชั่นที่กว้าง) เพียงพอที่จะกำหนดสถิติของ ดำเนินการอย่างสมบูรณ์

หากกระบวนการเกาส์เซียนเป็นกระบวนการWSS แสดงว่าเป็นกระบวนการเสียนแบบคงที่เช่นกัน โชคดีสำหรับวิศวกรและตัวประมวลผลสัญญาณกระบวนการทางกายภาพทางเสียงจำนวนมากสามารถทำตัวเป็นแบบกระบวนการ WSS Gaussian (และดังนั้นกระบวนการคงที่อย่างเคร่งครัด) ดังนั้นการสังเกตการทดลองของฟังก์ชั่น autocorrelation นอกจากนี้ตั้งแต่กระบวนการ Gaussian รักษาตัวอักษรแบบเกาส์ของพวกเขาที่พวกเขาผ่านระบบเชิงเส้นและฟังก์ชั่นอัตเอาท์พุทที่เกี่ยวข้องกับ TH ฟังก์ชั่นการป้อนข้อมูลอัตเป็น

R_{y} = h * \tilde{h} * R_{X}

$R_y = h*\tilde{h}*R_X$ เพื่อให้สามารถกำหนดสถิติเอาต์พุตได้อย่างง่ายดายกระบวนการ WSS โดยทั่วไปและกระบวนการ WSS Gaussian โดยเฉพาะนั้นมีความสำคัญอย่างยิ่งในการใช้งานด้านวิศวกรรม

— Dilip Sarwate
แหล่งที่มา

คุณช่วยกรุณาแสดงความคิดเห็นเกี่ยวกับ "เสียงสีขาว" ในแง่นั้นได้หรือไม่? ตามนิยาม Autocorrelation ที่

คือความแปรปรวนของตัวแปรสุ่ม หมายความว่า AWGN (เสียงรบกวนแบบเกาส์สีขาวแบบเสริม) มีความแปรปรวนแบบไม่สิ้นสุดหรือไม่? ฉันขอให้มันเพราะคนมักจะเขียน

เป็นผิดหรือเปล่า? มันควรจะเขียน

? ขอบคุณ

τ = 0

$\tau = 0$

n (t) N (0, N_{0} / 2)

$n(t) ~ N(0, {N}_{0} / 2)$

n (t) N (0, δ (0) N_{0} / 2)

$n(t) ~ N(0, \delta(0) {N}_{0} / 2)$

— Royi

@Drazick Please ask a separate question.

— Dilip Sarwate

This is a fantastic mini-course in the definition of stationary processes. I've never seen anything like it--laid out so methodically and clearly. Community Wiki?

— abalter

@Dilip Sarwate Excuse me for my ignorance. In the example. Why is E[X(t)]=0 for all t ? Did you assume ergodicity? How did you derive the probability density function of X(t) from the probability density function of theta to compute the expected value? E[X(t)X(s)] = E[cos(t+theta)*cos(s+theta)] right? Which steps did you take to simplify this expression and get to what you wrote? Thanks

— VMMF

@VMMF There is NO ergodicity used.

X (t) = \cos (t + Θ)

$X(t)=\cos(t+\Theta)$ is a discrete random variable because

Θ

$\Theta$ is a discrete random variable and it takes on values

\pm \cos (t)

$\pm\cos(t)$ and

\pm \sin (t)

$\pm\sin(t)$ with equal probability

\frac{1}{4}

$\frac 14$ . Ergo,

E [X (t)] = 0

$E[X(t)]=0$ .

X (t) X (s)

$X(t)X(s)$ takes on values

\cos (t) \cos (s)

$\cos(t)\cos(s)$ ,

(- \cos (t)) (- \cos (s)) = \cos (t) \cos (s)

$(-\cos(t))(-\cos(s))=\cos(t)\cos(s)$ ,

\sin (t) \sin (s)

$\sin(t)\sin(s)$ and

(- \sin (t)) (- \sin (s)) = \sin (t) \sin (s)

$(-\sin(t))(-\sin(s))=\sin(t)\sin(s)$ with equal probability

\frac{1}{4}

$\frac 14$ . Hence,

E [X (t) (X (s)] = \frac{1}{2} (\cos (t) \cos (s) + \sin (t) \sin (s)) = \frac{1}{2} \cos (t - s)

$E[X(t)(X(s)]=\frac 12\big(\cos(t)\cos(s)+\sin(t)\sin(s)\big) = \frac 12\cos(t-s)$ . Hence,

— Dilip Sarwate