ทำไมการเดินแบบสุ่มมีความสัมพันธ์กัน?

ฉันสังเกตว่าโดยเฉลี่ยแล้วค่าสัมประสิทธิ์สัมประสิทธิ์สหสัมพันธ์ของเพียร์สันนั้นใกล้เคียงกับการเดินสุ่มคู่ใด ๆ โดยไม่คำนึงถึงความยาวการเดิน0.560.42

มีคนอธิบายปรากฏการณ์นี้ได้ไหม

ฉันคาดว่าความสัมพันธ์จะเล็กลงเมื่อความยาวเดินเพิ่มขึ้นเช่นเดียวกับการสุ่มลำดับ

สำหรับการทดลองของฉันฉันใช้การสุ่ม gaussian walk พร้อม step เฉลี่ย 0 และเบี่ยงเบนมาตรฐาน step 1

UPDATE:

ฉันลืมไปยังศูนย์ข้อมูลที่ว่าทำไมมันเป็นแทน0.560.42

นี่คือสคริปต์ Python เพื่อคำนวณสหสัมพันธ์:

import numpy as np
from itertools import combinations, accumulate
import random

def compute(length, count, seed, center=True):
    random.seed(seed)
    basis = []
    for _i in range(count):
        walk = np.array(list(accumulate( random.gauss(0, 1) for _j in range(length) )))
        if center:
            walk -= np.mean(walk)
        basis.append(walk / np.sqrt(np.dot(walk, walk)))
    return np.mean([ abs(np.dot(x, y)) for x, y in combinations(basis, 2) ])

print(compute(10000, 1000, 123))

กระบวนการอิสระของคุณไม่สัมพันธ์กัน! หากและY tเป็นการเดินแบบสุ่มอิสระ:$X_t$$Y_t$

• ไม่มีค่าสัมประสิทธิ์สหสัมพันธ์ตรงเวลา (อย่าพูดถึง )$\operatorname{Corr}(X, Y)$
• เมื่อใดก็ตามที่ , Corr ( X t , Y t )ย่อมเป็น 0$t$$\operatorname{Corr}(X_t, Y_t)$
• แต่สถิติตัวอย่างที่อ้างอิงจากค่าเฉลี่ยอนุกรมเวลาจะไม่มารวมกันเพื่ออะไร! สัมประสิทธิ์สหสัมพันธ์ตัวอย่างที่คุณคำนวณตามค่าเฉลี่ยการสังเกตหลายครั้งในช่วงเวลาหนึ่งนั้นไม่มีความหมาย

โดยสังหรณ์ใจคุณอาจเดา (ผิด) ว่า:

1. ความเป็นอิสระระหว่างสองกระบวนการและ{ Y t }บอกเป็นนัยว่าพวกเขาไม่มีความสัมพันธ์กัน (สำหรับการเดินสุ่มสองครั้งCorr ( X , Y )ไม่มีอยู่)$\{X_t\}$$\{Y_t\}$$\operatorname{Corr}(X, Y)$
2. ชุดเวลาความสัมพันธ์ตัวอย่างρ X Y (เช่นค่าสัมประสิทธิ์สหสัมพันธ์คำนวณโดยใช้เวลาชุดสถิติตัวอย่างเช่น^ μ X = 1$\hat{\rho}_{XY}$) จะมาบรรจบกันในค่าสัมประสิทธิ์สหสัมพันธ์ของประชากรρXYเป็นT→การ∞$\hat{\mu_X} = \frac{1}{T} \sum_{\tau = 1}^T X_\tau$$\rho_{XY}$$T \rightarrow \infty$

ปัญหาคือว่าข้อความเหล่านี้ไม่เป็นความจริงสำหรับการเดินสุ่ม! (สิ่งเหล่านี้เป็นจริงสำหรับกระบวนการที่มีพฤติกรรมดีขึ้น)

สำหรับกระบวนการที่ไม่อยู่นิ่ง:

• คุณสามารถพูดคุยเกี่ยวกับความสัมพันธ์ระหว่างกระบวนการและ{ Y t }ที่จุดใดช่วงเวลาหนึ่ง (เช่น. Corr ( X 2 , Y 3 )เป็นคำพูดที่สมเหตุสมผลอย่างสมบูรณ์)$\{X_t\}$$\{Y_t\}$$\operatorname{Corr}(X_2, Y_3)$
• แต่มันก็ไม่มีเหตุผลที่จะพูดถึงความสัมพันธ์ระหว่างสองซีรีย์ตรงเวลาอย่างไม่มีเงื่อนไข! ไม่มีความหมายที่ชัดเจน$\operatorname{Corr}(X, Y)$

ปัญหาในกรณีของการเดินสุ่ม?

1. สำหรับการเดินสุ่มช่วงเวลาที่ไม่มีเงื่อนไขของประชากร (เช่นซึ่งไม่ได้ขึ้นอยู่กับเวลา ) เช่นE [ X ]ไม่มีอยู่ (ในบางแง่มุมพวกมันไม่มีที่สิ้นสุด) ในทำนองเดียวกันสัมประสิทธิ์สหสัมพันธ์แบบไม่มีเงื่อนไขρ X Yระหว่างการเดินสุ่มแบบอิสระสองครั้งไม่เป็นศูนย์ มันไม่มีอยู่จริง!$t$$\operatorname{E}[X]$$\rho_{XY}$
2. สมมติฐานของทฤษฎีบทเออร์โกดิคไม่ได้ใช้และค่าเฉลี่ยอนุกรมเวลาต่างๆ (เช่น)ไม่ได้มาบรรจบกันที่มีต่อสิ่งที่เป็นT→การ∞ $\frac{1}{T} \sum_\tau X_\tau$$T \rightarrow \infty$
   • สำหรับลำดับที่หยุดนิ่งค่าเฉลี่ยของอนุกรมเวลาจะมาบรรจบกับค่าเฉลี่ยที่ไม่มีเงื่อนไขตรงเวลา แต่สำหรับลำดับที่ไม่หยุดนิ่งไม่มีความหมายที่ไม่มีเวลาตรงเวลา!

หากคุณมีข้อสังเกตต่าง ๆ เกี่ยวกับการเดินสุ่มแบบอิสระสองครั้งในช่วงเวลาหนึ่ง (เช่น , X 2 , ฯลฯ ... และY 1 , Y 2 , .... ) และคุณคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ตัวอย่างคุณจะได้ตัวเลข ระหว่าง- 1และ1 แต่จะไม่เป็นการประมาณค่าสัมประสิทธิ์สหสัมพันธ์ของประชากร (ซึ่งไม่มีอยู่)$X_1$$X_2$$Y_1$$Y_2$$-1$$1$

ρ X Y ( T ) (คำนวณโดยใช้ค่าเฉลี่ยอนุกรมเวลาจากT = 1ไปT = T ) เป็นไปโดยทั่วไปจะเป็นตัวแปรสุ่ม (สละค่าใน[ - 1 , 1 ] ) ซึ่งสะท้อนให้เห็นถึงสองเส้นทางโดยเฉพาะอย่างยิ่ง การสุ่มเดินโดยบังเอิญ (เช่นเส้นทางที่กำหนดโดยการดึงωจากพื้นที่ตัวอย่างΩ .) การพูดอย่างอิสระมาก (และไม่แน่นอน):$\hat{\rho}_{XY}(T)$$t=1$$t=T$$[-1, 1]$$\omega$$\Omega$

• หากทั้งสองและY ทีเกิดขึ้นกับเดินออกไปในทิศทางเดียวกันคุณจะตรวจสอบความสัมพันธ์ทางบวกปลอม$X_t$$Y_t$
• หากและY tเดินไปในทิศทางที่ต่างกันคุณจะตรวจพบความสัมพันธ์เชิงลบที่ปลอม$X_t$$Y_t$
• ถ้าและY tเกิดขึ้นข้ามกันมากพอคุณจะพบความสัมพันธ์ที่ใกล้เคียงศูนย์$X_t$$Y_t$

คุณสามารถ Google spurious regression random walkเพิ่มเติมเกี่ยวกับเรื่องนี้ด้วยคำว่า

สุ่มเดินไม่นิ่งและการเฉลี่ยในช่วงเวลาจะได้มาบรรจบกันกับสิ่งที่คุณจะได้รับโดยการดึง IID ωจากในพื้นที่ตัวอย่างΩ ดังที่ได้กล่าวไว้ในความคิดเห็นด้านบนคุณสามารถรับความแตกต่างแรกได้Δ x t = x t - x t - 1และสำหรับการเดินแบบสุ่มกระบวนการนั้น{ Δ x t }นั้นหยุดนิ่ง$t$$\omega$$\Omega$$\Delta x_t = x_t - x_{t-1}$$\{\Delta x_t\}$

ความคิดภาพใหญ่:

การสังเกตหลายครั้งเมื่อเวลาผ่านไปไม่เหมือนกับการดึงหลายครั้งจากพื้นที่ตัวอย่าง!

จำได้ว่าเป็นเวลาต่อเนื่องกระบวนการสุ่ม เป็นหน้าที่ของทั้งเวลา (เป็นเสื้อ∈ N ) และพื้นที่ตัวอย่างΩ$\{ X_t \}$$t \in \mathbb{N}$$\Omega$

สำหรับค่าเฉลี่ยในช่วงเวลาจะมาบรรจบกันที่มีต่อความคาดหวังมากกว่าพื้นที่ตัวอย่างΩคุณต้องstationarityและergodicity นี่เป็นปัญหาหลักในการวิเคราะห์อนุกรมเวลา และการสุ่มเดินไม่ใช่กระบวนการที่นิ่ง$t$$\Omega$

การเชื่อมต่อกับคำตอบของ WHuber:

หากคุณสามารถหาค่าเฉลี่ยจากหลาย ๆ สถานการณ์จำลอง (เช่นดึงหลาย ๆ ค่าจาก ) แทนที่จะถูกบังคับให้ใช้ค่าเฉลี่ยตลอดเวลาtปัญหาของคุณจำนวนหนึ่งจะหายไป$\Omega$$t$

แน่นอนคุณสามารถกำหนดρ X Y ( T )เป็นค่าสัมประสิทธิ์สหสัมพันธ์ตัวอย่างการคำนวณในX 1 ... X TและY 1 ... Y เสื้อและนี้ยังจะเป็นกระบวนการที่สุ่ม$\hat{\rho}_{XY}(t)$$X_1\ldots X_t$$Y_1 \ldots Y_t$

คุณสามารถกำหนดตัวแปรสุ่มเป็น:$Z_t$

$$Z_t = |\hat{\rho}_{XY}(t)|$$

สำหรับสองเดินสุ่มเริ่มต้นที่กับN ( 0 , 1 )การเพิ่มขึ้นจึงเป็นเรื่องง่ายที่จะหาE [ Z 10000 ]โดยจำลอง (เช่นการดึงออกมาจากหลายΩ .)$0$$\mathcal{N}(0,1)$$E[Z_{10000}]$$\Omega$

ด้านล่างฉันใช้แบบจำลองการคำนวณ 10,000 ตัวอย่างสัมประสิทธิ์สหสัมพันธ์ของเพียร์สัน ทุกครั้งที่ฉัน:

• จำลองการเดินแบบสุ่มสองความยาวสอง 10,000 ครั้ง (โดยปกติจะมีการเพิ่มการจับรางวัลจาก )$\mathcal{N}(0,1)$
• คำนวณสัมประสิทธิ์สหสัมพันธ์ตัวอย่างระหว่างพวกเขา

ด้านล่างนี้คือฮิสโตแกรมที่แสดงการกระจายเชิงประจักษ์ในค่าสัมประสิทธิ์สหสัมพันธ์ที่คำนวณได้ 10,000 ค่า

คุณชัดเจนสามารถสังเกตเห็นว่าตัวแปรสุ่มρ X Y ( 10000 )สามารถทั่วทุกสถานที่ในช่วง[ - 1 , 1 ] สำหรับสองเส้นทางที่คงที่ของXและYสัมประสิทธิ์สหสัมพันธ์ตัวอย่างจะไม่รวมกันเป็นอะไรก็ได้เมื่อความยาวของอนุกรมเวลาเพิ่มขึ้น$\hat{\rho}_{XY}(10000)$$[-1, 1]$$X$$Y$

ในบางครั้ง (เช่น ) ค่าสัมประสิทธิ์สหสัมพันธ์ตัวอย่างเป็นตัวแปรสุ่มที่มีค่าเฉลี่ยแน่นอน ฯลฯ ... ถ้าฉันใช้ค่าสัมบูรณ์และคำนวณค่าเฉลี่ยของการจำลองทั้งหมด ฉันคำนวณประมาณ. 42 ฉันไม่แน่ใจว่าทำไมคุณถึงต้องการทำเช่นนี้หรือทำไมจึงมีความหมายทั้งหมด แต่แน่นอนคุณทำได้$t=10,000$

รหัส:

for i=1:10000 
  X = randn(10000,2); 
  Y = cumsum(X); 
  z(i) = corr(Y(:,1), Y(:,2));
end;
histogram(z,20);
mean(abs(z))

คณิตศาสตร์ที่จำเป็นเพื่อให้ได้ผลที่แน่นอนจะยุ่ง แต่เราสามารถได้รับค่าที่แน่นอนสำหรับการคาดหวังSquaredค่าสัมประสิทธิ์สหสัมพันธ์ค่อนข้างลำบาก มันจะช่วยอธิบายว่าทำไมค่าใกล้พร้อมแสดงขึ้นและทำไมการเพิ่มความยาวnของสุ่มเดินจะไม่เปลี่ยนแปลงสิ่งต่างๆ$1/2$$n$

มีความเป็นไปได้ที่จะเกิดความสับสนเกี่ยวกับคำศัพท์มาตรฐาน ความสัมพันธ์แบบสัมบูรณ์ที่อ้างถึงในคำถามพร้อมกับสถิติที่สร้างขึ้นมา - ความแปรปรวนและความแปรปรวนร่วม - เป็นสูตรที่เราสามารถนำไปใช้กับคู่ของการรับรู้แบบสุ่มใด ๆ คำถามเกี่ยวข้องกับสิ่งที่เกิดขึ้นเมื่อเราดูการรับรู้ที่เป็นอิสระมากมาย เพื่อที่เราจะต้องใช้ความคาดหวังมากกว่ากระบวนการสุ่มเดิน

---

(แก้ไข)

ก่อนที่เราจะดำเนินการต่อฉันต้องการแบ่งปันข้อมูลเชิงลึกเกี่ยวกับกราฟิกกับคุณ คู่ของการสุ่มแบบอิสระเป็นการสุ่มแบบสองมิติ เราสามารถวางแผนเส้นทางที่ขั้นตอนจากกัน( X T , Y T )เพื่อX T + 1 , Y T + 1 หากเส้นทางนี้มีแนวโน้มลดลง (จากซ้ายไปขวาพล็อตบนแกน XY ปกติ) จากนั้นเพื่อศึกษาค่าสัมบูรณ์ของสหสัมพันธ์เราจะลบล้างค่าYทั้งหมด วางแผนเดินบนแกนขนาดเพื่อให้Xและ$(X,Y)$$(X_t,Y_t)$$X_{t+1},Y_{t+1}$$Y$$X$ค่าเท่ากับค่าเบี่ยงเบนมาตรฐานและเติมอย่างน้อยสี่เหลี่ยมพอดีของ YไปX ความชันของเส้นเหล่านี้จะเป็นค่าสัมบูรณ์ของสัมประสิทธิ์สหสัมพันธ์ซึ่งอยู่ระหว่าง 0ถึง 1เสมอ$Y$$Y$$X$$0$$1$

รูปนี้แสดงการเดินครั้งแต่ละความยาว960 (พร้อมความแตกต่างปกติมาตรฐาน) วงกลมเล็ก ๆ ที่เปิดอยู่ทำเครื่องหมายจุดเริ่มต้นของพวกเขา วงกลมสีเข้มทำเครื่องหมายตำแหน่งสุดท้ายของพวกเขา$15$$960$

ลาดเหล่านี้มีแนวโน้มที่จะค่อนข้างใหญ่ Scatterplots แบบสุ่มที่สมบูรณ์แบบในหลาย ๆ จุดนี้จะมีความลาดชันใกล้กับศูนย์เสมอ หากเราต้องอธิบายรูปแบบที่เกิดขึ้นที่นี่เราอาจพูดได้ว่าการเดินแบบสุ่ม 2D ส่วนใหญ่ค่อย ๆ โยกย้ายจากที่หนึ่งไปอีกที่หนึ่ง (สถานที่เหล่านี้ไม่จำเป็นต้องเป็นจุดเริ่มต้นและจุดสิ้นสุดของพวกเขา!) ประมาณครึ่งเวลาจากนั้นการโยกย้ายนั้นเกิดขึ้นในทิศทางทแยงมุม - และความลาดชันนั้นสูงมาก

ส่วนที่เหลือของโพสต์นี้แสดงการวิเคราะห์สถานการณ์นี้

---

สุ่มเดินเป็นลำดับของผลรวมบางส่วนของ( W 1 , W 2 , … , W n )โดยที่W ฉันเป็นอิสระตัวแปรตัวแปรศูนย์หมายถึงการกระจายตัวเหมือนกัน ให้ความแปรปรวนร่วมกันของพวกเขาจะσ 2$(X_i)$$(W_1, W_2, \ldots, W_n)$$W_i$$\sigma^2$

ในการก่อให้เกิดของการเดินเช่นนั้น "ความแปรปรวน" จะถูกคำนวณราวกับว่านี่เป็นชุดข้อมูลใด ๆ :$x = (x_1, \ldots, x_n)$

$$\operatorname{V}(x) = \frac{1}{n}\sum (x_i-\bar x)^2.$$

วิธีที่ดีในการคำนวณค่านี้คือการหาค่าเฉลี่ยครึ่งหนึ่งของความแตกต่างยกกำลังสองทั้งหมด:

$$\operatorname{V}(x) = \frac{1}{n(n-1)}\sum_{j \gt i} (x_j-x_i)^2.$$

เมื่อถูกมองว่าเป็นผลลัพธ์ของการเดินแบบสุ่มXของnขั้นตอนความคาดหวังของสิ่งนี้คือ$x$$X$$n$

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} \mathbb{E}(X_j-X_i)^2.$$

ความแตกต่างคือผลรวมของตัวแปร iid

$$X_j - X_i = W_{i+1} + W_{i+2} + \cdots + W_j.$$

ขยายจัตุรัสและรับความคาดหวัง เนื่องจากเป็นอิสระและมีค่าเฉลี่ยเป็นศูนย์ความคาดหวังของคำศัพท์ข้ามทั้งหมดจึงเป็นศูนย์ ที่ใบเพียงคำเช่นW kซึ่งคาดหวังσ 2 ดังนั้น$W_k$$W_k$$\sigma^2$

$$\mathbb{E}((W_{i+1} + W_{i+2} + \cdots + W_j^2)) = (j-i)\sigma^2.$$

มันง่ายต่อการติดตาม

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} (j-i)\sigma^2 = \frac{n+1}{6}\sigma^2.$$

ความแปรปรวนร่วมระหว่างสองการรับรู้อิสระและy --again ในแง่ของชุดข้อมูลไม่ใช่ตัวแปรสุ่ม - สามารถคำนวณได้ด้วยเทคนิคเดียวกัน (แต่ต้องใช้พีชคณิตมากขึ้น ผลลัพธ์คือสี่เหลี่ยมจัตุรัสที่คาดหวังความแปรปรวนร่วมคือ$x$$y$

$$\mathbb{E}(\operatorname{C}(X,Y)^2) = \frac{3n^6-2n^5-3n^2+2n}{480n^2(n-1)^2}\sigma^4.$$

$X$$Y$$n$

$$\rho^2(n) = \frac{\mathbb{E}(\operatorname{C}(X,Y)^2)}{\mathbb{E}(\operatorname{V}(X))^2} = \frac{3}{40}\frac{3n^3-2n^2+3n-2}{n^3-n}.$$

$9/40$$0.47$$\rho(n)$

---

ฉันแน่ใจว่าฉันได้ทำข้อผิดพลาดในการคำนวณ แต่การจำลองมีความแม่นยำที่แม่นยำ ในผลลัพธ์ต่อไปนี้แสดงฮิสโตแกรมของ$\rho^2(n)$ สำหรับ $1000$การจำลองแต่ละเส้นเส้นสีแดงแนวตั้งแสดงค่าเฉลี่ยในขณะที่เส้นสีน้ำเงินประแสดงค่าของสูตร เห็นได้ชัดว่ามันไม่ถูกต้อง แต่ไม่มีอาการ เห็นได้ชัดว่าการกระจายทั้งหมดของ$\rho^2(n)$ ใกล้จะถึงขีด จำกัด แล้ว $n$เพิ่มขึ้น ในทำนองเดียวกันการกระจายของ$|\rho(n)|$ (ซึ่งเป็นปริมาณความสนใจ) จะเข้าใกล้ขีด จำกัด

นี่คือRรหัสในการผลิตรูป

f <- function(n){
  m <- (2 - 3* n + 2* n^2 -3 * n^3)/(n - n^3) * 3/40 
}
n.sim <- 1e4
par(mfrow=c(1,4))
for (n in c(3, 10, 30, 100)) {
  u <- matrix(rnorm(n*n.sim), nrow=n)
  v <- matrix(rnorm(n*n.sim), nrow=n)
  x <- apply(u, 2, cumsum)
  y <- apply(v, 2, cumsum)
  sim <- rep(NA_real_, n.sim)
  for (i in 1:n.sim)
    sim[i] <- cor(x[,i], y[,i])^2
  z <- signif(sqrt(n.sim)*(mean(sim) - f(n)) / sd(sim), 3)
  hist(sim,xlab="rho(n)^2", main=paste("n =", n), sub=paste("Z =", z))
  abline(v=mean(sim), lwd=2, col="Red")
  abline(v=f(n), col="Blue", lwd=2, lty=3)
}