จะเลือกระดับนัยสำคัญสำหรับชุดข้อมูลขนาดใหญ่ได้อย่างไร

ฉันทำงานกับชุดข้อมูลโดยมี N ประมาณ 200,000 ในการถดถอยฉันเห็นค่านัยสำคัญน้อยมาก << 0.001 ที่เกี่ยวข้องกับขนาดเอฟเฟกต์ที่เล็กมากเช่น r = 0.028 สิ่งที่ฉันอยากรู้คือมีวิธีหลักการในการตัดสินใจเลือกขีด จำกัด นัยสำคัญที่เหมาะสมเมื่อเทียบกับขนาดตัวอย่างหรือไม่ มีข้อควรพิจารณาอื่น ๆ ที่สำคัญเกี่ยวกับการตีความขนาดของเอฟเฟกต์กับตัวอย่างขนาดใหญ่เช่นนี้หรือไม่?

— ted.strauss
แหล่งที่มา

นี่เป็นปัญหาของการปฏิบัติกับนัยสำคัญทางสถิติ หากความชันแตกต่างจาก 0 อย่างแท้จริงแม้เป็นจำนวน miniscule เช่น .00000000000001) ตัวอย่างที่มีขนาดใหญ่พอจะให้ค่า

น้อยมาก

p

$p$ แม้ว่าผลลัพธ์จะไม่มีนัยสำคัญในทางปฏิบัติ คุณควรตีความการประมาณค่าจุดแทนที่จะดีกว่าค่า

p

$p$ เมื่อคุณมีกลุ่มตัวอย่างขนาดใหญ่

— มาโคร

@Macro ขออภัยคุณสามารถอธิบายสิ่งที่คุณหมายถึงโดยประมาณการจุดที่นี่

— ted.strauss

การเพิ่มความคิดเห็นของมาโครด้านบนในสถานการณ์นี้ฉันมองหานัยสำคัญ "ภาคปฏิบัติ" หรือ "คลินิก" ในการค้นพบ สำหรับสิ่งที่คุณทำมีผลมากพอสำหรับคุณหรือไม่

— มิเชลล์

การประมาณจุดคือการประมาณความชันของการถดถอยที่สังเกตได้

— มาโคร

สิ่งที่ @ มาโครและฉันกำลังพูดคือคุณจำเป็นต้องตัดสินใจว่าผลทางคลินิก (การประเมินแบบจุด, ความลาดชัน) มีความสำคัญหรือไม่ เกณฑ์ของคุณอยู่บนพื้นฐานของการตัดสินใจว่า "ใช่นี่เป็นผลทางคลินิกที่สำคัญ" มากกว่า "ค่า p ที่สำคัญ" เพราะส่วนใหญ่ (ทั้งหมด?) ของค่า p ของคุณมีความสำคัญ

— มิเชลล์

คำตอบ:

ในความสำคัญของการทดสอบอย่างมีนัยสำคัญจอห์นสัน (1999) ตั้งข้อสังเกตว่าค่า p มีค่าโดยพลการซึ่งคุณสามารถทำให้พวกเขามีขนาดเล็กเท่าที่คุณต้องการโดยการรวบรวมข้อมูลเพียงพอโดยสมมติว่าสมมติฐานว่างเป็นเท็จซึ่งเกือบทุกครั้ง ในโลกแห่งความเป็นจริงไม่น่าจะมีความสัมพันธ์กึ่ง - กึ่งบางส่วนที่เป็นศูนย์ซึ่งเป็นสมมติฐานว่างในการทดสอบความสำคัญของสัมประสิทธิ์การถดถอย การตัดทอนนัยสำคัญ P-value ยิ่งมีความเจาะจงมากขึ้น ค่าของ. 05 เป็นทางลัดระหว่างความสำคัญและความไร้สาระถูกใช้โดยการประชุมไม่ใช่หลักการ ดังนั้นคำตอบสำหรับคำถามแรกของคุณคือไม่มีจึงไม่มีวิธีที่จะตัดสินใจเกณฑ์ที่มีนัยสำคัญที่เหมาะสม

แล้วคุณจะทำอย่างไรให้ชุดข้อมูลขนาดใหญ่ ขึ้นอยู่กับเหตุผลของคุณสำหรับการสำรวจนัยสำคัญทางสถิติของสัมประสิทธิ์การถดถอยของคุณ คุณกำลังพยายามที่จะสร้างแบบจำลองระบบหลายปัจจัยที่ซับซ้อนและพัฒนาทฤษฎีที่มีประโยชน์ที่เหมาะสมหรือคาดการณ์ความเป็นจริง? แล้วบางทีคุณอาจจะคิดเกี่ยวกับการพัฒนารูปแบบซับซ้อนมากขึ้นและการใช้มุมมองการสร้างแบบจำลองในนั้นที่อธิบายไว้ในร็อดเจอร์ส (2010), The ญาณวิทยาของคณิตศาสตร์และสถิติการสร้างแบบจำลอง ข้อดีอย่างหนึ่งของการมีข้อมูลจำนวนมากคือการสำรวจแบบจำลองที่มีความสมบูรณ์สูงซึ่งมีหลายระดับและการโต้ตอบที่น่าสนใจ (สมมติว่าคุณมีตัวแปรที่จะทำเช่นนั้น)

หากคุณต้องการตัดสินว่าจะปฏิบัติกับสัมประสิทธิ์ที่มีนัยสำคัญทางสถิติหรือไม่คุณอาจต้องการใช้คำแนะนำของ Good (1982) ดังสรุปในWoolley (2003) : คำนวณค่าqเป็นซึ่งกำหนดค่า p-standard ให้เป็นขนาดตัวอย่างที่ 100 ค่า p-.001 ที่แน่นอนจะแปลงเป็นค่า p -045 - มีนัยสำคัญทางสถิติ $p\cdot\sqrt{(n/100)}$

ดังนั้นถ้ามันมีความสำคัญในการใช้ขีด จำกัด ตามอำเภอใจหรืออย่างอื่นมันคืออะไร? หากนี่เป็นการศึกษาเชิงสังเกตการณ์คุณมีงานอีกมากที่จะพิสูจน์ว่าจริง ๆ แล้วมันมีความหมายในแบบที่คุณคิดและไม่ใช่แค่ความสัมพันธ์ที่น่าเกรงขามที่ปรากฏขึ้นเพราะคุณพลาดโมเดลของคุณ โปรดทราบว่าเอฟเฟกต์เล็ก ๆ น้อย ๆ นั้นไม่น่าสนใจทางคลินิกถ้ามันแสดงถึงความแตกต่างที่มีอยู่ก่อนในคนที่เลือกการรักษาในระดับที่แตกต่างกันมากกว่าผลการรักษา

คุณต้องพิจารณาว่าความสัมพันธ์ที่คุณเห็นนั้นมีความสำคัญจริง ๆ หรือไม่ การแปลงตัวเลขที่คุณอ้างอิงจากถึงเพื่ออธิบายความแปรปรวน ( คือสหสัมพันธ์, สแควร์เพื่อรับความแปรปรวนอธิบาย) ให้ความแปรปรวนเพียง 3 และ 6% ตามลำดับซึ่งดูเหมือนจะไม่มากนัก $r$ $r^2$ $r$

— แอนน์
แหล่งที่มา

@ rolando2 ขอบคุณสำหรับการแก้ไขสับสนอยู่เสมอระหว่างค่า p ใหญ่ / เล็ก! ฉันคิดว่าถ้ามันกระจายไปทางขวามันใหญ่ แต่ p-value นั้นเล็ก

— Anne Z.

(+1) นี่คือความจริงที่สำคัญที่ผู้ปฏิบัติงานหลายคนไม่ได้คิดอย่างรอบคอบเกี่ยวกับ: "ค่า p มีค่าโดยพลการซึ่งคุณสามารถทำให้มันเล็กตามที่คุณต้องการโดยรวบรวมข้อมูลให้มากพอโดยสมมติว่าสมมติฐานว่างเป็นเท็จซึ่งมัน เกือบตลอดเวลา "

— มาโคร

ขอขอบคุณ! คะแนนในย่อหน้าถัดไปของคุณนั้นถ่ายได้ดี ฉันกำลังอ่านบทความ Woolley และสังเกตว่าสูตรค่าคิวของคุณปิดอยู่ ควรเป็น p * ไม่ใช่ p / - ฉันพยายามเปลี่ยนที่นี่ แต่การแก้ไขจะต้องมี> 6 ตัวอักษร

— ted.strauss

@ ted.strauss ฉันดีใจที่มีประโยชน์ บางครั้งฉันรู้สึกท้อแท้จากข้อ จำกัด ของเครื่องมือเช่นค่า p ที่เราต้องทำงานด้วย ขอบคุณที่สังเกตความผิดพลาดในสูตรฉันได้แก้ไขแล้ว

— Anne Z.

ขอบคุณสำหรับคำตอบที่ยอดเยี่ยม แต่ฉันไม่สามารถเข้าถึงกระดาษ Woolley 2003 โดยใช้ลิงก์ที่ให้ไว้ข้างต้น

— KarthikS

-3

ฉันเดาว่าวิธีง่าย ๆ ในการตรวจสอบคือสุ่มตัวอย่างจำนวนมากที่คล้ายกันจากสิ่งที่คุณรู้คือการแจกแจงครั้งเดียวสองครั้งและเปรียบเทียบผลลัพธ์ทั้งสอง หากคุณทำอย่างนั้นหลายครั้งและสังเกตค่า p ที่คล้ายกันก็จะแนะนำว่าไม่มีผลกระทบจริง หากคุณไม่ทำเช่นนั้นก็คงเป็นเช่นนั้น

— Lars Kotthoff
แหล่งที่มา

ฉันคิดว่าคุณกำลังแนะนำให้ทำแบบจำลองภายใต้สมมติฐานว่างเปล่าซึ่งไม่มีความแตกต่างที่แท้จริงกับขนาดตัวอย่างขนาดใหญ่และดูค่า

ฉันสามารถบอกคุณได้โดยไม่ต้องจำลองสถานการณ์ว่า

สัดส่วนของค่า

จะมีขนาดเล็กเท่ากับโปสเตอร์ต้นฉบับที่สังเกต สิ่งนี้เป็นจริงสำหรับทุกขนาดตัวอย่าง นี่คือความหมายของการเป็น

-value

p

$p$

< .001

$<.001$

p

$p$

p

$p$

— มาโคร

ในความเป็นจริง

-values ที่จะออกมาจากกระบวนการที่คุณอธิบายจะมี

การกระจาย

p

$p$

U n i f o r m (0, 1)

${\rm Uniform}(0,1)$

— มาโคร

ในความสัมพันธ์กับความคิดเห็นล่าสุดโดย @Macro นี่คือภาพร่างของการพิสูจน์ว่าภายใต้สมมติฐานว่าง

มีการกระจาย

ได้รับการทดสอบทางสถิติ

ถ้าเราสังเกต

ที่

-value ถูกกำหนดให้เป็น

)

สมมติว่าภายใต้

H_{0}

$H_0$

p

$p$

U [0, 1]

$U[0,1]$

T = T (X)

$T=T(X)$

t = t (x)

$t=t(x)$

p

$p$

p (t) = P (T \geq t ∣ H_{0})

$p(t)=\mathbb{P}(T\geq t\mid H_0)$

H_{0}

$H_0$ ฟังก์ชั่นการกระจายของ

คือ

กับ

อย่างต่อเนื่องและ nondecreasing เพื่อที่จะมีความผกผัน

จากนั้นเรามี

และสำหรับ

T

$T$

G_{0}

$G_0$

G_{0}

$G_0$

G_{0}^{- 1}

$G_0^{-1}$

p (t) = 1 - G_{0} (t)

$p(t)=1-G_0(t)$

u \in [0, 1]

$u\in[0,1]$

— Zen

(ความคิดเห็นที่ต่อเนื่องของ Zen):

ดังนั้นเราจึงสรุปได้ว่า

]

P (p (T) \leq u) = P (1 - G_{0} (T) \leq u) = P (G_{0} (T) \geq 1 - u) = P (T \geq G_{0}^{- 1} (1 - u)) = 1 - G_{0} (G_{0}^{- 1} (1 - u)) = u .

$\mathbb{P}(p(T)\leq u) = \mathbb{P}(1-G_0(T)\leq u) = \mathbb{P}(G_0(T)\geq 1-u) = \mathbb{P}(T\geq G_0^{-1}(1-u)) = 1-G_0(G_0^{-1}(1-u))=u \, .$

p (T) ∣ H_{0} \sim U [0, 1]

$p(T)\mid H_0\sim U[0,1]$

— whuber