วิธีควรเล็ก -values มีการรายงาน? (และทำไม R ใส่ค่าต่ำสุดใน 2.22e-16)

62

สำหรับการทดสอบบางอย่างในการRมีวงเงินที่ต่ำกว่าในp-valueคำนวณของ16} ฉันไม่แน่ใจว่าทำไมมันเป็นจำนวนนี้ถ้ามีเหตุผลที่ดีสำหรับมันหรือถ้ามันเป็นเพียงโดยพลการ แพ็คเกจสถิติอื่น ๆ มากมายให้ไปดังนั้นนี่คือระดับความแม่นยำที่สูงขึ้นมาก แต่ผมยังไม่ได้เห็นเอกสารจำนวนมากเกินไปรายงานหรือ16} $2.22 \cdot 10^{-16}$ 0.0001 $p < 2.22\cdot 10^{-16}$ $p = 2.22\cdot 10^{-16}$

เป็นเรื่องปกติ / วิธีปฏิบัติที่ดีที่สุดในการรายงานค่าที่คำนวณนี้หรือเป็นเรื่องปกติมากกว่าที่จะรายงานสิ่งอื่น (เช่นp < 0.000000000000001)

r p-value reporting precision

— paul
แหล่งที่มา

หากคุณได้รับ p-value ขนาดเล็กและต้องการคำนวณค่า p จริงคุณสามารถใช้ฟังก์ชันนี้ใน excel = TDIST (t, df, 2) เพิ่มค่าของ 't' และ df และคุณจะได้ค่าจริง p-value ta

7

@ Tahzeeb มีเหตุผลใดที่ Excel จะคืนค่าประมาณการที่แม่นยำยิ่งขึ้นไปอีก .. เท่าที่ฉันรู้มันมีความแม่นยำน้อยกว่ามาก

— ทิม

...But I haven't seen too many papers reporting p<2.22⋅10−16....ดูเอกสาร GWASบางฉบับมีเอกสารจำนวนมากแสดงผลลัพธ์สำหรับ pvalues หลายร้อยตัวอย่างเช่น: ภูมิภาคมะเร็งต่อมลูกหมาก KLK, p = 9x10 ^ -186

— zx8754

1

ดูเพิ่มเติม whuber เป็นคำตอบที่นี่: stats.stackexchange.com/questions/11812

— อะมีบาพูดว่า Reinstate Monica

87

มีเหตุผลที่ดีสำหรับมัน

ค่าสามารถพบได้ผ่าน noquote(unlist(format(.Machine)))

           double.eps        double.neg.eps           double.xmin 
         2.220446e-16          1.110223e-16         2.225074e-308 
          double.xmax           double.base         double.digits 
        1.797693e+308                     2                    53 
      double.rounding          double.guard     double.ulp.digits 
                    5                     0                   -52 
double.neg.ulp.digits       double.exponent        double.min.exp 
                  -53                    11                 -1022 
       double.max.exp           integer.max           sizeof.long 
                 1024            2147483647                     4 
      sizeof.longlong     sizeof.longdouble        sizeof.pointer 
                    8                    12                     4

หากคุณดูความช่วยเหลือ ( ?".Machine"):

double.eps  

the smallest positive floating-point number x such that 1 + x != 1. It equals 
double.base ^ ulp.digits if either double.base is 2 or double.rounding is 0; 
otherwise, it is (double.base ^ double.ulp.digits) / 2. Normally 2.220446e-16.

มันคือค่าด้านล่างซึ่งคุณสามารถมั่นใจได้ว่ามูลค่าจะค่อนข้างไร้ความหมายในเชิงตัวเลขซึ่งค่าที่น้อยกว่านั้นไม่น่าจะเป็นการคำนวณค่าที่ถูกต้องที่เราพยายามคำนวณ (เมื่อศึกษาการวิเคราะห์เชิงตัวเลขเล็กน้อยขึ้นอยู่กับว่าการคำนวณดำเนินการโดยวิธีการใดมีโอกาสที่ไม่มีความหมายเชิงตัวเลขที่ดีมาในทางที่เป็นธรรมมากกว่านั้น)

แต่ความหมายทางสถิติจะหายไปก่อนหน้านี้ โปรดทราบว่าค่า p ขึ้นอยู่กับข้อสมมติและยิ่งไกลออกไปเท่าไหร่คุณก็ยิ่งได้ค่า p จริงมากขึ้น (แทนที่จะเป็นค่าที่เราคำนวณ) จะได้รับผลกระทบจากสมมติฐานที่เข้าใจผิดในบางกรณีแม้ว่าพวกเขาจะ เป็นเพียงความผิดเล็กน้อย เนื่องจากสมมติฐานนั้นไม่ได้เป็นที่น่าพอใจเลยทีเดียวค่า p-middling อาจมีความถูกต้องอย่างสมเหตุสมผล (ในแง่ของความแม่นยำสัมพัทธ์บางทีอาจจะเป็นเพียงเศษส่วนเล็กน้อยเท่านั้น) แต่ค่า p น้อยมากอาจมีคำสั่งจำนวนมาก ขนาด.

ซึ่งจะบอกว่าการฝึกตามปกติ (บางอย่างเช่น "<0.0001" ที่คุณพูดเป็นเรื่องธรรมดาในแพ็คเกจหรือกฎ APA ที่ Jaap กล่าวถึงในคำตอบของเขา) อาจไม่ไกลจากการฝึกฝนที่สมเหตุสมผล แต่เป็นจุดโดยประมาณ สูญเสียความหมายนอกเหนือจากการพูดว่า ' มันเล็กมาก ๆ ' แน่นอนว่าจะแตกต่างกันมากขึ้นอยู่กับสถานการณ์

นี่คือเหตุผลหนึ่งที่ทำให้ฉันไม่สามารถแนะนำกฎทั่วไปได้ - มีกฎเดียวที่ไม่เหมาะสำหรับทุกคนในทุกสถานการณ์ - เปลี่ยนสถานการณ์เล็กน้อยและเส้นสีเทากว้างที่ทำเครื่องหมายการเปลี่ยนแปลงจากค่อนข้างมีความหมายถึงค่อนข้าง ความหมายจะไม่มีการเปลี่ยนแปลงบางครั้งโดยทางยาว

หากคุณกำลังจะระบุข้อมูลที่เพียงพอเกี่ยวกับสถานการณ์ที่แท้จริง (เช่นมันถดถอยที่มีนี้ไม่เป็นเชิงเส้นมากว่าจำนวนของการเปลี่ยนแปลงในตัวแปรอิสระนี้นี้ชนิดและปริมาณของการพึ่งพาอาศัยกันในระยะข้อผิดพลาดที่ชนิดและปริมาณของ heteroskedasticity, นี้รูปร่างของกระจายความผิดพลาด) ผมสามารถจำลอง 'ความจริง' P-ค่าสำหรับคุณที่จะเปรียบเทียบกับที่ระบุ P-ค่าเพื่อให้คุณสามารถเห็นเมื่อพวกเขาแตกต่างกันเกินไปสำหรับค่าเล็กน้อยที่จะดำเนินการใด ๆ ที่มีความหมาย

แต่นั่นนำเราไปสู่เหตุผลที่สองว่าทำไม - แม้ว่าคุณจะระบุข้อมูลเพียงพอที่จะจำลองค่า p จริง - ฉันยังคงไม่สามารถรับผิดชอบต่อการถูกตัดออกแม้ในสถานการณ์เหล่านั้น

สิ่งที่คุณรายงานนั้นขึ้นอยู่กับความชอบของผู้คนทั้งคุณและผู้ชมของคุณ ลองนึกภาพคุณบอกฉันเพียงพอเกี่ยวกับสถานการณ์สำหรับผมที่จะตัดสินใจว่าผมอยากจะวาดเส้นที่ระบุของ6} $p$ $10^{-6}$

ดีและดีเราอาจคิดว่า - ยกเว้นฟังก์ชั่นการตั้งค่าของคุณเอง (สิ่งที่ดูเหมาะสมกับคุณคือคุณต้องดูความแตกต่างระหว่างค่า p เล็กน้อยที่ได้รับจากแพ็คเกจสถิติและที่เกิดจากการจำลองเมื่อคุณคิดว่าชุดใดชุดหนึ่ง จากความล้มเหลวของสมมติฐาน) อาจวางไว้ที่และบรรณาธิการของวารสารที่คุณต้องการส่งไปอาจมีกฎครอบคลุมเพื่อตัดที่ในขณะที่วารสารต่อไปอาจวางไว้ ที่และถัดไปอาจไม่มีกฎทั่วไปและตัวแก้ไขเฉพาะที่คุณอาจยอมรับค่าที่ต่ำกว่าที่ฉันให้ ... แต่ผู้ตัดสินคนใดคนหนึ่งอาจจะถูกตัดออก! $10^{-5}$ $10^{-4}$ $10^{-3}$

ในกรณีที่ไม่มีความรู้เกี่ยวกับฟังก์ชั่นการตั้งค่าและกฎระเบียบและการไม่มีความรู้เกี่ยวกับสาธารณูปโภคของคุณเองฉันจะแนะนำตัวเลือกทั่วไปของการกระทำสิ่งที่ควรทำอย่างไร?

อย่างน้อยฉันก็สามารถบอกคุณถึงสิ่งต่าง ๆ ที่ฉันทำ (และฉันไม่แนะนำนี่เป็นทางเลือกที่ดีสำหรับคุณเลย):

มีบางสถานการณ์ (นอกเหนือจากการจำลองค่า p) ซึ่งฉันจะทำให้ค่า ap น้อยกว่า (ฉันอาจหรืออาจจะไม่พูดถึงค่าที่รายงานโดยแพ็คเกจ แต่ฉันจะไม่ทำอะไรเลย มันนอกจากที่เล็กมากฉันมักจะเน้นความหมายของจำนวนที่แน่นอน) บางครั้งฉันก็ใช้ค่าบางแห่งในพื้นที่ถึงและบอกว่า p น้อยกว่านั้นมาก ในบางครั้งฉันทำตามที่แนะนำข้างต้น - จำลองสถานการณ์บางอย่างเพื่อดูว่าค่า p-value นั้นละเอียดอ่อนเพียงใดเพื่อการละเมิดข้อสันนิษฐานต่างๆโดยเฉพาะอย่างยิ่งหากมีการละเมิดประเภทใดที่ฉันเป็นห่วง $10^{-6}$ $10^{-5}$ $10^{-4}$

นั่นเป็นประโยชน์อย่างมากในการแจ้งทางเลือก - แต่ฉันมีแนวโน้มที่จะหารือเกี่ยวกับผลลัพธ์ของการจำลองว่าจะใช้พวกเขาเพื่อเลือกค่าตัดค่าให้โอกาสผู้อื่นในการเลือกของตัวเอง

ทางเลือกในการจำลองคือการดูที่โพรซีเดอร์บางอย่างที่มีความแข็งแกร่งมากขึ้น * กับความล้มเหลวที่อาจเกิดขึ้นจากการสันนิษฐานและดูว่าความแตกต่างของค่า p ที่อาจเกิดขึ้น ค่า p ของพวกเขายังไม่ได้มีความหมายโดยเฉพาะอย่างยิ่ง แต่อย่างน้อยพวกเขาก็ให้ความรู้สึกถึงผลกระทบที่อาจเกิดขึ้น หากมีบางอย่างแตกต่างจากที่ระบุเล็กน้อยมันก็ให้ความคิดที่ละเมิดสมมติฐานในการตรวจสอบผลกระทบของ แม้ว่าคุณจะไม่ได้รายงานทางเลือกใด ๆ ก็ตามมันก็ให้ภาพที่ดีขึ้นว่า p-value ของคุณมีความหมายอย่างไร

* โปรดทราบว่าที่นี่เราไม่จำเป็นต้องมีขั้นตอนที่แข็งแกร่งต่อการละเมิดสมมติฐานบางประการ คนที่ได้รับผลกระทบน้อยกว่าจากการเบี่ยงเบนค่อนข้างน้อยของสมมติฐานที่เกี่ยวข้องควรจะดีสำหรับการออกกำลังกายนี้

ฉันจะบอกว่าเมื่อ / หากคุณทำแบบจำลองดังกล่าวแม้ว่าจะมีการละเมิดที่ไม่รุนแรงนักในบางกรณีก็อาจเป็นเรื่องที่น่าแปลกใจว่าถึงแม้ค่า p- ขนาดเล็กจะไม่ถูกต้องก็ตาม สิ่งนี้ทำไปแล้วเพื่อเปลี่ยนแปลงวิธีที่ฉันตีความค่า p-person มากกว่าที่จะเปลี่ยน cut-off เฉพาะที่ฉันอาจใช้

เมื่อส่งผลลัพธ์ของการทดสอบสมมติฐานจริงไปยังวารสารฉันพยายามค้นหาว่าพวกเขามีกฎหรือไม่ หากพวกเขาทำไม่ได้ฉันมักจะทำให้ตัวเองพอใจแล้วรอให้ผู้ตัดสินบ่น

— Glen_b
แหล่งที่มา

11

ฉันชอบความคิดเห็นเกี่ยวกับความหมายทางสถิติที่หายไปเร็วกว่านี้

— usεr11852พูดว่า Reinstate Monic

คำตอบที่ดี! ฉันซาบซึ้งทุกรายละเอียดเกี่ยวกับสิ่งนี้มันจึงเคลียร์ว่าทำไม R ให้หมายเลขนี้ แต่มันไม่ได้ตอบคำถามว่าจะรายงานอะไร

— พอล

1

ฉันรู้สึกว่าได้แก้ไขปัญหาไปแล้วในแง่ที่ฉันอธิบายว่าทำไมมันไม่รับผิดชอบในการให้คำแนะนำที่เฉพาะเจาะจง โปรดทราบว่าฉันอภิปรายว่าทำไมจึงเหมาะสมที่จะรายงานบางสิ่งเช่น "<0.0001" ซึ่งเป็นวิธีปฏิบัติทั่วไปในบางแพ็คเกจ มีสองเหตุผลที่ฉันไม่แนะนำหมายเลขเฉพาะ - ซึ่งเป็นครั้งแรกที่ฉันให้ ฉันจะขยายเหตุผลและที่สองในการแก้ไข

— Glen_b

พอลฉันได้เพิ่มการสนทนาที่สำคัญมากขึ้น

— Glen_b

2

ใช่คุณต้องทำอะไรบางอย่าง ความเห็นที่ครอบคลุมมากขึ้นของฉันคือการสื่อให้เห็นว่าฉันไม่สามารถบอกคุณได้ว่าคุณควรเลือกทำอะไรฉันสามารถพูดคุยถึงประเด็นที่คุณเลือกเท่านั้น ฉันหวังว่าฉันได้ทำเช่นนั้นแล้ว แต่ฉันยินดีที่จะพยายามชี้แจงปัญหาเพิ่มเติมหากทำได้

— Glen_b

27

การปฏิบัติทั่วไปอาจขึ้นอยู่กับสาขาการวิจัยของคุณ คู่มือของสมาคมจิตวิทยาอเมริกัน (APA) ซึ่งเป็นหนึ่งในรูปแบบการอ้างอิงที่ใช้บ่อยที่สุดรัฐ (หน้า 139 รุ่นที่ 6):

อย่าใช้ค่าใด ๆ ที่เล็กกว่าp <0.001

— Jaap
แหล่งที่มา

8

แม้ว่านี่คือสิ่งที่ฉันมักจะอ้างถึง (+1) แต่ฉันไม่แน่ใจว่าจำเป็นต้องแก้ไขคำแนะนำนี้ด้วยทศนิยมหนึ่งตำแหน่งหรือไม่เนื่องจากคำแนะนำล่าสุดของ Valen Johnson ในPNAS : "ทำให้ 0.005 เป็นระดับความสำคัญเริ่มต้น [ ... ]. เชื่อมโยงผลการทดสอบที่สำคัญอย่างยิ่งกับค่า P ที่น้อยกว่า 0.001 "

— Henrik

3

คำตอบที่ดี. ไม่มีไกด์สไตล์และไม่มีมาตรฐานจริงในทุ่งนาอย่างน้อยก็ไม่ใช่สำหรับค่า p ฉันทำงานแบบสหวิทยาการ แต่ฉันเดาว่าวิทยาการคอมพิวเตอร์และ HCI น่าจะเป็นสาขาวิชานี้ ฉันคิดว่าสไตล์ APA น่าจะเป็นที่ที่ผู้เขียนจะหันมาเพราะโดยทั่วไปแล้ววิธีการที่ยืมมาจากความรู้ความเข้าใจด้านจิตใจหรือด้านอื่น ๆ ที่ APA จะครอบคลุม

— paul

10

ฟิสิกส์ของอนุภาคใช้กฎ (คุณอาจเห็นมันในข่าวพร้อมกับการยืนยันของ Higgs boson) ซึ่งพัดผ่านทางเกินขีด จำกัด นี้ (มีขนาดเล็กกว่า ) มาตรฐานแตกต่างกันตามพื้นที่!

5 σ

$5\sigma$

p < 10^{- 6}

$p < 10^{-6}$

— Glen_b

1

@Glen_b: จุดที่ดีเกี่ยวกับในฟิสิกส์ของอนุภาค แต่ฉันเดาสิ่งที่คุณเขียนในคำตอบของคุณเกี่ยวกับความไวต่อสมมติฐานและอื่น ๆ อธิบาย (หรือเป็นส่วนหนึ่งของเหตุผล) ทำไมพวกเขารายงาน sigmas (เช่นโดยทั่วไป -statistic) แทน -values เมื่อ -value ต่ำกว่าหรืออะไร (คำแนะนำตามปกติของฉันคือการรายงานศูนย์มากที่สุดเท่าที่หนึ่งที่รู้สึกสะดวกสบายในการพิมพ์โดยไม่ต้องเปลี่ยนสัญกรณ์ชี้แจง) ก็อาจจะมีความหมายมากขึ้นไปดูที่ -value กว่าใน -value

5 σ

$5\sigma$

z

$z$

p

$p$

p

$p$

0.0001

$0.0001$

z

$z$

p

$p$

— อะมีบาพูดว่า Reinstate Monica

@ amoeba ใช่ฉันคิดว่าคุณพูดถูก

— Glen_b

14

ค่า p ที่รุนแรงที่สุดนั้นเกิดขึ้นบ่อยครั้งในเขตข้อมูลที่มีข้อมูลจำนวนมากเช่นจีโนมิกส์และการตรวจสอบกระบวนการ ในกรณีดังกล่าวบางครั้งมีรายงานว่า -log ₁₀ (p-value) ดูตัวอย่างตัวเลขนี้จากธรรมชาติที่ค่า p ลดลงไปที่ 1e-26

-log ₁₀ (p-value) เรียกว่า "LogWorth"โดยนักสถิติที่ฉันทำงานด้วยที่ JMP

— Xan
แหล่งที่มา

21

นี่คือความจริงและคุ้มค่าที่ชี้ออก แต่มันก็อาจจะมีมูลค่าการกล่าวขวัญว่าในกรณีนี้ -value ควรจะคิดจริงๆของเพียงเป็นดัชนีของความแข็งแรงของสัญญาณ - ขนาดเล็กเช่น -values (บางครั้งแม้ว่าการแก้ไขหลาย เปรียบเทียบ) จึงเล็ก ๆ ที่น่าจะเป็นที่เอ็นเอสเอยากจนและดัดแปลงกับข้อมูลของคุณ (แล้วล้างสมองคุณเพื่อให้คุณจำไม่ได้) เป็นไกลสูงกว่าเล็กน้อย -value

p

$p$

p

$p$

p

$p$

— Ben Bolker

8

@BenBolker แน่นอนว่าในขณะที่มีโอกาสน้อยกว่า "NSA ที่ดัดแปลงข้อมูลของคุณ" แม้กระทั่งเหตุการณ์เช่น "รังสีคอสมิกที่พลิกข้อมูลสำคัญบางส่วนในข้อมูลของคุณ" มีความเป็นไปได้มากกว่าความน่าจะเป็นเหล่านั้น

— Glen_b

6

ในรายงานประสาทวิทยาศาสตร์ปี 2558 ที่ตีพิมพ์ใน Nature ผู้เขียนรายงานสองสามครั้งเมื่อแสดงค่าสัมประสิทธิ์สหสัมพันธ์ (และ ) ทำให้ฉันยิ้มและจดจำความคิดเห็นของคุณที่นี่ @Ben และ Glen_b

p < 10^{- 100}

$p<10^{-100}$

ρ \approx 0.9

$\rho\approx0.9$

n \sim 500

$n\sim 500$

— อะมีบาพูดว่า Reinstate Monica

8

นี่คือการค้นพบใหม่ในการค้นหาของฉันสำหรับค่า p น้อยที่สุดที่รายงานไว้ในวรรณคดี: อีกบทความเกี่ยวกับประสาทวิทยาศาสตร์ปี 2015 ที่ตีพิมพ์ใน Nature (จากกลุ่มที่เพิ่งได้รับรางวัลโนเบล 2014 โดยวิธี) รายงาน{} ว้าว. (กระดาษยังคงยอดเยี่ยมจริงๆ) เปลี่ยนเป็น @Glen_b

p = 2.2 \times 10^{- 226}

$p=2.2\times 10^{-226}$

— อะมีบาพูดว่า Reinstate Monica

9

@ amoeba กว่าในส่วนแสดงความคิดเห็น Slate Star Codex, Daniel Wells บันทึกไว้ว่าscience.sciencemag.org/content/363/6425/eaau1043รายงาน p-value 3.6e-2382 ("ไม่ใช่ตัวพิมพ์สองพัน " says Daniel ) ซึ่งจะชนะคุณโดยมีอัตรากำไรค่อนข้าง!

— Mark Amery

-3

ใน R "<2e-16" ไม่ได้หมายความว่าแท้จริง <2e-16 แต่มันหมายถึงค่าที่น้อยมากที่ R ไม่สามารถบันทึกหรือแสดงได้

ในการทดสอบการถดถอยฉันมักจะได้ p เล็กเพียง 4.940656e-324 เมื่อมันส่งออก "<2e-16" นี่คือตัวเลขที่เล็กกว่า 4.940656e-324

— user3590816
แหล่งที่มา

หมายเลขใดคือ " แม้เล็กกว่า 4.940656e-324 "

— Sven Hohenstein

8

คำสั่งของคุณ " ใน R," <2e-16 "ไม่ได้หมายความว่าแท้จริง <2e-16 " ไม่ถูกต้อง เมื่อ R แสดง<2e-16ค่าจะน้อยกว่า2e-16แท้จริง

— Sven Hohenstein

คุณเข้าใจผิดในสิ่งที่ฉันพูด เมื่อ R กล่าวว่า "<2e-16" ค่า p จะเล็กกว่า 2e-16 แต่ไม่ได้หมายความว่าค่า p ที่เล็กกว่า 2e-16 จะแสดงเป็น "<2e-16" ดังที่ฉันได้แสดงแล้ว R ไม่มีปัญหาในการแสดงในค่า p สรุปค่า lm ของหมายเลขใด ๆ ระหว่าง [4.940656e-324, 2e-16] ในขณะที่ขอบเขตด้านซ้ายคือ 2 ^ -1074 ดังนั้นฉันคิดว่าเฉพาะเมื่อค่า p มีค่าน้อยกว่า 2 ^ -1074, R จะบอกว่าค่า p มีค่าน้อยกว่าค่าเดลต้าขนาดเล็ก มันเพิ่งเกิดขึ้นที่ R แสดงค่าเดลต้านี้เป็น 2e-16 ดังนั้นฉันเดาว่า "<2e-16" จริงๆแล้วหมายถึง "<2 ^ -1074" ใน p-values

— user3590816

6

อย่างไรก็ตามการเดาของคุณไม่ถูกต้องนั่นคือสิ่งที่ @Sven พยายามบอกคุณ ดูความช่วยเหลือสำหรับหรือเพียงแค่พยายามที่จะออกในขณะที่format.pval format.pval(1e-16)

— whuber