เอกสารทางประสาทวิทยาศาสตร์ 40,000 ฉบับอาจผิด

ฉันเห็นบทความนี้ในหมู่นักเศรษฐศาสตร์เกี่ยวกับกระดาษทำลายล้างที่ดูเหมือนจะเป็นข้อกังขาว่า "มีบางอย่างที่ตีพิมพ์ [fMRI] การศึกษา 40,000 รายการ" ข้อผิดพลาดพวกเขากล่าวว่าเป็นเพราะ "สมมติฐานทางสถิติที่ผิดพลาด" ฉันอ่านกระดาษและดูว่ามันเป็นปัญหาส่วนหนึ่งของการแก้ไขเปรียบเทียบหลายอย่าง แต่ฉันไม่ใช่ผู้เชี่ยวชาญ fMRI และฉันพบว่ามันยากที่จะติดตาม

ข้อผิดพลาดที่ผู้เขียนพูดถึงคืออะไร? เหตุใดจึงมีการตั้งสมมติฐาน มีวิธีใดบ้างในการสร้างสมมุติฐานเหล่านี้

ด้านหลังของการคำนวณซองจดหมายกล่าวว่าเอกสาร 40,000 fMRI มีมูลค่ามากกว่าพันล้านเหรียญสหรัฐ (เงินเดือนนักศึกษาค่าใช้จ่ายในการดำเนินงาน ฯลฯ )

[1] Eklund et al., ความล้มเหลวของคลัสเตอร์: เหตุใดการอ้างถึง fMRI สำหรับขอบเขตเชิงพื้นที่จึงมีอัตราการบวกเท็จที่สูงเกินจริง PNAS 2016

บนร่าง 40000

ข่าวนี้เป็นเรื่องอื้อฉาวจริง ๆ แต่บทความได้รับการก่อตั้งขึ้นมาอย่างดี การอภิปรายดำเนินไปหลายวันในห้องปฏิบัติการของฉันซึ่งเป็นบทวิจารณ์ที่จำเป็นจริงๆซึ่งทำให้นักวิจัยคิดถึงการทำงานของพวกเขา ฉันขอแนะนำให้อ่านความเห็นต่อไปนี้โดย Thomas Nicholsซึ่งเป็นหนึ่งในผู้เขียน"ความล้มเหลวของคลัสเตอร์: เหตุใดการอ้างถึง fMRI สำหรับขอบเขตเชิงพื้นที่จึงมีอัตราการบวกเท็จที่สูงเกินจริง" (ขออภัยสำหรับคำพูดที่ยาว)

อย่างไรก็ตามมีหมายเลขหนึ่งที่ฉันเสียใจ: 40,000 ในการพยายามอ้างถึงความสำคัญของระเบียบวินัย fMRI เราใช้การประเมินวรรณกรรม fMRI ทั้งหมดเป็นจำนวนการศึกษาที่เกิดจากการค้นพบของเรา ในการป้องกันของเราเราพบปัญหากับการอนุมานขนาดคลัสเตอร์โดยทั่วไป (รุนแรงสำหรับ P = 0.01 CDT, ลำเอียงสำหรับ P = 0.001), วิธีการอนุมานที่โดดเด่นแนะนำว่าวรรณกรรมส่วนใหญ่ได้รับผลกระทบ อย่างไรก็ตามตัวเลขในแถลงการณ์ผลกระทบได้รับการตอบรับอย่างดีจากสื่อยอดนิยมและป้อน twitterstorm ขนาดเล็ก ดังนั้นฉันรู้สึกว่ามันเป็นหน้าที่ของฉันที่จะต้องประเมินอย่างคร่าว ๆ ว่า“ งานของเราส่งผลกระทบต่อบทความกี่บทความ?” ฉันไม่ได้เป็นบรรณานุกรมและนี่เป็นการออกกำลังกายที่หยาบและพร้อม แต่หวังว่ามันจะช่วยให้ทราบถึงลำดับความสำคัญของปัญหา

รหัสการวิเคราะห์ (ใน Matlab) มีการจัดวางไว้ด้านล่าง แต่นี่คือผอม: จากการคำนวณความน่าจะเป็นที่เหมาะสม แต่บางทีตัวอย่างวรรณกรรมที่เปราะบางฉันประเมินว่ามีเอกสารประมาณ 15,000 ฉบับใช้การอนุมานขนาดคลัสเตอร์พร้อมการแก้ไขสำหรับการทดสอบหลายรายการ ของเหล่านี้ประมาณ 3,500 ใช้ CDT ของ P = 0.01 3,500 มีประมาณ 9% ของวรรณกรรมทั้งหมดหรืออาจเป็นประโยชน์มากกว่า 11% ของเอกสารที่มีข้อมูลต้นฉบับ (แน่นอนว่า 15,000 หรือ 3,500 เหล่านี้อาจใช้การอนุมานแบบไม่มีพารามิเตอร์ แต่น่าเสียดายที่หายากสำหรับ fMRI ซึ่งตรงกันข้ามกับเครื่องมือการอนุมานค่าเริ่มต้นสำหรับการวิเคราะห์ VBM / DTI ในโครงสร้าง FSL

ฉันคิดว่าตัวเลขนี้จะสูงขึ้น แต่ไม่ได้ตระหนักถึงการศึกษาจำนวนมากที่ไม่เคยใช้การแก้ไขการทดสอบหลายแบบเลย (ไม่สามารถได้รับการแก้ไขที่สูงเกินจริงความสำคัญถ้าคุณไม่ถูกต้อง!) การคำนวณเหล่านี้แนะนำให้ใช้กระดาษจำนวน 13,000 ฉบับที่ไม่มีการแก้ไขการทดสอบหลายอย่าง แน่นอนว่าสิ่งเหล่านี้บางอย่างอาจใช้พื้นที่ที่น่าสนใจหรือการวิเคราะห์ปริมาณน้อย แต่ก็มีเพียงไม่กี่แห่ง (เช่นผลการทดลองทางคลินิก) ที่ไม่มีความซ้ำซ้อนกันเลย กระดาษของเราไม่ได้เกี่ยวกับกลุ่มนี้โดยตรง แต่สำหรับสิ่งพิมพ์ที่ใช้การแก้ไขการทดสอบหลาย ๆ ตัว P <0.001 & k> 10 บทความของเราแสดงให้เห็นว่าวิธีการนี้มีอัตราความผิดพลาดแบบครอบครัวมากกว่า 50%

ดังนั้นเราจะบอกว่า 3,500 เอกสารเป็น "ผิด"? มันขึ้นอยู่กับ. ผลลัพธ์ของเราแนะนำ CDT P = 0.01 ผลลัพธ์มีค่า P ที่สูงเกินจริง แต่การศึกษาแต่ละครั้งจะต้องได้รับการตรวจสอบ ... หากผลกระทบมีความแข็งแกร่งจริง ๆ มันอาจไม่สำคัญว่าค่า P-biased จะเป็นอย่างไรและการอนุมานทางวิทยาศาสตร์จะไม่เปลี่ยนแปลง แต่ถ้าผลจะอ่อนแอจริงๆแล้วผลอาจแน่นอนจะสอดคล้องกับเสียง แล้วกระดาษประมาณ 13,000 ฉบับที่ไม่มีการแก้ไขโดยเฉพาะในวรรณกรรมก่อนหน้านี้ล่ะ ไม่พวกเขาไม่ควรละทิ้งมือเช่นกัน แต่ต้องใช้สายตาที่ดูน่าเบื่อเป็นพิเศษสำหรับงานเหล่านั้นโดยเฉพาะอย่างยิ่งเมื่อเปรียบเทียบกับข้อมูลอ้างอิงใหม่ที่มีมาตรฐานระเบียบวิธีที่ดีขึ้น

เขายังรวมตารางนี้ในตอนท้าย:

        AFNI     BV    FSL    SPM   OTHERS
        ____     __    ___    ___   ______

>.01      9       5     9       8    4     
.01       9       4    44      20    3     
.005     24       6     1      48    3     
.001     13      20    11     206    5     
<.001     2       5     3      16    2    

โดยทั่วไป SPM (Parametric Mapping ทางสถิติเป็นกล่องเครื่องมือสำหรับ Matlab) เป็นเครื่องมือที่ใช้กันอย่างแพร่หลายสำหรับการศึกษาระบบประสาท fMRI หากคุณตรวจสอบกระดาษคุณจะเห็นการใช้ CDT ของ P = 0.001 (มาตรฐาน) สำหรับกลุ่มใน SPM ให้อัตราข้อผิดพลาดที่เหมาะสำหรับครอบครัว

ผู้เขียนเติมข้อมูลผิดเนื่องจากข้อความของกระดาษ:

เนื่องจากการตีความที่ผิดพลาดอย่างกว้างขวางของกระดาษของเรา, Eklund และคณะ, ความล้มเหลวของกลุ่ม: ทำไมการที่ fMRI อ้างถึงขอบเขตของพื้นที่มีอัตราการเพิ่มขึ้นของผลบวกเท็จเราจึงยื่นข้อผิดพลาดกับสำนักงานบรรณาธิการ PNAS:

ข้อผิดพลาดสำหรับ Eklund et al., ความล้มเหลวของคลัสเตอร์: เหตุใดการอ้างถึง fMRI สำหรับขอบเขตเชิงพื้นที่จึงทำให้อัตราการบวกผิดพลาดสูงเกินจริง Eklund, Anders; Nichols, Thomas E; Knutsson, Hans

ประโยคสองประโยคนั้นใช้คำพูดไม่ดีและอาจเข้าใจผิดได้ง่ายเมื่อพูดถึงผลลัพธ์ที่เกินจริง

ประโยคสุดท้ายของคำแถลงความสำคัญควรอ่าน:“ ผลลัพธ์เหล่านี้ตั้งคำถามถึงความถูกต้องของการศึกษา fMRI จำนวนหนึ่งและอาจส่งผลกระทบอย่างใหญ่หลวงต่อการตีความผลลัพธ์ neuroimaging ที่มีนัยสำคัญน้อย”

ประโยคแรกหลังจากหัวข้อ“ อนาคตของ fMRI” ควรอ่าน:“ เนื่องจากการเก็บถาวรและการแบ่งปันข้อมูลที่ไม่น่าไว้วางใจจึงไม่น่าเป็นไปได้ที่การวิเคราะห์ปัญหาจะสามารถทำซ้ำได้”

สิ่งเหล่านี้แทนที่ประโยคทั้งสองที่แสดงว่างานของเราส่งผลกระทบต่อสิ่งพิมพ์ 40,000 ฉบับทั้งหมด (ดูบรรณานุกรมของการอนุมานกลุ่มสำหรับแขกรับเชิญของวรรณกรรมที่อาจได้รับผลกระทบ)

หลังจากเริ่มปฏิเสธ errata ในขั้นต้นเนื่องจากมีการแก้ไขการตีความและไม่ใช่ข้อเท็จจริง PNAS ได้ตกลงที่จะเผยแพร่ตามที่เราส่งไป

ใน Bug ที่เรียกว่า

ข่าวบางอย่างยังกล่าวถึงข้อผิดพลาดที่เป็นสาเหตุของการทุพพลภาพของการศึกษา แท้จริงหนึ่งในเครื่องมือ AFNI เป็นข้อสรุป undercorrectingและนี้ก็แก้ไขได้หลังจาก preprint ถูกโพสต์ในarXiv

การอนุมานเชิงสถิติที่ใช้ในการทำระบบประสาท

ฟังก์ชั่น neuroimaging รวมถึงเทคนิคมากมายที่มุ่งวัดกิจกรรมของเซลล์ประสาทในสมอง (เช่น fMRI, EEG, MEG, NIRS, PET และ SPECT) สิ่งเหล่านี้ตั้งอยู่บนพื้นฐานของกลไกความแตกต่าง fMRI ขึ้นอยู่กับความเปรียบต่างในระดับออกซิเจนและเลือด (BOLD) ในงาน fMRI ที่ได้รับการกระตุ้นเซลล์ประสาทในสมองที่รับผิดชอบในการรับการกระตุ้นนั้นเริ่มใช้พลังงานและสิ่งนี้จะกระตุ้นการตอบสนองของเลือดที่เปลี่ยนสัญญาณเรโซแนนซ์แม่เหล็ก ( ) ในบริเวณใกล้เคียงของไมโครที่ถูกคัดเลือก -vascularization$\approx 5\%$

การใช้แบบจำลองเชิงเส้นทั่วไป (GLM) คุณระบุว่าชุดสัญญาณสัญญาณ voxel ใดมีความสัมพันธ์กับการออกแบบกระบวนทัศน์ของการทดลองของคุณ (โดยทั่วไปจะเป็นไทม์บูลีนที่ซับซ้อนด้วยฟังก์ชันตอบสนองทางโลหิตวิทยาตามบัญญัติของแคนนอน

ดังนั้น GLM นี้จึงให้คุณดูว่า voxel time ซีรี่ย์แต่ละชุดมีลักษณะอย่างไร ตอนนี้สมมติว่าคุณมีบุคคลสองกลุ่ม: ผู้ป่วยและการควบคุมโดยปกติ การเปรียบเทียบคะแนน GLM ระหว่างกลุ่มสามารถนำมาใช้เพื่อแสดงว่าสภาพของกลุ่มปรับรูปแบบ "การเปิดใช้งาน" ในสมองของพวกเขาอย่างไร

การเปรียบเทียบ Voxel-wiseระหว่างกลุ่มทำได้ แต่เนื่องจากฟังก์ชั่นกระจายจุดที่มีอยู่ในอุปกรณ์พร้อมกับขั้นตอนการประมวลผลที่ราบรื่นทำให้ไม่เหมาะสมที่จะคาดหวังว่า voxels จะนำข้อมูลทั้งหมดไปด้วย ความแตกต่างของ voxels ระหว่างกลุ่มจริง ๆ แล้วควรกระจายไปทั่ว voxels ใกล้เคียง

ดังนั้นจะทำการเปรียบเทียบกลุ่มแบบชาญฉลาดกล่าวคือมีการพิจารณาความแตกต่างระหว่างกลุ่มที่มีรูปแบบเป็นกลุ่มเท่านั้น การขยายขอบเขตคลัสเตอร์เป็นวิธีที่ได้รับความนิยมมากที่สุดในการศึกษาเปรียบเทียบ fMRI ปัญหาอยู่ที่นี่

SPM และ FSL ขึ้นอยู่กับทฤษฎีการสุ่มฟิลด์ของเกาส์เซียน (RFT) สำหรับการอนุมานค่า voxelwise และการอนุมานตามเข็มนาฬิกาของ FWE อย่างไรก็ตามการอนุมาน RFT แบบคลัสเตอร์ขึ้นอยู่กับข้อสมมติฐานเพิ่มเติมสองข้อ ข้อสันนิษฐานแรกคือความเรียบเนียนเชิงพื้นที่ของสัญญาณ fMRI เป็นค่าคงที่ทั่วสมองและสมมติฐานที่สองคือฟังก์ชั่น autocorrelation เชิงพื้นที่มีรูปร่างที่เฉพาะเจาะจง (a กำลังสองยกกำลัง) (30)

ใน SPM อย่างน้อยคุณต้องตั้งค่าอัตรา FWE เล็กน้อยและเกณฑ์ที่กำหนดโดยคลัสเตอร์ (CDT) โดยพื้นฐานแล้ว SPM จะค้นหา voxels ที่มีความสัมพันธ์อย่างมากกับงานและหลังจากการทำซ้ำกับ CDT แล้วสิ่งที่อยู่ใกล้เคียงจะถูกรวมเข้าเป็นกลุ่ม ขนาดคลัสเตอร์เหล่านี้จะถูกนำไปเปรียบเทียบกับขอบเขตคลัสเตอร์ที่คาดหวังจากทฤษฎีสนามสุ่ม (RFT) ที่กำหนดไว้ในชุด FWER [ 1 ]

ทฤษฎีสนามสุ่มต้องใช้แผนผังกิจกรรมให้ราบรื่นเพื่อให้เป็นโครงข่ายที่ดีโดยประมาณสำหรับฟิลด์สุ่ม สิ่งนี้เกี่ยวข้องกับปริมาณการปรับให้เรียบที่ใช้กับไดรฟ์ข้อมูล การปรับให้เรียบนั้นมีผลต่อการสันนิษฐานว่าส่วนที่เหลือจะถูกกระจายออกไปตามปกติเช่นเดียวกับการปรับให้เรียบโดยทฤษฎีขีด จำกัด กลางจะทำให้ข้อมูลเกาส์มากขึ้น

ผู้เขียนได้แสดงใน [ 1 ] ว่าขนาดคลัสเตอร์ที่คาดหวังจาก RFT มีขนาดเล็กมากเมื่อเปรียบเทียบกับเกณฑ์ขอบเขตคลัสเตอร์ที่ได้จากการทดสอบการเปลี่ยนรูปแบบสุ่ม (RPT)

ในรายงานล่าสุดของพวกเขา resting-state (modality อีกอันหนึ่งของ fMRI ซึ่งผู้เข้าร่วมได้รับคำสั่งให้ไม่คิดในสิ่งใดโดยเฉพาะ) ข้อมูลถูกใช้ราวกับว่าคนทำงานในระหว่างการหาภาพและการเปรียบเทียบกลุ่มได้ดำเนินการ voxel- และคลัสเตอร์ -wise ข้อผิดพลาดในเชิงบวกสังเกตเท็จ (เช่นเมื่อคุณสังเกตเห็นความแตกต่างในการตอบสนองต่อสัญญาณไปยังงานเสมือนระหว่างกลุ่ม) อัตราที่ควรจะเป็นเหตุผลที่ต่ำกว่าอัตรา fwe ที่คาดว่าจะตั้งไว้ที่0.05 การทำซ้ำการวิเคราะห์นี้นับล้านครั้งในกลุ่มตัวอย่างแบบสุ่มที่มีกระบวนทัศน์ต่าง ๆ แสดงให้เห็นว่าอัตรา FWE ที่สังเกตได้ส่วนใหญ่จะสูงกว่าที่ยอมรับได้$\alpha = 0.05$

@amoeba ยกคำถามสองข้อที่เกี่ยวข้องอย่างมากในความคิดเห็น:

(1) The Eklund และคณะ กระดาษ PNAS พูดถึง "ระดับ 5% เล็กน้อย" ของการทดสอบทั้งหมด (ดูตัวอย่างเช่นเส้นสีดำแนวนอนในรูปที่ 1) อย่างไรก็ตาม CDT ในรูปแบบเดียวกันนั้นเปลี่ยนแปลงและอาจเป็น 0.01 และ 0.001 เกณฑ์ CDT เกี่ยวข้องกับอัตราความผิดพลาดประเภทเล็กน้อยได้อย่างไร ฉันสับสนโดยที่ (2) คุณเคยเห็นคำตอบของ Karl Friston http://arxiv.org/abs/1606.08199หรือไม่ ฉันอ่านมัน แต่ฉันไม่แน่ใจว่าสิ่งที่พวกเขากำลังพูด: ฉันเห็นอย่างถูกต้องว่าพวกเขาเห็นด้วยกับ Eklund และคณะ แต่บอกว่านี่เป็นปัญหา "ที่รู้จักกันดี"?

(1) คำถามที่ดี ฉันตรวจสอบการอ้างอิงของฉันจริง ๆ ลองดูว่าฉันจะทำให้ชัดเจนขึ้นในขณะนี้ การอนุมานที่ชาญฉลาดขึ้นอยู่กับขอบเขตของกลุ่มที่เกิดขึ้นหลังจากมีการใช้เกณฑ์หลัก ( CDT ซึ่งเป็นกฎเกณฑ์ ) ในการวิเคราะห์รองเกณฑ์เกี่ยวกับจำนวนของชุต่อคลัสเตอร์ถูกนำไปใช้ เกณฑ์นี้ขึ้นอยู่กับการกระจายที่คาดหวังของขอบเขตคลัสเตอร์ null ซึ่งสามารถประเมินได้จากทฤษฎี (เช่น RFT) และตั้งค่า FWER เล็กน้อย การอ้างอิงที่ดีคือ [ 2 ]

(2) ขอบคุณสำหรับการอ้างอิงนี้ไม่เคยเห็นมาก่อน Flandin และ Friston โต้แย้ง Eklund และคณะ การอนุมาน RFT ที่ได้รับการยืนยันเพราะโดยทั่วไปแล้วพวกเขาแสดงให้เห็นว่าการเคารพสมมติฐาน (เกี่ยวกับ CDT และการปรับให้เรียบ) ผลลัพธ์จะไม่เอนเอียง ภายใต้แสงนี้ผลลัพธ์ใหม่แสดงให้เห็นถึงการปฏิบัติที่แตกต่างกันในวรรณคดีมีแนวโน้มที่จะอคติการอนุมานในขณะที่มันทำลายสมมติฐานของ RFT

ในการเปรียบเทียบหลาย ๆ

นอกจากนี้ยังเป็นที่รู้จักกันดีการศึกษาจำนวนมากในด้านประสาทวิทยาศาสตร์ไม่ถูกต้องสำหรับการเปรียบเทียบหลาย ๆ อย่างตั้งแต่ประมาณ 10% ถึง 40% ของวรรณกรรม แต่สิ่งเหล่านี้ไม่ได้ถูกอ้างถึงโดยการอ้างสิทธิ์นั้นทุกคนรู้ว่าเอกสารเหล่านี้มีความสมบูรณ์และอาจมีอัตราบวกที่ผิดพลาดอย่างมาก

บน FWER เกิน 70%

ผู้เขียนยังรายงานขั้นตอนที่สร้าง FWER เกิน 70% "พื้นบ้าน" - ขั้นตอนนี้ประกอบด้วยการใช้ CDT เพื่อเก็บเฉพาะกลุ่มที่มีความสำคัญอย่างยิ่งและจากนั้นใช้เกณฑ์ขอบเขตการแบ่งส่วนแบบอื่นที่เลือกโดยพลการ (โดยมีจำนวน voxels) บางครั้งเรียกว่า "การอนุมาน" มีฐานทางสถิติที่อ่อนแอและอาจสร้างผลลัพธ์ที่น่าเชื่อถือน้อยที่สุด

รายงานก่อนหน้า

ผู้เขียนคนเดียวกันได้รายงานปัญหาเกี่ยวกับความถูกต้องของ SPM [ 1 ] ในการวิเคราะห์แต่ละรายการ นอกจากนี้ยังมีงานอ้างอื่น ๆ ในพื้นที่นี้

อยากรู้อยากเห็นรายงานหลายฉบับเกี่ยวกับการวิเคราะห์กลุ่มและระดับบุคคลตามข้อมูลจำลองได้ข้อสรุปว่าเกณฑ์ RFT นั้นเป็นไปตามหลักความระมัดระวัง ด้วยความก้าวหน้าล่าสุดของกำลังการประมวลผลแม้ว่า RPT สามารถทำได้ง่ายกว่ามากในข้อมูลจริงแสดงความแตกต่างที่ยอดเยี่ยมกับ RFT

อัปเดต: 18 ตุลาคม 2017

คำอธิบายเกี่ยวกับ"ความล้มเหลวของคลัสเตอร์"ได้เปิดตัวเมื่อเดือนมิถุนายนที่ผ่านมา [ 3 ] มี Mueller และคณะ โต้แย้งผลลัพธ์ที่นำเสนอใน Eklund et al อาจเกิดจากเทคนิคการประมวลผลภาพล่วงหน้าที่ใช้ในการศึกษาของพวกเขา โดยทั่วไปแล้วพวกเขาจะปรับภาพการทำงานให้มีความละเอียดสูงขึ้นก่อนที่จะปรับให้เรียบ (ในขณะที่นักวิจัยทุกคนอาจไม่ได้ทำนี่เป็นขั้นตอนปกติในซอฟต์แวร์วิเคราะห์ fMRI ส่วนใหญ่) พวกเขายังทราบด้วยว่า Flandin & Friston ไม่ได้ ฉันต้องได้เห็นการพูดคุยของ Eklund ในเดือนเดียวกันในการประชุมประจำปีขององค์กร Human Human Mapping (OHBM) ในแวนคูเวอร์ แต่ฉันจำไม่ได้ว่ามีความคิดเห็นใด ๆ เกี่ยวกับปัญหานี้ แต่ดูเหมือนว่าสำคัญสำหรับคำถาม

[1] Eklund, A. , Andersson, M. , Josephson, C. , Johannesson, M. , & Knutsson, H. (2012) การวิเคราะห์พารามิเตอร์ fMRI ด้วย SPM ให้ผลลัพธ์ที่ถูกต้องหรือไม่ - การศึกษาเชิงประจักษ์ของชุดข้อมูลที่เหลือ 1,274 ชุด NeuroImage, 61 (3), 565-578

[2] Woo, CW, Krishnan, A. และ Wager, TD (2014) การกำหนดเกณฑ์ขั้นต่ำตามเกณฑ์คลัสเตอร์ในการวิเคราะห์ fMRI: ข้อผิดพลาดและข้อเสนอแนะ Neuroimage, 91, 412-419

[3] Mueller, K. , Lepsien, J. , Möller, HE, & Lohmann, G. (2017) ความเห็น: ความล้มเหลวของคลัสเตอร์: เพราะเหตุใดการอ้างถึงขอบเขตเชิงพื้นที่ของ fMRI จึงทำให้อัตราการบวกผิดพลาดสูงเกินจริง พรมแดนในสมองของมนุษย์, 11.