คำถามติดแท็ก reproducible-research

ปฏิบัติการวิจัยในการสร้างคำอธิบายการทดลองแบบเต็มข้อมูลที่รวบรวมทั้งหมดและสคริปต์การวิเคราะห์ข้อมูลทั้งหมดที่เปิดเผยต่อสาธารณะเพื่อให้สามารถทำซ้ำผลลัพธ์ที่เผยแพร่ที่อื่นได้

2
เรารู้มากแค่ไหนเกี่ยวกับการแฮ็ก p-in“ ในป่า”?
วลีp -hacking (เช่น: "data dredging" , "snooping" หรือ "Fishing") หมายถึงการทุจริตต่อหน้าที่ทางสถิติหลายรูปแบบซึ่งผลลัพธ์กลายเป็นนัยสำคัญทางสถิติเชิงประจักษ์ มีหลายวิธีในการจัดหาผลลัพธ์ "ที่สำคัญกว่า" ซึ่งรวมถึง แต่ไม่ จำกัด เพียง: วิเคราะห์เฉพาะชุดย่อย "น่าสนใจ" ของข้อมูลซึ่งพบรูปแบบ ล้มเหลวในการปรับอย่างเหมาะสมสำหรับการทดสอบหลายรายการโดยเฉพาะการทดสอบหลังการทดสอบและความล้มเหลวในการรายงานการทดสอบที่ไม่ได้มีนัยสำคัญ ลองการทดสอบที่แตกต่างกันของสมมติฐานเดียวกันเช่นทั้งการทดสอบแบบพารามิเตอร์และแบบไม่อิงพารามิเตอร์ ( มีการพูดคุยกันในหัวข้อนี้ ) แต่มีการรายงานที่สำคัญที่สุดเท่านั้น ทำการทดลองกับการรวม / แยกจุดข้อมูลจนกว่าจะได้ผลลัพธ์ที่ต้องการ โอกาสครั้งหนึ่งเกิดขึ้นเมื่อ "การทำความสะอาดข้อมูลผิดปกติ" แต่เมื่อใช้คำจำกัดความที่คลุมเครือ (เช่นในการศึกษาทางเศรษฐมิติของ "ประเทศที่พัฒนาแล้ว" คำจำกัดความที่แตกต่างกันทำให้เกิดกลุ่มประเทศที่แตกต่างกัน) หรือเกณฑ์การคัดเลือกเชิงคุณภาพ อาจเป็นข้อโต้แย้งที่สมดุลอย่างละเอียดว่าวิธีการศึกษาเฉพาะนั้นมีความแข็งแกร่งเพียงพอที่จะรวม); ตัวอย่างก่อนหน้านี้เกี่ยวข้องกับการหยุดที่ไม่จำเป็นเช่นการวิเคราะห์ชุดข้อมูลและตัดสินใจว่าจะรวบรวมข้อมูลมากขึ้นหรือไม่ขึ้นอยู่กับข้อมูลที่เก็บจนถึงปัจจุบัน ("นี่เป็นสิ่งสำคัญเกือบจะเป็นไปได้ลองวัดนักเรียนอีกสามคน!") ในการวิเคราะห์ การทดลองระหว่างการปรับตัวแบบจำลองโดยเฉพาะอย่างยิ่ง covariates ที่จะรวม แต่ยังเกี่ยวกับการแปลงข้อมูล / รูปแบบการทำงาน ดังนั้นเราจึงรู้ว่าการแฮ็คpสามารถทำได้ มันมักจะถูกระบุว่าเป็นหนึ่งใน"อันตรายของp-value "และถูกกล่าวถึงในรายงาน ASA เกี่ยวกับนัยสำคัญทางสถิติที่กล่าวถึงที่นี่ในการตรวจสอบข้ามดังนั้นเราจึงรู้ว่ามันเป็นสิ่งที่ไม่ดี …

15
ทำตัวอย่างที่สำคัญของการวิจัยที่ทำซ้ำได้โดยใช้ R
คำถาม:มีตัวอย่างที่ดีของการวิจัยที่ทำซ้ำได้โดยใช้ R ที่ให้บริการออนไลน์ได้อย่างอิสระหรือไม่? ตัวอย่างในอุดมคติ: โดยเฉพาะตัวอย่างอุดมคติจะมี: ข้อมูลดิบ (และข้อมูลเมตานึกคิดอธิบายข้อมูล) รหัส R ทั้งหมดรวมถึงการนำเข้าข้อมูลการประมวลผลการวิเคราะห์และการสร้างผลลัพธ์ Sweave หรือวิธีการอื่นสำหรับเชื่อมโยงผลลัพธ์สุดท้ายไปยังเอกสารสุดท้าย ทั้งหมดอยู่ในรูปแบบที่สามารถดาวน์โหลดและคอมไพล์ได้อย่างง่ายดายบนคอมพิวเตอร์ของผู้อ่าน ตามอุดมคติแล้วตัวอย่างจะเป็นบทความในวารสารหรือวิทยานิพนธ์ที่เน้นในหัวข้อที่ประยุกต์ใช้จริงแทนที่จะเป็นตัวอย่างการสอนเชิงสถิติ เหตุผลที่ให้ความสนใจ: ฉันสนใจเป็นพิเศษในหัวข้อที่นำไปใช้ในบทความในวารสารและวิทยานิพนธ์เพราะในสถานการณ์เหล่านี้มีประเด็นเพิ่มเติมหลายประการเกิดขึ้น: ปัญหาที่เกิดขึ้นเกี่ยวข้องกับการทำความสะอาดและการประมวลผลข้อมูล ปัญหาที่เกิดขึ้นเกี่ยวข้องกับการจัดการข้อมูลเมตา วารสารและวิทยานิพนธ์มักจะมีความคาดหวังของคู่มือสไตล์เกี่ยวกับลักษณะและการจัดรูปแบบของตารางและตัวเลข วารสารและวิทยานิพนธ์จำนวนมากมักจะมีการวิเคราะห์ที่หลากหลายซึ่งทำให้เกิดปัญหาเกี่ยวกับเวิร์กโฟลว์ (เช่นวิธีการวิเคราะห์ลำดับ) และเวลาในการประมวลผล (เช่นปัญหาการวิเคราะห์แคชเป็นต้น) การดูตัวอย่างการทำงานที่สมบูรณ์สามารถให้วัสดุการเรียนการสอนที่ดีสำหรับนักวิจัยที่เริ่มต้นด้วยการวิจัยที่ทำซ้ำได้

8
สร้างตัวแปรสุ่มที่มีความสัมพันธ์ที่กำหนดไว้กับตัวแปรที่มีอยู่
สำหรับการศึกษาการจำลองฉันต้องสร้างตัวแปรสุ่มที่แสดง prefined (ประชากร) ความสัมพันธ์กับตัวแปรที่มีอยู่YYYY ฉันดูในRแพ็คเกจcopulaและCDVineสามารถสร้างการแจกแจงหลายตัวแปรแบบสุ่มด้วยโครงสร้างการพึ่งพาที่กำหนด อย่างไรก็ตามเป็นไปไม่ได้ที่จะแก้ไขหนึ่งในตัวแปรที่เป็นผลลัพธ์ของตัวแปรที่มีอยู่ ความคิดและลิงก์ไปยังฟังก์ชั่นที่มีอยู่นั้นได้รับการชื่นชม! สรุป: คำตอบที่ถูกต้องสองคำขึ้นมาพร้อมกับโซลูชันที่แตกต่าง: R สคริปต์โดย Caracal ซึ่งจะคำนวณตัวแปรสุ่มกับที่แน่นอน (ตัวอย่าง) ความสัมพันธ์กับตัวแปรที่กำหนดไว้ล่วงหน้า R ฟังก์ชั่นฉันพบตัวเองซึ่งจะคำนวณตัวแปรสุ่มที่มีการกำหนดประชากรความสัมพันธ์กับตัวแปรที่กำหนดไว้ล่วงหน้า [@ttnphns 'นอกจากนี้: ฉันใช้เสรีภาพในการขยายชื่อคำถามจากกรณีตัวแปรคงที่เดียวเป็นจำนวนคงที่ของตัวแปรคงที่; เช่นวิธีการสร้างตัวแปรที่มีคอร์เรชั่นที่กำหนดไว้ล่วงหน้าพร้อมกับตัวแปรคงที่บางตัวที่มีอยู่]

3
เราจะกำหนด 'การวิจัยที่ทำซ้ำได้' อย่างไร
ตอนนี้มีคำถามสองสามข้อที่เกิดขึ้นและฉันสงสัยเกี่ยวกับบางสิ่งบางอย่าง ฟิลด์ทั้งหมดย้ายไปที่ "ความสามารถในการทำซ้ำ" โดยมุ่งเน้นไปที่ความพร้อมใช้งานของข้อมูลดั้งเดิมและรหัสที่เป็นปัญหาหรือไม่ ฉันได้รับการสอนอยู่เสมอว่าแกนของความสามารถในการทำซ้ำนั้นไม่จำเป็นอย่างที่ฉันเคยพูดถึงความสามารถในการคลิกเรียกใช้และรับผลลัพธ์เดียวกัน วิธีการดาต้าและรหัสดูเหมือนว่าจะถือว่าข้อมูลนั้นถูกต้อง - ซึ่งไม่มีข้อบกพร่องในการรวบรวมข้อมูลเอง (มักเป็นเท็จในกรณีของการฉ้อโกงทางวิทยาศาสตร์) นอกจากนี้ยังมุ่งเน้นไปที่กลุ่มตัวอย่างเดียวของประชากรเป้าหมายแทนที่จะเป็นความสามารถในการจำลองแบบของการค้นหาตัวอย่างอิสระหลายรายการ เหตุใดจึงมีความสำคัญต่อความสามารถในการวิเคราะห์อีกครั้งแทนที่จะทำซ้ำการศึกษาจากพื้นดินขึ้นมา? บทความที่กล่าวถึงในความคิดเห็นด้านล่างที่มีอยู่ที่นี่

8
ฉันจะให้ผู้คนดูแลข้อมูลได้ดีขึ้นได้อย่างไร
สถานที่ทำงานของฉันมีพนักงานจากหลากหลายสาขาดังนั้นเราจึงสร้างข้อมูลในรูปแบบที่แตกต่างกันมากมาย ดังนั้นแต่ละทีมจึงได้พัฒนาระบบของตัวเองเพื่อเก็บข้อมูล บางคนใช้ฐานข้อมูล Access หรือ SQL บางทีม (กับความสยองขวัญของฉัน) พึ่งพาสเปรดชีต Excel เกือบทั้งหมด บ่อยครั้งที่รูปแบบข้อมูลเปลี่ยนจากโครงการเป็นโครงการ ในบางกรณีเรียกมันว่า 'ระบบ' ใจดีเกินไป ปัญหาที่เกิดขึ้นคือฉันต้องเขียนโค้ดใหม่เพื่อล้างข้อมูลสำหรับทุกโครงการซึ่งมีราคาแพง ผู้คนทำการแก้ไขสเปรดชีตด้วยตนเองทำให้สามารถทำซ้ำได้และตรวจสอบข้อมูลไม่ได้ และยิ่งแย่ลงไปกว่านั้นมีโอกาสที่ข้อมูลจะสูญหายหรือทำให้ข้อมูลไม่ถูกต้อง ฉันได้รับโอกาสในการหารือเกี่ยวกับปัญหาเหล่านี้กับสมาชิกคณะกรรมการของ บริษัท และฉันต้องอธิบายสิ่งที่จะบอกเขา ฉันคิดว่าฉันได้ชักชวนเขาว่าเรามีปัญหาและการได้รับสิทธินี้จะช่วยให้วิทยาศาสตร์ดีขึ้นและประหยัดเงินได้ คำถามคือเราควรจะตั้งเป้าหมายอะไรและเราจะไปที่นั่นได้อย่างไร โดยเฉพาะอย่างยิ่ง: เราควรเก็บข้อมูลอย่างไรในแบบที่ทำให้เราสามารถติดตามได้ตั้งแต่การสร้างไปจนถึงการเผยแพร่ในกระดาษ (ฐานข้อมูลเก็บไว้ในเซิร์ฟเวอร์กลางหรือไม่?) คุณจะทำอย่างไรเกี่ยวกับรูปแบบฐานข้อมูลมาตรฐาน? มีแหล่งข้อมูลที่ดีสำหรับการให้การศึกษาแก่ผู้คนเกี่ยวกับวิธีการดูแลข้อมูลหรือไม่ (ตามกฎทั่วไปนักสุขอนามัยและวิศวกรวัตถุระเบิดไม่ใช่ผู้เชี่ยวชาญด้านข้อมูลดังนั้นควรเลือกเนื้อหาที่ไม่ใช่ด้านเทคนิค)

5
ค่า p ไม่มีประโยชน์และอันตรายต่อการใช้งานหรือไม่?
บทความ " The Odds, อัพเดทอย่างต่อเนื่อง" จาก NY Timesเกิดขึ้นเพื่อดึงดูดความสนใจของฉัน จะสั้นก็กล่าวว่า [สถิติแบบเบย์] พิสูจน์ให้เห็นแล้วว่ามีประโยชน์อย่างยิ่งในการเข้าถึงปัญหาที่ซับซ้อนรวมถึงการค้นหาเช่น Coast Guard ที่ใช้ในปี 2013 เพื่อค้นหาชาวประมงที่ขาดหายไป John Aldridge (แม้ว่าจะยังไม่ถึงตอนนี้ก็ตาม ...... สถิติแบบเบย์กำลังกระเพื่อมผ่านทุกสิ่งตั้งแต่ฟิสิกส์จนถึงการวิจัยมะเร็งนิเวศวิทยาจนถึงจิตวิทยา ... ในบทความนี้ยังมีการวิพากษ์วิจารณ์เกี่ยวกับค่า p ของผู้ถี่ประจำเช่น: ผลลัพธ์มักจะถูกพิจารณาว่า“ มีนัยสำคัญทางสถิติ” ถ้าค่า p น้อยกว่า 5 เปอร์เซ็นต์ แต่มีอันตรายในประเพณีนี้ Andrew Gelman ศาสตราจารย์ด้านสถิติของโคลัมเบียกล่าว แม้ว่านักวิทยาศาสตร์จะทำการคำนวณอย่างถูกต้องเสมอ - และพวกเขาไม่ทำเขาให้เหตุผล - ยอมรับทุกสิ่งด้วยค่า p-value 5 เปอร์เซ็นต์ซึ่งหมายความว่าหนึ่งใน 20 ของผลลัพธ์“ นัยสำคัญทางสถิติ” ไม่มีอะไรเลยนอกจากเสียงรบกวนแบบสุ่ม นอกจากนี้ข้างต้นบางทีกระดาษที่มีชื่อเสียงที่สุดที่วิจารณ์ p-value …

6
วิธีเพิ่มความสามารถในการทำซ้ำในระยะยาวของการวิจัย (โดยเฉพาะการใช้ R และ Sweave)
บริบท: เพื่อตอบคำถามก่อนหน้าเกี่ยวกับการวิจัยที่ทำซ้ำได้Jake เขียน ปัญหาหนึ่งที่เราค้นพบเมื่อสร้าง JASA archive ของเราคือเวอร์ชันและค่าเริ่มต้นของแพ็คเกจ CRAN เปลี่ยนไป ดังนั้นในที่เก็บถาวรนั้นเรายังรวมรุ่นของแพ็คเกจที่เราใช้ ระบบที่ใช้ vignette อาจจะแตกเป็นเสี่ยง ๆ เมื่อคนเปลี่ยนแพ็คเกจของพวกเขา (ไม่แน่ใจว่าจะรวมแพ็คเกจเพิ่มเติมภายในแพ็คเกจที่เป็น Compendium) ได้อย่างไร ในที่สุดฉันสงสัยว่าจะทำอย่างไรเมื่อตัว R เปลี่ยนไป มีวิธีการผลิตพูดว่าเครื่องเสมือนจริงที่สร้างสภาพแวดล้อมการคำนวณทั้งหมดที่ใช้สำหรับกระดาษเช่นที่เครื่องเสมือนไม่ใหญ่หลวงหรือไม่? คำถาม: กลยุทธ์ที่ดีในการสร้างความมั่นใจว่าการวิเคราะห์ข้อมูลที่ทำซ้ำได้นั้นสามารถทำซ้ำได้ในอนาคต (เช่นห้าสิบหรือยี่สิบปีหลังจากการตีพิมพ์)? อะไรคือกลยุทธ์ที่ดีในการเพิ่มความสามารถในการทำซ้ำอย่างต่อเนื่องเมื่อใช้ Sweave และ R ดูเหมือนว่าจะเกี่ยวข้องกับปัญหาของการทำให้มั่นใจว่าโครงการการวิเคราะห์ข้อมูลที่ทำซ้ำได้จะทำงานในเครื่องของผู้อื่นที่มีค่าเริ่มต้นแพ็คเกจที่แตกต่างกันเล็กน้อย ฯลฯ

3
ใครควรติดตาม GitHub เพื่อเรียนรู้เกี่ยวกับแนวปฏิบัติที่ดีที่สุดในการวิเคราะห์ข้อมูล
มันจะเป็นประโยชน์ในการศึกษารหัสการวิเคราะห์ข้อมูลของผู้เชี่ยวชาญ เมื่อไม่นานมานี้ฉันได้อ่านgithubและมีผู้คนจำนวนหนึ่งเปิดเผยรหัสการวิเคราะห์ข้อมูลที่นั่น ซึ่งรวมถึงแพ็คเกจ R สองสามอัน (ซึ่งแน่นอนมีให้โดยตรงจาก CRAN) แต่ยังมีอีกหลายตัวอย่างของการวิจัยที่ทำซ้ำได้โดยเฉพาะการใช้ R ( ดูรายการ R นี้บน GitHub ) ใครคือคนดีที่จะติดตาม GitHub เพื่อเรียนรู้เกี่ยวกับแนวปฏิบัติที่ดีที่สุดในการวิเคราะห์ข้อมูล อีกทางเลือกหนึ่งพวกเขาแบ่งปันรหัสประเภทใดและทำไมจึงมีประโยชน์นี้

2
แนวทางปฏิบัติมาตรฐานในการสร้างชุดข้อมูลสังเคราะห์คืออะไร?
ตามบริบท: เมื่อทำงานกับชุดข้อมูลที่มีขนาดใหญ่มากบางครั้งฉันถูกถามว่าเราสามารถสร้างชุดข้อมูลสังเคราะห์ที่เรา "รู้จัก" ความสัมพันธ์ระหว่างตัวทำนายและตัวแปรตอบสนองหรือความสัมพันธ์ระหว่างตัวทำนาย ในช่วงหลายปีที่ผ่านมาฉันดูเหมือนจะพบชุดข้อมูลสังเคราะห์แบบครั้งเดียวซึ่งดูเหมือนว่าพวกมันถูกปรุงในลักษณะเฉพาะกิจหรือชุดข้อมูลที่มีโครงสร้างมากขึ้นซึ่งดูดีเป็นพิเศษสำหรับวิธีการสร้างแบบจำลองของนักวิจัย ฉันเชื่อว่าฉันกำลังมองหาวิธีมาตรฐานในการสร้างชุดข้อมูลสังเคราะห์ แม้ว่า bootstrap resampling เป็นวิธีการทั่วไปหนึ่งในการสร้างชุดข้อมูลสังเคราะห์ แต่ก็ไม่เป็นไปตามเงื่อนไขที่เรารู้ว่าโครงสร้าง เป็นสำคัญ ยิ่งกว่านั้นการแลกเปลี่ยนตัวอย่าง bootstrap กับผู้อื่นจำเป็นต้องมีการแลกเปลี่ยนข้อมูลมากกว่าวิธีการสร้างข้อมูล ถ้าเราสามารถกระจายพาราเมทริกให้กับข้อมูลหรือหาโมเดลพาราเมทริกที่ใกล้พอแล้วนี่เป็นตัวอย่างหนึ่งที่เราสามารถสร้างชุดข้อมูลสังเคราะห์ มีวิธีอื่นใดอีกบ้าง? ฉันสนใจข้อมูลมิติสูงข้อมูลที่กระจัดกระจายและข้อมูลอนุกรมเวลา สำหรับข้อมูลมิติสูงฉันจะมองหาวิธีที่สามารถสร้างโครงสร้าง (เช่นโครงสร้างความแปรปรวนร่วมแบบจำลองเชิงเส้นต้นไม้เป็นต้น) ที่น่าสนใจ สำหรับข้อมูลอนุกรมเวลาจากการแจกแจงผ่าน FFTs รุ่น AR หรือตัวกรองอื่น ๆ หรือตัวแบบการพยากรณ์อื่น ๆ ดูเหมือนจะเป็นการเริ่มต้น สำหรับข้อมูลที่กระจัดกระจายการสร้างรูปแบบการกระจัดกระจายนั้นมีประโยชน์ ฉันเชื่อว่าสิ่งเหล่านี้เป็นเพียงแค่รอยขีดข่วนบนพื้นผิว - สิ่งเหล่านี้เป็นแบบเรียนรู้ได้ไม่ใช่แบบทางการ มีการอ้างอิงหรือแหล่งข้อมูลสำหรับการสร้างข้อมูลสังเคราะห์ที่ผู้ปฏิบัติงานควรรู้หรือไม่? หมายเหตุ 1: ฉันรู้ว่าคำถามนี้เน้นที่วรรณกรรมว่าจะสร้างข้อมูลได้อย่างไรเช่นตัวแบบอนุกรมเวลา ความแตกต่างที่นี่คือการปฏิบัติโดยเฉพาะอย่างยิ่งเพื่อระบุโครงสร้างที่รู้จัก (คำถามของฉัน) เมื่อเทียบกับความคล้ายคลึงกัน / ความจงรักภักดีต่อชุดข้อมูลที่มีอยู่ ในกรณีของฉันไม่จำเป็นต้องมีความคล้ายคลึงกันมากเท่ากับโครงสร้างที่รู้จักแม้ว่าความคล้ายคลึงกันจะเป็นที่นิยมอย่างมากต่อความแตกต่างกัน ชุดข้อมูลสังเคราะห์ที่แปลกใหม่ซึ่งแบบจำลองแสดงสัญญาเป็นที่ต้องการน้อยกว่าการจำลองที่เหมือนจริง หมายเหตุ 2: รายการ Wikipedia สำหรับข้อมูลสังเคราะห์ชี้ให้เห็นว่าผู้ทรงคุณวุฒิเช่น …

4
ในฐานะผู้ตรวจทานฉันสามารถจัดให้มีการร้องขอข้อมูลและรหัสได้แม้ว่าวารสารจะไม่ได้ทำหรือไม่?
ในฐานะที่เป็นวิทยาศาสตร์จะต้องทำซ้ำโดยความหมายมีการรับรู้เพิ่มขึ้นว่าข้อมูลและรหัสเป็นองค์ประกอบที่สำคัญของ reproduciblity ตามที่กล่าวโดยเยลโต๊ะกลมสำหรับข้อมูลและการแบ่งปันรหัส ในการตรวจสอบต้นฉบับสำหรับวารสารที่ไม่ต้องการข้อมูลและการแชร์รหัสฉันสามารถขอให้มีการใช้ข้อมูลและรหัสได้หรือไม่ ถึงฉันในเวลาที่รีวิว สาธารณะในเวลาที่เผยแพร่ (วารสารสนับสนุนข้อมูลเพิ่มเติม) นอกจากนี้ฉันจะวลีคำขอดังกล่าวได้อย่างไร อัปเดต : แม้ว่าฉันสนใจกรณีทั่วไป แต่เฉพาะกรณีนี้ประกอบด้วยการวิเคราะห์ meta กับข้อมูลที่เผยแพร่ก่อนหน้านี้ทั้งหมดและรหัสเป็นตัวแบบเชิงเส้นง่าย ๆ ใน SAS หมายเหตุข้างเคียงความสามารถในการอนุมานการศึกษาข้าม (เช่นเดียวกับเป้าหมายของการวิเคราะห์อภิมาน) จะได้รับการปรับปรุงอย่างมากหากมีการศึกษาเพิ่มเติมที่ให้ข้อมูลดิบ อัปเดต 2 : ฉันขอข้อมูลและรหัสจากเครื่องมือแก้ไขเพื่อการตรวจทานบรรณาธิการพิจารณาคำขอที่สมเหตุสมผลและฉันได้รับเนื้อหาที่ร้องขอ (เพียงพอ แต่มีชื่อตัวแปรที่เข้ารหัสลับไม่มีข้อมูลเมตาดาต้าและความคิดเห็นแบบอินไลน์เล็กน้อย) ภายในหนึ่งวัน

1
รายงานประสิทธิภาพการทำงานที่ทันสมัยของการใช้เวกเตอร์ย่อหน้าสำหรับการวิเคราะห์ความเชื่อมั่นได้รับการทำซ้ำหรือไม่?
ฉันประทับใจกับผลลัพธ์ใน ICML 2014 กระดาษ "การแจกจ่ายการเป็นตัวแทนของประโยคและเอกสาร " โดย Le และ Mikolov เทคนิคที่พวกเขาอธิบายเรียกว่า "พาหะของย่อหน้า" เรียนรู้การแสดงที่ไม่มีผู้ดูแลของย่อหน้า / เอกสารที่ไม่มีกฎเกณฑ์โดยมีพื้นฐานอยู่บนส่วนขยายของรุ่น word2vec บทความนี้รายงานถึงประสิทธิภาพการวิเคราะห์ความเชื่อมั่นโดยใช้เทคนิคนี้ ฉันหวังว่าจะประเมินเทคนิคนี้กับปัญหาการจำแนกข้อความอื่น ๆ ซึ่งเป็นทางเลือกแทนการแสดงคำแบบถุง อย่างไรก็ตามฉันวิ่งข้ามโพสต์โดยผู้เขียนที่สองในหัวข้อในกลุ่ม word2vec Google ที่ให้ฉันหยุดชั่วคราว: ฉันพยายามทำซ้ำผลลัพธ์ของ Quoc ในช่วงฤดูร้อน ฉันสามารถได้รับอัตราความผิดพลาดในชุดข้อมูล IMDB ประมาณ 9.4% - 10% (ขึ้นอยู่กับว่าการจัดรูปแบบข้อความปกติดีแค่ไหน) อย่างไรก็ตามฉันไม่สามารถเข้าใกล้ทุกสิ่งที่ Quoc รายงานไว้ในกระดาษ (ข้อผิดพลาด 7.4% นั่นเป็นความแตกต่างใหญ่หลวง) ... แน่นอนเรายังถาม Quoc เกี่ยวกับรหัสด้วย เขาสัญญาว่าจะเผยแพร่ แต่ก็ยังไม่มีอะไรเกิดขึ้น ... ฉันเริ่มคิดว่าผลลัพธ์ของ Quoc นั้นไม่สามารถทำซ้ำได้จริง …

1
วิธีสร้างตารางสีด้วย Sweave และ xtable [ปิด]
ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามดังนั้นจึงเป็นหัวข้อสำหรับการตรวจสอบข้าม ปิดให้บริการใน2 ปีที่ผ่านมา ฉันใช้ Sweave และxtableเพื่อสร้างรายงาน ฉันต้องการเพิ่มสีลงบนโต๊ะ แต่ฉันไม่สามารถหาวิธีสร้างตารางสีด้วย xtable ได้ มีตัวเลือกอื่น ๆ อีกไหม?

1
จะเป็นอย่างไรถ้าความแม่นยำในการตรวจสอบความถูกต้องสูง แต่ความแม่นยำในการทดสอบต่ำในการวิจัย
ฉันมีคำถามเฉพาะเกี่ยวกับการตรวจสอบความถูกต้องในการวิจัยการเรียนรู้ของเครื่อง ดังที่เราทราบระบอบการเรียนรู้ของเครื่องขอให้นักวิจัยฝึกแบบจำลองของพวกเขาในข้อมูลการฝึกอบรมเลือกจากแบบจำลองผู้สมัครตามชุดการตรวจสอบและรายงานความแม่นยำในชุดการทดสอบ ในการศึกษาที่เข้มงวดมากชุดทดสอบสามารถใช้ได้เพียงครั้งเดียว อย่างไรก็ตามมันไม่สามารถเป็นสถานการณ์การวิจัยได้เพราะเราต้องปรับปรุงประสิทธิภาพของเราจนกว่าความแม่นยำในการทดสอบจะดีกว่าผลการทดสอบที่ทันสมัยก่อนที่เราจะสามารถเผยแพร่ (หรือแม้แต่ส่ง) กระดาษ ตอนนี้ปัญหามา สมมติว่า 50% เป็นผลลัพธ์ที่ทันสมัยที่สุดและรุ่นของฉันสามารถบรรลุความแม่นยำ 50--51 ซึ่งดีกว่าโดยเฉลี่ย อย่างไรก็ตามความแม่นยำในการตรวจสอบที่ดีที่สุดของฉัน (52%) ให้ความแม่นยำในการทดสอบต่ำมากเช่น 49% จากนั้นฉันต้องรายงาน 49% ว่าเป็นประสิทธิภาพโดยรวมของฉันถ้าฉันไม่สามารถปรับปรุงมาตรฐานการตรวจสอบความถูกต้องซึ่งฉันคิดว่าไม่มีความหวัง สิ่งนี้ช่วยป้องกันฉันจากการศึกษาปัญหา แต่ไม่สำคัญกับเพื่อนของฉันเพราะพวกเขาไม่เห็น ACC 52% ซึ่งฉันคิดว่าเป็นเรื่องผิดปกติ ดังนั้นคนมักจะทำในการวิจัยของพวกเขาได้อย่างไร การตรวจสอบ ps k-fold ไม่ได้ช่วยอะไรเพราะสถานการณ์เดียวกันอาจยังคงเกิดขึ้นได้

3
ตัวเลือกการโฮสต์สำหรับข้อมูลที่เปิดเผยต่อสาธารณะ
ดังนั้นคุณตัดสินใจที่จะสนับสนุนแนวคิดของการวิจัยที่ทำซ้ำได้และต้องการทำให้ข้อมูลของคุณพร้อมใช้งานออนไลน์เพื่อให้ผู้คนเห็นและใช้งาน คำถามคือคุณโฮสต์ที่ไหน ความชอบครั้งแรกของฉันคือแน่นอนพื้นที่เว็บส่วนตัวที่ฉันมีบนเซิร์ฟเวอร์มหาวิทยาลัย แต่สิ่งเหล่านี้ไม่ได้มีอยู่จริง - ถ้าฉันออกไปไดเรกทอรีจะยังคงเปิดอยู่ในช่วงเวลาสั้น ๆ ก่อนที่มันจะหายไป แทบจะไม่มีการตั้งค่าที่เหมาะสมสำหรับการทำให้ข้อมูลพร้อมใช้งานสำหรับผู้ใช้และทำงานในอนาคต คุณใช้สิ่งที่ชอบ GitHub หรือ SourceForge? หรือบริการอื่น ๆ ? ข้อมูลที่เป็นปัญหาคือผลลัพธ์ของการจำลองที่น่าสนใจแคบมาก - ดังนั้นฉันไม่คิดว่าจะมีบางอย่างเช่น InfoChimps หรือที่เก็บข้อมูลสาธารณะอีกแห่งหนึ่งที่เหมาะสำหรับมัน นี่คือน้อย "คุณสามารถเรียนรู้สิ่งต่าง ๆ ด้วยรหัสนี้!" และอื่น ๆ "คุณสามารถทำซ้ำรูปที่ 3 ในเอกสารนี้"

4
ผลกระทบของการอภิปรายในปัจจุบันที่มีนัยสำคัญทางสถิติ
ในช่วงไม่กี่ปีที่ผ่านมานักวิชาการหลายคนได้ยกปัญหาอันตรายของการทดสอบสมมติฐานทางวิทยาศาสตร์ขนานนามว่า "ระดับความเป็นอิสระของนักวิจัย" ซึ่งหมายความว่านักวิทยาศาสตร์มีทางเลือกมากมายให้ทำในระหว่างการวิเคราะห์ที่มีอคติต่อการค้นหาด้วย p-value <5% ทางเลือกที่คลุมเครือเหล่านี้จะยกตัวอย่างเช่นกรณีที่จะรวมซึ่งในกรณีนี้จะถูกจัดประเภทเป็นค่าผิดปกติวิ่งข้อกำหนดรูปแบบต่าง ๆ นานาจนบางสิ่งบางอย่างที่แสดงให้เห็นขึ้นไม่ได้เผยแพร่ผล null ฯลฯ (กระดาษที่จุดประกายการอภิปรายครั้งนี้ในด้านจิตวิทยาเป็นที่นี่ , ดูบทความ Slate ยอดนิยมและการติดตามการอภิปรายโดย Andrew Gelman ที่นี่และนิตยสาร Time ยังได้สัมผัสกับหัวข้อนี้ที่นี่ ) ก่อนหนึ่งคำถามเพื่อความกระจ่าง: นิตยสารThe Timeเขียน "พลัง 0.8 หมายถึงว่ามีการทดสอบสมมติฐานจริงสิบข้อมีเพียงสองข้อเท่านั้นที่จะถูกตัดออกเพราะผลกระทบของข้อมูลเหล่านั้นจะไม่ถูกหยิบขึ้นมาในข้อมูล" ผมไม่แน่ใจว่าวิธีการที่เหมาะกับนี้ในความหมายของอำนาจหน้าที่ที่ผมพบในตำราเรียนซึ่งเป็นน่าจะเป็นของการปฏิเสธโมฆะเป็นหน้าที่ของพารามิเตอร์\ด้วยต่างกันเรามีพลังที่แตกต่างกันดังนั้นฉันจึงไม่เข้าใจคำพูดที่กล่าวมาข้างต้นθθθ\thetaθθ\theta ประการที่สองความหมายของการวิจัย: ในสาขารัฐศาสตร์ / เศรษฐศาสตร์ของฉันนักวิชาการใช้ข้อมูลทั้งหมดของประเทศในปีเดียว ดังนั้นเราไม่ควรกังวลกับตัวอย่างที่เล่นซอนี่? ปัญหาของการรันการทดสอบหลายครั้ง แต่การรายงานเพียงแบบเดียวสามารถแก้ไขได้โดยข้อเท็จจริงที่ว่าคนอื่นในสาขาวิชาจะทดสอบกระดาษของคุณอีกครั้งและทำให้คุณผิดหวังทันทีที่ไม่ได้ผลลัพธ์ที่ดี? การคาดการณ์นี้นักวิชาการในสาขาของฉันมีแนวโน้มที่จะรวมrobustness checkส่วนที่พวกเขาแสดงให้เห็นว่าสเปคหลายรุ่นไม่ได้เปลี่ยนผล เพียงพอหรือไม่ Andrew Gelman และคนอื่น ๆ ยกประเด็นที่ไม่ว่าข้อมูลจะเป็นไปได้เสมอในการค้นหาและเผยแพร่ "รูปแบบ" บางอย่างที่ไม่ได้มีอยู่จริง แต่สิ่งนี้ไม่ควรกังวลเนื่องจากข้อเท็จจริงที่ว่า "รูปแบบ" เชิงประจักษ์จะต้องได้รับการสนับสนุนจากทฤษฎีและทฤษฎีการแข่งขันภายในวินัยจะมีส่วนร่วมในการอภิปราย / การแข่งขันเพื่อค้นหาว่าค่ายใดสามารถหา …
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.