ฉันจะแน่ใจได้อย่างไรว่าผลลัพธ์ของการจำลองและผลลัพธ์ในเอกสารของฉันตรงกันเสมอ?

ในหนึ่งในเอกสารของฉันฉันแสดงรายการผลลัพธ์ตัวเลขนอกเหนือจากตัวเลขบางอย่าง สิ่งที่ฉันต้องการจะทำคือตรวจสอบให้แน่ใจว่าผลลัพธ์ตัวเลขในเอกสารของฉันเห็นด้วยเสมอกับรหัส ตอนนี้ฉันเพิ่งคัดลอกผลลัพธ์เชิงตัวเลขจากผลลัพธ์การจำลองของฉันลงในกระดาษซึ่งง่ายมากและใช้เทคโนโลยีต่ำ แต่มีข้อผิดพลาดง่ายเพราะฉันสามารถคัดลอกผลลัพธ์ผิดพลาดหรือลืมซิงค์ผลลัพธ์กระดาษด้วย รหัสออก

มีวิธีที่ดีในการเก็บผลลัพธ์ตัวเลขที่ฉันอ้างอิงในเอกสารของฉันให้สอดคล้องกับผลลัพธ์ที่สร้างโดยรหัสของฉันหรือไม่ (ที่นี่ฉันคิดว่าการใช้งานโค้ดนั้นทำได้ง่ายและใช้งานได้จริงทุกครั้งที่ฉันต้องการอัพเดทรายงาน) ผลลัพธ์เชิงตัวเลขเหล่านี้ไม่จำเป็นที่จะต้องยืมตัวไปเป็นแบบตาราง บางครั้งฉันมีตารางในต้นฉบับ แต่มากกว่าปกติผมได้พารามิเตอร์จำลองระบุว่าเป็นตัวเลขในสมการ ตัวอย่างจะเป็นสิ่งที่ชอบ:

โดยที่ฉันต้องการแทนที่องค์ประกอบของเงื่อนไขเริ่มต้นด้วยพารามิเตอร์จริงที่ฉันใช้ในการจำลองที่ผสานระบบตัวเลขของสมการเชิงอนุพันธ์สามัญ การใช้ตารางสำหรับข้อมูลที่ใช้ครั้งเดียวเช่นตัวอย่างนี้ดูเหมือนว่ามากเกินไปและหมึกมากกว่าที่จำเป็น$\mathbf{y}^{*}$

ฉันคิดว่าตัวเลขเป็นกรณีที่ง่ายกว่า: เมื่อใดก็ตามที่เอกสาร "สร้าง" (จากแหล่ง LaTeX, Markdown, RST ฯลฯ ) ให้เริ่มกระบวนการสร้างโดยการเรียกใช้รหัส อย่างไรก็ตามหากผู้คนมีข้อเสนอแนะที่ดีกว่าสำหรับการรักษาตัวเลขที่สร้างขึ้นโดยแบบจำลองของฉันในการซิงค์กับกระดาษของฉันฉันชอบที่จะได้ยินพวกเขา

ในฐานะที่เป็นความคิดเห็นบางส่วนได้แนะนำวิธีการนี้ได้รับการพัฒนาในชุมชนการวิจัยโดยการสร้างและเมื่อเร็วSweave ๆ knitrเห็นได้ชัดว่าวิธีการนี้มีข้อเสียของการเป็นภาษาเฉพาะในขณะนี้ แต่ข้อดีที่ใช้เป็นประจำในเอกสารวิชาการ

การใช้ Sweave ในสื่อสิ่งพิมพ์จริง

• วารสารชีวสถิติกระตุ้นให้เกิดการส่งเหล่านี้และสถานที่จดหมาย kitemark "R" ในเอกสารทางวิชาการที่แก้ไข reproduciblity ได้รับสามารถที่จะเรียกใช้รหัสและข้อมูลและได้รับผลเหล่านี้
• โดยพื้นฐานแล้วสิ่งพิมพ์ทั้งหมดในR-Journalนั้นสร้างจาก Sweave

แน่นอนว่าโดยทั่วไปผู้ใช้ Sweave / knitr จะส่งผลลัพธ์สุดท้ายไปยังวารสารส่วนใหญ่ด้วยความมั่นใจส่วนตัวว่าวิธีการนี้จะให้ผลลัพธ์ที่แท้จริง Sweave เช่นเดียวกันมักจะใช้ในการสร้างสไลด์สำหรับการพูดคุยอย่างมืออาชีพเป็นต้น

คุณสมบัติที่มีประโยชน์

เพื่อให้มีประโยชน์ในทางปฏิบัติระบบดังกล่าวควรมีคุณสมบัติบางอย่าง ด้วยจำนวนผู้ใช้ที่สำคัญจำนวนมากเหล่านี้ได้รับการพัฒนามาknitrอย่างดี ไฮไลท์บางประการ:

• แคช การเขียนในรูปแบบเช่นมาร์กดาวน์หรือลาเท็กซ์ที่ต้องรวบรวมเพื่อดูผลลัพธ์ทำให้สิ่งนี้รวมถึงโค้ดที่เป็นไปไม่ได้เมื่อผลลัพธ์ไม่สามารถแคชได้ การแคชอย่างชาญฉลาดknitrทำให้การดีบักโค้ดเข้มข้นง่ายกว่าทำงานอย่างแท้จริงRเนื่องจากไม่จำเป็นต้องเรียกใช้ชิ้นส่วนที่ประสบความสำเร็จอีกครั้ง

• แสดงรหัสสลับ ในสิ่งพิมพ์ที่เป็นทางการเราอาจไม่ต้องการให้รหัสอ้างอิงใด ๆ ปรากฏบนผลลัพธ์ ในขณะเดียวกันก็มักจะมีประโยชน์ที่จะแสดงรหัส (เน้นรูปแบบทางไวยากรณ์) ที่สร้างผลลัพธ์ในรูปแบบเอาต์พุตเมื่อคุณต้องการให้ผู้อ่านเห็นสิ่งที่คุณกำลังพิมพ์

• ชุมชน. บางทีข้อได้เปรียบที่น่าสนใจที่สุดของวิธีการนี้กับโซลูชัน homebrewed คือจำนวนคนที่คุ้นเคยกับแบบจำลองและพยายามปรับปรุง

• ตัวอย่างที่ดีของคุณสมบัติอื่น ๆ สามารถพบได้ในการสาธิตหน้าเว็บ knitrรวมถึงเครื่องมือสำหรับ "การเผยแพร่ที่มีน้ำหนักเบา" หรือการแบ่งปันบนเว็บ คุณสมบัติหลายอย่างเหล่านี้ช่วยให้วิธีการนี้เข้ากันได้กับเวิร์กโฟลว์ทั่วไปของคนมากกว่าสิ่งที่ต้องทำเมื่อเขียนต้นฉบับเท่านั้น

เชิงอรรถประวัติ

ในขณะที่หยั่งรากลึกในนูของ "ความรู้การเขียนโปรแกรม" เป็นชื่อที่แสดงให้เห็นความสำคัญแตกต่างกันมากเช่นการเขียนโปรแกรมความรู้มุ่งเน้นไปที่การเชื่อมต่อรหัสซอฟต์แวร์และเอกสาร (ใน R ชุมชนที่บทบาทเล่นโดยRoxygenซึ่งร่องรอยของรากจะเป็นสาขาที่แตกต่างกันของ "แผนผังการเขียนโปรแกรมเชิงความรู้")

ไปไกลกว่า

ในหลักการเราอาจขอเพิ่มเติมจากเอกสารแบบไดนามิกเช่นความสามารถของผู้อ่านในการเปลี่ยนอินพุตและดูผลลัพธ์โดยไม่ต้องแก้ไขและคอมไพล์เอกสารทั้งหมดตัวอย่างเช่นการใช้แพลตฟอร์มออนไลน์เชิงโต้ตอบ XDynDocsอาจเป็นขั้นตอนในทิศทางนี้

แนวทางอื่น ๆ

• อาจต้องการจับตาดูdexy.it
• ในแนวทางที่แตกต่างกันเล็กน้อย: รหัสโฮสต์เอกสารทางเศรษฐศาสตร์จำนวนมากขึ้นที่เกี่ยวข้องกับสิ่งตีพิมพ์บนhttp://www.runmycode.org/ซึ่งจะทำการวิเคราะห์บนคลาวด์อีกครั้งและอนุญาตพารามิเตอร์อินพุตที่กำหนดเองหรือข้อมูลอินพุตที่กำหนดเอง

สิ่งที่คุณจะขอเป็นความท้าทายที่ยิ่งใหญ่ Elsivier ของ"ปฏิบัติการกระดาษ" ในขณะที่มีการพยายามหลายวิธี แต่ก็ไม่มีใครที่น่าสนใจเท่าที่ผู้เขียนอาจแนะนำ นี่คือตัวอย่างของเทคนิคที่ใช้

มาดากัสการ์โครงการใช้แนวทางของคุณในสคริปต์ทำให้มีการจำลองที่ทำงานที่ผลิตตัวเลขและกระดาษพร้อมกัน

IPython Notebookจัดเตรียมเอกสารที่สามารถใช้งานได้เมื่อคุณอ่านและสร้างตัวเลขตามเนื้อหาในใจของคุณ (ฉันเคยเห็นปลั๊กอินคำ Mathematica และโซลูชั่นอื่น ๆ มากมายที่ใช้ในแบบเดียวกัน)

VisTrailsใช้แนวทางสถาปัตยกรรมที่มุ่งเน้นบริการและให้ผู้จัดการ "สุขุม" หรือ "เวิร์กโฟลว์" โดยทั่วไปคุณลงทะเบียน hooks เป็นรหัสจากนั้นออกแบบเวิร์กโฟลว์หรือการทดลองที่สร้างงานของคุณใหม่ มันถูกใช้กับรหัสหลายประเภทแม้กระทั่งกลุ่ม HPC ด้วยวิธีนี้คุณจะมีวิธีในการเล่นซ้ำการทดสอบ

มีโซลูชั่นประเภทเหล่านี้อยู่มากมาย แต่นั่นคือสามสิ่งที่ฉันประทับใจ มันเป็นปัญหาที่ยากและเป็นสิ่งที่ฉันเชื่อว่าเราไม่ได้พูดถึง เราไม่สามารถทำให้คนปล่อยรหัสด้วยเอกสารได้เราจะคาดหวังให้พวกเขาทำซ้ำผลลัพธ์ = P ได้อย่างไร

ฉันไม่ได้ประสบความสำเร็จในการใช้วิธีแก้ไขปัญหาของคนอื่นในการแก้ไขปัญหานี้ ฉันมักจะต้องการสิ่งที่เรียบง่ายที่เหมาะกับฉันและทำงานให้เสร็จ ด้วยเหตุนี้ฉันมักจะพยายามเขียนสคริปต์ python หนึ่งตัวซึ่งรับผิดชอบการรันผลลัพธ์ทั้งหมดแยกวิเคราะห์เอาต์พุตรวมถึงสร้างตัวเลข / ตาราง

ฉันเขียนรหัสเพื่อสร้างดาต้าไทล์ซึ่งมีผลลัพธ์ในรูปแบบข้อความบางอย่าง คุณสามารถหลีกเลี่ยงการทำซ้ำผลลัพธ์เหล่านี้ในสคริปต์ของคุณโดยการทดสอบครั้งแรกสำหรับการมีอยู่ของไฟล์ที่ส่งออก (ในหลามใช้ os.path.isfile () ตัวอย่างเช่น) หากคุณต้องการรันผลลัพธ์อีกครั้งเพียงลบ datafiles หาก datafiles มีอยู่ฉันจะเรียกใช้ parser ของไฟล์เหล่านี้ สำหรับสิ่งนี้โมดูลไพ ธ อนสำหรับนิพจน์ทั่วไปมีประโยชน์มาก (อีกครั้ง)

จากผลลัพธ์ที่แยกวิเคราะห์แล้วฉันจะสร้างรูปหรือตาราง สำหรับตารางในลาเท็กซ์คุณสามารถเขียนรหัสเพื่อสร้างตารางเป็นไฟล์แยกต่างหาก (ฉันใช้นามสกุล. tbl) จากนั้นใส่มันเข้าไปในไฟล์ลาเท็กซ์ของคุณ พวกเขาสำคัญสำหรับฉันคือการใช้สคริปต์ 1 หลาม หากฉันมีจำนวนมากฉันก็สงสัยในภายหลังว่าอันไหนเป็นแบบไหนและพวกเขาทำอะไร หากคำอธิบายนี้ไม่ชัดเจนฉันสามารถส่งตัวอย่างให้คุณได้

ที่สำคัญยิ่งกว่าคือในความคิดของฉันคือการทำให้แน่ใจว่าคุณสามารถหาวิธีสร้างผลลัพธ์ทั้งหมดของคุณใหม่ตั้งแต่เริ่มต้นในเดือนหรือปี (ตัวอย่างเช่นเมื่อผู้ตัดสินขอให้คุณเพิ่มหรือแก้ไขบางสิ่ง) เพื่อจุดประสงค์นั้นสิ่งที่ฉันทำคือการรวมไฟล์ข้อความที่มีคำแนะนำอย่างละเอียดเกี่ยวกับวิธีการสร้างผลลัพธ์ทั้งหมด เป็นการดีที่สุดถ้าคุณทดสอบสิ่งเหล่านี้โดยให้คนอื่น (เช่นผู้เขียนร่วม) ลองพวกเขา ฉันขอแนะนำให้คุณให้คำแนะนำเหล่านี้ (และรหัสทั้งหมดของคุณ) ให้กับผู้ตัดสินและผู้อ่าน

นี่คือตัวอย่าง (เตรียมโดย Aron Ahmadia ผู้เขียนร่วมของฉัน)

โหมดจุดสุดยอดของ Emacs เมื่อใช้ร่วมกับ Babel ทำให้ได้ผลสำเร็จ Babel สามารถรันโค้ดตัวอย่างจากการเขียนโปรแกรมและภาษาสคริปต์ต่างๆเช่นสามารถเปิดไฟล์ที่มีข้อมูลการจำลองและวางลงในตารางในโหมด orgmode ซึ่งสามารถส่งออกไปยัง LaTeX (และรูปแบบอื่น ๆ อีกมากมาย) มันใช้เวลาสักครู่ในการทำความคุ้นเคยกับคอมโบหลักทั้งหมดใน orgmode แต่เมื่อมันทำงานทุกอย่างจะเป็นไปโดยอัตโนมัติ

หากการเรียกใช้รหัสทั้งหมดของคุณถูกคุณอาจทำสิ่งที่มีเทคโนโลยีต่ำดังต่อไปนี้:

คุณสามารถเทมเพลตเอกสารของคุณด้วยสตริงที่จัดรูปแบบเพื่อให้พวกเขามีลักษณะเช่นนี้

"we observed a %(fractional_improvement)s increase in ..."

มีสคริปต์ไพ ธ อนที่มีลักษณะเช่นนี้

results = {"alpha"                  : run_alpha_computation(...),
           "fractional_improvement" : run_fi_computation(...), 
           ...}

แล้วทำอะไรแบบนี้

for fn in filenames:
    file = open(fn);      s = file.read();       file.close()
    file = open(fn, 'w'); file.write(s%results); file.close()

จากนั้นคุณสามารถสรุปสิ่งนี้ใน Makefile

หากคุณใช้ LaTeX โซลูชันที่ใช้เทคโนโลยีขั้นต่ำก็คือให้โค้ดของคุณคายไฟล์ (หรือใช้สคริปต์เพื่อกรองข้อมูลจากโค้ดของคุณ) ที่บรรจุบรรทัดทั้งหมดดังนี้:

\newcommand{\myresults1}{<value>}

จากนั้นคุณสามารถใช้\inputคำสั่งเพื่อเพิ่มไฟล์นั้นลงในเอกสารของคุณและใช้คำสั่งที่กำหนดเพื่อวางค่า

ฉันทำงานให้เอลส์เวียร์ บริษัท ของฉันเริ่มใช้งานเฟรมเวิร์ก Collage (พัฒนาขึ้นเพื่อตอบสนองต่อความท้าทายของกระดาษที่เรียกใช้งานได้) ในวารสารฉบับนี้เพื่อให้ผู้เขียนสามารถเผยแพร่โค้ดที่สามารถใช้งานได้กับบทความของพวกเขา คุณลักษณะนี้ช่วยให้ผู้อ่านทำซ้ำผลลัพธ์ที่รายงานในบทความได้ง่ายขึ้นและนำเนื้อหาที่เผยแพร่ไปใช้ซ้ำเพื่อการวิจัยของตนเอง Collage รองรับซอฟต์แวร์โอเพนซอร์ซและกรรมสิทธิ์มากมาย ข้อมูลเพิ่มเติมสามารถพบได้ในวิดีโอที่ให้ข้อมูลที่นี่และในCollage การเขียนเว็บไซต์สิ่งแวดล้อม