Excel เป็นโต๊ะทำงานสถิติ

ดูเหมือนว่าผู้คนจำนวนมาก (รวมถึงฉัน) ต้องการทำการวิเคราะห์ข้อมูลเชิงสำรวจใน Excel ข้อ จำกัด บางประการเช่นจำนวนแถวที่อนุญาตในสเปรดชีตเป็นความเจ็บปวด แต่ในกรณีส่วนใหญ่ไม่สามารถใช้ Excel เพื่อเล่นข้อมูลได้

อย่างไรก็ตามบทความของ McCullough และ Heiserนั้นกรีดร้องว่าคุณจะได้รับผลที่ผิด - และอาจไหม้อยู่ในนรกได้เช่นกัน - ถ้าคุณพยายามใช้ Excel

กระดาษนี้ถูกต้องหรือมันลำเอียง? ผู้เขียนทำเสียงเหมือนพวกเขาเกลียดชัง Microsoft

ใช้เครื่องมือที่เหมาะสมสำหรับงานที่ถูกต้องและใช้ประโยชน์จากจุดแข็งของเครื่องมือที่คุณคุ้นเคย

ในกรณีของ Excel มีปัญหาสำคัญบางประการ:

• โปรดอย่าใช้สเปรดชีตเพื่อจัดการข้อมูลแม้ว่าข้อมูลของคุณจะพอดี คุณแค่ถามหาปัญหา แทบไม่มีการป้องกันข้อผิดพลาดในการพิมพ์การผสมข้อมูลการตัดทอนค่าข้อมูลเป็นต้น

• ฟังก์ชันทางสถิติหลายอย่างถูกทำลาย การกระจายตัว t เป็นหนึ่งในนั้น

• กราฟิกเริ่มต้นแย่มาก

• มันขาดกราฟิกกราฟิกพื้นฐานบางอย่างโดยเฉพาะอย่างยิ่ง boxplots และฮิสโทแกรม

• ตัวสร้างตัวเลขสุ่มเป็นเรื่องตลก (แต่ก็ยังมีประสิทธิภาพสำหรับวัตถุประสงค์ทางการศึกษา)

• หลีกเลี่ยงฟังก์ชั่นระดับสูงและส่วนเพิ่มเติม พวกเขากำลัง c ** p แต่นี่เป็นเพียงหลักการทั่วไปของการคำนวณที่ปลอดภัย: หากคุณไม่แน่ใจว่าฟังก์ชันกำลังทำอะไรอยู่อย่าใช้มัน ติดกับวัตถุระดับต่ำ (ซึ่งรวมถึงฟังก์ชันเลขคณิต, อันดับ, exp, ln, ฟังก์ชันตรีโกณมิติและ - ภายในขอบเขต - ฟังก์ชันการแจกแจงปกติ) อย่าใช้ Add-in ที่สร้างกราฟิก: มันจะแย่มาก (NB: มันตายง่ายที่จะสร้างแปลงความน่าจะเป็นของคุณเองตั้งแต่เริ่มต้นพวกมันจะถูกต้องและปรับแต่งได้สูง)

แม้ว่าในความโปรดปรานของมันมีดังต่อไปนี้:

• การคำนวณเชิงตัวเลขขั้นพื้นฐานมีความแม่นยำเท่ากับความแม่นยำสองเท่า พวกมันมีสิ่งที่มีประโยชน์บางอย่างเช่น log gamma

• มันค่อนข้างง่ายที่จะหุ้มตัวควบคุมรอบกล่องอินพุตในสเปรดชีตทำให้สามารถสร้างการจำลองแบบไดนามิกได้อย่างง่ายดาย

• หากคุณต้องการแบ่งปันการคำนวณกับคนที่ไม่ใช่เชิงสถิติส่วนใหญ่จะมีความสะดวกสบายกับสเปรดชีตและไม่มีเลยด้วยซอฟต์แวร์สถิติไม่ว่ามันจะถูกแค่ไหนก็ตาม

• ง่ายต่อการเขียนมาโครตัวเลขที่มีประสิทธิภาพรวมถึงการย้ายรหัส Fortran เก่าซึ่งค่อนข้างใกล้เคียงกับ VBA นอกจากนี้การใช้งาน VBA นั้นรวดเร็วพอสมควร (ตัวอย่างเช่นฉันมีรหัสที่คำนวณการแจกแจงที่ไม่ใช่ค่ากลางจากศูนย์และการใช้งานที่แตกต่างกันสามอย่างของการแปลงฟูริเยร์อย่างรวดเร็ว)

• รองรับการจำลองที่มีประสิทธิภาพและโปรแกรมเสริม Monte-Carlo เช่น Crystal Ball และ @Risk (พวกเขาใช้ RNG ของตัวเองโดยวิธี - ฉันตรวจสอบแล้ว)

• ความรวดเร็วในการโต้ตอบโดยตรงกับข้อมูล (ชุดเล็ก ๆ ) นั้นหาตัวจับยาก: มันดีกว่าแพ็คเกจสถิติ Mathematica และอื่น ๆ เมื่อใช้เป็นเครื่องคิดเลขขนาดใหญ่ที่มีพื้นที่เก็บข้อมูลมากมายสเปรดชีตก็จะกลายเป็นของมันเอง

• EDA ที่ดีโดยใช้วิธีการที่ทนทานและทนทานนั้นไม่ใช่เรื่องง่าย แต่หลังจากคุณทำมันครั้งเดียวคุณสามารถตั้งค่าได้อีกครั้งอย่างรวดเร็ว ด้วย Excel คุณสามารถสร้างการคำนวณทั้งหมดได้อย่างมีประสิทธิภาพ(แม้จะมีเพียงบางแปลง) ในหนังสือ EDA ของ Tukey รวมถึงการขัดแบบมัธยฐานของตาราง n-way (แม้ว่าจะค่อนข้างยุ่งยาก)

ในการตอบคำถามเดิมโดยตรงมีอคติในกระดาษนั้น: มันมุ่งเน้นไปที่วัสดุที่ Excel อ่อนแอที่สุดและนักสถิติที่มีความสามารถมีแนวโน้มที่จะใช้น้อยที่สุด แต่นั่นไม่ใช่คำวิจารณ์ของกระดาษเพราะคำเตือนเช่นนี้จำเป็นต้องออกอากาศ

บทความที่น่าสนใจเกี่ยวกับการใช้ Excel ในการตั้งค่า Bioinformatics คือ:

ตัวบ่งชี้ที่ผิดพลาด: ข้อผิดพลาดของชื่อยีนสามารถนำมาใช้โดยไม่ได้ตั้งใจเมื่อใช้ Excel ในชีวสารสนเทศศาสตร์, BMC Bioinformatics, 2004 ( ลิงก์ )

กระดาษสั้นนี้อธิบายถึงปัญหาของการแปลงประเภทอัตโนมัติใน Excel (โดยเฉพาะวันที่และการแปลงจุดลอย) ตัวอย่างเช่นชื่อยีน Sept2 จะถูกแปลงเป็น 2-Sept จริงๆคุณสามารถพบข้อผิดพลาดในฐานข้อมูลออนไลน์

การใช้ Excel เพื่อจัดการข้อมูลขนาดกลางถึงขนาดใหญ่นั้นเป็นอันตราย ข้อผิดพลาดสามารถคืบเข้ามาได้อย่างง่ายดายโดยที่ผู้ใช้ไม่สังเกตเห็น

คำถามว่ากระดาษถูกต้องหรือลำเอียงควรเป็นเรื่องง่ายแค่ไหนคุณก็สามารถทำซ้ำการวิเคราะห์และดูว่าคุณได้คำตอบเดียวกันหรือไม่

McCullough ได้แยก MS Excel ออกจากกันหลายปีแล้วและ MS ก็ไม่เห็นว่าเหมาะสมที่จะแก้ไขข้อผิดพลาดที่เขาชี้ให้เห็นเมื่อหลายปีก่อนในรุ่นก่อนหน้า

ฉันไม่เห็นปัญหาในการเล่นกับข้อมูลใน Excel แต่ตามจริงแล้วฉันจะไม่วิเคราะห์ "จริงจัง" ใน Excel ปัญหาหลักของฉันจะไม่ถูกต้อง (ซึ่งฉันคิดว่าจะไม่ค่อยมีปัญหา) แต่ความเป็นไปไม่ได้ของการติดตามและการทำซ้ำการวิเคราะห์ของฉันในอีกหนึ่งปีต่อมาเมื่อผู้ตรวจสอบหรือหัวหน้าถามว่าทำไมฉันไม่ทำ X - คุณสามารถบันทึก ทำงานและตรอกซอกซอยของคุณในรหัส R แสดงความคิดเห็น แต่ไม่ได้ในทางที่มีความหมายใน Excel

เห็นได้ชัดว่าคำถามเกี่ยวกับการใช้งานสเปรดชีตของ Google ทำให้เกิดความคิดเห็นขัดแย้งกัน (น่าสนใจ) เกี่ยวกับเรื่องนั้นคุณบางคนใช้สเปรดชีตของ Google เอกสารเพื่อดำเนินการและแบ่งปันผลงานทางสถิติกับผู้อื่นหรือไม่?

ฉันเคยนึกถึงกระดาษรุ่นเก่าที่ดูเหมือนจะมองในแง่ร้ายไม่ได้ แต่ก็มีการอ้างถึงเพียงเล็กน้อยในกระดาษที่คุณพูดถึง: Keeling and Pavur, การศึกษาเปรียบเทียบความน่าเชื่อถือของเก้าชุดซอฟต์แวร์เชิงสถิติ (CSDA 2007 51: 3811) แต่ตอนนี้ฉันพบคุณในฮาร์ดไดรฟ์ของฉัน นอกจากนี้ยังมีปัญหาพิเศษในปี 2008 ดูส่วนพิเศษบน Microsoft Excel 2007และเมื่อเร็ว ๆ นี้ในวารสารของซอฟแวร์ทางสถิติในความถูกต้องของตัวเลข Spreadsheets

ฉันคิดว่ามันเป็นการถกเถียงกันมานานและคุณจะพบว่าเอกสาร / ความคิดเห็นต่าง ๆ เกี่ยวกับความน่าเชื่อถือของ Excel สำหรับการคำนวณทางสถิติ ฉันคิดว่ามีการอภิปรายในระดับต่าง ๆ (คุณคิดว่าการวิเคราะห์แบบไหนคุณพึ่งพานักแก้ปัญหาภายในหรือไม่มีคำที่ไม่เป็นเชิงเส้นที่เข้าสู่แบบจำลองที่กำหนดเป็นต้น) และแหล่งที่มาของความไม่ถูกต้องเชิงตัวเลขอาจเกิดขึ้น เป็นผลมาจากข้อผิดพลาดในการคำนวณที่เหมาะสมหรือปัญหาตัวเลือกการออกแบบ สรุปได้ดีในนี้

M. Altman, J. Gill & MP McDonald, ปัญหาเชิงตัวเลขในการคำนวณทางสถิติสำหรับนักวิทยาศาสตร์สังคม , Wiley, 2004

ตอนนี้สำหรับการวิเคราะห์ข้อมูลเชิงสำรวจมีทางเลือกมากมายที่ให้ความสามารถในการสร้างภาพที่เพิ่มขึ้นกราฟิกหลายตัวแปรและไดนามิกเช่นGGobi - แต่ดูหัวข้อที่เกี่ยวข้องในวิกินี้

แต่ชัดเจนจุดแรกที่คุณทำกับปัญหาอื่น (IMO) คือการใช้สเปรดชีตเพื่อจัดการกับชุดข้อมูลขนาดใหญ่: มันเป็นไปไม่ได้เลยที่จะนำเข้าไฟล์ csv ขนาดใหญ่ไปยัง Excel (ฉันกำลังคิดถึงข้อมูลจีโนม แต่มันใช้กับข้อมูลมิติสูงชนิดอื่น) มันไม่ได้ถูกสร้างขึ้นเพื่อจุดประสงค์นั้น

เอกสารและผู้เข้าร่วมอื่น ๆ ชี้ไปที่จุดอ่อนทางเทคนิค Whuber ทำงานได้ดีในการสรุปความแข็งแกร่งของมันอย่างน้อย ฉันเองทำงานทางสถิติอย่างกว้างขวางใน Excel (การทดสอบสมมติฐานการถดถอยเชิงเส้นและหลาย ๆ ) และรักมัน ฉันใช้ Excel 2003 ที่มีความจุ 256 คอลัมน์และ 65,000 แถวซึ่งสามารถรองรับชุดข้อมูลที่ฉันใช้อยู่ประมาณ 100% ฉันเข้าใจว่า Excel 2007 ได้ขยายขีดความสามารถนั้นเป็นจำนวนมาก (แถวเป็นล้าน)

ดังที่ Whuber กล่าวถึง Excel ยังทำหน้าที่เป็นแพลตฟอร์มเริ่มต้นสำหรับซอฟต์แวร์เพิ่มเติมที่มีความโดดเด่นซึ่งมีประสิทธิภาพและใช้งานง่าย ฉันกำลังคิดถึง Crystal Ball และ @Risk สำหรับการจำลองสถานการณ์ของ Monte Carlo XLStat สำหรับสถิติและการวิเคราะห์ข้อมูลที่ทรงพลัง สิ่งที่ดีที่สุดสำหรับการเพิ่มประสิทธิภาพ และรายการจะดำเนินต่อไป มันเหมือนกับว่า Excel นั้นเทียบเท่ากับไอพอดหรือไอแพดที่มีแอพที่น่าเหลือเชื่อแสนล้าน การได้รับ Excel Apps ไม่ถูก แต่สำหรับสิ่งที่พวกเขาสามารถทำได้พวกเขามักจะต่อรองราคาที่ดีงาม

เท่าที่เอกสารเกี่ยวกับแบบจำลองนั้นเป็นเรื่องง่ายมากที่จะแทรกกล่องข้อความที่คุณสามารถเขียนหนังสือเกี่ยวกับระเบียบวิธีแหล่งที่มาและอื่น ๆ ได้ ... คุณสามารถแทรกความคิดเห็นในเซลล์ใดก็ได้ ดังนั้นหากมีสิ่งใดที่ Excel ดีสำหรับการจัดทำเอกสารแบบฝัง

Excel นั้นไม่ดีสำหรับสถิติ แต่มันยอดเยี่ยมสำหรับการวิเคราะห์ข้อมูลเชิงสำรวจ ดูวิดีโอนี้สำหรับเทคนิคที่น่าสนใจโดยเฉพาะ ความสามารถของ Excel ในการทำสีข้อมูลของคุณอย่างมีเงื่อนไขและเพิ่มแผนภูมิแท่งในเซลล์สามารถให้ข้อมูลเชิงลึกที่ดีเกี่ยวกับโครงสร้างของข้อมูลดิบของคุณ

แหล่งอ้างอิงที่ดีอีกแหล่งสำหรับสาเหตุที่คุณอาจไม่ต้องการใช้ excel คือ:

การติดสเปรดชีต

หากคุณพบว่าตัวเองอยู่ในสถานการณ์ที่คุณต้องการจริงๆที่จะใช้ Excel (บางหน่วย accademic ยืนยัน) แล้วฉันขอแนะนำให้ใช้ปลั๊กอิน Rexcel สิ่งนี้ช่วยให้คุณสามารถอินเทอร์เฟซโดยใช้ Excel แต่ใช้โปรแกรม R เป็นเอ็นจินการคำนวณ คุณไม่จำเป็นต้องรู้ R เพื่อใช้มันคุณสามารถใช้เมนูและกล่องโต้ตอบแบบหล่นลง แต่คุณสามารถทำอะไรได้มากกว่านี้ถ้าคุณทำ เนื่องจาก R ทำการคำนวณพวกเขามีความน่าเชื่อถือมากกว่า Excel และคุณมีกราฟและบ็อกซ์พล็อตและกราฟอื่น ๆ ที่ขาดหายไปจาก Excel มันยังทำงานได้กับการอัพเดทเซลล์อัตโนมัติใน excel (แม้ว่ามันจะทำให้สิ่งต่าง ๆ ช้าลงจริงๆถ้าคุณมีการวิเคราะห์ที่ซับซ้อนมากมายที่จะคำนวณใหม่ทุกครั้ง) มันไม่ได้แก้ไขปัญหาทั้งหมดจากหน้าการติดสเปรดชีต แต่เป็นการปรับปรุงที่ดีกว่าการใช้ Excel แบบตรง

Excel นั้นยอดเยี่ยมสำหรับการวิเคราะห์ข้อมูลเชิงสำรวจและการวิเคราะห์การถดถอยเชิงเส้นด้วยปลั๊กอินที่เหมาะสม มีผลิตภัณฑ์เชิงพาณิชย์จำนวนมากแม้ว่าส่วนใหญ่จะปล่อยให้เป็นที่ต้องการในแง่ของคุณภาพของผลผลิตที่ผลิต (พวกเขาไม่ได้ใช้ประโยชน์อย่างเต็มที่จากตัวเลือกการสร้างแผนภูมิของ Excel หรือความสามารถในการเชื่อมโยงกับแอปพลิเคชัน Office อื่น ๆ ) และ โดยทั่วไปแล้วพวกเขาจะไม่ดีเท่าที่ควรสำหรับการสร้างภาพข้อมูลและการนำเสนอ พวกเขายังมีแนวโน้มที่จะไม่สนับสนุนวิธีการสร้างแบบจำลองที่มีระเบียบวินัยซึ่งคุณยังคงมีเอกสารการตรวจสอบที่เป็นเอกสารสำหรับการทำงานของคุณ นี่คือปลั๊กอินฟรี "RegressIt" ซึ่งแก้ไขปัญหาเหล่านี้ได้มากมาย: http://regressit.com. มันให้การสนับสนุนที่ดีมากสำหรับการวิเคราะห์เชิงสำรวจ (รวมถึงความสามารถในการสร้างอนุกรมอนุกรมเวลาแบบขนานและเมทริกซ์การกระจายแบบ scatterplot ที่มีตัวแปรมากถึง 50 ตัว) ทำให้ง่ายต่อการใช้การแปลงข้อมูลเช่น lagging, logging และ differencing เหมาะสมโดยผู้ใช้ที่ไร้เดียงสาของการถดถอย) ให้รายละเอียดของตารางและแผนภูมิเอาต์พุตที่สนับสนุนการปฏิบัติที่ดีที่สุดของการวิเคราะห์ข้อมูลและยังคงรักษาแผ่นงานตรวจสอบบัญชีที่ช่วยอำนวยความสะดวกในการเปรียบเทียบแบบเคียงข้างกัน ถูกติดตั้งในสิ่งที่สั่ง มันเป็นส่วนเสริมที่ดีสำหรับสิ่งอื่น ๆ ที่คุณอาจใช้หากคุณกำลังจัดการกับข้อมูลหลายตัวแปรและอย่างน้อยงานของคุณบางส่วนก็ถูกดำเนินการในสภาพแวดล้อมของ Excel