อิมเมจ VM สำหรับโครงการวิทยาศาสตร์ข้อมูล


24

เนื่องจากมีเครื่องมือมากมายสำหรับงานด้าน data data และมันยุ่งยากในการติดตั้งทุกอย่างและสร้างระบบที่สมบูรณ์แบบ

มีอิมเมจ Linux / Mac OS พร้อม Python, R และเครื่องมือวิทยาศาสตร์ข้อมูลโอเพ่นซอร์สอื่น ๆ ที่ติดตั้งและพร้อมให้คนใช้งานได้ทันทีหรือไม่? Ubuntu หรือระบบปฏิบัติการน้ำหนักเบาที่มี Python, R (รวมถึง IDEs) เวอร์ชันล่าสุดและเครื่องมือสร้างภาพข้อมูลแบบโอเพนซอร์สอื่น ๆ ที่ติดตั้งจะเหมาะสมที่สุด ฉันไม่เจอสิ่งใดในการค้นหาอย่างรวดเร็วบน Google

โปรดแจ้งให้เราทราบหากมีบางคนหรือคนที่คุณสร้างขึ้นมาเพื่อตัวเอง? ฉันคิดว่ามหาวิทยาลัยบางแห่งอาจมีภาพ VM ของตัวเอง กรุณาแบ่งปันลิงค์ดังกล่าว


แม้ว่าคำถามนี้อาจถูกมองว่าเป็นแนวเขตแดนฉันคิดว่ามันเป็นคำถามที่ดีสำหรับเว็บไซต์ IMHO
Sean Owen

3
นอกเหนือจากความเห็นที่ยอดเยี่ยมแล้วยังมีโพสต์บล็อก (ค่อนข้างเก่า) เปรียบเทียบโซลูชันที่แตกต่างกันหลายรายการ: jeroenjanssens.com/2013/12/12/7/ …
LauriK

คำตอบ:


13

มีอีกทางเลือกที่นิยมเมื่อเร็ว ๆ นี้คือ: นักเทียบท่า ( https://www.docker.com ) นักเทียบท่าเป็นคอนเทนเนอร์และให้คุณสร้าง / ดูแลสภาพแวดล้อมการทำงานได้อย่างง่ายดายและรวดเร็ว

หวังว่าจะช่วยคุณ


12

หากคุณกำลังมองหา VM กับพวงของเครื่องมือที่ติดตั้งไว้แล้วลองวิทยาศาสตร์ Toolbox


โครงการที่น่าสนใจ (+1) ขอบคุณสำหรับการแชร์! มันอาจจะง่ายกว่าการใช้งานมากกว่าที่จะเข้าใจว่าทำไม Docker ไม่ต้องการทำงานบนแล็ปท็อป Win 7 ของฉัน (ดูด้านบน) อย่างไรก็ตามอาจเป็นความคิดที่ดีที่จะเรียนรู้นักเทียบท่าโดยพิจารณาจากแนวโน้มล่าสุด
Aleksandr Blekh

ข้อมูลที่ดี เมื่อเปรียบเทียบกับเครื่องมือ vm ต้องใช้เวลาในการทำความเข้าใจวิธีการทำงานของนักเทียบท่า หากคุณคุ้นเคยกับ vm อยู่แล้วคุณควรใช้กล่องเครื่องมือนี้ ขอบคุณสำหรับการแชร์.
fansia

ขอบคุณสำหรับการแชร์. มันน่าสนใจอย่างแน่นอน แต่ฉันไม่เห็นว่าใครบางคนสามารถใช้งานได้โดยไม่ต้องมีส่วนต่อประสานกราฟิก ฉันต้องการ R-studio และ PyCharm สำหรับ Python (มีโน้ตบุ๊ก iPython อยู่) ฉันจะต้องเล่นกับบิตเพื่อทำความเข้าใจอย่างสมบูรณ์
JeanVuda

1
@AleksandrBlekh ผมสามารถที่จะได้รับในที่สุดนักเทียบท่าในการทำงานบน Windows 7 เครื่องของฉันโดย regenerating ใบรับรองdocker-machine regenerate-certsฉันหวังว่าจะช่วย :)
RK

@RK: ขอบคุณที่แจ้งให้เราทราบ ฉันจะให้มันลองเมื่อฉันจะได้รับโอกาส (อาจใช้เวลาสักครู่เนื่องจากมีบางสิ่งที่สำคัญกว่าที่รอการดูแล)
Aleksandr Blekh

8

ในขณะที่ภาพนักเทียบท่าตอนนี้ทันสมัยมากขึ้นฉันพบเทคโนโลยีDocker ที่ไม่เป็นมิตรกับผู้ใช้แม้แต่กับผู้ใช้ขั้นสูง หากคุณตกลงกับการใช้อิมเมจ VM ที่ไม่ใช่ในเครื่องและสามารถใช้Amazon Web Services (AWS) EC2ให้พิจารณาอิมเมจที่เน้น R สำหรับโครงการวิทยาศาสตร์ข้อมูลซึ่ง Louis Louis สร้างไว้ล่วงหน้า รูปภาพประกอบด้วยล่าสุดมากถ้าไม่ใช่Ubuntu LTS , RและRStudio Server เวอร์ชันล่าสุด คุณสามารถเข้าถึงได้ที่นี่

นอกจากส่วนประกอบหลักที่ฉันได้ระบุไว้ข้างต้นแล้วรูปภาพยังมีเครื่องมือวิทยาศาสตร์ข้อมูลที่มีประโยชน์อีกมากมาย ตัวอย่างเช่นรูปภาพรองรับ LaTeX, ODBC, OpenGL, Git, ไลบรารีตัวเลขที่ปรับให้เหมาะสมและอื่น ๆ


ขอบคุณมากที่พูดถึงตัวเลือกนี้ ฉันจะลองทำดู อย่างไรก็ตามฉันต้องการภาพที่เหมือนกับ AMI นี้ แต่สามารถเรียกใช้ด้วย VirtualBox บนแล็ปท็อปของฉัน
JeanVuda

ฉันดูการสอนเกี่ยวกับ Docker เมื่อเร็ว ๆ นี้ทดสอบและพบว่าเข้าใจง่าย ส่วนใดที่คุณพบว่าไม่เป็นมิตรต่อผู้ใช้
Robert Smith

@JeanVids: คุณยินดีมาก ฉันเข้าใจความต้องการของคุณที่จะมี VM ท้องถิ่น - นั่นคือเหตุผลที่ฉันได้ลองนักเทียบท่าบนคอมพิวเตอร์ของฉัน ฉันจะแจ้งให้คุณทราบหากฉันพบอิมเมจ VirtualBox VM ที่เน้นด้านวิทยาศาสตร์ข้อมูล (หวังว่าจะใช้ R-based)
Aleksandr Blekh

1
@RobertSmith: ฉันเข้าใจ บางทีปัญหาก็คือว่าฉันกำลังพยายามติดตั้งบนเครื่อง Windows ของฉัน อย่างไรก็ตามฉันจะลองอีกครั้งในภายหลัง ขอบคุณสำหรับความคิดเห็นของคุณ
Aleksandr Blekh

1
@AleksandrBlekh ใช่ว่าอาจเป็นปัญหาหลัก น่าเสียดายที่มีปัญหามากมายเมื่อติดตั้งสิ่งนี้ใน Windows
Robert Smith


5

วันนี้ฉันใช้พื้นที่เก็บข้อมูลนี้จากhttps://github.com/sequenceiq/docker-sparkและสร้างด้วยนักเทียบท่า มันเป็นตัวสร้างภาพนักเทียบท่าที่สร้างจากภาพฮาโตบูของเจ้าของคนเดียวกัน ถ้าคุณใช้ spark มันมี api python ชื่อ pyspark http://spark.apache.org/docs/latest/api/python/

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.