วิทยาศาสตร์ข้อมูล

มีตารางทั่วไปของเทคนิคทางสถิติที่อธิบายวิธีการวัดด้วยขนาดตัวอย่างและมิติหรือไม่ ตัวอย่างเช่นเพื่อนของฉันบอกฉันเมื่อวันก่อนว่าเวลาการคำนวณของการเรียงลำดับข้อมูลขนาดมิติหนึ่งไปอย่างรวดเร็วเป็น n * log (n) ตัวอย่างเช่นถ้าเราถอยหลัง y เทียบกับ X โดยที่ X เป็นตัวแปร d-dimension มันจะเป็น O (n ^ 2 * d) หรือไม่? มันจะขยายขนาดได้อย่างไรถ้าฉันต้องการหาวิธีแก้ปัญหาด้วยวิธี Gauss-Markov ที่แน่นอนเทียบกับกำลังสองน้อยที่สุดด้วยวิธีนิวตัน? หรือเพียงแค่หาวิธีแก้ปัญหาเทียบกับการใช้การทดสอบนัยสำคัญ? ฉันเดาว่าฉันต้องการแหล่งคำตอบที่ดีกว่า (เช่นกระดาษที่สรุปการปรับขนาดของเทคนิคทางสถิติต่าง ๆ ) มากกว่าคำตอบที่ดีที่นี่ เช่นพูดรายการที่มีการปรับสเกลของการถดถอยหลายครั้งการถดถอยโลจิสติก PCA การถดถอยอันตรายตามสัดส่วนของคอกซ์ K-หมายถึงการจัดกลุ่มเป็นต้น

10 bigdata  statistics  efficiency  scalability 

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัพเดตคำถามเพื่อให้เป็นหัวข้อสำหรับ Data Science Stack Exchange ปิดให้บริการใน5 ปีที่ผ่านมา ฉันต้องการที่จะกลายเป็นนักวิทยาศาสตร์ข้อมูล ฉันศึกษาสถิติประยุกต์(วิทยาศาสตร์คณิตศาสตร์ประกันภัย) ดังนั้นฉันจึงมีภูมิหลังทางสถิติที่ยอดเยี่ยม (การถดถอยกระบวนการสโตแคสติกอนุกรมเวลาการพูดถึงเพียงไม่กี่อย่าง) แต่ตอนนี้ฉันกำลังจะเรียนปริญญาโทด้านวิทยาการคอมพิวเตอร์ในระบบอัจฉริยะ นี่คือแผนการศึกษาของฉัน: การเรียนรู้ของเครื่อง การเรียนรู้ของเครื่องจักรขั้นสูง การขุดข้อมูล ตรรกะคลุมเครือ ระบบการแนะนำ ระบบข้อมูลแบบกระจาย Cloud Computing การค้นพบความรู้ ระบบธุรกิจอัจฉริยะ การดึงข้อมูล การขุดข้อความ ในตอนท้ายด้วยความรู้ทางสถิติและวิทยาศาสตร์คอมพิวเตอร์ทั้งหมดของฉันฉันสามารถเรียกตัวเองว่าเป็นนักวิทยาศาสตร์ด้านข้อมูลได้หรือไม่? หรือฉันผิด ขอบคุณสำหรับคำตอบ

10 machine-learning  statistics  career 

ฉันต้องการใช้ข้อมูลที่ไม่ใช่ปรมาณูเป็นคุณลักษณะสำหรับการคาดการณ์ สมมติว่าฉันมีตารางที่มีคุณสมบัติเหล่านี้: - Column 1: Categorical - House - Column 2: Numerical - 23.22 - Column 3: A Vector - [ 12, 22, 32 ] - Column 4: A Tree - [ [ 2323, 2323 ],[2323, 2323] , [ Boolean, Categorical ] ] - Column 5: A List [ 122, …

10 machine-learning 

ฉันกำลังทำงานกับระบบตรวจจับการฉ้อโกง ในฟิลด์นี้การฉ้อโกงใหม่จะปรากฏขึ้นเป็นประจำเพื่อให้มีการเพิ่มฟีเจอร์ใหม่ในโมเดลอย่างต่อเนื่อง ฉันสงสัยว่าอะไรคือวิธีที่ดีที่สุดในการจัดการกับมัน (จากมุมมองกระบวนการพัฒนา) เพียงแค่เพิ่มคุณสมบัติใหม่ลงในเวกเตอร์ฟีเจอร์และการฝึกอบรมตัวจําแนกใหม่ดูเหมือนว่าจะไร้เดียงสาเพราะจะใช้เวลามากเกินไปในการเรียนรู้คุณสมบัติเก่าใหม่อีกครั้ง ฉันคิดว่าวิธีการฝึกอบรมตัวจําแนกสำหรับแต่ละคุณสมบัติ (หรือสองสามคุณสมบัติที่เกี่ยวข้อง) แล้วรวมผลของตัวแยกประเภทเหล่านั้นกับลักษณนามโดยรวม มีข้อเสียของวิธีการนี้หรือไม่? ฉันจะเลือกอัลกอริทึมสำหรับตัวจําแนกโดยรวมได้อย่างไร

10 machine-learning  bigdata 

ฉันต้องการใช้ ANN เพื่อทำการซื้อขายสกุลเงินอัตโนมัติโดยเฉพาะอย่างยิ่ง USD / EUR หรือ USD / GBP ฉันรู้ว่ามันยากและอาจไม่ตรงไปตรงมา ฉันได้อ่านรายงานและทำการทดลอง แต่ไม่มีโชคมาก ฉันต้องการรับคำแนะนำจากผู้เชี่ยวชาญเพื่อให้งานนี้สำเร็จ นี่คือสิ่งที่ฉันทำจนถึง: ฉันได้รับข้อมูลโดยการทำเครื่องหมายสำหรับเดือนกรกฎาคม 2013 มันมีการเสนอราคา / ถาม / ปริมาณการเสนอราคา / ปริมาณถาม แยกเครื่องหมายถูกทั้งหมดสำหรับกรอบเวลา 12PM ถึง 14PM สำหรับทุกวัน จากข้อมูลนี้สร้างชุดข้อมูลที่แต่ละรายการประกอบด้วยค่าการเสนอราคา n เรียงตามลำดับ ใช้ข้อมูลนั้นเพื่อฝึกอบรม ANN ด้วยอินพุต n-1 และเอาต์พุตเป็นค่าการเสนอราคา nth ที่คาดการณ์ ANN มีเซลล์ประสาทอินพุต n-1, (n-1) * 2 + 1 ที่ซ่อนอยู่และ 1 เซลล์ประสาทเอาท์พุท …

10 neural-network 

ฉันกำลังทำงานในโครงการและต้องการทรัพยากรเพื่อให้ได้ความเร็ว ชุดข้อมูลอยู่ที่ประมาณ 35000 ข้อสังเกตในตัวแปร 30 ตัวหรือมากกว่านั้น ประมาณครึ่งหนึ่งของตัวแปรนั้นมีการจัดหมวดหมู่และบางส่วนมีค่าที่เป็นไปได้ที่แตกต่างกันมากมายเช่นถ้าคุณแบ่งตัวแปรเด็ดขาดออกเป็นตัวแปรดัมมี่คุณจะมีตัวแปรมากกว่า 30 ตัว แต่ก็ยังคงอยู่ในคำสั่งของสองสามร้อยสูงสุด (n> P) การตอบสนองที่เราต้องการทำนายคือลำดับที่ 5 ระดับ (1,2,3,4,5) ตัวทำนายนั้นเป็นการผสมผสานอย่างต่อเนื่องและเป็นหมวดหมู่ประมาณครึ่งหนึ่ง นี่คือความคิด / แผนของฉันจนถึงตอนนี้: 1. ปฏิบัติต่อการตอบสนองอย่างต่อเนื่องและดำเนินการถดถอยเชิงเส้นวานิลลา 2. เรียกใช้ค่าปกติและเลขลอจิสติกและการถดถอยแบบ probit 3. ใช้ MARS และ / หรือรสชาติอื่นของการถดถอยแบบไม่เชิงเส้น ฉันคุ้นเคยกับการถดถอยเชิงเส้น MARS อธิบายได้ดีจาก Hastie และ Tibshirani แต่ฉันกำลังสูญเสียเมื่อพูดถึงลำดับ logit / probit โดยเฉพาะกับตัวแปรจำนวนมากและชุดข้อมูลขนาดใหญ่ ดูเหมือนว่าแพคเกจ r ของglmnetcrจะเป็นทางออกที่ดีที่สุดของฉันจนถึงตอนนี้ แต่เอกสารแทบจะไม่พอเลยที่จะได้รับตำแหน่งที่ฉันต้องการ ฉันจะไปเรียนรู้เพิ่มเติมได้ที่ไหน

10 r  logistic-regression 

ในบางกรณีอาจเป็นไปไม่ได้ที่จะวาดไดอะแกรมออยเลอร์ด้วยวงกลมที่ทับซ้อนกันเพื่อแสดงเซ็ตย่อยที่ซ้อนกันทั้งหมดในสัดส่วนที่ถูกต้อง ข้อมูลประเภทนี้จำเป็นต้องใช้รูปหลายเหลี่ยมหรือตัวเลขอื่น ๆ เพื่อเป็นตัวแทนของแต่ละชุด เมื่อจัดการกับข้อมูลที่อธิบายชุดย่อยที่ทับซ้อนกันฉันจะทราบได้อย่างไรว่าไดอะแกรมออยเลอร์ง่ายเป็นไปได้หรือไม่

10 visualization 

ฉันพยายามตรวจหาคนนอกในการใช้ก๊าซพลังงานของอาคารดัตช์บางแห่งสร้างแบบจำลองโครงข่ายประสาทเทียม ฉันมีผลลัพธ์ที่แย่มาก แต่ฉันไม่สามารถหาสาเหตุได้ ฉันไม่ใช่ผู้เชี่ยวชาญดังนั้นฉันอยากจะถามคุณว่าฉันสามารถปรับปรุงอะไรได้บ้างและฉันทำอะไรผิด นี่คือคำอธิบายที่สมบูรณ์: https://github.com/denadai2/Gas-consumption-outliers เครือข่ายนิวรัลคือเครือข่าย FeedFoward พร้อม Back Propagation ตามที่อธิบายไว้ที่นี่ฉันแยกชุดข้อมูลในชุดข้อมูล "เล็ก" ของแถว 41'000, 9 คุณสมบัติและฉันพยายามเพิ่มคุณสมบัติเพิ่มเติม ฉันฝึกเครือข่าย แต่ผลลัพธ์มี 14.14 RMSE ดังนั้นจึงไม่สามารถคาดการณ์ปริมาณการใช้ก๊าซได้อย่างดีฉันไม่สามารถใช้กลไกการตรวจจับค่าผิดปกติได้ดีอย่างต่อเนื่อง ฉันเห็นว่าในเอกสารบางฉบับที่แม้ว่าพวกเขาทำนายการใช้พลังงานไฟฟ้ารายวันหรือรายชั่วโมงพวกเขามีข้อผิดพลาดเช่น MSE = 0.01 ฉันจะปรับปรุงอะไรดี ผมทำอะไรผิดหรือเปล่า? คุณสามารถดูคำอธิบายของฉันได้ไหม?

10 neural-network  outlier 

อย่างที่เราทราบกันดีว่ามีเทคนิคการจัดทำดัชนีข้อมูลบางอย่างใช้โดยแอพทำดัชนีที่รู้จักกันดีเช่น Lucene (สำหรับ java) หรือ Lucene.NET (สำหรับ. NET), MurMurHash, B + Tree เป็นต้นสำหรับ No-Sql / Object Oriented Database (ซึ่งฉันพยายามเขียน / เล่นกับ C #) ซึ่งเป็นเทคนิคที่คุณแนะนำ? ฉันอ่านเกี่ยวกับ MurMurhash-2 และความคิดเห็น v3 พิเศษบอกว่า Murmur นั้นเร็วมาก Lucene.Net ก็มีความเห็นที่ดีเช่นกัน แต่สิ่งที่เกี่ยวกับรอยเท้าหน่วยความจำโดยทั่วไป? มีวิธีแก้ปัญหาที่มีประสิทธิภาพซึ่งใช้การปล่อยน้อยกว่า (และแน่นอนถ้าเป็นที่ต้องการได้เร็วกว่า) กว่า Lucene หรือ Murmur? หรือฉันควรเขียนโครงสร้างดัชนีพิเศษเพื่อให้ได้ผลลัพธ์ที่ดีที่สุด? ถ้าฉันพยายามเขียนของตัวเองมีสเกลที่ยอมรับสำหรับการจัดทำดัชนีที่ดีหรือไม่เช่น 1% ของ data-node หรือ 5% ของ data-node คำแนะนำใด …

10 nosql  efficiency  indexing  data-indexing-techniques  .net 

Yann LeCun กล่าวในAMAของเขาว่าเขาคิดว่าปริญญาเอกมีความสำคัญมากเพื่อที่จะได้งานที่ บริษัท ชั้นนำ ฉันมีผู้เชี่ยวชาญด้านสถิติและปริญญาตรีของฉันอยู่ในสาขาเศรษฐศาสตร์และคณิตศาสตร์ประยุกต์ แต่ตอนนี้ฉันกำลังมองหาหลักสูตรปริญญาเอกของ ML โปรแกรมส่วนใหญ่บอกว่าไม่มีหลักสูตร CS ที่จำเป็นอย่างยิ่ง แต่ฉันมักจะคิดว่านักเรียนที่ได้รับการยอมรับส่วนใหญ่มีพื้นฐานด้าน CS ที่แข็งแกร่งอย่างน้อย ขณะนี้ฉันทำงานเป็นนักวิทยาศาสตร์ข้อมูล / สถิติ แต่ บริษัท ของฉันจะจ่ายค่าหลักสูตร ฉันควรเรียนหลักสูตรวิศวกรรมซอฟต์แวร์เบื้องต้นที่มหาวิทยาลัยในพื้นที่ของฉันเพื่อให้ตัวเองแข็งแกร่งขึ้นหรือไม่? คุณมีคำแนะนำอะไรอีกสำหรับคนที่สมัครหลักสูตรปริญญาเอกจากนอกเขต CS แก้ไข: ฉันใช้ MOOC หลายครั้ง (การเรียนรู้ของเครื่อง, ระบบผู้แนะนำ, NLP) และโค้ด R / python เป็นประจำทุกวัน ฉันมีประสบการณ์การเขียนโค้ดจำนวนมากด้วยภาษาเชิงสถิติและใช้อัลกอริทึม ML ทุกวัน ฉันกังวลมากขึ้นกับสิ่งต่าง ๆ ที่ฉันสามารถใส่ในแอปพลิเคชัน

10 education 

ความเป็นมา:ต่อไปนี้มาจากฐานข้อมูลกราฟหนังสือซึ่งครอบคลุมการทดสอบประสิทธิภาพที่กล่าวถึงในหนังสือNeo4j ในการดำเนินการ : ความสัมพันธ์ในกราฟเป็นเส้นทางแบบธรรมชาติ การสืบค้นหรือการข้ามกราฟเกี่ยวข้องกับเส้นทางดังต่อไปนี้ เนื่องจากลักษณะพื้นฐานของเส้นทางที่มุ่งเน้นของ datamodel ส่วนใหญ่ของการดำเนินการฐานข้อมูลกราฟที่อิงเส้นทางนั้นมีความสอดคล้องอย่างมากกับวิธีการจัดวางข้อมูลทำให้มีประสิทธิภาพมาก ในหนังสือ Neo4j in Action ของพวกเขา Partner และ Vukotic ทำการทดลองโดยใช้ relational store และ Neo4j การเปรียบเทียบแสดงให้เห็นว่าฐานข้อมูลกราฟนั้นเร็วกว่ามากสำหรับข้อมูลที่เชื่อมต่อมากกว่าที่เก็บข้อมูลเชิงสัมพันธ์ส่วนการทดลองและ Vukotic นั้นพยายามค้นหาเพื่อนของเพื่อนในเครือข่ายโซเชียล เมื่อพิจารณาจากคนสองคนที่ได้รับการสุ่มเลือกมีเส้นทางที่เชื่อมโยงพวกเขาซึ่งมีความสัมพันธ์ยาวนานที่สุดถึงห้าครั้ง สำหรับเครือข่ายโซเชียลที่มี 1,000,000 คนโดยแต่ละคนมีเพื่อนประมาณ 50 คนผลลัพธ์แนะนำอย่างยิ่งว่าฐานข้อมูลกราฟเป็นตัวเลือกที่ดีที่สุดสำหรับข้อมูลที่เชื่อมต่อดังที่เราเห็นในตารางที่ 2-1 ตารางที่ 2-1 การค้นหาเพื่อนที่ขยายในฐานข้อมูลเชิงสัมพันธ์กับการค้นหาที่มีประสิทธิภาพใน Neo4j Depth RDBMS Execution time (s) Neo4j Execution time (s) Records returned 2 0.016 0.01 ~2500 …

10 databases  nosql  neo4j 

การประมวลผลฐานข้อมูลขนาดเล็กใด ๆ สามารถจัดการได้อย่างง่ายดายโดยสคริปต์ Python / Perl / ... ที่ใช้ไลบรารีและ / หรือยูทิลิตี้จากภาษาเอง อย่างไรก็ตามเมื่อพูดถึงประสิทธิภาพคนมักจะเข้าถึงภาษา C / C ++ / ระดับต่ำ ความเป็นไปได้ของการปรับแต่งโค้ดให้ตรงกับความต้องการดูเหมือนจะเป็นสิ่งที่ทำให้ภาษาเหล่านี้น่าสนใจสำหรับ BigData ไม่ว่าจะเป็นเรื่องการจัดการหน่วยความจำการขนานการเข้าถึงดิสก์หรือการปรับให้เหมาะสมในระดับต่ำ แน่นอนว่าสิทธิประโยชน์ดังกล่าวจะไม่เกิดขึ้นโดยไม่เสียค่าใช้จ่าย: การเขียนรหัสและบางครั้งแม้แต่การสร้างล้อใหม่อาจมีราคาแพง / น่าเบื่อ แม้ว่าจะมีห้องสมุดจำนวนมากที่มีอยู่ แต่ผู้คนก็มีแนวโน้มที่จะเขียนโค้ดด้วยตนเองทุกครั้งที่พวกเขาต้องการให้ประสิทธิภาพ สิ่งที่ปิดใช้งานการยืนยันผลการดำเนินงานจากการใช้ห้องสมุดในขณะที่การประมวลผลฐานข้อมูลขนาดใหญ่? ตัวอย่างเช่นพิจารณาองค์กรที่รวบรวมข้อมูลหน้าเว็บอย่างต่อเนื่องและแยกวิเคราะห์ข้อมูลที่รวบรวม สำหรับแต่ละหน้าต่างแบบเลื่อนอัลกอริทึมการทำเหมืองข้อมูลที่แตกต่างกันจะถูกเรียกใช้ตามข้อมูลที่แยกออกมา เหตุใดนักพัฒนาจึงไม่สนใจการใช้ไลบรารี / กรอบงานที่มีอยู่ (ไม่ว่าจะเป็นการรวบรวมข้อมูลการประมวลผลข้อความและการขุดข้อมูล) การใช้สิ่งที่นำไปใช้แล้วไม่เพียง แต่ช่วยลดภาระของการเข้ารหัสกระบวนการทั้งหมด แต่ยังช่วยประหยัดเวลาได้อีกมาก ในนัดเดียว : สิ่งที่ทำให้เขียนโค้ดด้วยตัวเองรับประกันของประสิทธิภาพการทำงาน? ทำไมจึงมีความเสี่ยงในการพึ่งพาเฟรมเวิร์ก / ไลบรารีเมื่อคุณต้องรับประกันประสิทธิภาพสูง?

10 bigdata  efficiency  performance 

ในการตรวจสอบ“ แบบจำลองการพยากรณ์ที่ประยุกต์ใช้ ” รัฐผู้ตรวจสอบ : คำวิจารณ์อย่างหนึ่งที่ฉันมีเกี่ยวกับการเรียนการสอนเชิงสถิติ (SL) คือการขาดการพิจารณาประสิทธิภาพการคำนวณในการประเมินเทคนิคการสร้างแบบจำลองที่แตกต่างกัน ด้วยความมุ่งมั่นในการทำ bootstrapping และ cross-validation เพื่อปรับแต่ง / ทดสอบแบบจำลอง SL นั้นค่อนข้างใช้งานเชิงคำนวณ เพิ่มไปที่การสุ่มตัวอย่างใหม่ที่ฝังอยู่ในเทคนิคต่าง ๆ เช่นการบรรจุถุงและการเพิ่มระดับและคุณมีปีศาจแห่งการคำนวณสำหรับการเรียนรู้แบบกำกับดูแลของชุดข้อมูลขนาดใหญ่ ในความเป็นจริงข้อ จำกัด หน่วยความจำของ R กำหนดข้อ จำกัด ที่ค่อนข้างรุนแรงต่อขนาดของรุ่นที่สามารถปรับให้พอดีกับวิธีที่มีประสิทธิภาพสูงสุดเช่นฟอเรสต์แบบสุ่ม แม้ว่า SL จะทำการปรับเทียบประสิทธิภาพของแบบจำลองกับชุดข้อมูลขนาดเล็กได้ดี แต่ก็มั่นใจว่าจะเข้าใจประสิทธิภาพและค่าใช้จ่ายในการคำนวณสำหรับข้อมูลขนาดใหญ่ ข้อ จำกัด ของหน่วยความจำของ R คืออะไรและพวกเขากำหนดข้อ จำกัด ที่รุนแรงกับขนาดของแบบจำลองที่สามารถปรับให้เหมาะสมโดยวิธีการที่มีประสิทธิภาพสูงสุดเช่นป่าสุ่มหรือไม่

10 apache-hadoop  r 

ฉันกำลังทำงานกับโมเดลการถดถอยโลจิสติกส์สำหรับฟังก์ชั่นจีโนม genesหนึ่งของการป้อนข้อมูลเขตข้อมูลที่ฉันต้องการที่จะรวมเป็นตัวแปรร่วมเป็น มียีนที่รู้จักประมาณ 24,000 ตัว มีคุณสมบัติมากมายที่มีระดับความแปรปรวนในชีววิทยาการคำนวณและต้องการตัวอย่างนับแสน ถ้าฉันLabelEncoder()ยีน 24K เหล่านั้น แล้วOneHotEncoder()พวกเขา ... จะมี 24,000 คอลัมน์ที่จะทำให้การฝึกอบรมของฉันเร็วขึ้นสำหรับซีพียู quad-core i7 2.2 GHz หรือไม่? ถ้าเป็นเช่นนั้นมีวิธีอื่นในการเข้ารหัสที่ฉันสามารถทำได้ด้วยหรือไม่ ฉันควรพยายามอุทิศเลเยอร์ของแบบจำลองของฉันกับคุณสมบัตินี้หรือไม่? นี่หมายความว่าฉันต้องการโหนดอินพุต 24K หรือไม่

10 machine-learning  keras  scikit-learn 

ฉันได้เรียนรู้เกี่ยวกับเครือข่ายประสาทเทียม เมื่อดูKerasตัวอย่างฉันพบวิธีการแปลงข้อมูลที่แตกต่างกันสามวิธี กล่าวคือ 1D, 2D และ 3D อะไรคือความแตกต่างระหว่างสามเลเยอร์เหล่านี้? กรณีการใช้งานของพวกเขาคืออะไร? มีลิงค์หรือข้อมูลอ้างอิงเพื่อแสดงกรณีการใช้งานหรือไม่?

10 machine-learning  neural-network  deep-learning  keras  cnn