สถิติและข้อมูลขนาดใหญ่

ฉันมีชุดข้อมูลซึ่งประกอบด้วยข้อมูล 24 แถวทุกเดือน คุณลักษณะคือ GDP การมาถึงสนามบินรายเดือนและอื่น ๆ ตัวแปรตามคือจำนวนผู้เข้าชมปลายทางการท่องเที่ยวที่เป็นที่นิยม ป่าสุ่มจะเหมาะสำหรับปัญหานี้หรือไม่? ข้อมูลนั้นไม่ใช่ข้อมูลสาธารณะดังนั้นฉันจึงไม่สามารถโพสต์ตัวอย่างได้

13 random-forest  small-sample 

เป็นไปได้ไหมที่จะมีน้ำหนักติดลบ (หลังจากยุคที่เพียงพอ) สำหรับเครือข่ายประสาทเทียมที่ลึกล้ำเมื่อเราใช้ ReLU สำหรับเลเยอร์การเปิดใช้งานทั้งหมด?

13 machine-learning  neural-networks  deep-learning  conv-neural-network 

ฉันคุ้นเคยกับแนวคิดของตัวแปรเด็ดขาดและการเข้ารหัสตัวแปรดัมมี่ตามลำดับที่ช่วยให้เราสามารถปรับให้เป็นหนึ่งในระดับพื้นฐานเพื่อหลีกเลี่ยงความไม่ลงรอยกัน ฉันยังคุ้นเคยกับวิธีตีความการประมาณค่าพารามิเตอร์จากโมเดลดังกล่าว: การเปลี่ยนแปลงที่คาดการณ์ไว้ในผลลัพธ์สำหรับระดับที่เหมาะสมของเครื่องทำนายหมวดหมู่สัมพันธ์กับหมวดหมู่พื้นฐาน สิ่งที่ฉันไม่แน่ใจเกี่ยวกับวิธีการตีความชุดของตัวแปรอิสระที่มีสัดส่วนที่ว่าผลรวมให้เป็นหนึ่ง เรามี collinearity อีกครั้งถ้าเราพอดีทุกสัดส่วนในโมเดลดังนั้นสมมุติว่าเราจะต้องปล่อยให้หมวดหมู่หนึ่งเป็นพื้นฐาน ฉันยังคิดว่าฉันจะดูประเภท III SS สำหรับการทดสอบโดยรวมของความสำคัญของตัวแปรนี้ อย่างไรก็ตามเราจะตีความพารามิเตอร์ประมาณการสำหรับระดับที่เหมาะสมในแบบจำลองเทียบกับที่ถือว่าเป็นพื้นฐานได้อย่างไร ตัวอย่าง : ที่ระดับรหัสไปรษณีย์ตัวแปรอิสระคือสัดส่วนของหินแปรหินอัคนีและหินตะกอน อย่างที่คุณอาจทราบว่าหินทั้งสามชนิดนี้สำคัญและหินทั้งหมดจัดอยู่ในประเภทใดประเภทหนึ่ง ดังนั้นสัดส่วนในผลรวมทั้งสามต่อ 1 ผลที่ได้คือระดับเรดอนเฉลี่ยในรหัสไปรษณีย์ที่เกี่ยวข้อง ถ้าฉันจะพอดีพูดสัดส่วนแปรสภาพและการเผาไหม้เป็นแบบทำนายในแบบจำลองปล่อยให้ตะกอนเป็นพื้นฐานประเภทโดยรวม III SS F - การทดสอบของทั้งสองระดับติดตั้งจะมีความหมายว่าประเภทหินโดยรวมเป็นสิ่งสำคัญ ตัวทำนายผล (ระดับเรดอนโดยเฉลี่ย) จากนั้นฉันสามารถดูค่าp-valueแต่ละตัว(ตามการแจกแจงt ) เพื่อพิจารณาว่าหินชนิดใดชนิดหนึ่งหรือทั้งสองนั้นแตกต่างจากฐานอย่างมีนัยสำคัญ อย่างไรก็ตามเมื่อมันมาถึงการประมาณค่าพารามิเตอร์สมองของฉันต้องการที่จะตีความพวกเขาอย่างหมดจดเป็นการเปลี่ยนแปลงที่คาดการณ์ไว้ในผลระหว่างกลุ่ม (ประเภทหิน) และฉันไม่เข้าใจวิธีการรวมความจริงที่ว่าพวกเขาพอดีเป็นสัดส่วน . หากการประมาณค่าสำหรับการแปรเปลี่ยนเป็นเช่น 0.43 การตีความนั้นไม่ใช่เพียงแค่ระดับเรดอนเฉลี่ยที่คาดการณ์เพิ่มขึ้น 0.43 หน่วยเมื่อหินนั้นแปรสภาพกับตะกอน อย่างไรก็ตามการตีความยังไม่เพียง แต่สำหรับการเพิ่มขึ้นของหน่วยบางประเภท (พูด 0.1) ในสัดส่วนของประเภทหินแปรเนื่องจากมันไม่ได้สะท้อนความจริงที่ว่ามันยังสัมพันธ์กับพื้นฐาน ( ตะกอน ) และนอกจากนี้การเปลี่ยนแปลงนั้น สัดส่วนของการเปลี่ยนแปลงโดยเนื้อแท้การเปลี่ยนแปลงสัดส่วนของพอดีระดับหินอื่น ๆ …

13 regression  interpretation  proportion  multicollinearity 

ฉันเจอคำศัพท์ใกล้เคียงในป่าสุ่ม แต่ฉันไม่เข้าใจว่ามันทำอะไรในป่าสุ่ม มันช่วยในการจำแนกประเภทได้อย่างไร?

13 machine-learning  random-forest 

ฉันมี 17 ตัวเลขและ 5 ไบนารี (0-1) ตัวแปรโดยมี 73 ตัวอย่างในชุดข้อมูลของฉัน ฉันต้องการเรียกใช้การวิเคราะห์คลัสเตอร์ ฉันรู้ว่าระยะทางของโกเวอร์เป็นตัวชี้วัดที่ดีสำหรับชุดข้อมูลที่มีตัวแปรแบบผสม อย่างไรก็ตามฉันไม่เข้าใจว่าระยะทางของโกเวอร์คำนวณความแตกต่างระหว่างตัวแปรไบนารีได้อย่างไร สำหรับฉันดูเหมือนว่ามันไม่แตกต่างจากระยะทางแบบยุคลิด

13 clustering  distance  mixed-type-data 

มันเป็นคำแนะนำมาตรฐานในการตั้งค่าเมล็ดสุ่มเพื่อให้ผลลัพธ์สามารถทำซ้ำได้ อย่างไรก็ตามเนื่องจากเมล็ดมีความก้าวหน้าเนื่องจากมีการสุ่มจับหมายเลขหลอกผลลัพธ์อาจมีการเปลี่ยนแปลงหากมีส่วนใดของรหัสดึงหมายเลขเพิ่มเติม เมื่อมองแวบแรกการควบคุมเวอร์ชันดูเหมือนจะเป็นทางออกสำหรับเรื่องนี้เพราะอย่างน้อยมันจะช่วยให้คุณย้อนกลับไปทำซ้ำรุ่นที่มีอยู่เมื่อคุณจดบันทึกผลลัพธ์ลงในบันทึกหรือกระดาษ อย่างไรก็ตามเนื่องจากใช้เวลาเพียงหนึ่งครั้งในการทำสิ่งต่าง ๆ หากคุณอัปเดต R ผลลัพธ์อาจเปลี่ยนแปลงได้เช่นกัน ฉันรู้ว่านี่อาจเป็นเพียงปัญหาในบางกรณี แต่ฉันอยากรู้ว่ามีวิธีปฏิบัติที่ดีที่สุดที่นี่หรือไม่ นี่คือสิ่งที่ฉันดิ้นรนในการทำงานของตัวเอง

13 random-generation 

ฉันมีความสับสนเกี่ยวกับประโยชน์ของกระบวนการแบบเกาส์เซียน ฉันหมายถึงการเปรียบเทียบกับการถดถอยเชิงเส้นอย่างง่ายซึ่งเราได้กำหนดไว้ว่าฟังก์ชั่นเชิงเส้นเป็นแบบจำลองข้อมูล อย่างไรก็ตามในกระบวนการแบบเกาส์เซียนเรากำหนดการกระจายตัวของฟังก์ชั่นหมายความว่าเราไม่ได้กำหนดว่าฟังก์ชั่นควรเป็นแบบเส้นตรง เราสามารถกำหนดฟังก์ชั่นก่อนหน้าซึ่งเป็น Gaussian ก่อนหน้าซึ่งกำหนดคุณสมบัติเช่นฟังก์ชันที่ควรจะราบรื่นและทั้งหมด ดังนั้นเราไม่จำเป็นต้องกำหนดรูปแบบที่ชัดเจน อย่างไรก็ตามฉันมีคำถาม เรามีความเป็นไปได้เล็กน้อยและใช้มันเราสามารถปรับพารามิเตอร์ฟังก์ชันความแปรปรวนร่วมของ Gaussian ก่อน ดังนั้นนี่คล้ายกับการกำหนดประเภทของฟังก์ชั่นที่มันควรจะไม่ใช่ มันเดือดลงไปในสิ่งเดียวกันกับการกำหนดพารามิเตอร์แม้ว่าใน GP จะเป็นพารามิเตอร์ สำหรับเช่นในบทความนี้ พวกเขาได้นิยามว่าฟังก์ชันค่าเฉลี่ยของ GP นั้นเป็นอย่างไร m(x)=ax2+bx+ci.e. a second order polynomial.m(x)=ax2+bx+ci.e. a second order polynomial.m(x) = ax ^2 + bx + c \quad \text{i.e. a second order polynomial.} ดังนั้นแน่นอนว่ารูปแบบ / ฟังก์ชั่นนั้นไม่ได้ถูกกำหนดไว้ อะไรคือความแตกต่างในการนิยามฟังก์ชั่นให้เป็นแบบเชิงเส้นเหมือนใน LR ฉันไม่ได้รับประโยชน์อะไรจากการใช้ GP

13 gaussian-process 

หวังว่าใครบางคนในฟอรัมเหล่านี้สามารถช่วยฉันแก้ปัญหาพื้นฐานนี้ในการศึกษาการแสดงออกของยีน ฉันจัดลำดับการลึกของเนื้อเยื่อทดลองและเนื้อเยื่อควบคุม จากนั้นฉันได้รับการเพิ่มคุณค่าการพับของยีนในตัวอย่างทดลองมากกว่าการควบคุม จีโนมที่อ้างอิงมียีนประมาณ 15,000 ยีน 3,000 จาก 15,000 ยีนนั้นได้รับการยกระดับให้สูงกว่าตัวอย่างที่ผมสนใจเมื่อเปรียบเทียบกับการควบคุม ดังนั้น: A = ประชากรยีนทั้งหมด = 15,000 B = ประชากรย่อยที่ได้รับการเสริม RNA-Seq = 3,000 ในการทดลองชิป ChIP ก่อนหน้านี้ฉันพบ 400 ยีนที่อุดมไปด้วยชิป ChIP ของยีน 400 ชิปชิพนั้น 100 ยีนอยู่ในกลุ่มของยีน RNA-Seq ที่ได้รับการเสริม 3,000 รายการ ดังนั้น: C = จำนวนทั้งหมดของยีนที่อุดมด้วยชิป ChIP = 400 ความน่าจะเป็นที่ยีน 100 ชิปชิปของฉันจะเพิ่มขึ้นด้วย RNA-Seq โดยบังเอิญเพียงอย่างเดียวคืออะไร อะไรคือวิธีที่ชาญฉลาดที่สุดในการคำนวณว่าการซ้อนทับที่สังเกตระหว่าง …

13 r  genetics  bioinformatics  microarray  biostatistics 

เท่าที่ผมเข้าใจมันเป็นบรรทัดฐานชุด normalises ป้อนข้อมูลทั้งหมดที่มีคุณสมบัติชั้นเพื่อการกระจายปกติหน่วย1) ค่าเฉลี่ยและความแปรปรวนถูกประเมินโดยการวัดค่าของพวกเขาสำหรับมินิแบทช์ปัจจุบันยังไม่มีข้อความ( μ = 0 , σ= 1 )ยังไม่มีข้อความ(μ=0,σ=1)\mathcal{N}(\mu=0,\sigma=1)μ ,σ2μ,σ2\mu, \sigma^2 หลังจากการทำให้เป็นมาตรฐานแล้วอินพุตจะถูกปรับขนาดและเลื่อนตามค่าสเกลาร์: x^'ผม= γx^ผม+ βx^ผม'=γx^ผม+β\hat{x}_i' = \gamma \hat{x}_i + \beta (แก้ไขฉันถ้าฉันผิดที่นี่ - นี่คือที่ฉันเริ่มไม่แน่ใจเล็กน้อย) γγ\gammaและเป็นค่าสเกลาร์และมีคู่ของแต่ละค่าสำหรับเลเยอร์ที่มีบรรทัดฐานแบทช์ พวกเขาเรียนรู้พร้อมกับน้ำหนักโดยใช้ backprop และ SGDββ\beta คำถามของฉันคือไม่ใช่พารามิเตอร์เหล่านี้ซ้ำซ้อนเพราะอินพุตสามารถปรับขนาดและเลื่อนได้ด้วยน้ำหนักในเลเยอร์เอง ในคำอื่น ๆ ถ้า Y= Wx^'+ bY=Wx^'+ขy = W \hat{x}' + b และ x^'= γx^+ βx^'=γx^+β\hat{x}' = \gamma \hat{x} + …

13 batch-normalization 

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามดังนั้นจึงเป็นหัวข้อสำหรับการตรวจสอบข้าม ปิดให้บริการใน10 เดือนที่ผ่านมา ฉันรู้ว่ามีห้องสมุดจำนวนมากสำหรับการเรียนรู้ของเครื่องและการเรียนรู้อย่างลึกซึ้งเช่น caffe, Theano, TensorFlow, keras, ... แต่สำหรับฉันดูเหมือนว่าฉันต้องรู้จักสถาปัตยกรรมของโครงข่ายประสาทที่ฉันต้องการใช้ มีเครื่องมือ (ภาพ) ที่อนุญาตให้ทำการทดลองกับการออกแบบเครือข่ายที่แตกต่างกันและนำไปใช้กับข้อมูลของตัวเองหรือไม่? ฉันกำลังคิดเกี่ยวกับบางสิ่งเช่นสนามเด็กเล่น TensorFlowแต่มีข้อมูล n-มิติและเลเยอร์ชนิดต่าง ๆ ขอบคุณล่วงหน้า!

13 neural-networks  deep-learning  conv-neural-network 

เมื่อใช้โมเดลเชิงสาเหตุของรูบินหนึ่งในข้อสมมติฐานที่ไม่สามารถพิสูจน์ได้ที่เราต้องการคือ unoundounded ซึ่งหมายความว่า ( Y( 0 ) , Y( 1 ) ) ⊥ T| X(Y(0),Y(1))⊥T|X(Y(0),Y(1))\perp T|X ในกรณีที่ LHS เป็นสิ่งกีดขวาง T คือการรักษาและ X คือโควาเรียตที่เราควบคุม ฉันสงสัยว่าจะอธิบายเรื่องนี้อย่างไรกับคนที่ไม่ค่อยรู้อะไรเกี่ยวกับแบบจำลองสาเหตุรูบิน ฉันเข้าใจว่าทำไมเราถึงต้องการสมมติฐานนี้ในทางทฤษฎี แต่ฉันไม่แน่ใจเกี่ยวกับแนวคิดว่าทำไมสิ่งนี้ถึงสำคัญ โดยเฉพาะอย่างยิ่งถ้า T คือการรักษาผลที่อาจเกิดขึ้นจะขึ้นอยู่กับมันหรือไม่? เช่นกันถ้าเรามีสุ่มทดลองแล้วโดยอัตโนมัติT ทำไมสิ่งนี้ถึงเป็นจริง?(Y(0),Y(1))⊥T(Y(0),Y(1))⊥T(Y(0),Y(1))\perp T คุณจะอธิบายข้อสมมติฐานที่ไร้เหตุผล / ความเพิกเฉยต่อคนที่ไม่ได้ศึกษา RCM อย่างไร

13 causality  treatment-effect  confounding 

เมื่อการเข้ารหัสคุณสมบัติเชิงหมวดหมู่สำหรับการถดถอยเชิงเส้นมีกฎ: จำนวนของหุ่นควรน้อยกว่าหนึ่งในจำนวนทั้งหมดของระดับ (เพื่อหลีกเลี่ยงการ collinearity) มีกฎที่คล้ายกันสำหรับต้นไม้การตัดสินใจ (ถุง, เพิ่มขึ้น) หรือไม่? ฉันถามสิ่งนี้เพราะการฝึกฝนมาตรฐานใน Python ดูเหมือนว่าจะเพิ่มnระดับเป็นnหุ่น (sklearns ' OneHotEncoderหรือ Pandas' pd.get_dummies) ซึ่งดูเหมือนจะไม่ดีสำหรับฉัน สิ่งที่คุณจะแนะนำเป็นแนวทางปฏิบัติที่ดีที่สุดสำหรับการเข้ารหัสคุณสมบัติหมวดหมู่สำหรับต้นไม้การตัดสินใจ?

13 categorical-data  random-forest  cart  boosting 

ฉันใช้RandomForestแพคเกจ R และสับสนในการตีความค่าของแกน Y ในแผนการพึ่งพาบางส่วนของพวกเขา ช่วยให้เอกสารระบุว่าพล็อตนั้นเป็น "การแสดงภาพกราฟิกของเอฟเฟกต์เล็กน้อยของตัวแปรในความน่าจะเป็นของชั้นเรียน" อย่างไรก็ตามฉันยังสับสนว่าแกน y หมายถึงอะไร โดยเฉพาะอย่างยิ่งค่าลบหมายถึงอะไร การมีอิทธิพลในทางลบต่อการทำนายชั้นเรียนอย่างถูกต้องหมายความว่าอย่างไร และอะไรคือคุณสมบัติที่สำคัญที่สุดจากตัวเลขเหล่านี้มันคือค่าสูงสุดรูปร่างของเทรนด์ ฯลฯ หรือไม่ คุณสามารถเปรียบเทียบแปลงบางส่วนกับแปลงบางส่วนของตัวแปรอื่น ๆ ได้หรือไม่? แปลงเหล่านี้อาจเปรียบเทียบกับเส้นโค้งการตอบสนองที่สร้างใน Maxent (ซอฟต์แวร์การสร้างแบบจำลองการกระจาย) ได้อย่างไร

13 r  interpretation  random-forest  partial-plot 

ฉันต้องทำการจำลองเพื่อประเมินอินทิกรัลของฟังก์ชันพารามิเตอร์ 3 ตัวเราพูดว่าซึ่งมีสูตรที่ซับซ้อนมาก มันถูกขอให้ใช้วิธีการ MCMC เพื่อคำนวณและใช้อัลกอริทึม Metropolis-Hastings เพื่อสร้างค่าที่กระจายเป็นและแนะนำให้ใช้ 3 ตัวแปรปกติเป็นการกระจายข้อเสนอ เมื่ออ่านตัวอย่างเกี่ยวกับเรื่องนี้ฉันเห็นแล้วว่าบางส่วนใช้ปกติกับพารามิเตอร์คงที่และใช้กับตัวแปรหมายถึงโดยที่คือค่าที่ยอมรับล่าสุด กระจายตาม . ฉันมีข้อสงสัยเกี่ยวกับวิธีการทั้งสอง:ffffffN(μ,σ)N(μ,σ)N(\mu, \sigma)N(X,σ)N(X,σ)N(X, \sigma)XXXfff 1)ความหมายของการเลือกค่าที่ยอมรับล่าสุดเป็นค่าเฉลี่ยใหม่ของการกระจายข้อเสนอของเราคืออะไร สัญชาตญาณของฉันบอกว่าควรรับประกันได้ว่าคุณค่าของเราจะใกล้เคียงกับค่านิยมที่กระจายเป็นและโอกาสในการยอมรับจะยิ่งใหญ่ขึ้น แต่มันไม่ได้มุ่งเน้นตัวอย่างของเรามากเกินไปใช่ไหม รับประกันได้ว่าถ้าฉันได้รับตัวอย่างมากขึ้นโซ่จะกลายเป็นนิ่ง?fff 2)จะไม่เลือกพารามิเตอร์คงที่ (เนื่องจากยากต่อการวิเคราะห์) เป็นเรื่องยากและขึ้นอยู่กับตัวอย่างแรกที่เราต้องเลือกเพื่อเริ่มอัลกอริทึม? ในกรณีนี้อะไรจะเป็นวิธีที่ดีที่สุดในการค้นหาสิ่งที่ดีกว่าfff เป็นหนึ่งในวิธีการเหล่านั้นดีกว่าอื่น ๆ หรือขึ้นอยู่กับกรณีนี้หรือไม่? ฉันหวังว่าข้อสงสัยของฉันจะชัดเจนและฉันจะดีใจถ้าวรรณกรรมบางเล่มได้รับ (ฉันได้อ่านบทความเกี่ยวกับแก่นเรื่องแล้ว แต่ยิ่งดีกว่า!) ขอบคุณล่วงหน้า!

13 mcmc  metropolis-hastings 

ฉันพยายามตีความผลลัพธ์ของ nls () ฉันได้อ่านโพสต์นี้แต่ฉันยังไม่เข้าใจวิธีการเลือกแบบที่ดีที่สุด จากความพอดีของฉันฉันมีสองเอาต์พุต: > summary(m) Formula: y ~ I(a * x^b) Parameters: Estimate Std. Error t value Pr(>|t|) a 479.92903 62.96371 7.622 0.000618 *** b 0.27553 0.04534 6.077 0.001744 ** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Residual standard error: …

12 r  least-squares  nonlinear-regression  goodness-of-fit