สถิติและข้อมูลขนาดใหญ่

แอปพลิเคชันหรือข้อดีของการลดขนาดแบบถดถอย (DRR) หรือเทคนิคการลดขนาดแบบมิติ (SDR) ภายใต้เทคนิคแบบการถดถอยแบบดั้งเดิม (ไม่มีการลดขนาดแบบมิติ) คืออะไร? ระดับเทคนิคเหล่านี้ค้นหาการแทนค่ามิติต่ำของชุดคุณลักษณะสำหรับปัญหาการถดถอย ตัวอย่างของเทคนิคดังกล่าว ได้แก่ การถดถอยแบบผกผันแบบแบ่งส่วน, วิธีการหลักของ Hessian, การประมาณค่าความแปรปรวนเฉลี่ยแบบแบ่งส่วน, การถดถอยแบบผกผันเคอร์เนลแบบเคอร์เนล, การถดถอยส่วนประกอบหลักเป็นต้น ในแง่ของ RMSE ที่ผ่านการตรวจสอบความถูกต้องแล้วหากอัลกอริทึมทำงานได้ดีขึ้นในงานการถดถอยโดยไม่ลดมิติใด ๆ แล้วการใช้มิติลดจริงสำหรับการถดถอยคืออะไร? ฉันไม่เข้าใจเทคนิคเหล่านี้ เทคนิคเหล่านี้มีโอกาสใช้เพื่อลดความซับซ้อนของพื้นที่และเวลาสำหรับการถดถอยหรือไม่? หากเป็นข้อได้เปรียบหลักทรัพยากรบางอย่างเกี่ยวกับการลดความซับซ้อนสำหรับชุดข้อมูลมิติสูงเมื่อใช้เทคนิคนี้จะมีประโยชน์ ฉันถกเถียงเรื่องนี้กับข้อเท็จจริงที่ว่าการใช้เทคนิค DRR หรือ SDR นั้นต้องใช้เวลาและพื้นที่ SDR / DRR + Regression นี้บนชุดข้อมูลที่มีความสลัวต่ำกว่าเร็วกว่าเฉพาะชุดข้อมูลที่มีความสลัวสูงหรือไม่ การตั้งค่านี้ได้รับการพิจารณาจากความสนใจเชิงนามธรรมเท่านั้นและไม่มีแอปพลิเคชันที่ใช้งานได้จริงหรือไม่? ตามความคิดด้านข้าง: บางครั้งมีข้อสันนิษฐานว่าการกระจายตัวของคุณสมบัติและการตอบสนองอยู่บนความหลากหลาย มันทำให้รู้สึกถึงการเรียนรู้หลากหลายจากตัวอย่างที่สังเกตในบริบทนี้สำหรับการแก้ปัญหาการถดถอยYXXXYYY

11 regression  machine-learning  pca  dimensionality-reduction 

ผมมีข้อมูลที่อยู่ในรูปx)} สำหรับการประมาณถึงฉันใช้สูตรของบทความนี้: จอห์นฟ็อกซ์ - การถดถอยแบบไม่เชิงเส้นและสแควร์สแบบไม่เชิงเส้น ในบทความนี้ถูกประเมินโดยการดูข้อมูล ถ้าฉันทำมันได้ผลแม้ว่าฉันจะมีแค่สามคะแนน จากนั้นฉันสามารถคำนวณอีกสองอัน ฉันทดสอบพารามิเตอร์ด้วย nls () ใน R และ LevenbergMarquardt ใน C # โมเดลที่ส่งคืนโดยพวกเขาพอใจy=β11+exp(β2+β3∗x)y=β11+exp⁡(β2+β3∗x)y = \frac{\beta_1}{1 + \exp(\beta_2 + \beta_3 * x)}β1β1\beta_1β3β3\beta_3β1β1\beta_1 ปัญหาคือฉันไม่ต้องการดูข้อมูลเพื่อรับตัวประมาณที่ดีสำหรับฉันต้องการให้โปรแกรมคำนวณมัน บางครั้งฉันใช้ค่าที่สูงกว่าค่าสูงสุดของฉันเล็กน้อย (บางสิ่งระหว่างถึง\ max * 1.5มันใช้งานได้ดีตราบใดที่คะแนนครอบคลุมฟังก์ชั่นส่วนใหญ่ จุดข้อมูลอยู่ที่ไหนสักแห่งจาก "ด้านบน" ของเส้นโค้ง แต่เมื่อพวกเขาทั้งหมดมาจากพื้นที่ "ด้านล่าง" จุดเบี่ยงเบนตัวประมาณนี้ต่ำกว่าที่ควรจะเป็นแน่นอนและฉันไม่เหมาะกับแบบจำลองถ้าฉันใช้บางอย่าง นั่นสูงกว่าจุดสูงสุดแน่นอน (โดยการคูณด้วยค่าที่สูงอย่างน่าขัน) โมเดลไม่เหมาะกับวิธีที่มีประโยชน์ใด ๆβ1β1\beta_1max∗1.1max∗1.1\max * 1.1max∗1.5max∗1.5\max * 1.5 การวัดอาจมีลักษณะเช่นนี้: x = …

11 logistic  estimation 

สวัสดีฉันอยากรู้ว่ามีหนังสือดี ๆ เกี่ยวกับการทำเหมืองข้อความและการจำแนกประเภทด้วยกรณีศึกษาบ้างไหม? ถ้าไม่ใช่เอกสาร / วารสารที่สาธารณชนสามารถเข้าถึงได้ หากพวกเขาแสดงตัวอย่างของพวกเขาด้วย R ยิ่งขึ้น ฉันไม่ได้มองหาคู่มือทีละขั้นตอน แต่สิ่งที่แสดงให้เห็นถึงข้อดีข้อเสียของวิธีการทำเหมืองข้อความที่หลากหลายในการเรียนปัญหาต่าง ๆ

11 references  text-mining 

ฉันพยายามคำนวณดัชนี Gini ในการกระจายชื่อเสียง SO โดยใช้ SO Data Explorer สมการที่ฉันพยายามนำมาใช้คือ: โดยที่: = จำนวนผู้ใช้บนไซต์; = หมายเลขประจำตัวผู้ใช้ (1 - 1,225,000); = ชื่อเสียงของผู้ใช้ฉันniyiiG ( S) = 1n - 1( n + 1 - 2 ( ∑)ni = 1( n + 1 - i ) yผมΣni = 1Yผม) )G(S)=1n−1(n+1−2(∑i=1n(n+1−i)yi∑i=1nyi)) G(S)=\frac{1}{n-1}\left(n+1-2\left(\frac{\sum^n_{i=1}(n+1-i)y_i}{\sum^n_{i=1}y_i}\right)\right) nnnผมiiYผมyiy_iผมii นี่คือวิธีที่ฉันใช้มัน (คัดลอกมาจากที่นี่ ): DECLARE …

11 gini 

ฉันต้องการทำการถดถอยโลจิสติกอันดับใน R โดยไม่มีสมมติฐานอัตราต่อรองสัดส่วน ฉันรู้ว่านี้สามารถทำได้โดยตรงโดยใช้vglm()ฟังก์ชั่นในโดยการตั้งค่าRparallel=FALSE แต่ปัญหาของฉันคือวิธีแก้ไขชุดสัมประสิทธิ์เฉพาะในการตั้งค่าการถดถอยนี้ ตัวอย่างเช่นสมมติว่าตัวแปรเป็นต่อเนื่องและลำดับและสามารถใช้ค่าY = 1 , 2หรือ3 หาก regressors เป็นX 1และX 2ดังนั้นสมการการถดถอยคือYYYY= 1Y=1Y = 1222333X1X1X_{1}X2X2X_{2} l o g i t ( P( Y≤ 1 ) )l o g i t ( P( Y≤ 2 ) )= α1+ β11X1+ β12X2= α2+ β21X1+ β22X2ล.โอก.ผมเสื้อ(P(Y≤1))=α1+β11X1+β12X2ล.โอก.ผมเสื้อ(P(Y≤2))=α2+β21X1+β22X2 \begin{aligned} {\rm logit} \big( P(Y …

11 r  regression  logistic 

ฉันต้องการสร้างข้อมูลด้วย "รุ่น 1" และปรับให้พอดีกับ "รุ่น 2" แนวคิดพื้นฐานคือการตรวจสอบคุณสมบัติความทนทานของ "รุ่น 2" ฉันสนใจเป็นพิเศษในอัตราความครอบคลุมของช่วงความมั่นใจ 95% (ตามการประมาณปกติ) ฉันจะตั้งค่าจำนวนการทำซ้ำได้อย่างไร เป็นความจริงหรือไม่ที่การทำซ้ำที่มีขนาดใหญ่เกินความจำเป็น ถ้าเป็นเช่นนั้นได้อย่างไร

11 simulation  monte-carlo 

นี่คือพล็อต QQ สำหรับตัวอย่างของฉัน (สังเกตแกนลอการิทึม Y) :n = 1,000n=1000n = 1000 ดังที่ได้กล่าวไว้โดย whuber สิ่งนี้บ่งชี้ว่าการกระจายที่แฝงอยู่นั้นเอียงไปทางซ้าย (หางขวาสั้นกว่า) shapiro.testW= 0.9718W=0.9718W = 0.97185.172 ⋅ 10- 135.172⋅10−135.172\cdot10^{-13}H0:the sample is normal distributedH0:the sample is normal distributedH_0 : \text{the sample is normal distributed} คำถามของฉันคือ: สิ่งนี้ดีพอในทางปฏิบัติสำหรับการวิเคราะห์เพิ่มเติมโดยสมมติว่า โดยเฉพาะอย่างยิ่งฉันต้องการคำนวณช่วงความเชื่อมั่นสำหรับวิธีการของตัวอย่างที่คล้ายกันโดยใช้วิธีการประมาณโดย Cox และที่ดิน (อธิบายไว้ในกระดาษ: Zou, GY, ซินดี้ Yan Huo และ Taleban, J. (2009) …

11 interpretation  lognormal  qq-plot 

ในโมเดลอันตรายของ Cox ที่มีตัวแปรหลายตัวหากส่วนที่เหลือของ Schoenfeld นั้นไม่ราบเรียบสำหรับหนึ่งในตัวแปรสิ่งนี้จะทำให้รูปแบบทั้งหมดไม่ถูกต้องหรือเป็นเพียงตัวแปรที่มีประสิทธิภาพต่ำเท่านั้น นั่นคือตีความสัมประสิทธิ์สำหรับตัวแปรอื่น ๆ แต่อย่าตีความสัมประสิทธิ์ที่เกิดขึ้นสำหรับตัวแปรที่มีประสิทธิภาพต่ำ มีวิธีมาตรฐานหลายวิธีในการจัดการกับแบบจำลองที่ส่วนที่เหลือของ Schoenfeld ไม่แบน สมมติว่าเราไม่สามารถทำได้

11 residuals  cox-model  schoenfeld-residuals 

ฉันวิ่ง glm ใน R และใกล้ด้านล่างสุดของsummary()เอาต์พุตมันระบุ (Dispersion parameter for gaussian family taken to be 28.35031) ฉันได้ทำการค้นหาใน Google และได้เรียนรู้ว่าพารามิเตอร์การกระจายใช้เพื่อให้พอดีกับข้อผิดพลาดมาตรฐาน ฉันหวังว่าใครบางคนสามารถให้รายละเอียดเพิ่มเติมเกี่ยวกับพารามิเตอร์การกระจายคืออะไรและควรตีความอย่างไร

11 r  generalized-linear-model 

ฉันมีภูมิหลังระดับบัณฑิตศึกษาในวิชาคณิตศาสตร์บริสุทธิ์ (วัดทฤษฎีการวิเคราะห์เชิงหน้าที่ผู้ประกอบการพีชคณิต ฯลฯ ) ฉันยังมีงานที่ต้องใช้ความรู้เกี่ยวกับทฤษฎีความน่าจะเป็นบางอย่าง (จากหลักการพื้นฐานไปจนถึงเทคนิคการเรียนรู้ด้วยเครื่องจักร) คำถามของฉัน: มีคนให้ข้อมูลการอ่านและการอ้างอิงที่ยอมรับได้ซึ่ง: ทฤษฎีความน่าจะเป็นที่มีอยู่ในตัวเอง อย่าอายไปจากวิธีการวัดเชิงทฤษฎีและบทพิสูจน์ ให้ความสำคัญอย่างมากกับเทคนิคที่ใช้ โดยพื้นฐานแล้วฉันต้องการหนังสือที่จะสอนฉันเกี่ยวกับทฤษฎีความน่าจะเป็นที่ประยุกต์ใช้กับนักคณิตศาสตร์ผู้บริสุทธิ์ สิ่งที่เริ่มต้นด้วยสัจพจน์พื้นฐานของทฤษฎีความน่าจะเป็นและแนะนำแนวคิดที่ประยุกต์ใช้ด้วยความแม่นยำทางคณิตศาสตร์ ตามความเห็นฉันจะอธิบายรายละเอียดเกี่ยวกับสิ่งที่ฉันต้องการ ฉันกำลังทำการขุดข้อมูลขั้นพื้นฐานถึงขั้นสูง การถดถอยโลจิสติก, ต้นไม้การตัดสินใจ, สถิติพื้นฐานและความน่าจะเป็น (ความแปรปรวน, ค่าเบี่ยงเบนมาตรฐาน, ความน่าจะเป็น, ความน่าจะเป็น, ความน่าจะเป็น ฯลฯ ), การเรียนรู้ด้วยเครื่องจักรแบบมีผู้สอน ในใจฉันต้องการหนังสือที่จะเริ่มต้นตั้งแต่ต้น การกำหนดมาตรการความน่าจะเป็น แต่จากนั้นก็แสดงให้เห็นว่าผลลัพธ์เหล่านั้นมีความน่าจะเป็นผลรวมขั้นพื้นฐานอย่างไร จากนั้นก็สามารถเข้าไปที่: Markov Chains, Bayesian .... ทุกคนในขณะที่พูดถึงเหตุผลพื้นฐานที่อยู่เบื้องหลังทฤษฎีการแนะนำแนวคิดด้วยคณิตศาสตร์ที่เข้มงวด แต่จากนั้นแสดงวิธีการใช้วิธีการเหล่านี้ในโลกแห่งความเป็นจริง (โดยเฉพาะกับข้อมูล การทำเหมืองแร่) มีหนังสือหรือเอกสารอ้างอิงเช่นนี้หรือไม่? ขอบคุณ! ป.ล. - ฉันรู้ว่านี่คล้ายกับขอบเขตของคำถามนี้ อย่างไรก็ตามฉันกำลังมองหาทฤษฎีความน่าจะเป็นไม่ใช่สถิติ (คล้ายกับสองฟิลด์)

11 probability  references 

หลังจากอ่านบทที่ 3 ในองค์ประกอบของการเรียนรู้ทางสถิติ (Hastie, Tibshrani & Friedman) ฉันสงสัยว่ามันเป็นไปได้หรือไม่ที่จะใช้วิธีการหดตัวที่มีชื่อเสียงที่อ้างถึงในชื่อของคำถามนี้เนื่องจากโครงสร้างความแปรปรวนร่วมลดลง ) ปริมาณ ( y⃗ - Xβ⃗ )TV- 1( y⃗ - Xβ⃗ ) + λ f( β) , ( 1 ) (y→−Xβ→)TV−1(y→−Xβ→)+λf(β), (1)(\vec{y}-X\vec{\beta})^TV^{-1}(\vec{y}-X\vec{\beta})+\lambda f(\beta),\ \ \ (1) แทนปกติ นี่เป็นแรงบันดาลใจส่วนใหญ่จากความจริงที่ว่าในแอปพลิเคชันของฉันโดยเฉพาะเรามีความแตกต่างที่แตกต่างกันสำหรับ (และบางครั้งก็เป็นโครงสร้างความแปรปรวนร่วมที่สามารถประเมินได้) พวกเขาในการถดถอย ฉันทำเพื่อการถดถอยสัน: อย่างน้อยเมื่อมีการนำไปใช้ใน Python / C ฉันเห็นว่ามีความแตกต่างที่สำคัญในเส้นทางที่ค่าสัมประสิทธิ์การติดตามซึ่งเป็นที่น่าสังเกตเช่นกันเมื่อเปรียบเทียบเส้นโค้งการตรวจสอบข้ามในทั้งสองกรณี→ y( y⃗ - Xβ⃗ ) ( …

11 lasso  ridge-regression 

มีการตีความ Bayesian, ML หรือ MDL ใด ๆ ของการตรวจสอบความถูกต้องข้าม? ฉันสามารถตีความการตรวจสอบไขว้เป็นการดำเนินการอัปเดตที่ถูกต้องในงานประดิษฐ์ที่เฉพาะเจาะจงมาก่อนได้หรือไม่?

11 bayesian  cross-validation  maximum-likelihood 

เมื่อฉันพิจารณาแลมบ์ดาของฉันผ่านการตรวจสอบข้ามสัมประสิทธิ์ทั้งหมดจะกลายเป็นศูนย์ แต่ฉันมีคำแนะนำบางอย่างจากวรรณกรรมว่าผู้ทำนายบางคนน่าจะส่งผลต่อผลลัพธ์อย่างแน่นอน มันขยะหรือไม่ที่จะเลือกแลมบ์ดาโดยพลการ ฉันต้องการเลือก 10 อันดับแรกหรือมากกว่านั้นสำหรับนักทำนายจาก 135 สำหรับโมเดล cox และขนาดเอฟเฟกต์น่าเสียดายที่มีขนาดเล็ก

11 lasso 

เป้าหมายของฉันคือการใช้ค่าสัมประสิทธิ์ที่ได้จากการวิจัยก่อนหน้านี้ในเรื่องที่จะคาดการณ์ผลลัพธ์ที่เกิดขึ้นจริงให้ชุดของตัวแปรอิสระ อย่างไรก็ตามรายงานการวิจัยแสดงค่าสัมประสิทธิ์เบต้าและค่า t เท่านั้น ฉันต้องการทราบว่าเป็นไปได้ไหมที่จะแปลงค่าสัมประสิทธิ์มาตรฐานให้เป็นค่าที่ไม่ได้มาตรฐาน มันจะมีประโยชน์หรือไม่ในการแปลงตัวแปรอิสระที่ไม่ได้มาตรฐานของฉันให้เป็นตัวแปรมาตรฐานเพื่อคำนวณค่าที่ทำนายไว้ ฉันจะกลับไปใช้ค่าที่คาดการณ์ไม่ได้มาตรฐานได้อย่างไร (หากเป็นไปได้ .. ) เพิ่มแถวตัวอย่างจากกระดาษ: จำนวนเส้นทางรถบัส (buslines) | 0.275 (เบต้า) | 5.70 *** (ค่า t) ฉันยังได้รับสิ่งนี้เกี่ยวกับตัวแปรอิสระ: จำนวนเส้นทางรถเมล์ (buslines) | 12.56 (เฉลี่ย) 9.02 (Std) | 1 (นาที) | 53 (สูงสุด)

11 regression-coefficients 

พื้นหลัง: meta-analysis ทั่วไปในด้านจิตวิทยาอาจพยายามที่จะสร้างแบบจำลองความสัมพันธ์ระหว่างสองตัวแปร X และ Y การวิเคราะห์มักจะเกี่ยวข้องกับการได้รับชุดของความสัมพันธ์ที่เกี่ยวข้องจากวรรณกรรมพร้อมกับขนาดของกลุ่มตัวอย่าง สูตรสามารถนำไปใช้ในการคำนวณความสัมพันธ์เฉลี่ยถ่วงน้ำหนัก จากนั้นการวิเคราะห์สามารถดำเนินการเพื่อดูว่าสหสัมพันธ์แตกต่างกันไปตามการศึกษามากกว่าที่จะถูกบอกเป็นนัยจากผลกระทบของการสุ่มตัวอย่างแบบสุ่ม นอกจากนี้การวิเคราะห์สามารถทำให้ซับซ้อนมากขึ้น การประมาณการสามารถปรับได้สำหรับความน่าเชื่อถือข้อ จำกัด ช่วงและอื่น ๆ ความสัมพันธ์สามารถใช้ร่วมกันเพื่อสำรวจการสร้างแบบจำลองสมการโครงสร้างหรือการถดถอยเมตาดาต้าและอื่น ๆ อย่างไรก็ตามการวิเคราะห์ทั้งหมดเหล่านี้จะดำเนินการโดยใช้สถิติสรุป (เช่นความสัมพันธ์อัตราส่วนอัตราต่อรองความแตกต่างของค่าเฉลี่ยที่ได้มาตรฐาน) เป็นข้อมูลอินพุต สิ่งนี้ต้องการการใช้สูตรและขั้นตอนพิเศษที่ยอมรับสถิติสรุป วิธีการทางเลือกในการวิเคราะห์อภิมาน ดังนั้นฉันจึงคิดเกี่ยวกับวิธีทางเลือกในการวิเคราะห์อภิมานโดยใช้ข้อมูลดิบเป็นข้อมูลป้อนเข้า เช่นสำหรับความสัมพันธ์ข้อมูลอินพุตจะเป็นข้อมูลดิบที่ใช้ในการสร้างความสัมพันธ์ เห็นได้ชัดว่าใน meta-analyse ส่วนใหญ่จะมีหลายอย่างถ้าไม่มีข้อมูลดิบที่แท้จริงไม่สามารถใช้ได้ ดังนั้นขั้นตอนพื้นฐานอาจมีลักษณะเช่นนี้: ติดต่อผู้เขียนและเผยแพร่ทั้งหมดที่กำลังมองหาข้อมูลดิบและถ้าให้ใช้ข้อมูลดิบที่เกิดขึ้นจริง สำหรับผู้เขียนที่ไม่ได้ให้ข้อมูลดิบให้จำลองข้อมูลดิบเพื่อให้มีสถิติสรุปเหมือนกันกับที่รายงาน การจำลองดังกล่าวยังสามารถรวมความรู้ใด ๆ ที่ได้รับจากข้อมูลดิบ (เช่นหากตัวแปรนั้นรู้ว่าเบ้เป็นต้น) ดูเหมือนว่าวิธีดังกล่าวอาจมีประโยชน์หลายประการ: เครื่องมือทางสถิติที่ใช้ข้อมูลดิบเป็นอินพุตสามารถใช้สำหรับการวิเคราะห์ได้ อย่างน้อยที่สุดการได้รับข้อมูลดิบจริงผู้เขียนวิเคราะห์ meta จะถูกบังคับให้พิจารณาประเด็นที่เกี่ยวข้องกับข้อมูลจริง (เช่นค่าผิดปกติการแจกแจง ฯลฯ ) คำถาม มีปัญหาใดบ้างกับการศึกษาวิเคราะห์อภิมานเกี่ยวกับการรวมกันของข้อมูลดิบจริงและข้อมูลจำลองเพื่อให้มีสถิติสรุปที่เหมือนกันกับการศึกษาที่ตีพิมพ์ในปัจจุบันหรือไม่? วิธีการดังกล่าวจะดีกว่าวิธีที่มีอยู่ในการดำเนินการวิเคราะห์เมตาดาต้าบนสถิติสรุปหรือไม่ มีวรรณกรรมที่มีการถกเถียงสนับสนุนหรือวิจารณ์วิธีการนี้หรือไม่?

11 simulation  meta-analysis