สถิติและข้อมูลขนาดใหญ่

ถามตอบสำหรับผู้ที่สนใจในสถิติการเรียนรู้ของเครื่องจักรการวิเคราะห์ข้อมูลการขุดข้อมูล

1
ทำไมราคาหุ้นถึงเป็นปกติ แต่ผลตอบแทนของหุ้นเป็นปกติ
ยกเว้นความจริงที่ว่าผลตอบแทนอาจเป็นลบในขณะที่ราคาจะต้องเป็นค่าบวกมีเหตุผลอื่นใดที่อยู่เบื้องหลังการสร้างแบบจำลองราคาหุ้นเป็นการกระจายบันทึกปกติ แต่การสร้างแบบจำลองผลตอบแทนหุ้นเป็นการกระจายแบบปกติ

4
หมายความว่าค่ามัธยฐานหมายถึงการกระจายตัวแบบ unimodal นั้นสมมาตรหรือไม่?
สำหรับการแจกแจงแบบ unimodal ถ้าค่าเฉลี่ย = ค่ามัธยฐานมันก็เพียงพอแล้วหรือไม่ที่จะบอกว่าการกระจายนั้นสมมาตร Wikipedia กล่าวในความสัมพันธ์ระหว่างค่าเฉลี่ยและค่ามัธยฐาน: "ถ้าการกระจายแบบสมมาตรค่าเฉลี่ยเท่ากับค่ามัธยฐานและการแจกแจงจะไม่มีความเบ้ถ้านอกจากนี้การกระจายนั้นเป็นแบบ unimodal ดังนั้นโหมดเฉลี่ย = มัธยฐานนี่คือกรณีของการโยนเหรียญหรือ ซีรีส์ 1,2,3,4, ... โปรดทราบว่าการสนทนาไม่เป็นความจริงโดยทั่วไปนั่นคือความเบ้ศูนย์ไม่ได้หมายความว่าค่าเฉลี่ยเท่ากับค่ามัธยฐาน " อย่างไรก็ตามมันไม่ได้ตรงไปตรงมา (กับฉัน) เพื่อรวบรวมข้อมูลที่ฉันต้องการ ความช่วยเหลือใด ๆ โปรด

2
การคำนวณข้อผิดพลาดมาตรฐานหลังจากการแปลงบันทึก
พิจารณาชุดของตัวเลขสุ่มที่กระจายตามปกติ: x <- rnorm(n=1000, mean=10) เราต้องการทราบค่าเฉลี่ยและข้อผิดพลาดมาตรฐานในค่าเฉลี่ยดังนั้นเราจึงทำสิ่งต่อไปนี้: se <- function(x) { sd(x)/sqrt(length(x)) } mean(x) # something near 10.0 units se(x) # something near 0.03 units ที่ดี! อย่างไรก็ตามสมมติว่าเราไม่จำเป็นต้องรู้ว่าการแจกแจงเริ่มต้นของเราเป็นไปตามการแจกแจงแบบปกติ เราบันทึกการแปลงข้อมูลและทำการคำนวณข้อผิดพลาดมาตรฐานเดียวกัน z <- log(x, base=10) mean(z) # something near 1 log units se(z) # something near 0.001 log units เยี่ยมยอด แต่ตอนนี้เราจำเป็นต้องแปลงกลับเพื่อให้ได้คำตอบในหน่วยที่ไม่ใช่หน่วยบันทึก 10^mean(z) # something …

4
อาจหมายถึงการบวกส่วนเบี่ยงเบนมาตรฐานหนึ่งค่าเกินค่าสูงสุดหรือไม่
ฉันมีค่าเฉลี่ย 74.10 และส่วนเบี่ยงเบนมาตรฐาน 33.44 สำหรับตัวอย่างที่มีค่าต่ำสุด 0 และสูงสุด 94.33 อาจารย์ของฉันถามฉันว่าค่าเฉลี่ยบวกหนึ่งส่วนเบี่ยงเบนมาตรฐานสูงกว่าค่าสูงสุดได้อย่างไร ฉันแสดงตัวอย่างมากมายเกี่ยวกับเรื่องนี้ แต่เธอไม่เข้าใจ ฉันต้องการการอ้างอิงเพื่อแสดงให้เธอเห็น อาจเป็นบทหรือย่อหน้าใด ๆ จากหนังสือสถิติที่พูดถึงเรื่องนี้โดยเฉพาะ

2
จะตีความ PCA บนข้อมูลอนุกรมเวลาได้อย่างไร
ฉันกำลังพยายามที่จะเข้าใจการใช้ PCA ในบทความวารสารล่าสุดเรื่อง "การทำแผนที่สมองในระดับที่มีการประมวลผลแบบกลุ่ม" Freeman et al., 2014 (pdf ฟรีมีให้บริการบนเว็บไซต์แล็บ ) พวกเขาใช้ข้อมูลอนุกรมเวลา PCA และใช้น้ำหนัก PCA เพื่อสร้างแผนที่ของสมอง ข้อมูลนี้เป็นข้อมูลการถ่ายภาพแบบทดลองโดยเฉลี่ยเก็บไว้เป็นเมทริกซ์ (เรียกว่าในกระดาษ) โดยมี voxels (หรือตำแหน่งถ่ายภาพในสมอง)เวลาชี้ (ความยาวของเดี่ยว กระตุ้นให้สมอง) n× TY^Y^\hat {\mathbf Y}nnn×t^×t^\times \hat t พวกเขาใช้ SVD ส่งผลให้ (บ่งชี้ว่าการเคลื่อนย้ายของเมทริกซ์ )V⊤VY^=USV⊤Y^=USV⊤\hat {\mathbf Y} = \mathbf{USV}^\topV⊤V⊤\mathbf V^\topVV\mathbf V ผู้เขียนกล่าวว่า องค์ประกอบหลัก (คอลัมน์ของ ) เป็นเวกเตอร์ของความยาวและคะแนน (คอลัมน์ของ ) เป็นเวกเตอร์ของความยาว (จำนวน voxels) …

2
โมเดลสารเติมแต่งทั่วไป - ใครทำการวิจัยกับพวกเขานอกเหนือจาก Simon Wood
ฉันใช้เกมมากขึ้นเรื่อย ๆ เมื่อฉันไปเพื่อให้การอ้างอิงสำหรับส่วนประกอบต่าง ๆ ของพวกเขา (การเลือกพารามิเตอร์ให้เรียบฐาน spline ต่างๆ p-values ​​ของคำศัพท์ที่ราบเรียบ) พวกเขาทั้งหมดมาจากนักวิจัยคนหนึ่ง - Simon Wood ที่ University of Bath ในอังกฤษ เขายังเป็นผู้ดูแลmgcvใน R ซึ่งใช้ร่างกายของเขาในการทำงาน mgcvมีความซับซ้อนอย่างมาก แต่ทำงานได้ดีอย่างน่าทึ่ง มีสิ่งที่มีอายุมากกว่าแน่นอน แนวความคิดดั้งเดิมนั้นให้เครดิตกับ Hastie & Tibshirani และตำราเก่าที่ยิ่งใหญ่เขียนโดย Ruppert et al ในปี 2003 ในฐานะที่เป็นคนสมัครฉันไม่ค่อยมีความรู้สึกกับนัก Zeitgeist ในหมู่นักสถิติ งานของเขาได้รับการยกย่องอย่างไร เป็นเรื่องแปลกไหมที่นักวิจัยคนหนึ่งทำได้มากในพื้นที่หนึ่ง? หรือมีงานอื่นที่ไม่ได้สังเกตมากเพราะมันไม่ได้อยู่ข้างในmgcv? ฉันไม่เห็นว่ามีการใช้เกมมากนักแม้ว่าเนื้อหาจะสามารถเข้าถึงได้โดยผู้ใช้ที่มีการฝึกอบรมทางสถิติและซอฟต์แวร์ได้รับการพัฒนาค่อนข้างดี มี "เรื่องย้อนหลัง" มากมายหรือไม่? คำแนะนำของมุมมองชิ้นและสิ่งที่คล้ายกันอื่น ๆ จากวารสารสถิติจะได้รับการชื่นชม

3
เปรียบเทียบแบบจำลองที่ไม่ซ้อนกับ AIC
สมมติว่าเราต้องใช้ GLMM mod1 <- glmer(y ~ x + A + (1|g), data = dat) mod2 <- glmer(y ~ x + B + (1|g), data = dat) โมเดลเหล่านี้ไม่ซ้อนในความหมายปกติของ: a <- glmer(y ~ x + A + (1|g), data = dat) b <- glmer(y ~ x + A + B + (1|g), …

2
ชื่อ“ Logistic Regression” หมายถึงอะไร
ฉันกำลังตรวจสอบการดำเนินการของการถดถอยโลจิสติกจากที่นี่ หลังจากที่ฉันอ่านบทความนั้นดูเหมือนว่าส่วนที่สำคัญคือการหาค่าสัมประสิทธิ์ที่ดีที่สุดในการกำหนดฟังก์ชั่น sigmoid ดังนั้นฉันจึงสงสัยว่าทำไมวิธีนี้เรียกว่า "Logistic Regression" มันเกี่ยวข้องกับฟังก์ชันลอการิทึมหรือไม่? บางทีฉันอาจต้องการข้อมูลพื้นฐานทางประวัติศาสตร์เพื่อทำความเข้าใจให้ดีขึ้น

1
ฉันจะ 'หลบ' ตำแหน่งของ geom_point ใน ggplot2 ได้อย่างไร
ล็อคแล้ว คำถามและคำตอบนี้ถูกล็อคเนื่องจากคำถามอยู่นอกหัวข้อ แต่มีความสำคัญทางประวัติศาสตร์ ขณะนี้ไม่ยอมรับคำตอบหรือการโต้ตอบใหม่ ฉันใช้ ggplot2 ใน R เพื่อทำแปลงเหมือนอันต่อไปนี้: แถบข้อผิดพลาดซ้อนทับกันซึ่งดูยุ่งเหยิงจริงๆ ฉันจะแยกแถบข้อผิดพลาดสำหรับดัชนีต่าง ๆ ได้อย่างไร ฉันใช้ตำแหน่ง = "หลบ" แต่ดูเหมือนจะไม่ทำงาน นี่คือส่วนหลักของรหัสของฉัน: plot = ggplot(data,aes(x=ntrunc,y=beta_best,group=ntrunc,colour=INDEX)) +geom_point(aes(shape=detectable),na.rm=TRUE,position="dodge") +geom_errorbar(aes(x=ntrunc,ymax=beta_high,ymin=beta_low),na.rm=TRUE,position="dodge")

4
ตัวอย่างข้อมูลที่ดีจำเป็นต้องใช้กับ covariate รับผลกระทบจากการรักษา
ฉันได้ดูชุดข้อมูล R จำนวนมากการโพสต์ใน DASL และที่อื่น ๆ และฉันไม่พบตัวอย่างที่ดีของชุดข้อมูลที่น่าสนใจมากมายที่แสดงการวิเคราะห์ความแปรปรวนร่วมสำหรับข้อมูลการทดลอง มีชุดข้อมูล "ของเล่น" จำนวนมากที่มีข้อมูลที่ประดิษฐ์ไว้ในตำราเรียน ฉันต้องการตัวอย่างที่: ข้อมูลเป็นของจริงพร้อมเรื่องราวที่น่าสนใจ มีปัจจัยการรักษาอย่างน้อยหนึ่งปัจจัยและสองตัวแปรร่วม covariate อย่างน้อยหนึ่งตัวได้รับผลกระทบจากปัจจัยการรักษาอย่างน้อยหนึ่งอย่างและอย่างใดอย่างหนึ่งไม่ได้รับผลกระทบจากการรักษา ทดลองมากกว่าการสังเกตโดยเฉพาะอย่างยิ่ง พื้นหลัง เป้าหมายที่แท้จริงของฉันคือการหาตัวอย่างที่ดีในการเขียนบทความสั้น ๆ สำหรับแพ็คเกจ R ของฉัน แต่เป้าหมายที่ใหญ่กว่าคือผู้คนจำเป็นต้องเห็นตัวอย่างที่ดีเพื่อแสดงให้เห็นถึงความกังวลที่สำคัญในการวิเคราะห์ความแปรปรวนร่วม พิจารณาสถานการณ์ที่สร้างขึ้นต่อไปนี้ (และโปรดเข้าใจว่าความรู้ของฉันเกี่ยวกับการเกษตรเป็นเรื่องที่ตื้นที่สุด) เราทำการทดลองที่ปุ๋ยถูกสุ่มไปยังแปลงและปลูกพืช หลังจากระยะเวลาการเจริญเติบโตที่เหมาะสมเราเก็บเกี่ยวพืชผลและวัดลักษณะคุณภาพ - นั่นคือตัวแปรตอบสนอง แต่เรายังบันทึกปริมาณน้ำฝนทั้งหมดในช่วงที่ปลูกและความเป็นกรดของดินในช่วงที่มีการเก็บเกี่ยว - และแน่นอนว่ามีการใช้ปุ๋ย ดังนั้นเราจึงมีโควาเรียสองตัวและการบำบัด วิธีปกติในการวิเคราะห์ข้อมูลที่ได้จะเป็นแบบจำลองเชิงเส้นตรงกับการรักษาเป็นปัจจัยและผลเสริมสำหรับ covariates จากนั้นจะสรุปผลลัพธ์หนึ่งคำสั่ง "ปรับหมายถึง" (AKA หมายถึงกำลังสองน้อยที่สุด) ซึ่งเป็นการทำนายจากแบบจำลองสำหรับแต่ละปุ๋ยที่ปริมาณน้ำฝนเฉลี่ยและความเป็นกรดของดินเฉลี่ย 3 สิ่งนี้ทำให้ทุกอย่างเท่าเทียมกันเพราะเมื่อเราเปรียบเทียบผลลัพธ์เหล่านี้เรามีปริมาณน้ำฝนและค่าความเป็นกรดคงที่ แต่นี่อาจเป็นสิ่งที่ผิดที่ต้องทำเพราะปุ๋ยอาจส่งผลกระทบต่อความเป็นกรดของดินรวมถึงการตอบสนอง สิ่งนี้ทำให้การปรับหมายถึงทำให้เข้าใจผิดเพราะผลการรักษารวมถึงผลกระทบต่อความเป็นกรด วิธีหนึ่งในการจัดการสิ่งนี้คือการเอากรดออกจากแบบจำลองจากนั้นวิธีการปรับปริมาณน้ำฝนจะให้การเปรียบเทียบที่เป็นธรรม แต่ถ้าความเป็นกรดมีความสำคัญความเป็นธรรมนี้มาพร้อมกับราคาที่ดีในการเพิ่มความแปรปรวนที่เหลือ มีวิธีแก้ไขโดยใช้ความเป็นกรดที่ปรับแล้วในแบบจำลองแทนที่จะเป็นค่าดั้งเดิม การปรับปรุงที่จะเกิดขึ้นในแพคเกจ R ฉันlsmeansจะทำให้เรื่องนี้อย่างจริงจังง่าย …

2
การสร้าง rv แบบแยกซึ่งมีส่วนสนับสนุน rationals ทั้งหมดใน
นี่คือภาคต่อของคอนสตรัคติวิสต์ของคำถามนี้ หากเราไม่สามารถมีตัวแปรสุ่มแบบไม่ต่อเนื่องที่สนับสนุนการปันส่วนทั้งหมดในช่วงดังนั้นสิ่งที่ดีที่สุดถัดไปคือ: [0,1][0,1][0,1] สร้างตัวแปรสุ่มที่มีการสนับสนุนนี้และมันตามการแจกแจงบางอย่าง และช่างในตัวฉันต้องการให้ตัวแปรแบบสุ่มนี้สร้างขึ้นจากการแจกแจงที่มีอยู่แทนที่จะสร้างขึ้นโดยการกำหนดสิ่งที่เราต้องการได้อย่างเป็นนามธรรมQQQQ∈Q∩[0,1]Q∈Q∩[0,1]Q\in \mathbb{Q}\cap[0,1] ดังนั้นฉันจึงคิดสิ่งต่อไปนี้: ให้เป็นตัวแปรสุ่มแบบไม่ต่อเนื่องหลังจากการกระจายทางเรขาคณิต - ตัวแปร II ที่มีพารามิเตอร์คือXXX0&lt;p&lt;10&lt;p&lt;10<p<1 X∈{0,1,2,...},P(X=k)=(1−p)kp,FX(X)=1−(1−p)k+1X∈{0,1,2,...},P(X=k)=(1−p)kp,FX(X)=1−(1−p)k+1 X \in \{0,1,2,...\},\;\;\;\; P(X=k) = (1-p)^kp,\;\;\; F_X(X) = 1-(1-p)^{k+1} ปล่อยให้เป็นตัวแปรสุ่มแบบไม่ต่อเนื่องหลังจากการแจกแจงเชิงเรขาคณิต - ตัวแปร I ที่มีพารามิเตอร์เหมือนกันคือYYYppp Y∈{1,2,...},P(Y=k)=(1−p)k−1p,FY(Y)=1−(1−p)kY∈{1,2,...},P(Y=k)=(1−p)k−1p,FY(Y)=1−(1−p)k Y \in \{1,2,...\},\;\;\;\; P(Y=k) = (1-p)^{k-1}p,\;\;\; F_Y(Y) = 1-(1-p)^k XXXและเป็นอิสระ กำหนดตัวแปรสุ่มในขณะนี้YYY Q=XYQ=XYQ = \frac {X}{Y} และพิจารณาการแจกแจงแบบมีเงื่อนไข P(Q≤q∣{X≤Y})P(Q≤q∣{X≤Y})P(Q\leq q \mid \{X\leq Y\}) ในคำหลวม …

1
ไม่ทำให้ข้อมูลเป็นปกติก่อน PCA จะอธิบายอัตราส่วนความแปรปรวนได้ดีกว่า
ฉันทำให้ชุดข้อมูลของฉันเป็นปกติจากนั้นเรียกใช้ PCA 3 องค์ประกอบเพื่อรับอัตราส่วนความแปรปรวนเล็ก ๆ ([0.50, 0.1, 0.05]) เมื่อฉันไม่ได้ทำให้ปกติ แต่ทำให้ชุดข้อมูลของฉันขาวขึ้นจากนั้นก็วิ่ง PCA 3 component ฉันได้อัตราส่วนความแปรปรวนที่อธิบายไว้สูง ([0.86, 0.06,0.01]) เนื่องจากฉันต้องการเก็บข้อมูลให้มากที่สุดเป็น 3 องค์ประกอบฉันไม่ควรทำให้ข้อมูลเป็นมาตรฐานหรือไม่ จากความเข้าใจของฉันเราควรทำให้ปกติก่อน PCA โดย normalizing: การตั้งค่าหมายถึง 0 และมีความแปรปรวนของหน่วย
19 pca 

2
วิธีการประยุกต์ใช้ทฤษฎีบทของเบย์กับการค้นหาชาวประมงที่หายไปในทะเล
บทความThe Odds, อัปเดตอย่างต่อเนื่องกล่าวถึงเรื่องราวของชาวประมงที่ลองไอส์แลนด์ที่แท้จริงเป็นหนี้ชีวิตของเขาเพื่อสถิติเบย์ นี่เป็นเวอร์ชั่นย่อ: มีชาวประมงสองคนอยู่บนเรือกลางดึก ในขณะที่คนหนึ่งหลับไปอีกคนหนึ่งก็ตกลงไปในมหาสมุทร เรือยังคงหมุนรอบอัตโนมัติตลอดทั้งคืนจนกระทั่งในที่สุดชายคนแรกก็ตื่นขึ้นมาและแจ้งให้หน่วยยามฝั่งทราบ Coast Guard ใช้ชิ้นส่วนของซอฟต์แวร์ที่เรียกว่าSAROPS (ระบบค้นหาและกู้ภัยที่เหมาะสมที่สุดในการวางแผน)เพื่อค้นหาเขาทันเวลาเนื่องจากเขาเป็นคนที่มีอุณหภูมิและมีพลังงานเหลือพอที่จะลอยได้ นี่คือรุ่นยาว: Speck In The Sea ฉันต้องการทราบเพิ่มเติมเกี่ยวกับวิธีการใช้ทฤษฎีบทของเบย์ที่นี่จริง ๆ ฉันพบข้อมูลเกี่ยวกับซอฟต์แวร์ SAROPS เพียงเล็กน้อยโดยใช้ Google โปรแกรมจำลอง SAROPS ส่วนประกอบของเครื่องจำลองจะพิจารณาข้อมูลที่ทันเวลาเช่นกระแสน้ำในมหาสมุทรลม ฯลฯ และจำลองเส้นทางล่องลอยที่เป็นไปได้หลายพันเส้นทาง จากเส้นทางดริฟท์เหล่านั้นจะสร้างแผนที่การกระจายความน่าจะเป็น โปรดทราบว่ากราฟิกต่อไปนี้ไม่ได้อ้างถึงกรณีของชาวประมงที่หายไปที่ฉันกล่าวถึงข้างต้น แต่เป็นตัวอย่างของเล่นที่นำมาจากงานนำเสนอนี้ Probability Map 1 (สีแดงแสดงถึงความน่าจะเป็นสูงสุด; สีน้ำเงินต่ำสุด) สังเกตวงกลมที่เป็นตำแหน่งเริ่มต้น Probability Map 2 - เวลาผ่านไปแล้ว โปรดทราบว่าแผนที่ความน่าจะเป็นกลายเป็นหลายรูปแบบ นั่นเป็นเพราะในตัวอย่างนี้มีการพิจารณาหลายสถานการณ์: บุคคลกำลังลอยอยู่ในน้ำ - โหมดบนกลาง บุคคลนั้นอยู่ในแพชูชีพ (ได้รับผลกระทบจากลมเหนือมากขึ้น) - โหมด …

2
PCA และการวิเคราะห์ปัจจัยเชิงสำรวจในชุดข้อมูลเดียวกัน: ความแตกต่างและความคล้ายคลึงกัน; ตัวแบบแฟคเตอร์กับ PCA
ฉันอยากรู้ว่ามันสมเหตุสมผลหรือไม่ที่จะทำการวิเคราะห์องค์ประกอบหลัก (PCA) และการวิเคราะห์ปัจจัยเชิงสำรวจ (EFA) ในชุดข้อมูลเดียวกัน ฉันเคยได้ยินผู้เชี่ยวชาญแนะนำอย่างชัดเจน: ทำความเข้าใจว่าเป้าหมายของการวิเคราะห์คืออะไรและเลือก PCA หรือ EFA สำหรับการวิเคราะห์ข้อมูล เมื่อทำการวิเคราะห์หนึ่งครั้งแล้วไม่จำเป็นต้องทำการวิเคราะห์อื่นอีก ฉันเข้าใจความแตกต่างของแรงบันดาลใจระหว่างทั้งสอง แต่ฉันแค่สงสัยว่ามีอะไรผิดปกติในการตีความผลลัพธ์ที่ได้จาก PCA และ EFA ในเวลาเดียวกันหรือไม่

1
คำนวณและทำกราฟขอบเขตการตัดสินใจของ LDA
ฉันเห็นพล็อต LDA (การวิเคราะห์จำแนกเชิงเส้น) ที่มีขอบเขตการตัดสินใจจากองค์ประกอบของการเรียนรู้ทางสถิติ : ฉันเข้าใจว่ามีการฉายข้อมูลลงในพื้นที่ย่อยที่มีมิติน้อย อย่างไรก็ตามฉันต้องการทราบว่าเราจะได้รับขอบเขตการตัดสินใจในมิติเดิมอย่างไรเพื่อให้ฉันสามารถฉายขอบเขตการตัดสินใจลงในพื้นที่ย่อยที่มีมิติต่ำกว่า (ชอบเส้นสีดำในภาพด้านบน) มีสูตรที่ฉันสามารถใช้คำนวณขอบเขตการตัดสินใจในมิติเดิม (สูงกว่า) ได้หรือไม่ ถ้าใช่แล้วสูตรนี้ต้องการปัจจัยอะไร?

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.