สถิติและข้อมูลขนาดใหญ่

ฉันสังเกตว่าแพ็คเกจและธีม "ทันสมัย" หลายแห่งและผู้ใช้ข้อมูลที่โดดเด่นจำนวนมากใช้พื้นหลังสีเทาสำหรับพล็อตของพวกเขา นี่คือตัวอย่างหลายประการ: ggplot2: Nate Silver's fivethirtyeight.com: ในขณะที่ในตัวอย่างแรกข้างต้น (ggplot2) บางคนอาจโต้แย้งว่าการใช้พื้นหลังสีเทาลดหมึกที่จำเป็นสำหรับเส้นกริดนี่ไม่ใช่กรณีที่มีกรณีที่สอง อะไรคือข้อดีของการใช้พื้นหลังสีเทาซึ่งตรงกันข้ามกับสีขาวหรือสีโปร่งใส

17 data-visualization  ggplot2 

อ้างอิงจากบทความวิกิพีเดียหนึ่งสามารถแสดงผลิตภัณฑ์ของความน่าจะx⋅yเป็นที่-log(x) - log(y)ทำให้การคำนวณที่ดีที่สุดในการคำนวณ แต่ถ้าฉันลองตัวอย่างพูดว่า: p1 = 0.5 p2 = 0.5 p1 * p2 = 0.25 -log(p1) - log(p2) = 2 p3 = 0.1 p4 = 0.1 p3 * p4 = 0.01 -log(p3) - log(p4) = 6.64 ผลคูณของความน่าจะเป็นp1และp2สูงกว่าค่าใดค่าหนึ่งp3และp4ความน่าจะเป็นบันทึกนั้นต่ำกว่า มาทำไม

17 probability  logarithm  arithmetic 

ฉันมีชุดข้อมูลภาพยนตร์และฉันใช้การถดถอย: model <- lm(imdbVotes ~ imdbRating + tomatoRating + tomatoUserReviews+ I(genre1 ** 3.0) +I(genre2 ** 2.0)+I(genre3 ** 1.0), data = movies) library(ggplot2) res <- qplot(fitted(model), resid(model)) res+geom_hline(yintercept=0) ซึ่งให้ผลลัพธ์: ตอนนี้ฉันลองทำงานบางอย่างที่เรียกว่า "เพิ่ม Variable Plot" ครั้งแรกและฉันได้ผลลัพธ์ต่อไปนี้: car::avPlots(model, id.n=2, id.cex=0.7) ปัญหาคือฉันพยายามที่จะทำความเข้าใจกับตัวแปรที่เพิ่มเข้ามาโดยใช้ google แต่ฉันไม่สามารถเข้าใจความลึกของมันได้เพราะเห็นพล็อตที่ฉันเข้าใจว่ามันเป็นตัวแทนของการบิดเบือนที่ขึ้นอยู่กับตัวแปรอินพุตแต่ละตัวที่เกี่ยวข้องกับผลลัพธ์ ฉันสามารถรับรายละเอียดเพิ่มเติมได้เล็กน้อยเช่นวิธีปรับข้อมูลให้เป็นมาตรฐาน

17 regression  data-visualization  multiple-regression  scatterplot 

สมมติว่าฉันมีการกระจายข้อมูลตามปกติ สำหรับแต่ละองค์ประกอบของข้อมูลฉันต้องการตรวจสอบว่ามี SDs จำนวนเท่าใดที่อยู่ห่างจากค่าเฉลี่ย อาจมีค่าผิดปกติในข้อมูล (น่าจะมีเพียงหนึ่ง แต่อาจมีสองหรือสาม) หรือไม่ แต่ค่าผิดปกตินี้เป็นสิ่งที่ฉันกำลังมองหา เป็นเรื่องที่สมเหตุสมผลหรือไม่ที่จะแยกองค์ประกอบที่ฉันกำลังดูจากการคำนวณค่าเฉลี่ยและ SD ชั่วคราว ความคิดของฉันคือถ้าใกล้เคียงกับค่าเฉลี่ยมันจะไม่มีผลกระทบใด ๆ หากเป็นค่าผิดปกติอาจมีอคติในการคำนวณค่าเฉลี่ยและ SD และลดความน่าจะเป็นที่ตรวจพบได้ ฉันไม่ใช่นักสถิติดังนั้นความช่วยเหลือใด ๆ ที่ชื่นชม!

17 cross-validation  standard-deviation  mean  outliers 

ในปีที่ผ่านมาวิธีการเชิงโครงสร้างเพื่อเศรษฐมิติเมื่อเทียบกับเศรษฐมิติแบบฟอร์มที่ลดลงได้กลายเป็นที่นิยมมากขึ้น สิ่งนี้เกี่ยวข้องกับการรวมกันอย่างแน่นหนาของแบบจำลองทางเศรษฐศาสตร์เชิงทฤษฎีและสถิติเพื่อประเมินพารามิเตอร์ที่น่าสนใจ การนำเสนอโครงสร้างเชิงทฤษฎีมากขึ้นในวิธีที่เราใช้ข้อมูลและวิธีการทางสถิติมีไว้เพื่อให้คำแนะนำและบางครั้งก็สามารถเปิดเผยพารามิเตอร์ที่ไม่สามารถประเมินได้อย่างง่ายดายด้วยวิธีการลดรูปแบบ แม้แต่ผู้ที่ไม่ใช่นักเศรษฐศาสตร์ก็อาจมีความน่าสนใจเพราะการจำลองและการสุ่มตัวอย่างสามารถเป็นส่วนสำคัญในการประมาณโครงสร้างและเทคนิคต่างๆที่ใช้ในสังคมศาสตร์อื่น ๆ สาขาวิชาเศรษฐศาสตร์ในสาขาวิชาสถิตินี้ดูเหมือนจะไม่มีตำราแบบเกริ่นนำมาก่อน ฉันได้พบเพียงวัสดุที่ทันสมัยมากขึ้นเช่นโครงสร้างทางเศรษฐมิติรุ่นโดย Choo และชุม (2013) หรือบทสำรวจโดยไดอานาและ WOLAK ใครช่วยชี้ให้ฉันดูชุดของการบรรยายหรือบางทีหนังสือ (ที่ฉันเพิ่งยังไม่พบ) ซึ่งจะให้คำแนะนำเกี่ยวกับเศรษฐศาสตร์เชิงโครงสร้าง? ความนึกคิดนี้จะขึ้นอยู่กับตัวอย่างที่มีวิธีการต่าง ๆ รวมถึงรหัสหรือคำแนะนำเกี่ยวกับวิธีการทำซ้ำตัวอย่างเหล่านี้เพื่อความเข้าใจที่ดีขึ้น ฉันตระหนักถึงงานวิจัยหลายชิ้นโดยเฉพาะในองค์กรอุตสาหกรรม แบบจำลองการพึ่งพาของรัฐ (สนิม, 1987) การประมาณความต้องการ (Berry, 1994; Berry, Levinson, และ Pakes, 1995) การประมาณผลผลิต (Olley and Pakes, 1996) การประมาณค่าอำนาจตลาด (Nevo, 2005; Sovinsky, 2008) แต่ส่วนใหญ่ยากที่จะติดตาม ดังนั้นหากมีคนรู้เกี่ยวกับการแนะนำที่อ่อนโยนกว่านี้จะเป็นความช่วยเหลือที่ดี

17 econometrics  references 

ฉันมีอำนาจสูงสุด1ที่ Gibbs Sampling เป็นกรณีพิเศษของอัลกอริทึม Metropolis-Hastings สำหรับการสุ่มตัวอย่าง Markov Chain Monte Carlo อัลกอริทึม MH ให้ความน่าจะเป็นในการเปลี่ยนแปลงด้วยคุณสมบัติสมดุลแบบละเอียดเสมอ ฉันคาดหวังว่ากิ๊บส์ก็ควรทำเช่นกัน ดังนั้นในกรณีที่เรียบง่ายต่อไปนี้ฉันผิดไปที่ไหน? สำหรับการแจกแจงเป้าหมายπ(x,y)π(x,y)\pi(x, y)สำหรับตัวแปรสองตัวที่แยกกัน (เพื่อความง่าย) การแจกแจงแบบมีเงื่อนไขเต็มรูปแบบคือ: q1(x;y)q2(y;x)=π(x,y)∑zπ(z,y)=π(x,y)∑zπ(x,z)q1(x;y)=π(x,y)∑zπ(z,y)q2(y;x)=π(x,y)∑zπ(x,z) \begin{align} q_1 (x;y) & =\frac{\pi (x,y)}{\sum_z \pi (z,y)} \\ q_2 (y;x) & =\frac{\pi (x,y)}{\sum_z \pi (x,z)} \end{align} เมื่อฉันเข้าใจการสุ่มตัวอย่างของกิ๊บส์ความน่าจะเป็นในการเปลี่ยนแปลงสามารถเขียนได้: Prob{(y1,y2)→(x1,x2)}=q1(x1;y2)q2(x2;x1)Prob{(y1,y2)→(x1,x2)}=q1(x1;y2)q2(x2;x1) Prob\{(y_1, y_2) \to (x_1, x_2)\} = q_1(x_1; y_2) q_2(x_2; x_1) คำถามคือ …

17 mcmc  gibbs 

นี่เป็นโพสต์แรกของฉันใน StackExchange แต่ฉันได้ใช้มันเป็นทรัพยากรมาระยะหนึ่งแล้วฉันจะพยายามอย่างดีที่สุดที่จะใช้รูปแบบที่เหมาะสมและทำการแก้ไขที่เหมาะสม นอกจากนี้ยังเป็นคำถามที่มีหลายส่วน ฉันไม่แน่ใจว่าฉันควรแยกคำถามออกเป็นหลายกระทู้หรือกระทู้เดียว เนื่องจากคำถามมาจากส่วนหนึ่งในข้อความเดียวกันฉันคิดว่ามันจะเกี่ยวข้องกับการโพสต์เป็นคำถามเดียว ฉันกำลังค้นคว้าการใช้ถิ่นที่อยู่ของสัตว์เลี้ยงลูกด้วยนมขนาดใหญ่เพื่อทำวิทยานิพนธ์ปริญญาโท เป้าหมายของโครงการนี้คือเพื่อให้ผู้จัดการป่าไม้ (ซึ่งน่าจะไม่ใช่นักสถิติ) ที่มีกรอบการปฏิบัติเพื่อประเมินคุณภาพของที่อยู่อาศัยในดินแดนที่พวกเขาจัดการเกี่ยวกับสายพันธุ์นี้ สัตว์ตัวนี้ค่อนข้างเข้าใจยากผู้เชี่ยวชาญด้านที่อยู่อาศัยและมักจะอยู่ในพื้นที่ห่างไกล มีการศึกษาค่อนข้างน้อยเกี่ยวกับการกระจายของสายพันธุ์โดยเฉพาะฤดูกาล สัตว์หลายตัวติดตั้งปลอกคอ GPS เป็นระยะเวลาหนึ่งปี หนึ่งร้อยสถานที่ (50 ฤดูร้อนและ 50 ฤดูหนาว) ได้รับการสุ่มเลือกจากข้อมูลปลอกคอ GPS ของสัตว์แต่ละตัว นอกจากนี้ 50 คะแนนถูกสร้างแบบสุ่มภายในบ้านของสัตว์แต่ละตัวเพื่อทำหน้าที่เป็นตำแหน่ง "ว่าง" หรือ "หลอก" สำหรับที่ตั้งแต่ละแห่งตัวแปรที่อยู่อาศัยหลายแห่งถูกสุ่มตัวอย่างในฟิลด์ (ขนาดเส้นผ่าศูนย์กลางต้นไม้, แนวนอน, เศษไม้หยาบ ฯลฯ ) และตัวอย่างจำนวนมากถูกสุ่มตัวอย่างจากระยะไกลผ่าน GIS (ระดับความสูง, ระยะห่างจากถนน, ความทนทาน ฯลฯ ) ตัวแปรส่วนใหญ่จะต่อเนื่องยกเว้นตัวแปรเด็ดขาด 1 อันที่มี 7 ระดับ เป้าหมายของฉันคือใช้การสร้างแบบจำลองการถดถอยเพื่อสร้างฟังก์ชั่นการเลือกทรัพยากร (RSF) เพื่อสร้างแบบจำลองความน่าจะเป็นสัมพัทธ์ของการใช้หน่วยทรัพยากร …

17 r  logistic  model-selection  regression-strategies 

พิจารณากระบวนการ AR ที่เป็นศูนย์กลาง (2)โดยที่เป็นกระบวนการเสียงสีขาวมาตรฐาน เพียงเพื่อประโยชน์ของความเรียบง่ายให้ฉันโทรและ a มุ่งเน้นไปที่รากของสมการลักษณะเฉพาะฉันได้ เงื่อนไขแบบคลาสสิกในตำรามีดังต่อไปนี้: ฉันพยายามที่จะแก้ปัญหาด้วยตนเอง (ด้วยความช่วยเหลือของ Mathematica) ความไม่เท่าเทียมกันในรากเช่นระบบได้รับเพียงXt=ϕ1Xt−1+ϕ2Xt−2+ϵtXt=ϕ1Xt−1+ϕ2Xt−2+ϵtX_t=\phi_1X_{t-1}+\phi_2X_{t-2}+\epsilon_tϵtϵt\epsilon_tϕ1=bϕ1=b\phi_1=bϕ2=aϕ2=a\phi_{2}=az1,2=−b±b2+4a−−−−−−√2az1,2=−b±b2+4a2az_{1,2}=\frac{-b\pm\sqrt{b^2+4a}}{2a}{|a|&lt;1a±b&lt;1{|a|&lt;1a±b&lt;1\begin{cases}|a|<1 \\ a\pm b<1 \end{cases}⎧⎩⎨|−b−b2+4a√2a|&gt;1|−b+b2+4a√2a|&gt;1{|−b−b2+4a2a|&gt;1|−b+b2+4a2a|&gt;1\begin{cases}|\frac{-b-\sqrt{b^2+4a}}{2a}|>1 \\ |\frac{-b+\sqrt{b^2+4a}}{2a}|>1\end{cases}a±b&lt;1a±b&lt;1a \pm b<1เงื่อนไขที่สาม ( ) สามารถกู้คืนได้โดยเพิ่มโซลูชันสองรายการก่อนหน้าให้กับแต่ละอื่น ๆ ที่ได้รับที่ผ่านการพิจารณาสัญญาณบางอย่างกลายเป็นหรือไม่ หรือฉันกำลังหาทางแก้ปัญหา?|a|&lt;1|a|&lt;1|a|<1a+b+a−b&lt;2⇒a&lt;1a+b+a−b&lt;2⇒a&lt;1a+b+a-b<2 \Rightarrow a<1|a|&lt;1|a|&lt;1|a|<1

17 self-study  stationarity  arma 

ฉันเพิ่งอ่านเกี่ยวกับมาตรการเบี่ยงเบนสำหรับการถดถอยโลจิสติก อย่างไรก็ตามส่วนที่เรียกว่าแบบจำลองแบบอิ่มตัวนั้นไม่ชัดเจนสำหรับฉัน ฉันทำการค้นหาด้วย Google อย่างกว้างขวาง แต่ไม่มีผลลัพธ์ใดที่ตอบคำถามของฉัน จนถึงตอนนี้ฉันพบว่าแบบจำลองอิ่มตัวมีพารามิเตอร์สำหรับการสังเกตแต่ละครั้งซึ่งเป็นผลให้ผลลัพธ์ในแบบที่สมบูรณ์แบบ ชัดเจนสำหรับฉัน แต่: ยิ่งไปกว่านั้นค่าติดตั้ง (ของโมเดลอิ่มตัว) จะเท่ากับค่าที่สังเกตได้ ตั้งแต่จากความรู้ของฉันถดถอยโลจิสติถูกนำมาใช้สำหรับการจำแนกประเภทข้อมูลที่สังเกตให้เป็นตัวแปรที่มีป้ายชื่อเพิ่มเติม\} อย่างไรก็ตามมาตรการเบี่ยงเบนใช้ความน่าจะเป็น แต่ไม่ใช่ฉลากจริง หนึ่งนำไปใช้คำนวณความน่าจะเป็นที่คาดการณ์ของการถดถอยโลจิสติกเมื่อเทียบกับความน่าจะเป็นที่สังเกต อย่างไรก็ตามเนื่องจากมีเพียงป้ายกำกับแทนที่จะเป็นความน่าจะเป็นฉันจึงสับสนว่าจะสร้างแบบจำลองที่อิ่มตัวจากป้ายกำกับเหล่านี้ได้อย่างไรY∈ { 0 , 1 }Y∈{0,1}y \in \{0,1\}

17 logistic  deviance 

ฉันสามารถใช้แนวทางบางอย่างเกี่ยวกับการนำเสนอข้อมูลบางอย่าง พล็อตแรกนี้เป็นการเปรียบเทียบการควบคุมกรณีสำหรับ cytokine IL-10 ฉันได้ตั้งแกน y ด้วยตนเองเพื่อรวม 99% ของข้อมูล เหตุผลที่ฉันตั้งค่าด้วยตนเองนี้เป็นเพราะกลุ่มเคสมีค่าผิดปกติมาก ผู้ทำงานร่วมกันของฉันลังเลที่จะทำการลบข้อมูลในชุดข้อมูลของเราออกไป ฉันโอเคกับมัน แต่พวกเขาไม่ต้องการ นั่นเป็นทางออกที่ชัดเจน แต่ถ้าฉันจะเก็บข้อมูลทั้งหมดและไม่ลบค่าผิดปกตินี้ฉันจะแสดง boxplot นี้อย่างเหมาะสมได้อย่างไร แกนแยก? เป็นที่ยอมรับหรือไม่ที่จะใช้เพียงกราฟแรกและทราบว่าสร้างขึ้นเพื่อรวมข้อมูลทั้งหมดหรือไม่ (ตัวเลือกนี้รู้สึกไม่สุจริตสำหรับฉัน) คำแนะนำใด ๆ ที่จะดี

17 r  data-visualization  outliers  boxplot  presentation 

ฉันมีคำถามเกี่ยวกับการละเว้นความเอนเอียงของตัวแปรในการถดถอยโลจิสติกส์และเชิงเส้น สมมติว่าฉันตัดตัวแปรบางตัวออกจากตัวแบบการถดถอยเชิงเส้น แกล้งทำเป็นว่าตัวแปรที่ละเว้นนั้นไม่สัมพันธ์กับตัวแปรที่รวมอยู่ในแบบจำลองของฉัน ตัวแปรที่ละเว้นเหล่านั้นไม่ได้ให้ค่าสัมประสิทธิ์ในแบบจำลองของฉัน แต่ในการถดถอยโลจิสติกฉันเพิ่งรู้ว่านี่ไม่เป็นความจริง ตัวแปรที่ถูกละเว้นจะมีอคติกับค่าสัมประสิทธิ์ของตัวแปรที่รวมแม้ว่าตัวแปรที่ละเว้นจะไม่สัมพันธ์กับตัวแปรที่รวมอยู่ ฉันพบบทความในหัวข้อนี้ แต่ฉันไม่สามารถทำหัวหรือก้อยได้ นี่คือกระดาษและสไลด์ PowerPointบางอัน อคตินั้นดูเหมือนจะเป็นศูนย์เสมอ มีใครอธิบายได้บ้างว่ามันทำงานอย่างไร?

17 regression  logistic  least-squares  bias 

หลังจากการค้นหาบางอย่างฉันพบข้อผิดพลาดเล็กน้อยเกี่ยวกับการรวมตัวกันของน้ำหนัก / การวัดในการวิเคราะห์องค์ประกอบหลัก สิ่งที่ฉันพบมักใช้วิธีวนซ้ำเพื่อรวมน้ำหนัก (เช่นที่นี่ ) คำถามของฉันคือเหตุใดจึงจำเป็นต้องใช้วิธีการนี้ ทำไมเราไม่สามารถใช้ eigenvector ของเมทริกซ์ความแปรปรวนร่วมแบบถ่วงน้ำหนักได้?

17 pca  measurement-error  weighted-data 

เรารู้ถึงความจริงที่ว่าสหสัมพันธ์แบบศูนย์ไม่มีนัยยะถึงความเป็นอิสระ ฉันสนใจว่าความสัมพันธ์ที่ไม่เป็นศูนย์หมายถึงการพึ่งพาหรือไม่ - เช่นถ้าCorr(X,Y)≠0Corr(X,Y)≠0\text{Corr}(X,Y)\ne0สำหรับตัวแปรสุ่มบางตัวและเราสามารถพูดโดยทั่วไปว่า ?XXXYYYfX,Y(x,y)≠fX(x)fY(y)fX,Y(x,y)≠fX(x)fY(y)f_{X,Y}(x,y) \ne f_X(x) f_Y(y)

17 correlation  independence 

หลักสูตรสถิติพื้นฐานมักแนะนำให้ใช้การแจกแจงแบบปกติเพื่อประมาณค่าเฉลี่ยของพารามิเตอร์ประชากรเมื่อขนาดตัวอย่างnมีขนาดใหญ่ (โดยทั่วไปแล้วจะมากกว่า 30 หรือ 50) การแจกแจงแบบ T ของนักเรียนใช้สำหรับกลุ่มตัวอย่างขนาดเล็กลงเพื่ออธิบายความไม่แน่นอนในค่าเบี่ยงเบนมาตรฐานของกลุ่มตัวอย่าง เมื่อขนาดตัวอย่างมีขนาดใหญ่ค่าเบี่ยงเบนมาตรฐานตัวอย่างจะให้ข้อมูลที่ดีเกี่ยวกับค่าเบี่ยงเบนมาตรฐานประชากรทำให้สามารถประมาณการกระจายตัวแบบปกติได้ ฉันเข้าใจ. แต่ทำไมต้องใช้การประมาณเมื่อคุณได้รับช่วงความมั่นใจอย่างแน่นอน ไม่ว่าขนาดของกลุ่มตัวอย่างจะเป็นอะไรจุดของการใช้การแจกแจงแบบปกติคือถ้าเป็นเพียงการประมาณบางอย่างที่คุณจะได้รับจากการแจกแจงแบบ T

17 normal-distribution  confidence-interval  t-distribution 

ฉันกำลังมองหากรณีที่เฉพาะเจาะจงจริงซึ่งความสัมพันธ์เชิงสาเหตุถูกอนุมานอย่างไม่เหมาะสมจากหลักฐานของความสัมพันธ์ โดยเฉพาะฉันสนใจตัวอย่างที่ตรงตามเกณฑ์ต่อไปนี้: การดำรงอยู่ของความสัมพันธ์เชิงสาเหตุได้รับการยอมรับในความเป็นจริงอย่างกว้างขวางพอที่จะมีผลกระทบที่โดดเด่น (ในนโยบายสาธารณะวาทกรรมการตัดสินใจรายบุคคล ฯลฯ ) การเชื่อมโยงถูกอนุมานเพียงอย่างเดียวบนพื้นฐานของหลักฐานความสัมพันธ์ (อาจพร้อมกับการดำรงอยู่ของกลไกสาเหตุที่สอดคล้องกัน แต่ไม่ได้พิสูจน์) เวรกรรมได้รับการปลอมแปลงอย่างเป็นกลางหรืออย่างน้อยก็มีข้อสงสัยร้ายแรง ตัวอย่างที่สองที่นึกขึ้นมาได้สำหรับฉันนั้นไม่ค่อยเหมาะนัก: การได้รับโซเดียมและความดันโลหิต:ตามที่ฉันเข้าใจแล้วมีการพิจารณาแล้วว่าการบริโภคเกลือเพิ่มความดันโลหิตในบุคคลที่มีความไวต่อโซเดียมเท่านั้น การมีอยู่ของความสัมพันธ์เชิงสาเหตุที่ถูกต้อง (แม้ว่าจะไม่ใช่สิ่งที่ยอมรับกันในตอนแรก) ทำให้ตัวอย่างนี้น่าสนใจน้อยลง วัคซีนและออทิสติก:ฉันอาจมีความผิดพลาด แต่ฉันเชื่อว่าลิงก์นี้มีการคาดการณ์บนพื้นฐานของความสัมพันธ์และหลักฐานการทดลอง (หลอกลวง) ตัวอย่างนี้อ่อนแอลงเนื่องจากข้อเท็จจริงที่ว่ามีหลักฐานโดยตรง (ปลอม) อยู่ หมายเหตุ:ฉันเคยเห็นคำถามที่คล้ายกันนี้: ตัวอย่างสำหรับการสอน: ความสัมพันธ์ไม่ได้หมายถึงสาเหตุ คำถามของฉันมีความแตกต่างเป็นหลักในการมุ่งเน้นไปที่ตัวอย่างที่เด่นชัดและเป็นจริงไม่ใช่ในตัวอย่างที่ไม่มีสาเหตุของการเชื่อมโยงเชิงสาเหตุ (เช่นน้ำหนักและทักษะทางดนตรี)

17 correlation  causality