สถิติและข้อมูลขนาดใหญ่

ถามตอบสำหรับผู้ที่สนใจในสถิติการเรียนรู้ของเครื่องจักรการวิเคราะห์ข้อมูลการขุดข้อมูล

1
กระบวนการใดในธรรมชาติที่มีการแจกจ่ายปกติหรือไม่
มีคนพูดถึงความสำคัญของการแจกแจงแบบปกติในธรรมชาติ การวัดจำนวนมากเช่นส่วนสูงหรือน้ำหนักนั้นมีการกระจายโดยทั่วไปประมาณ แต่พวกเขาก็ไม่ปกติเท่าที่ฉันเข้าใจ เมื่อพิจารณาการแจกแจงแบบปกติเป็นหนึ่งในการแจกแจงแบบเอนโทรปีสูงสุดดูเหมือนว่าเป็นไปได้ที่ธรรมชาติควร "ชอบ" แต่หลังจากความคิดบางอย่างฉันไม่สามารถหาตัวอย่างของตัวแปรสุ่มแบบ "จริง ๆ " ได้ คำถามของฉันคือตัวอย่างที่ดีของตัวแปรสุ่มแบบกระจายที่แน่นอน

3
หยุดการสุ่มตัวแปรแบบแยก?
ปล่อย XXX เป็นตัวแปรสุ่มไม่ต่อเนื่องที่รับค่ามา NN\mathbb{N}. ฉันอยากจะลดตัวแปรนี้ลงครึ่งหนึ่งนั่นคือเพื่อหาตัวแปรแบบสุ่มYYY เช่น: X=Y+Y∗X=Y+Y∗X = Y + Y^* ที่ไหน Y∗Y∗Y^* เป็นสำเนาอิสระของ YYY. ผมหมายถึงขั้นตอนนี้เป็นลดลงครึ่งหนึ่ง ; นี่เป็นคำศัพท์ที่สร้างขึ้น มีคำที่เหมาะสมในวรรณคดีสำหรับการดำเนินการนี้หรือไม่? ดูเหมือนว่าฉันเช่นนั้น YYYมีอยู่เสมอถ้าเรายอมรับความน่าจะเป็นเชิงลบ ฉันถูกต้องในการสังเกตของฉัน? มีความคิดในเชิงบวกที่ดีที่สุดสำหรับYYY? Aka ตัวแปรสุ่มที่จะเป็น "ใกล้เคียงที่สุด" เพื่อแก้สมการข้างต้น ขอบคุณ!

3
หมุนส่วนประกอบ PCA เพื่อปรับความแปรปรวนในแต่ละองค์ประกอบให้เท่ากัน
ฉันกำลังพยายามลดมิติข้อมูลและเสียงรบกวนของชุดข้อมูลด้วยการแสดง PCA บนชุดข้อมูลและทิ้งพีซีสองสามเครื่องล่าสุด หลังจากนั้นฉันต้องการใช้อัลกอริทึมการเรียนรู้ของเครื่องบางอย่างบนพีซีที่เหลืออยู่ดังนั้นฉันจึงต้องการทำให้ข้อมูลเป็นมาตรฐานด้วยการทำให้ความแตกต่างของพีซีให้เท่ากัน วิธีง่ายๆวิธีหนึ่งก็คือทำให้ค่าความแปรปรวนเป็นค่าหน่วย อย่างไรก็ตามพีซีเครื่องแรกมีความแปรปรวนจากชุดข้อมูลดั้งเดิมมากกว่าชุดข้อมูลต่อไปนี้และฉันยังต้องการให้ "น้ำหนัก" มากขึ้น ดังนั้นฉันสงสัยว่า: มีวิธีง่าย ๆ ในการแยกความแปรปรวนและแบ่งปันกับพีซีที่มีความแปรปรวนน้อยกว่าหรือไม่ อีกวิธีหนึ่งคือการแมปพีซีกลับไปยังพื้นที่คุณลักษณะดั้งเดิม แต่ในกรณีนั้นมิติข้อมูลจะเพิ่มขึ้นเป็นค่าดั้งเดิม ฉันเดาว่าจะดีกว่าที่จะเก็บคอลัมน์ผลลัพธ์ไว้เป็นมุมฉาก แต่ก็ไม่จำเป็นในตอนนี้

1
ตัวเลือกรุ่นดั้งเดิม (?) พร้อม k-fold CV
เมื่อใช้ k-fold CV เพื่อเลือกระหว่างโมเดลการถดถอยฉันมักจะคำนวณข้อผิดพลาด CV แยกต่างหากสำหรับแต่ละรุ่นพร้อมกับข้อผิดพลาดมาตรฐาน SE และฉันเลือกรุ่นที่ง่ายที่สุดภายใน 1 SE ของรุ่นที่มีข้อผิดพลาด CV ต่ำสุด (1 กฎข้อผิดพลาดมาตรฐานดูตัวอย่างได้ที่นี่ ) อย่างไรก็ตามเมื่อเร็ว ๆ นี้ฉันได้รับแจ้งว่าด้วยวิธีนี้ฉันประเมินค่าความแปรปรวนสูงเกินไปและในกรณีเฉพาะในการเลือกระหว่างสองรุ่น A และ B ฉันควรดำเนินการต่อไปในลักษณะที่แตกต่างกัน: สำหรับแต่ละเท่าของความยาวให้คำนวณความแตกต่างจุดระหว่างทั้งสองแบบจำลองการทำนายจากนั้นคำนวณความแตกต่างของค่าเฉลี่ยกำลังสองสำหรับการพับKKKยังไม่มีข้อความKNKN_KMSDK=Σยังไม่มีข้อความKi = 1(Y^ฉัน-Y^B i)2ยังไม่มีข้อความK---------------√MSDK=∑i=1NK(y^Ai−y^Bi)2NKMSD_K=\sqrt{\frac{\sum_{i=1}^{N_K}\left(\hat{y}_{Ai}-\hat{y}_{Bi}\right)^2}{N_K}} ค่าเฉลี่ยข้ามเท่าปกติและใช้ข้อผิดพลาดความแตกต่าง CV นี้ (พร้อมกับข้อผิดพลาดมาตรฐาน) เป็นตัวประมาณสำหรับข้อผิดพลาดทั่วไปMSDKMSDKMSD_K คำถาม: สิ่งนี้สมเหตุสมผลสำหรับคุณหรือไม่ ฉันรู้ว่ามีเหตุผลทางทฤษฎีที่อยู่เบื้องหลังการใช้ข้อผิดพลาด CV เป็นตัวประมาณข้อผิดพลาดในการวางนัยทั่วไป (ฉันไม่ทราบว่าเหตุผลเหล่านี้คืออะไร แต่ฉันรู้ว่ามีอยู่จริง!) ฉันไม่รู้ว่ามีเหตุผลทางทฤษฎีที่อยู่เบื้องหลังการใช้ข้อผิดพลาด CV "แตกต่าง" นี้หรือไม่ ฉันไม่รู้ว่าสิ่งนี้สามารถนำมาเปรียบเทียบกับแบบจำลองมากกว่าสองรุ่นได้หรือไม่ การคำนวณความแตกต่างของแบบจำลองทุกคู่ดูเหมือนจะมีความเสี่ยง (การเปรียบเทียบหลายทาง): คุณจะทำอย่างไรถ้าคุณมีมากกว่าสองแบบ? แก้ไข: สูตรของฉันผิดทั้งหมดตัวชี้วัดที่ถูกต้องอธิบายไว้ที่นี่และมันซับซ้อนกว่ามาก ฉันมีความสุขที่ฉันถามที่นี่ก่อนที่จะใช้สูตรไม่ได้! …

3
ชุดของตัวแปรที่ไม่เกี่ยวข้อง แต่เชิงเส้น
เป็นไปได้ไหมที่จะมีชุดของ KKK ตัวแปรที่ไม่เกี่ยวข้อง แต่เชิงเส้นขึ้นอยู่กับ? กล่าวคือ c o r (xผม,xJ) = 0cor(xi,xj)=0cor(x_i, x_j)=0 และ ΣKi = 1aผมxผม= 0∑i=1Kaixi=0 \sum_{i=1}^K a_ix_i=0 ถ้าใช่คุณสามารถเขียนตัวอย่างได้หรือไม่? แก้ไข: จากคำตอบมันตามมาว่ามันเป็นไปไม่ได้ อย่างน้อยมันจะเป็นไปได้ไหม P(|ρ^xi,xj−ρ^xi,v|&lt;ϵ)P(|ρ^xi,xj−ρ^xi,v|&lt;ϵ)\mathbb{P}(|\hat \rho_{x_i, x_j}-\hat \rho_{x_i, v}|<\epsilon) ที่ไหน ρ^ρ^\hat\rho คือค่าสัมประสิทธิ์สหสัมพันธ์ประมาณจาก nnn ตัวอย่างของตัวแปรและ vvv เป็นตัวแปรที่ไม่เกี่ยวข้องกับ xixix_i. ฉันกำลังคิดอะไรบางอย่างเช่น xK=1K∑K−1i=1xixK=1K∑i=1K−1xix_K=\dfrac{1}{K} \sum_{i=1}^{K-1} x_i K&gt;&gt;0K&gt;&gt;0K>>0

1
ทำไมคอลัมน์สกัดกั้นใน model.matrix จึงมาแทนที่ปัจจัยแรก
ฉันพยายามแปลงคอลัมน์ปัจจัยของฉันเป็นตัวแปรจำลอง: str(cards$pointsBin) # Factor w/ 5 levels ".lte100",".lte150",..: 3 2 3 1 4 4 2 2 4 4 ... labels &lt;- model.matrix(~ pointsBin, data=cards) head(labels) # (Intercept) pointsBin.lte150 pointsBin.lte200 pointsBin.lte250 pointsBin.lte300 # 741 1 0 0 0 0 # 407 1 1 0 0 0 # 676 1 0 0 …

1
การถดถอยเชิงเส้นพร้อมข้อผิดพลาด Laplace
พิจารณาโมเดลการถดถอยเชิงเส้น: yi=xi⋅β+εi,i=1,…,n,yi=xi⋅β+εi,i=1,…,n, y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n, ที่εi∼L(0,b)εi∼L(0,b)\varepsilon _i \sim \mathcal L(0, b)นั่นคือ , การกระจาย Laplace พร้อมพารามิเตอร์ค่าเฉลี่ย000และพารามิเตอร์bbbทั้งหมดล้วน แต่เป็นอิสระต่อกัน พิจารณาการประเมินความเป็นไปได้สูงสุดของพารามิเตอร์ที่ไม่รู้จักββ\boldsymbol \beta : −logp(y∣X,β,b)=nlog(2b)+1b∑i=1n|xi⋅β−yi|−log⁡p(y∣X,β,b)=nlog⁡(2b)+1b∑i=1n|xi⋅β−yi| -\log p(\mathbf y \mid \mathbf X, \boldsymbol \beta, b) = n\log (2b) + \frac 1b\sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol …

1
ไม่สามารถทำให้ฟังก์ชั่นเครือข่าย autoencoder นี้ถูกต้อง (กับชั้น convolutional และ maxpool)
เครือข่ายAutoencoderดูเหมือนจะมีความซับซ้อนกว่าเครือข่าย MLP ลักษณนามทั่วไป หลังจากความพยายามหลายครั้งในการใช้Lasagneทุกสิ่งที่ฉันได้รับในผลลัพธ์ที่สร้างขึ้นใหม่นั้นเป็นสิ่งที่คล้ายกับค่าเฉลี่ยที่เบลอที่สุดของภาพทั้งหมดของฐานข้อมูลMNISTโดยไม่แยกแยะว่าตัวเลขที่ป้อนเข้านั้นคืออะไร โครงสร้างเครือข่ายที่ฉันเลือกคือเลเยอร์น้ำตกต่อไปนี้: ชั้นอินพุต (28x28) 2D convolutional layer ขนาดตัวกรอง 7x7 Max Pooling layer, ขนาด 3x3, stride 2x2 ชั้นแบนราบหนาแน่น (เชื่อมต่ออย่างเต็มที่) 10 ยูนิต (นี่คือคอขวด) ชั้นหนาแน่น (เชื่อมต่ออย่างเต็มที่) 121 หน่วย ปรับขนาดเลเยอร์เป็น 11x11 2D convolutional layer ขนาดตัวกรอง 3x3 ตัวคูณยกระดับ 2D 2 2D convolutional layer ขนาดตัวกรอง 3x3 ตัวคูณยกระดับ 2D 2 2D convolutional layer ขนาดตัวกรอง …

1
วิธีการคำนวณความน่าจะเป็นของผลลัพธ์ของช่างกลิ้งลูกเต๋าที่ซับซ้อนนี้ได้อย่างไร
คำถามนี้ถามเกี่ยวกับความน่าจะเป็นที่จะประสบความสำเร็จในเกมสวมบทบาท อย่างไรก็ตามคำถามและคำตอบนั้นไม่ครอบคลุมความซับซ้อนของกลไกลูกเต๋า โดยเฉพาะอย่างยิ่งมันไม่ได้ครอบคลุม botches (ผลลัพธ์ที่เป็นไปได้หนึ่งอย่าง) เลย ผู้เล่นมีลูกเต๋ารวมอยู่บนพื้นฐานของกลไกในเกมที่ไม่เกี่ยวข้องกับคำถามนี้ ลูกเต๋ากลุ่มคือจำนวนลูกเต๋าที่ผู้เล่นอาจหมุน มีกฎเกี่ยวกับจำนวนลูกเต๋าที่ผู้เล่นจะหมุน แต่นั่นไม่เกี่ยวข้องกับคำถามนี้ อาจเป็นจำนวนลูกเต๋าใด ๆ จาก 1 (หนึ่งตาย) ถึงประมาณ 15 ฉันกำลังเรียกPนี้ ลูกเต๋ามี 10 ด้านที่มีป้ายกำกับ 1 ถึง 10 รวมอยู่ (เรียกว่า 'd10' ในคำศัพท์โดเมนของเรา) เมื่อทอยลูกเต๋ามีหมายเลขเป้าหมายหรือหมายเลขความยาก วิธีสร้างหมายเลขนี้อยู่นอกขอบเขตของคำถามนี้ แต่หมายเลขสามารถอยู่ระหว่าง 3 ถึง 9 กฎรอบนี้มีการอธิบายด้านล่าง ฉันโทรนี้T เมื่อทอยลูกเต๋าทั้งหมดแล้วจะมีกฎบางอย่างในการพิจารณาผลลัพธ์: การตายใด ๆ ที่มีค่าเท่ากับหรือมากกว่า T จะถือว่าเป็นความสำเร็จ การตายใด ๆ ที่เท่ากับ 1 ลบจากความสำเร็จ ดังนั้น... หากหลังจากการลบ (ถ้ามี) …
9 dice 

1
ทำไมค่าสัมประสิทธิ์การถดถอยเชิงเส้นและโลจิสติกไม่สามารถประมาณได้โดยใช้วิธีการเดียวกัน
ฉันอ่านในหนังสือการเรียนรู้ของเครื่องว่าสามารถประมาณค่าพารามิเตอร์ของการถดถอยเชิงเส้น (ท่ามกลางวิธีอื่น ๆ ) โดยการไล่ระดับสีแบบลาดชันในขณะที่พารามิเตอร์ของการถดถอยแบบโลจิสติกมักจะประเมินโดยการประมาณโอกาสสูงสุด เป็นไปได้หรือไม่ที่จะอธิบายให้กับผู้เริ่มต้น (ฉัน) ว่าทำไมเราถึงต้องการวิธีการที่แตกต่างกันสำหรับการถดถอยเชิงเส้น / ลอจิสติก หรือที่รู้จักว่าทำไมไม่ MLE สำหรับการถดถอยเชิงเส้นและทำไมไม่ไล่ระดับความลาดชันสำหรับการถดถอยโลจิสติก?

3
การแลกเปลี่ยนความแปรปรวนแบบอคติสำหรับสัมประสิทธิ์การถดถอยคืออะไรและทำอย่างไรจึงจะได้มา
ในบทความนี้ ( การอนุมานแบบเบย์สำหรับส่วนประกอบความแปรปรวนโดยใช้ข้อผิดพลาดเฉพาะฮาร์วิลล์ 2517) ผู้เขียนอ้างว่า เป็น "ที่รู้จักกันดี ความสัมพันธ์ ", สำหรับการถดถอยเชิงเส้น ที่ \ epsilon \ sim \ mathcal {N} (0, H)(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)y=Xβ+ϵ,y=Xβ+ϵ,y=X\beta+\epsilon,ϵ∼N(0,H).ϵ∼N(0,H).\epsilon\sim\mathcal{N}(0, H). สิ่งนี้เป็นที่รู้จักกันดีอย่างไร วิธีที่ง่ายที่สุดในการพิสูจน์สิ่งนี้คืออะไร?

1
การอัปเดตตัวประกอบ Bayes
ปัจจัย Bayes ถูกกำหนดไว้ในคชกรรมทดสอบสมมติฐานและการเลือกรูปแบบเบส์โดยอัตราส่วนของสองโอกาสเกิดขอบ: รับตัวอย่าง IIDและความหนาแน่นของการสุ่มตัวอย่างที่เกี่ยวข้องและพร้อมกับนักบวชที่สอดคล้องกันและตัวประกอบ Bayes สำหรับการเปรียบเทียบทั้งสองรุ่นคือ หนังสือฉันกำลังตรวจสอบในปัจจุบันมีคำสั่งแปลกที่ดังกล่าวข้างต้นปัจจัย Bayes(x1, … ,xn)(x1,…,xn)(x_1,\ldots,x_n)ฉ1( x | θ )f1(x|θ)f_1(x|\theta)ฉ2( x | η)f2(x|η)f_2(x|\eta)π1π1\pi_1π2π2\pi_2B12(x1,…,xn)=defm1(x1,…,xn)m2(x1,…,xn)=def∫∏ni=1f1(xi|θ)π1(dθ)∫∏ni=1f2(xi|η)π2(dη)B12(x1,…,xn)=defm1(x1,…,xn)m2(x1,…,xn)=def∫∏i=1nf1(xi|θ)π1(dθ)∫∏i=1nf2(xi|η)π2(dη)\mathfrak{B}_{12}(x_1,\ldots,x_n)\stackrel{\text{def}}{=}\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\stackrel{\text{def}}{=}\frac{\int \prod_{i=1}^n f_1(x_i|\theta)\pi_1(\text{d}\theta)}{\int \prod_{i=1}^n f_2(x_i|\eta)\pi_2(\text{d}\eta)}B12(x1,…,xn)B12(x1,…,xn)\mathfrak{B}_{12}(x_1,\ldots,x_n)คือ "เกิดจากการคูณแต่ละตัว [ตัวประกอบ Bayes] ด้วยกัน" (p.118) สิ่งนี้ถูกต้องอย่างเป็นทางการหากมีใครใช้การสลายตัว แต่ฉันไม่เห็นความได้เปรียบในการย่อยสลายในขณะที่การปรับปรุงโดยต้องการความพยายามในการคำนวณแบบเดียวกับการคำนวณดั้งเดิมของB12(x1,…,xn)=m1(x1,…,xn)m2(x1,…,xn)=m1(xn|x1,…,xn−1)m2(xn|x1,…,xn−1)×m1(xn−1|xn−2,…,x1)m2(xn−1|xn−2,…,x1)×⋯⋯×m1(x1)m2(x1)B12(x1,…,xn)=m1(x1,…,xn)m2(x1,…,xn)=m1(xn|x1,…,xn−1)m2(xn|x1,…,xn−1)×m1(xn−1|xn−2,…,x1)m2(xn−1|xn−2,…,x1)×⋯⋯×m1(x1)m2(x1)\begin{align*}\mathfrak{B}_{12}(x_1,\ldots,x_n)&=\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\\&=\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}\times \frac{m_1(x_{n-1}|x_{n-2},\ldots,x_1)}{m_2(x_{n-1}|x_{n-2},\ldots,x_1)}\times\cdots\\&\qquad\cdots\times\frac{m_1(x_1)}{m_2(x_1)}\end{align*}m1(xn|x1,…,xn−1)m2(xn|x1,…,xn−1)m1(xn|x1,…,xn−1)m2(xn|x1,…,xn−1)\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}m1(x1,…,xn)m2(x1,…,xn)m1(x1,…,xn)m2(x1,…,xn)\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}นอกตัวอย่างของเล่นประดิษฐ์ คำถาม:มีวิธีทั่วไปและมีประสิทธิภาพในการอัปเดตตัวประกอบ Bayes จากเป็น ที่ไม่ต้องการคำนวณระยะขอบทั้งหมดและ ?B12(x1,…,xn)B12(x1,…,xn)\mathfrak{B}_{12}(x_1,\ldots,x_n)B12(x1,…,xn+1)B12(x1,…,xn+1)\mathfrak{B}_{12}(x_1,\ldots,x_{n+1})m1(x1,…,xn)m1(x1,…,xn)m_1(x_1,\ldots,x_n)m2(x1,…,xn)m2(x1,…,xn)m_2(x_1,\ldots,x_n) สัญชาตญาณของฉันคือนอกเหนือจากตัวกรองอนุภาคซึ่งดำเนินการตามการประเมินปัจจัย Bayesการสังเกตครั้งละหนึ่งครั้งไม่มีวิธีธรรมชาติในการตอบคำถามนี้ .B12(x1,…,xn)B12(x1,…,xn)\mathfrak{B}_{12}(x_1,\ldots,x_n)

1
เราสามารถเขียนการแจกแจงเบ้ที่ถูกต้องได้เสมอในแง่ขององค์ประกอบของการแจกแจงโดยพลการและสมมาตรหรือไม่?
พิจารณาละสองครั้งอนุพันธ์และการกระจายสมมาตร\ทีนี้ลองพิจารณาการแจกแจงที่แตกต่างกันสองครั้งที่สอง rigth บิดเบือนในแง่ที่FXFX\mathcal{F}_XFZFZ\mathcal{F}_Z ( 1 )FX⪯คFZ.(1)FX⪯cFZ.(1)\quad\mathcal{F}_X\preceq_c\mathcal{F}_Z. โดยที่⪯ค⪯c\preceq_cเป็นคำสั่งนูนของ van Zwet [0] ดังนั้น( 1 )(1)(1)จึงเท่ากับ: ( 2 )F- 1ZFX( x ) เป็นนูน ∀ x ∈ R(2)FZ−1FX(x) is convex ∀x∈R.(2)\quad F^{-1}_ZF_X(x)\text{ is convex $\forall x\in\mathbb{R}.$} ลองพิจารณาการแจกแจงที่แตกต่างกันสองสามครั้งFYFY\mathcal{F}_Yน่าพอใจ: ( 3 )FY⪯คFZ.(3)FY⪯cFZ.(3)\quad\mathcal{F}_Y\preceq_c\mathcal{F}_Z. คำถามของฉันคือเราสามารถหาการแจกแจงFYFY\mathcal{F}_YและการกระจายแบบสมมาตรFXFX\mathcal{F}_Xเพื่อเขียน\ mathcal {F} _Zใด ๆFZFZ\mathcal{F}_Z (ทั้งสามนิยามไว้ข้างต้น) ในแง่ขององค์ประกอบของFXFX\mathcal{F}_Xและ FYFY\mathcal{F}_Yเป็น: FZ( z) =FYF- 1XFY( z)FZ(z)=FYFX−1FY(z)F_Z(z)=F_YF_X^{-1}F_Y(z) หรือไม่? …

3
วิธีการพิสูจน์ว่า
ฉันพยายามสร้างความไม่เท่าเทียมกัน |Ti|=∣∣Xi−X¯∣∣S≤n−1n−−√|Ti|=|Xi−X¯|S≤n−1n\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}} โดยที่คือค่าเฉลี่ยตัวอย่างและเป็นส่วนเบี่ยงเบนมาตรฐานตัวอย่างนั่นคือ {n-1}}X¯X¯\bar{X}SSSS=∑ni=1(Xi−X¯)2n−1−−−−−−−−−√S=∑i=1n(Xi−X¯)2n−1S=\sqrt{\frac{\sum_{i=1}^n \left( X_i -\bar{X} \right)^2}{n-1}} มันง่ายที่จะเห็นว่าและแต่สิ่งนี้ไม่ใกล้เคียงกับสิ่งที่ฉันค้นหามามากและมันก็ไม่มีประโยชน์ ฉันได้ทดลองกับ Cauchy-Schwarz และความไม่เท่าเทียมกันของรูปสามเหลี่ยม แต่ไม่มีที่ไหนเลย จะต้องมีขั้นตอนที่บอบบางที่ฉันหายไปที่ไหนสักแห่ง ฉันขอขอบคุณความช่วยเหลือบางส่วนขอบคุณ∑ni=1T2i=n−1∑i=1nTi2=n−1\sum_{i=1}^n T_i^2 = n-1 |Ti|&lt;n−1−−−−−√|Ti|&lt;n−1\left| T_i \right| < \sqrt{n-1}

3
ฉันจะบอกได้อย่างไรว่าไม่มีรูปแบบในผลลัพธ์ PCA
ฉันมีชุดข้อมูลตัวอย่างมากกว่า 1,000 ชุดจาก 19 ตัวแปร วัตถุประสงค์ของฉันคือการทำนายตัวแปรไบนารีตามตัวแปร 18 ตัวอื่น ๆ (ไบนารีและต่อเนื่อง) ฉันค่อนข้างมั่นใจว่า 6 ของตัวแปรการทำนายเกี่ยวข้องกับการตอบสนองแบบไบนารีอย่างไรก็ตามฉันต้องการวิเคราะห์ชุดข้อมูลเพิ่มเติมและค้นหาการเชื่อมโยงหรือโครงสร้างอื่น ๆ ที่ฉันอาจหายไป ในการทำเช่นนี้ฉันตัดสินใจใช้ PCA และการทำคลัสเตอร์ เมื่อเรียกใช้ PCA กับข้อมูลที่ได้รับการทำให้เป็นมาตรฐานจะต้องเก็บส่วนประกอบ 11 อย่างไว้เพื่อรักษาความแปรปรวน 85% ด้วยการวางแผนจับคู่ฉันได้รับสิ่งนี้: ฉันไม่แน่ใจว่ามีอะไรต่อไป ... ฉันไม่เห็นรูปแบบที่สำคัญใน pca และฉันสงสัยว่ามันหมายถึงอะไรและถ้ามันอาจเกิดจากข้อเท็จจริงที่ว่าตัวแปรบางตัวเป็นไบนารี โดยการใช้อัลกอริทึมการจัดกลุ่มด้วย 6 กลุ่มฉันได้รับผลลัพธ์ต่อไปนี้ซึ่งไม่ได้เป็นการปรับปรุงแม้ว่า Blobs บางอันจะดูโดดเด่น (สีเหลือง) อย่างที่คุณสามารถบอกได้ว่าฉันไม่ใช่ผู้เชี่ยวชาญเกี่ยวกับ PCA แต่เห็นบทเรียนบางอย่างและวิธีที่จะมีประสิทธิภาพในการมองเห็นโครงสร้างในพื้นที่มิติสูง ด้วยชุดข้อมูลตัวเลข MNIST (หรือ IRIS) ที่มีชื่อเสียงมันใช้งานได้ดี คำถามของฉันคือตอนนี้ฉันควรทำอย่างไรเพื่อให้เข้าใจถึง PCA ได้ดียิ่งขึ้น ดูเหมือนว่าการจัดกลุ่มไม่ได้มีประโยชน์อะไรฉันจะบอกได้อย่างไรว่าไม่มีรูปแบบใน PCA หรือฉันควรลองอะไรต่อไปเพื่อหารูปแบบในข้อมูล …
9 pca 

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.