สถิติและข้อมูลขนาดใหญ่

มีทางเลือกหลายตัวแปรในการทดสอบ Kolmogorov-Smirnov สองตัวอย่างหรือไม่ สิ่งที่ฉันหมายถึงคือการทดสอบที่สามารถใช้ตรวจสอบได้เมื่อใดก็ตามที่การกระจายหลายมิติสองมิติที่ต่างกัน

10 hypothesis-testing  multivariate-analysis  kolmogorov-smirnov 

ฉันมีชุดข้อมูลที่มีคอลัมน์a b c(3 คุณลักษณะ) aเป็นตัวเลขและต่อเนื่องในขณะที่bและcเป็นหมวดหมู่แต่ละคนมีสองระดับ ฉันใช้ K-เพื่อนบ้านที่ใกล้ที่สุดวิธีการในการจำแนกaและบนb cดังนั้นเพื่อให้สามารถวัดระยะทางที่ผมเปลี่ยนชุดข้อมูลของฉันโดยการลบbและการเพิ่มและb.level1 b.level2หากสังเกตiมีระดับเป็นครั้งแรกในbประเภทและb.level1[i]=1b.level2[i]=0 ตอนนี้ฉันสามารถวัดระยะทางในชุดข้อมูลใหม่ของฉัน: a b.level1 b.level2 จากมุมมองเชิงทฤษฎี / คณิตศาสตร์: คุณสามารถทำการ K- ใกล้เคียงเพื่อนบ้าน (KNN) ด้วยข้อมูลไบนารีและต่อเนื่องได้หรือไม่ ฉันใช้FNNแพ็คเกจใน R และฟังก์ชั่นknn()

10 r  classification  k-nearest-neighbour 

ฉันสงสัยว่าค่าเบี่ยงเบนมาตรฐานมักถูกสร้างขึ้นบนสมมติฐานของการแจกแจงแบบปกติหรือไม่ กล่าวอีกนัยหนึ่งถ้าตัวอย่างไม่กระจายตามปกติแล้วควรใช้การเบี่ยงเบนมาตรฐานถือเป็นข้อผิดพลาดหรือไม่?

10 normal-distribution  standard-deviation 

ฉันเพิ่งเรียกใช้ FA โดยใช้การหมุนแบบเอียง (promax) และรายการให้ค่าการโหลดปัจจัย 1.041 ในปัจจัยเดียว (และปัจจัยการโหลดของ -.131, -.119 และ. 0.65 ในอีกปัจจัยที่ใช้เมทริกซ์รูปแบบ ) . และฉันไม่แน่ใจว่ามันหมายถึงอะไรฉันคิดว่ามันอาจจะอยู่ระหว่าง -1 ถึง 1 เท่านั้น มันเกิดจากการหมุนแบบเอียงหรือไม่? และสามารถโหลดเกิน 1 ด้วยปัจจัยมุมฉากได้หรือไม่

10 pca  factor-analysis  factor-rotation 

ในคำถามยอดนิยมนี้คำตอบที่ขึ้นราคาสูงทำให้ MLE และ Baum Welch แยกออกจากกันในการปรับ HMM สำหรับปัญหาการฝึกอบรมเราสามารถใช้อัลกอริทึม 3 ข้อต่อไปนี้: MLE (การประเมินความเป็นไปได้สูงสุด) การฝึกอบรม Viterbi (อย่าสับสนกับการถอดรหัส Viterbi) Baum Welch = อัลกอริทึมไปข้างหน้าย้อนหลัง แต่ในWikipediaมันบอกว่า อัลกอริทึม Baum – Welch ใช้อัลกอริทึม EM ที่รู้จักกันดีในการค้นหาการประมาณค่าความน่าจะเป็นสูงสุดของพารามิเตอร์ ดังนั้นความสัมพันธ์ระหว่างอัลกอรึทึม MLE กับ Baum – Welch คืออะไร? ความพยายามของฉัน: วัตถุประสงค์สำหรับอัลกอรึทึม Baum – Welch คือความเป็นไปได้สูงสุด แต่ใช้อัลกอริธึมพิเศษ (EM) เพื่อแก้ไขการปรับให้เหมาะสม เรายังสามารถเพิ่มความเป็นไปได้สูงสุดโดยใช้วิธีการอื่น ๆ เช่นการไล่ระดับสีที่เหมาะสม นี่คือเหตุผลที่คำตอบแยกสองอัลกอริทึมออก ฉันถูกและทุกคนสามารถช่วยฉันในการชี้แจง?

10 hidden-markov-model  expectation-maximization 

ในกระดาษ Faster RCNN ที่เร็วขึ้นเมื่อพูดถึงการทอดสมอสิ่งที่พวกเขาหมายถึงอะไรโดยใช้ "ปิรามิดของกล่องอ้างอิง" และสิ่งนี้จะทำอย่างไร นี่หมายความว่าแต่ละจุดยึด W * H * k แต่ละจุดจะถูกสร้างขึ้นหรือไม่? โดยที่ W = ความกว้าง, H = ความสูง, และ k = จำนวนอัตราส่วนกว้างยาว * num scale เชื่อมโยงไปยังกระดาษ: https://arxiv.org/abs/1506.01497

10 deep-learning  computer-vision 

ฉันอ่านเกี่ยวกับ SVM และเรียนรู้ว่าพวกเขากำลังแก้ไขปัญหาการปรับให้เหมาะสมและแนวคิดของกำไรขั้นต้นนั้นสมเหตุสมผลมาก ตอนนี้การใช้เมล็ดพวกเขาสามารถค้นหาขอบเขตการแยกแบบไม่เป็นเชิงเส้นได้ซึ่งยอดเยี่ยม จนถึงตอนนี้ฉันไม่รู้จริงๆเลยว่า SVM (เครื่องเคอร์เนลพิเศษ) และเครื่องเคอร์เนลเกี่ยวข้องกับเครือข่ายประสาทอย่างไร พิจารณาความคิดเห็นโดยYann Lecun => ที่นี่ : kernel methods were a form of glorified template matching และที่นี่ด้วย : ตัวอย่างเช่นบางคนตื่นตากับวิธีเคอร์เนลเพราะคณิตศาสตร์น่ารักที่เข้ากับมัน แต่อย่างที่ฉันเคยพูดไปแล้วในตอนท้ายในที่สุดเครื่องเคอร์เนลเป็นเครือข่ายที่ตื้น ไม่มีอะไรผิดปกติ (SVM เป็นวิธีที่ยอดเยี่ยม) แต่มีข้อ จำกัด ที่น่ากลัวซึ่งเราทุกคนควรทราบ ดังนั้นคำถามของฉันคือ: SVM เกี่ยวข้องกับเครือข่ายประสาทอย่างไร มันเป็นเครือข่ายตื้นอย่างไร SVM แก้ปัญหาการเพิ่มประสิทธิภาพด้วยฟังก์ชั่นวัตถุประสงค์ที่กำหนดไว้อย่างดีมันทำการจับคู่แม่แบบอย่างไร? เทมเพลตที่นี่ตรงกับข้อมูลใด ฉันเดาว่าความคิดเห็นเหล่านี้ต้องการความเข้าใจอย่างถ่องแท้เกี่ยวกับช่องว่างมิติสูงอวนประสาทและเครื่องเคอร์เนล แต่จนถึงตอนนี้ฉันได้ลองแล้วและไม่สามารถเข้าใจตรรกะที่อยู่เบื้องหลัง แต่ก็เป็นเรื่องที่น่าสนใจอย่างยิ่งที่จะต้องทราบความเชื่อมโยงระหว่างเทคนิค ml ที่แตกต่างกันสองอย่าง แก้ไข: ฉันคิดว่าการเข้าใจ SVM จากมุมมองของระบบประสาทจะดีมาก ฉันกำลังมองหาคำตอบที่ได้รับการสนับสนุนทางคณิตศาสตร์อย่างละเอียดสำหรับคำถามสองข้อข้างต้นเพื่อที่จะเข้าใจการเชื่อมโยงระหว่าง SVM …

10 machine-learning  neural-networks  svm  deep-learning  kernel-trick 

นี้เป็นอีกคำถามที่คิด แต่ที่ผมใช้ผมจะอ้างถึงแพคเกจในR Rหากเป้าหมายคือการทำให้แบบจำลองเชิงเส้นตรงกับวัตถุประสงค์ของการทำนายและจากนั้นทำการคาดการณ์ว่าจะไม่มีเอฟเฟกต์แบบสุ่มมีประโยชน์ใด ๆ ในการใช้แบบจำลองเอฟเฟกต์ผสมหรือควรใช้โมเดลเอฟเฟกต์คงที่แทน? ตัวอย่างเช่นถ้าฉันมีข้อมูลเกี่ยวกับน้ำหนักเทียบกับส่วนสูงกับข้อมูลอื่นและสร้างแบบจำลองต่อไปนี้โดยใช้โดยlme4ที่ตัวแบบเป็นปัจจัยที่มีnnn ระดับ (n=no.samplesn=no.samplesn=no.samples): mod1 <- lmer(weight ~ height + age + (1|subject), data=df, REML=F) จากนั้นฉันต้องการที่จะสามารถทำนายน้ำหนักจากแบบจำลองโดยใช้ข้อมูลส่วนสูงและอายุใหม่ เห็นได้ชัดว่าความแปรปรวนของเรื่องในข้อมูลต้นฉบับนั้นถูกจับในแบบจำลอง แต่เป็นไปได้ไหมที่จะใช้ข้อมูลนี้ในการทำนาย? สมมติว่าฉันมีข้อมูลส่วนสูงและอายุใหม่และต้องการคาดการณ์น้ำหนักฉันสามารถทำได้ดังนี้: predict(mod1,newdata=newdf) # newdf columns for height, age, subject สิ่งนี้จะใช้predict.merModและฉันสามารถรวมคอลัมน์สำหรับหัวเรื่อง (ใหม่) ในnewdfหรือตั้งค่าre.form =~0ได้ ในอินสแตนซ์แรกมันไม่ชัดเจนว่าแบบจำลองทำอะไรกับปัจจัยเรื่อง 'ใหม่' และในอินสแตนซ์ที่สองความแปรปรวนของเรื่องที่ถูกจับในแบบจำลองจะถูกละเว้น (โดยเฉลี่ย) สำหรับการทำนายหรือไม่ ไม่ว่าในกรณีใดฉันจะเห็นว่าโมเดลเชิงเส้นเอฟเฟกต์คงที่อาจเหมาะสมกว่า ที่จริงถ้าความเข้าใจของฉันถูกต้องแล้วตัวแบบผลคงที่ควรทำนายค่าเช่นเดียวกับตัวแบบผสมถ้าไม่ได้ใช้ผลแบบสุ่มในการทำนาย ควรเป็นกรณีนี้หรือไม่? ในRมันไม่ได้เป็นเช่น: mod1 <- lmer(weight ~ height + …

10 r  multiple-regression  mixed-model  lme4-nlme 

ฉันไม่ได้มีประสบการณ์ในอุตสาหกรรมในการขุดข้อมูลหรือข้อมูลขนาดใหญ่ดังนั้นชอบที่จะได้ยินคุณแบ่งปันประสบการณ์ ผู้คนใช้งาน k-mean, PAM, CLARA และอื่น ๆ ในชุดข้อมูลขนาดใหญ่จริง ๆ หรือไม่? หรือพวกมันสุ่มเลือกตัวอย่างจากมัน? หากพวกเขาใช้ตัวอย่างของชุดข้อมูลผลลัพธ์จะน่าเชื่อถือหากชุดข้อมูลนั้นไม่ได้รับการกระจายตามปกติ ในสถานการณ์จริงเมื่อรันอัลกอริทึมเหล่านี้เราสามารถบอกได้ไหมว่าจะต้องทำซ้ำหลายครั้งจนกว่าจะเกิดการบรรจบกัน? หรือจำนวนการวนซ้ำมักเพิ่มขึ้นตามขนาดข้อมูลหรือไม่ ฉันถามสิ่งนี้เพราะฉันคิดว่าการพัฒนาวิธีการที่จะยุติอัลกอริทึมซ้ำก่อนการบรรจบกัน แต่ผลลัพธ์ยังคงเป็นที่ยอมรับ ฉันคิดว่ามันคุ้มค่าที่จะลองถ้าจำนวนการวนซ้ำพูดมากกว่า 1,000 ครั้งเพื่อให้เราสามารถประหยัดต้นทุนและเวลาในการคำนวณได้ คุณคิดอย่างไร?

10 clustering  data-mining  k-means  convergence  large-data 

พลวัตแฮมิลตันมีประสิทธิภาพเหนือกว่าการเดินแบบสุ่มในอัลกอริทึม Metropolis เสมอในบางกรณี บางคนสามารถอธิบายเหตุผลด้วยคำง่าย ๆ ที่ไม่มีคณิตศาสตร์มากเกินไปได้ไหม

10 mcmc 

ขอโทษสำหรับการใช้ผิดข้อกำหนดทางเทคนิค ฉันกำลังทำงานในโครงการของการแบ่งส่วนความหมายผ่านเครือข่ายประสาทเทียม (CNNs); พยายามใช้สถาปัตยกรรมประเภท Encoder-Decoder ดังนั้นเอาต์พุตจะมีขนาดเท่ากับอินพุต คุณออกแบบฉลากอย่างไร สิ่งที่ฟังก์ชั่นการสูญเสียควรใช้? โดยเฉพาะอย่างยิ่งในสถานการณ์ของความไม่สมดุลของคลาสหนัก (แต่อัตราส่วนระหว่างคลาสเป็นตัวแปรจากรูปภาพต่อภาพ) ปัญหาเกี่ยวข้องกับสองคลาส (วัตถุที่น่าสนใจและพื้นหลัง) ฉันกำลังใช้ Keras กับแบ็กเอนด์เทนโฟลว์ จนถึงตอนนี้ฉันกำลังออกแบบเอาท์พุทที่คาดหวังว่าจะมีขนาดเท่ากับภาพอินพุตโดยใช้การติดฉลากแบบพิกเซล เลเยอร์สุดท้ายของแบบจำลองมีการเปิดใช้งาน softmax อย่างใดอย่างหนึ่ง (สำหรับ 2 คลาส) หรือการเปิดใช้งาน sigmoid (เพื่อแสดงความน่าจะเป็นที่พิกเซลนั้นอยู่ในคลาสของออบเจ็กต์) ฉันมีปัญหาในการออกแบบฟังก์ชั่นวัตถุประสงค์ที่เหมาะสมสำหรับงานประเภท: function(y_pred,y_true), ในข้อตกลงกับKeras โปรดพยายามระบุขนาดของเทนเซอร์ที่เกี่ยวข้อง (อินพุต / เอาท์พุตของโมเดล) ความคิดและข้อเสนอแนะใด ๆ ที่ชื่นชมมาก ขอบคุณ !

10 conv-neural-network  image-processing  segmentation 

ฉันพยายามประเมินประสิทธิภาพการจัดกลุ่ม ผมอ่านเอกสาร skiscit เรียนรู้เกี่ยวกับตัวชี้วัด ฉันไม่เข้าใจความแตกต่างระหว่าง ARI และ AMI สำหรับฉันดูเหมือนว่าพวกเขาทำสิ่งเดียวกันในสองวิธีที่แตกต่างกัน อ้างจากเอกสารประกอบ: เมื่อได้รับความรู้เกี่ยวกับการกำหนดคลาสความจริงพื้นดิน label_true และการจัดกลุ่มอัลกอริทึมการจัดกลุ่มตัวอย่างเดียวกัน label_pred ดัชนีแรนด์ที่ปรับปรุงแล้วนั้นเป็นฟังก์ชันที่ใช้วัดความคล้ายคลึงกันของการมอบหมายสองอย่างโดยไม่สนใจการเปลี่ยนลำดับ VS เมื่อได้รับความรู้เกี่ยวกับการมอบหมายคลาสความจริงภาคพื้นดิน label_true และการจัดกลุ่มอัลกอริทึมการจัดกลุ่มตัวอย่างเดียวกัน label_pred ของเราข้อมูลร่วมกันเป็นฟังก์ชั่นที่วัดข้อตกลงของการมอบหมายทั้งสองโดยไม่สนใจการเปลี่ยนลำดับ ... AMI โอกาส. ฉันควรใช้ทั้งสองอย่างในการประเมินการจัดกลุ่มของฉันหรือสิ่งนี้ซ้ำซ้อนหรือไม่

10 clustering  python  scikit-learn 

หรือมีเงื่อนไขอะไรรับประกันได้บ้าง โดยทั่วไป (และไม่เพียง แต่แบบจำลองทั่วไปและแบบทวินาม) ฉันคิดว่าเหตุผลหลักที่ทำให้การอ้างสิทธิ์นี้แตกต่างกันคือมีความไม่สอดคล้องกันระหว่างแบบจำลองตัวอย่างและแบบก่อน แต่มีอะไรอีกบ้าง ฉันเริ่มต้นด้วยหัวข้อนี้ดังนั้นฉันขอขอบคุณตัวอย่างง่าย ๆ

10 bayesian  variance  information-theory 

Y=β0+β1x1+ε0y=β0+β1x1+ε0y = \beta_{0} + \beta_{1}x_{1} + \varepsilon_{0} ภาษาที่ใช้อธิบายแบบจำลองการถดถอยเช่นการถดถอยเชิงเส้นอย่างง่ายที่ระบุไว้ข้างต้นมักจะแตกต่างกันไปและรูปแบบดังกล่าวมักจะมีการเปลี่ยนแปลงเล็กน้อยในความหมาย ตัวอย่างเช่นส่วนหนึ่งของแบบจำลองทางด้านซ้ายมือของสมการอาจถูกเรียก (ในหมู่คนอื่นที่ฉันไม่รู้) ด้วยความหมายและ denotations ในวงเล็บ: ตัวแปรที่ขึ้นอยู่กับ (คำแนะนำที่การพึ่งพาสาเหตุ) ตัวแปรที่คาดการณ์ (หมายถึงตัวแบบการคาดการณ์ / ทำการคาดการณ์) ตัวแปรตอบสนอง (หมายถึงเวรกรรมหรืออย่างน้อยที่สุดลำดับเวลา) ตัวแปรผลลัพธ์ (บอกถึงสาเหตุ) การเปลี่ยนแปลงในระบบการตั้งชื่อก็เป็นจริงเช่นกันที่ด้านขวามือของสมการ (ข้อจำกัดความรับผิดชอบเดียวกับที่ฉันเป็นผู้เพิกเฉยเกี่ยวกับเงื่อนไขอื่น ๆ ): ตัวแปรอิสระ (หมายถึงลำดับความสำคัญเชิงสาเหตุคำแนะนำในการออกแบบการทดลอง) ตัวแปร Predictor (บอกเป็นนัยถึงการคาดการณ์หมายถึงว่าตัวแปรนั้นมีการประมาณค่าพารามิเตอร์ที่ไม่เป็นศูนย์ซึ่งเกี่ยวข้องกับมัน) ในหลักสูตรของการเสนอ vetting หรือการสื่อสารการวิจัยฉันมีโอกาสที่จะไม่เพียง แต่เรียกว่าการใช้หนึ่งคำหรืออื่น แต่ต่อมาจะเรียกในระยะที่ฉันเลือกที่จะแทนที่ด้วย ในขณะที่ผู้คนที่โทรเข้ามานั้นดูเหมือนว่าเป็นคนช่างพูด (NB: ฉันเป็นคนอวดรู้มืออาชีพดังนั้นฉันก็เห็นอกเห็นใจ) เพราะแน่นอนว่าพวกเราทุกคนเข้าใจในสิ่งที่กำลังสื่อสารกันอยู่ฉันก็ยังสงสัยว่า: มีคำศัพท์ที่ใช้กันทั่วไปสำหรับตัวแปรทางซ้ายและมือขวาในตัวแบบการถดถอยที่ไม่เชื่อเรื่องพระเจ้าที่เกี่ยวกับ (a) การใช้ภายนอกของแบบจำลอง (b) ความสัมพันธ์เชิงสาเหตุระหว่างตัวแปรและ (c) แง่มุมของการศึกษา การออกแบบที่ใช้ในการผลิตตัวแปรตัวเอง? หมายเหตุ: …

10 regression  terminology 

\newcommand{\E}{\mathbb{E}}\newcommand{\P}{\mathbb{P}}ทฤษฎีการ จำกัด ศูนย์กลาง (CLT) ระบุว่าสำหรับX1,X2, ...X1,X2,…X_1,X_2,\dotsอิสระและกระจายแบบเดียวกัน (iid) ด้วยE [Xผม] = 0E[Xi]=0\E[X_i]=0และvar(Xผม) &lt; ∞Var⁡(Xi)&lt;∞\operatorname{ Var} (X_i)<\inftyผลรวมจะรวมกับการแจกแจงแบบปกติเป็นn → ∞n→∞n\to\infty : Σi = 1nXผม→ N( 0 ,n--√) .∑i=1nXi→N(0,n). \sum_{i=1}^n X_i \to N\left(0, \sqrt{n}\right). สมมติว่าX1,X2, ...X1,X2,…X_1,X_2,\dotsเป็นโซ่มาร์คอฟสถานะ จำกัด ที่มีการแจกแจงแบบคงที่P∞P∞\P_\inftyด้วยความคาดหวังที่ 0 และความแปรปรวนที่มีขอบเขต มีการขยาย CLT อย่างง่ายสำหรับกรณีนี้หรือไม่ เอกสารที่ฉันได้พบใน CLT สำหรับ Markov Chains มักจะรักษากรณีทั่วไปมากขึ้น ฉันจะขอบคุณมากสำหรับตัวชี้ไปยังผลลัพธ์ทั่วไปที่เกี่ยวข้องและคำอธิบายเกี่ยวกับวิธีการใช้

10 markov-process  central-limit-theorem