สถิติและข้อมูลขนาดใหญ่

ถามตอบสำหรับผู้ที่สนใจในสถิติการเรียนรู้ของเครื่องจักรการวิเคราะห์ข้อมูลการขุดข้อมูล

4
วิธีการคำนวณระดับความเชื่อมั่นสำหรับการแจกแจงปัวซอง?
ต้องการทราบว่าฉันมั่นใจในของฉันได้อย่างไร ใครรู้วิธีตั้งค่าระดับความเชื่อมั่นสูงและต่ำสำหรับการกระจายปัวซอง?λλ\lambda การสังเกต ( ) = 88nnn ค่าเฉลี่ยตัวอย่าง ( ) = 47.18182λλ\lambda ความมั่นใจ 95% จะเป็นอย่างไร

5
ทำความเข้าใจกับหน่วย LSTM เทียบกับเซลล์
ฉันเรียน LSTM มาระยะหนึ่งแล้ว ฉันเข้าใจในระดับสูงว่าทุกอย่างทำงานอย่างไร อย่างไรก็ตามจะใช้พวกเขาโดยใช้ Tensorflow ฉันสังเกตเห็นว่าBasicLSTMCellต้องการพารามิเตอร์จำนวนหน่วย (เช่นnum_units) จากนี้คำอธิบายอย่างละเอียดมาก LSTMs ผมได้รวบรวมที่เดียวหน่วย LSTMเป็นหนึ่งดังต่อไปนี้ ซึ่งเป็นหน่วย GRU ฉันสันนิษฐานว่าพารามิเตอร์num_unitsของการBasicLSTMCellอ้างอิงถึงจำนวนเหล่านี้เราต้องการเชื่อมต่อซึ่งกันและกันในชั้น ที่ทิ้งคำถาม - "เซลล์" ในบริบทนี้คืออะไร? "เซลล์" เทียบเท่ากับเลเยอร์ในเครือข่ายประสาทส่งต่อปกติหรือไม่

1
สถาปัตยกรรมของซีเอ็นเอ็นเพื่อการถดถอย?
ฉันกำลังทำงานกับปัญหาการถดถอยที่อินพุตเป็นภาพและฉลากเป็นค่าต่อเนื่องระหว่าง 80 และ 350 ภาพเป็นสารเคมีบางอย่างหลังจากปฏิกิริยาเกิดขึ้น สีที่ปรากฎออกมาบ่งบอกถึงความเข้มข้นของสารเคมีอื่นที่เหลืออยู่และนั่นคือสิ่งที่แบบจำลองนั้นต้องการออก - ความเข้มข้นของสารเคมีนั้น ภาพสามารถหมุนพลิกสะท้อนและออกที่คาดหวังควรจะยังคงเหมือนเดิม การวิเคราะห์แบบนี้ทำในห้องปฏิบัติการจริง (เครื่องจักรพิเศษมากให้ความเข้มข้นของสารเคมีโดยใช้การวิเคราะห์สีเช่นเดียวกับที่ฉันกำลังฝึกรุ่นนี้ให้ทำ) จนถึงตอนนี้ฉันได้ทดลองกับแบบจำลองโดยอ้างอิงจาก VGG (หลายลำดับของบล็อก Conv-conv-conv-conv-pool) ก่อนที่จะทำการทดลองกับสถาปัตยกรรมที่ใหม่กว่านี้ (Inception, ResNets ฯลฯ ) ฉันคิดว่าฉันจะทำการวิจัยถ้ามีสถาปัตยกรรมอื่น ๆ ที่ใช้กันโดยทั่วไปสำหรับการถดถอยโดยใช้รูปภาพ ชุดข้อมูลมีลักษณะดังนี้: ชุดข้อมูลมีตัวอย่างประมาณ 5,000 250x250 ตัวอย่างซึ่งฉันได้ปรับขนาดเป็น 64x64 เพื่อให้การฝึกอบรมง่ายขึ้น เมื่อฉันพบสถาปัตยกรรมที่มีแนวโน้มฉันจะทดลองกับภาพความละเอียดที่ใหญ่ขึ้น จนถึงตอนนี้โมเดลที่ดีที่สุดของฉันมีข้อผิดพลาดกำลังสองเฉลี่ยทั้งชุดการฝึกอบรมและการตรวจสอบความถูกต้องประมาณ 0.3 ซึ่งอยู่ไกลจากที่ยอมรับได้ในกรณีใช้งานของฉัน รุ่นที่ดีที่สุดของฉันมีลักษณะเช่นนี้: // pseudo code x = conv2d(x, filters=32, kernel=[3,3])->batch_norm()->relu() x = conv2d(x, filters=32, kernel=[3,3])->batch_norm()->relu() x = …

9
ได้รับสมการของเบลล์แมนในการเสริมการเรียนรู้
ฉันเห็นสมการต่อไปนี้ใน " ในการเสริมการเรียนรู้การแนะนำ " แต่ไม่ทำตามขั้นตอนที่ฉันเน้นด้วยสีน้ำเงินด้านล่าง ขั้นตอนนี้เกิดขึ้นได้อย่างไร

2
กำลังทำการทดสอบทางสถิติหลังจากแสดงข้อมูลเป็นภาพ - การขุดลอกข้อมูลหรือไม่
ฉันจะเสนอคำถามนี้โดยใช้ตัวอย่าง สมมติว่าฉันมีชุดข้อมูลเช่นชุดข้อมูลราคาบ้านบอสตันซึ่งฉันมีตัวแปรแบบต่อเนื่องและหมวดหมู่ ที่นี่เรามีตัวแปร "คุณภาพ" ตั้งแต่ 1 ถึง 10 และราคาขาย ฉันสามารถแยกข้อมูลออกเป็นบ้านคุณภาพ "ต่ำ", "ปานกลาง" และ "สูง" โดย (โดยพลการ) สร้างการตัดเพื่อคุณภาพ จากนั้นใช้การจัดกลุ่มเหล่านี้ฉันสามารถพล็อตฮิสโตแกรมของราคาขายต่อกันได้ ชอบมาก ที่นี่ "ต่ำ" คือและ "สูง" คือในคะแนน "คุณภาพ" ตอนนี้เรามีการกระจายของราคาขายสำหรับแต่ละกลุ่ม เป็นที่ชัดเจนว่ามีความแตกต่างในศูนย์กลางของที่ตั้งสำหรับบ้านขนาดกลางและคุณภาพสูง ตอนนี้เมื่อทำสิ่งนี้ทั้งหมดเสร็จฉันคิดว่า "หืมดูเหมือนว่าจะมีความแตกต่างในจุดศูนย์กลางของที่ตั้ง! จากนั้นฉันได้รับค่า p ที่ดูเหมือนว่าจะปฏิเสธสมมติฐานว่างที่ถูกต้องว่าไม่มีความแตกต่างในค่าเฉลี่ย≤ 3≤3\leq 3> 7>7>7 ทีนี้สมมติว่าฉันไม่มีอะไรในใจที่จะทดสอบสมมติฐานนี้จนกว่าฉันจะพล็อตข้อมูล ข้อมูลนี้ขุดลอกหรือไม่ มันยังคงเป็นข้อมูลที่ขุดขึ้นมาหรือไม่ถ้าฉันคิดว่า: "หืมฉันว่าบ้านคุณภาพสูงราคาแพงกว่าเพราะฉันเป็นมนุษย์ที่เคยอาศัยอยู่ในบ้านก่อนหน้านี้ฉันจะลงจุดข้อมูลอาฮ่า! เพื่อทดสอบ t! " ตามธรรมชาติแล้วมันไม่ใช่การขุดลอกข้อมูลถ้าชุดข้อมูลถูกเก็บรวบรวมด้วยความตั้งใจที่จะทดสอบสมมติฐานนี้จากการเดินทาง แต่บ่อยครั้งที่เราต้องทำงานกับชุดข้อมูลที่เรามอบให้และบอกให้ "มองหารูปแบบ" บางคนหลีกเลี่ยงการขุดข้อมูลด้วยงานที่คลุมเครือในใจ สร้างชุดค้างไว้สำหรับการทดสอบข้อมูลหรือไม่ การสร้างภาพข้อมูล "นับ" เป็นการสอดแนมโอกาสที่จะทดสอบสมมติฐานที่เสนอโดยข้อมูลหรือไม่

1
ผลที่ตามมาของความไม่เท่าเทียมกันแบบเกาส์ความสัมพันธ์สำหรับการคำนวณช่วงความเชื่อมั่นร่วมกัน
อ้างอิงจากบทความที่น่าสนใจมากในนิตยสาร Quanta: "หลักฐานอันยาวนาน, พบและหลงทาง" - ได้รับการพิสูจน์แล้วว่าได้รับเวกเตอร์มีหลายตัวแปร เสียนกระจายและช่วงเวลาที่กำหนดแน่นิ่งวิธีการของส่วนประกอบที่สอดคล้องกันของแล้วx=(x1,…,xn)x=(x1,…,xn)\mathbf{x}=(x_1,\dots,x_n)I1,…,InI1,…,InI_1,\dots,I_n xx\mathbf{x} p(x1∈I1,…,xn∈In)≥∏i=1np(xi∈Ii)p(x1∈I1,…,xn∈In)≥∏i=1np(xi∈Ii)p(x_1\in I_1, \dots, x_n\in I_n)\geq \prod_{i=1}^n p(x_i\in I_i) (ความไม่เท่าเทียมกันแบบเกาส์สหสัมพันธ์หรือ GCI ดูhttps://arxiv.org/pdf/1512.08776.pdfสำหรับการกำหนดทั่วไปมากขึ้น) ดูเหมือนว่าจะเป็นเรื่องที่ดีและเรียบง่ายจริงๆและบทความบอกว่ามันมีผลที่ตามมาสำหรับช่วงความมั่นใจร่วม อย่างไรก็ตามดูเหมือนว่าไม่มีประโยชน์เลยสำหรับฉัน สมมติว่าเรากำลังประมาณค่าพารามิเตอร์ และเราพบตัวประมาณซึ่งเป็น (อาจจะไม่เชิง) ร่วมกัน (ตัวอย่างเช่น MLE ประมาณ) . จากนั้นถ้าฉันคำนวณช่วงเวลา 95% - ความมั่นใจสำหรับแต่ละพารามิเตอร์ GCI รับประกันว่า hypercubeเป็นพื้นที่ความเชื่อมั่นร่วมที่มีความครอบคลุมไม่น้อยกว่า ... ซึ่งค่อนข้างครอบคลุมต่ำ สำหรับในระดับปานกลางnθ1,…,θnθ1,…,θn\theta_1,\dots,\theta_nθ1^,…,θn^θ1^,…,θn^\hat{\theta_1},\dots,\hat{\theta_n}I1×…InI1×…InI_1\times\dots I_n(0.95)n(0.95)n(0.95)^n nnn ดังนั้นจึงไม่ใช่วิธีที่ชาญฉลาดในการค้นหาภูมิภาคที่มีความเชื่อมั่นร่วมกัน: ภูมิภาคที่มีความเชื่อมั่นตามปกติสำหรับ Gaussian หลายตัวแปรเช่นไฮเปอร์เซลล์ลิปลอยด์นั้นไม่ยากที่จะค้นหาว่าเมทริกซ์ความแปรปรวนร่วมเป็นที่รู้จักหรือไม่ อาจเป็นประโยชน์ในการค้นหาภูมิภาคที่มีความมั่นใจเมื่อไม่ทราบเมทริกซ์ความแปรปรวนร่วม? คุณสามารถแสดงตัวอย่างของความเกี่ยวข้องของ GCI ให้กับการคำนวณขอบเขตความเชื่อมั่นร่วมกันได้หรือไม่

4
ผลลัพธ์ของการสอบนั้นเป็นแบบทวินามหรือไม่?
นี่เป็นคำถามเชิงสถิติอย่างง่ายที่ฉันได้รับ ฉันไม่แน่ใจจริงๆฉันเข้าใจ X = จำนวนคะแนน aquired ในการสอบ (ตัวเลือกที่หลากหลายและคำตอบที่ถูกคือหนึ่งจุด) X มีการแจกแจงแบบทวินามหรือไม่ คำตอบของอาจารย์คือ: ใช่เพราะมีเพียงคำตอบที่ถูกหรือผิด คำตอบของฉัน: ไม่เพราะคำถามแต่ละข้อมี "ความน่าจะเป็นที่ประสบความสำเร็จ" ที่แตกต่างกัน อย่างที่ฉันเข้าใจว่าการแจกแจงทวินามเป็นเพียงชุดของการทดลองของ Bernoulli ซึ่งแต่ละคนมีผลลัพธ์ที่เรียบง่าย เช่นการพลิกเหรียญ a (ยุติธรรม) 100 ครั้งนี่คือการทดลอง 100 Bernoulli และทั้งหมดมี p = 0.5 แต่ที่นี่คำถามมี p ที่แตกต่างกันใช่มั้ย

2
การถดถอยโลจิสติก: Scikit Learn vs Statsmodels
ฉันพยายามที่จะเข้าใจว่าทำไมผลลัพธ์จากการถดถอยโลจิสติกส์ของห้องสมุดทั้งสองนี้จึงให้ผลลัพธ์ที่แตกต่างกัน ฉันใช้ชุดข้อมูลจาก UCLA Idre กวดวิชาทำนายadmitบนพื้นฐานgre, และgpa ถูกใช้เป็นตัวแปรเด็ดขาดดังนั้นจึงถูกแปลงเป็นตัวแปรดัมมีการดร็อป คอลัมน์ดักจะถูกเพิ่มด้วยrankrankrank_1 df = pd.read_csv("https://stats.idre.ucla.edu/stat/data/binary.csv") y, X = dmatrices('admit ~ gre + gpa + C(rank)', df, return_type = 'dataframe') X.head() > Intercept C(rank)[T.2] C(rank)[T.3] C(rank)[T.4] gre gpa 0 1 0 1 0 380 3.61 1 1 0 1 0 660 3.67 2 1 0 …

6
ความประหยัดควรเป็นมาตรฐานทองคำหรือไม่
แค่ความคิด: แบบจำลองทางเลือกมักเป็นตัวเลือกเริ่มต้นในการเลือกรุ่น แต่วิธีนี้ล้าสมัยไปมากแค่ไหน? ฉันอยากรู้ว่าแนวโน้มของเราที่มีต่อช่วงเวลาที่เป็น parsimony นั้นเป็นเพียงช่วงเวลาหนึ่งของกฎ abaci และสไลด์ (หรือคอมพิวเตอร์ที่ไม่ทันสมัยอย่างจริงจังมากขึ้น) พลังการคำนวณของวันนี้ทำให้เราสามารถสร้างแบบจำลองที่ซับซ้อนมากขึ้นพร้อมความสามารถในการทำนายที่มากขึ้น จากผลของเพดานที่เพิ่มขึ้นในพลังการคำนวณนี้เรายังคงต้องหันเหความสนใจไปยังความเรียบง่ายหรือไม่ แน่นอนว่าโมเดลที่เรียบง่ายนั้นง่ายต่อการเข้าใจและตีความ แต่ในยุคของชุดข้อมูลที่มีจำนวนเพิ่มขึ้นเรื่อย ๆ พร้อมกับจำนวนตัวแปรที่มากขึ้นและการเปลี่ยนไปสู่การมุ่งเน้นที่ความสามารถในการทำนายมากขึ้น คิด?

2
ฟังก์ชันต้นทุนในการถดถอยเชิงเส้น OLS
ฉันสับสนเล็กน้อยกับการบรรยายเกี่ยวกับการถดถอยเชิงเส้นที่ Andrew Ng ให้กับ Coursera เกี่ยวกับการเรียนรู้ของเครื่อง ที่นั่นเขาได้จัดทำฟังก์ชั่นต้นทุนที่จะลดผลรวมของกำลังสองเป็น: 12m∑i=1m(hθ(X(i))−Y(i))212m∑i=1m(hθ(X(i))−Y(i))2 \frac{1}{2m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 ฉันเข้าใจว่ามาจากไหน ฉันคิดว่าเขาทำเพื่อที่ว่าเมื่อเขาทำอนุพันธ์บนเทอมสแควร์, 2 ในเทอมสแควร์จะยกเลิกด้วยครึ่งหนึ่ง แต่ฉันไม่เข้าใจว่ามาจากไหน 11212\frac{1}{2}1m1m\frac{1}{m} ทำไมเราต้องทำ ? ในการถดถอยเชิงเส้นมาตรฐานเราไม่มีมันเราแค่ลดจำนวนเหลือ ทำไมเราต้องการที่นี่?1m1m\frac{1}{m}

3
การจัดกลุ่มรายการสตริง (คำ) แบบยาวเป็นกลุ่มที่คล้ายคลึงกัน
ฉันมีปัญหาต่อไปนี้: ฉันมีรายการคำที่ยาวมากอาจเป็นชื่อนามสกุล ฯลฯ ฉันต้องจัดกลุ่มรายการคำศัพท์นี้เช่นคำที่คล้ายกันเช่นคำที่มีการแก้ไขที่คล้ายกัน (Levenshtein) ระยะทางปรากฏใน คลัสเตอร์เดียวกัน ตัวอย่างเช่น "อัลกอริทึม" และ "alogrithm" ควรมีโอกาสสูงที่จะปรากฏในคลัสเตอร์เดียวกัน ฉันตระหนักดีถึงวิธีการจัดกลุ่มแบบไม่ได้รับการสนับสนุนแบบคลาสสิกเช่นการจัดกลุ่ม k-mean, การจัดกลุ่ม EM ในวรรณคดีการจดจำรูปแบบ ปัญหานี่คือวิธีการเหล่านี้ทำงานในจุดที่อยู่ในพื้นที่เวกเตอร์ ฉันมีคำพูดในมืออยู่ที่นี่ ดูเหมือนว่าคำถามของวิธีการแสดงสตริงในพื้นที่เวกเตอร์ที่เป็นตัวเลขและการคำนวณ "หมายถึง" ของกลุ่มสตริงนั้นยังไม่ได้รับคำตอบที่เพียงพอตามความพยายามในการสำรวจของฉันจนถึงตอนนี้ วิธีการที่ไร้เดียงสาในการโจมตีปัญหานี้คือการรวมกลุ่ม k-Means กับระยะทาง Levenshtein แต่คำถามยังคงเป็น "วิธีการแสดง" หมายถึง "ของสตริงหรือไม่? มีน้ำหนักที่เรียกว่าน้ำหนัก TF-IDF แต่ดูเหมือนว่าส่วนใหญ่เกี่ยวข้องกับพื้นที่ของการจัดกลุ่ม "เอกสารข้อความ" ไม่ใช่สำหรับการจัดกลุ่มคำเดียว http://pike.psu.edu/cleandb06/papers/CameraReady_120.pdf การค้นหาของฉันในพื้นที่นี้ยังดำเนินต่อไป แต่ฉันต้องการได้แนวคิดจากที่นี่เช่นกัน คุณจะแนะนำอะไรในกรณีนี้มีใครรู้วิธีการใด ๆ สำหรับปัญหาประเภทนี้บ้าง

3
สร้างตัวเข้ารหัสอัตโนมัติใน Tensorflow เพื่อให้เกิน PCA
Hinton และ Salakhutdinov ในการลดมิติข้อมูลด้วย Neural Networks, Science 2006เสนอ PCA แบบไม่เชิงเส้นผ่านการใช้ autoencoder แบบลึก ฉันพยายามสร้างและฝึกอบรมโปรแกรมสร้างรหัสอัตโนมัติ PCA ด้วย Tensorflow หลายครั้ง แต่ฉันไม่เคยได้รับผลลัพธ์ที่ดีกว่า linear PCA ฉันจะฝึกอบรมตัวเข้ารหัสอัตโนมัติได้อย่างมีประสิทธิภาพได้อย่างไร (แก้ไขในภายหลังโดย @amoeba: เวอร์ชันเดิมของคำถามนี้มีรหัส Python Tensorflow ที่ทำงานไม่ถูกต้องสามารถพบได้ในประวัติการแก้ไข)

5
ช่วงความมั่นใจพูดถึงความแม่นยำอย่างไร (ถ้ามี)
Morey et al (2015) ยืนยันว่าช่วงความเชื่อมั่นนั้นทำให้เข้าใจผิดและมีอคติหลายประการที่เกี่ยวข้องกับความเข้าใจของพวกเขา ในบรรดาคนอื่น ๆ พวกเขาอธิบายถึงการเข้าใจผิดอย่างแม่นยำดังต่อไปนี้: ความแม่นยำผิดพลาด ความกว้างของช่วงความมั่นใจบ่งบอกถึงความแม่นยำของความรู้ของเราเกี่ยวกับพารามิเตอร์ ช่วงความมั่นใจแคบแสดงความรู้ที่แม่นยำในขณะที่ข้อผิดพลาดความมั่นใจกว้างแสดงความรู้ที่ไม่แม่นยำ ไม่มีการเชื่อมต่อที่จำเป็นระหว่างความแม่นยำของการประมาณและขนาดของช่วงความมั่นใจ วิธีหนึ่งในการดูสิ่งนี้คือจินตนาการนักวิจัยสองคน - นักวิจัยอาวุโสและนักศึกษาปริญญาเอกกำลังวิเคราะห์ข้อมูลจากผู้เข้าร่วมคนจากการทดลอง ในฐานะที่เป็นแบบฝึกหัดเพื่อประโยชน์ของนักศึกษาปริญญาเอกนักวิจัยอาวุโสตัดสินใจที่จะสุ่มแบ่งผู้เข้าร่วมออกเป็นสองชุดจากชุดเพื่อให้พวกเขาแต่ละคนสามารถแยกวิเคราะห์ครึ่งชุดข้อมูล ในการประชุมครั้งหลังทั้งสองร่วมกันกับอีกคนหนึ่งของพวกเขาของนักเรียนช่วงความเชื่อมั่นสำหรับค่าเฉลี่ย ปริญญาเอกของนักเรียน CI เป็นและนักวิจัยอาวุโสของ CI เป็น425 t 95 % 52 ± 2 95 % 53 ± 4505050252525ttt95%95%95\%52±252±252 \pm 295%95%95\%53±453±453 \pm 4 นักวิจัยอาวุโสตั้งข้อสังเกตว่าผลลัพธ์ของพวกเขามีความสอดคล้องกันอย่างกว้างขวางและพวกเขาสามารถใช้ค่าเฉลี่ยถ่วงน้ำหนักเท่ากันของการประมาณจุดสองจุดของพวกเขา52.552.552.5ซึ่งเป็นการประเมินโดยรวมของค่าเฉลี่ยที่แท้จริง อย่างไรก็ตามนักศึกษาปริญญาเอกระบุว่าวิธีการทั้งสองของพวกเขาไม่ควรมีน้ำหนักเท่ากัน: เธอตั้งข้อสังเกตว่า CI ของเธอกว้างกว่าครึ่งและระบุว่าการประเมินของเธอแม่นยำกว่าและควรให้น้ำหนักมากกว่า บันทึกที่ปรึกษาของเธอที่ว่านี้ไม่สามารถจะถูกต้องเพราะการประมาณการจากน้ำหนักไม่สม่ำเสมอทั้งสองวิธีจะแตกต่างจากการประเมินจากการวิเคราะห์ข้อมูลที่สมบูรณ์ชุดซึ่งจะต้องเป็น52.552.552.552.5ความผิดพลาดของนักศึกษาระดับปริญญาเอกคือสมมติว่า CIs ระบุความถูกต้องของข้อมูลภายหลังโดยตรง ตัวอย่างข้างต้นดูเหมือนจะทำให้เข้าใจผิด ถ้าเราสุ่มแบ่งครึ่งเป็นสองตัวอย่างเราจะคาดหวังว่าค่าเฉลี่ยตัวอย่างและข้อผิดพลาดมาตรฐานจะใกล้เคียงกัน ในกรณีเช่นนี้ไม่ควรมีความแตกต่างระหว่างการใช้ค่าเฉลี่ยถ่วงน้ำหนัก (เช่นถ่วงน้ำหนักด้วยข้อผิดพลาดผกผัน) และการใช้ค่าเฉลี่ยเลขคณิตอย่างง่าย …

4
ค่า p ที่เล็กลงมีความน่าเชื่อถือมากกว่าหรือไม่
ฉันอ่านค่า value, อัตราข้อผิดพลาดประเภท 1, ระดับนัยสำคัญ, การคำนวณพลังงาน, ขนาดผลกระทบและการอภิปราย Fisher vs Neyman-Pearson นี่ทำให้ฉันรู้สึกท่วมท้นไปเล็กน้อย ฉันขอโทษสำหรับกำแพงข้อความ แต่ฉันรู้สึกว่าจำเป็นต้องให้ภาพรวมของความเข้าใจปัจจุบันของฉันเกี่ยวกับแนวคิดเหล่านี้ก่อนที่ฉันจะย้ายไปยังคำถามจริงของฉันppp จากสิ่งที่ฉันรวบรวมมาค่าเป็นเพียงการวัดความประหลาดใจความน่าจะเป็นที่จะได้ผลลัพธ์อย่างน้อยที่สุดเท่าที่เป็นไปได้เนื่องจากสมมติฐานว่างเป็นจริง ฟิชเชอร์มีจุดประสงค์เพื่อให้มันเป็นมาตรการต่อเนื่องppp ในกรอบงานของ Neyman-Pearson คุณเลือกระดับนัยสำคัญล่วงหน้าและใช้สิ่งนี้เป็นจุดตัด (โดยพลการ) ระดับนัยสำคัญเท่ากับอัตราข้อผิดพลาดประเภท 1 มันถูกกำหนดโดยความถี่ในระยะยาวเช่นถ้าคุณต้องทำการทดสอบซ้ำ 1,000 ครั้งและสมมติฐานว่างเป็นจริงการประมาณ 50 ของการทดลองเหล่านั้นจะส่งผลอย่างมีนัยสำคัญเนื่องจากความแปรปรวนของการสุ่มตัวอย่าง โดยการเลือกระดับความสำคัญเราจะป้องกันตนเองจากความผิดพลาดเชิงบวกเหล่านี้ด้วยความน่าจะเป็น แบบดั้งเดิมจะไม่ปรากฏในกรอบนี้PPP หากเราพบค่า 0.01 นี่ไม่ได้หมายความว่าอัตราความผิดพลาดประเภท 1 คือ 0.01 ข้อผิดพลาดประเภท 1 จะถูกระบุเป็นค่าเริ่มต้น ฉันเชื่อว่านี่เป็นหนึ่งในข้อโต้แย้งที่สำคัญในการอภิปราย Fisher vs NP เนื่องจากค่า value มักถูกรายงานเป็น 0.05 *, 0.01 **, 0.001 *** …

4
ข้อดีของการ Winsorizing กับการตัดแต่งข้อมูลคืออะไร
ข้อมูลการล้างข้อมูลหมายถึงการแทนที่ค่าสูงสุดของชุดข้อมูลด้วยค่าเปอร์เซ็นไทล์ที่แน่นอนจากปลายแต่ละด้านในขณะที่การตัดหรือตัดทอนนั้นเกี่ยวข้องกับการลบค่าสุดขีดเหล่านั้นออก ฉันมักจะเห็นวิธีการทั้งสองที่กล่าวถึงเป็นตัวเลือกที่ทำงานได้เพื่อลดผลกระทบของค่าผิดปกติเมื่อคำนวณสถิติเช่นค่าเฉลี่ยหรือส่วนเบี่ยงเบนมาตรฐาน แต่ฉันไม่เห็นว่าทำไมจึงมีวิธีหนึ่งที่เลือกได้ มีข้อดีหรือข้อเสียที่เกี่ยวข้องกับการใช้ Winsorizing หรือ Trimming หรือไม่? มีสถานการณ์บางอย่างที่จะใช้วิธีใดวิธีหนึ่งดีกว่า มีการใช้บ่อยครั้งในทางปฏิบัติหรือใช้แทนกันโดยทั่วไปหรือไม่?

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.