คำถามติดแท็ก evaluation

ฉันกำลังลองตั้งค่าการจำแนกประเภทหลายคลาสด้วย 3 คลาส การกระจายคลาสนั้นเบ้โดยข้อมูลส่วนใหญ่ตกหล่นใน 1 ใน 3 คลาส (เลเบลของคลาสเป็น 1,2,3 โดยมี 67.28% ของข้อมูลที่อยู่ในคลาสเลเบล 1, ข้อมูล 11.99% ในคลาส 2 และยังคงอยู่ในคลาส 3) ฉันกำลังฝึกตัวแยกประเภทหลายคลาสในชุดข้อมูลนี้และฉันได้รับประสิทธิภาพต่อไปนี้: Precision Recall F1-Score Micro Average 0.731 0.731 0.731 Macro Average 0.679 0.529 0.565 ฉันไม่แน่ใจว่าทำไม avg Micro ทั้งหมด การแสดงมีค่าเท่ากันและทำไมค่าเฉลี่ยมาโครจึงต่ำ

102 multiclass-classification  evaluation 

ฉันเคยใช้การตรวจสอบความถูกต้องไขว้ของ K-fold เพื่อประเมินโมเดลการเรียนรู้ของเครื่องของฉันอย่างมีประสิทธิภาพ แต่ฉันก็ตระหนักถึงการมีอยู่ของวิธีบูตสแตรปปิ้งเพื่อจุดประสงค์นี้เช่นกัน อย่างไรก็ตามฉันไม่สามารถเห็นความแตกต่างที่สำคัญระหว่างพวกเขาในแง่ของการประเมินประสิทธิภาพ เท่าที่ฉันเห็น bootstrapping ยังผลิตจำนวนสุ่มฝึกอบรม + ชุดย่อยทดสอบ (แม้ว่าในทางที่แตกต่างกัน) ดังนั้นสิ่งที่เป็นจุดได้เปรียบสำหรับการใช้วิธีนี้มากกว่า CV? สิ่งเดียวที่ฉันสามารถคิดได้ว่าในกรณีของการบูตสแตรปหนึ่งสามารถสร้างจำนวนเซตย่อยตามอำเภอใจได้อย่างแท้จริงในขณะที่สำหรับ CV จำนวนของอินสแตนซ์นั้นเป็นข้อ จำกัด สำหรับเรื่องนี้ แต่แง่มุมนี้ดูเหมือนจะสร้างความรำคาญเล็กน้อย

21 cross-validation  evaluation 

ทุกคนสามารถให้ตัวอย่างที่ความแม่นยำมีความสำคัญและตัวอย่างบางส่วนที่การเรียกคืนเป็นสิ่งสำคัญหรือไม่

16 machine-learning  evaluation 

หน้าวิกิพีเดียซึ่งคำพูด"องค์ประกอบของการเรียนรู้ทางสถิติ"พูดว่า: โดยปกติแล้วสำหรับปัญหาการจัดหมวดหมู่ที่มีคุณสมบัติ⌊ √ppp คุณลักษณะ p ⌋ถูกใช้ในการแบ่งแต่ละครั้ง⌊p–√⌋⌊p⌋\lfloor \sqrt{p}\rfloor ฉันเข้าใจว่านี่เป็นการคาดเดาที่มีการศึกษาค่อนข้างดีและอาจได้รับการยืนยันจากหลักฐานเชิงประจักษ์ แต่มีเหตุผลอื่นที่ทำให้เราเลือกรากที่สองได้หรือไม่ มีปรากฏการณ์ทางสถิติเกิดขึ้นที่นั่นไหม? นี่ช่วยลดความแปรปรวนของข้อผิดพลาดได้หรือไม่? สิ่งนี้เป็นสิ่งเดียวกันสำหรับการถดถอยและการจัดหมวดหมู่หรือไม่

14 statistics  random-forest  optimization  evaluation  sampling 

ฉันพยายามกำหนด fuction เมตริกที่กำหนดเอง (คะแนน F1) ใน Keras (Tensorflow แบ็กเอนด์) ตามต่อไปนี้: def f1_score(tags, predicted): tags = set(tags) predicted = set(predicted) tp = len(tags & predicted) fp = len(predicted) - tp fn = len(tags) - tp if tp>0: precision=float(tp)/(tp+fp) recall=float(tp)/(tp+fn) return 2*((precision*recall)/(precision+recall)) else: return 0 จนถึงตอนนี้ดีมาก แต่เมื่อฉันพยายามใช้มันในการรวบรวมแบบจำลอง: model1.compile(loss="binary_crossentropy", optimizer=Adam(), metrics=[f1_score]) มันให้ข้อผิดพลาด: TypeError …

12 tensorflow  keras  evaluation 

ฉันสับสนเล็กน้อยจากการอยู่ร่วมกันของการวัดผลการสูญเสียและความแม่นยำในเครือข่ายประสาท ทั้งสองควรจะทำให้ "ความแน่นอน" ของการเปรียบเทียบของและใช่มั้ย ดังนั้นการประยุกต์ใช้สองซ้ำซ้อนในการฝึกอบรมไม่ใช่หรือ ยิ่งกว่านั้นทำไมพวกเขาถึงไม่สัมพันธ์กันyyyYy^y^\hat{y}

11 neural-network  evaluation 

ปิด คำถามนี้จะต้องมีมากขึ้นมุ่งเน้น ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้มุ่งเน้นที่ปัญหาเดียวโดยแก้ไขโพสต์นี้ ปิดให้บริการใน5 ปีที่ผ่านมา ดูเหมือนว่าภาษาส่วนใหญ่จะมีห้องสมุดคำนวณทางวิทยาศาสตร์จำนวนหนึ่ง Python มี Scipy Rust มี SciRust C++มีหลายอย่างรวมถึงViennaCLและArmadillo JavaมีJava NumericsและColtเช่นเดียวกับหลาย ๆ ไม่ต้องพูดถึงภาษาที่ชอบRและJuliaออกแบบมาอย่างชัดเจนสำหรับการคำนวณทางวิทยาศาสตร์ ด้วยตัวเลือกมากมายคุณจะเลือกภาษาที่ดีที่สุดสำหรับงานอย่างไร นอกจากนี้ภาษาใดที่จะเป็นคนที่มีประสิทธิภาพมากที่สุด? PythonและRดูเหมือนว่าจะมีแรงฉุดที่สุดในอวกาศ แต่ภาษาที่รวบรวมได้ดูเหมือนจะเป็นทางเลือกที่ดีกว่า และจะมีอะไรดีกว่านี้Fortranไหม ภาษาที่คอมไพล์ด้วยนอกจากนี้มักจะมีการเร่งความเร็วของ GPU ในขณะที่ตีความภาษาเช่นRและPythonไม่ ฉันควรคำนึงถึงอะไรเมื่อเลือกภาษาและภาษาใดให้ความสมดุลของยูทิลิตี้และประสิทธิภาพที่ดีที่สุด มีภาษาใดบ้างที่มีทรัพยากรการคำนวณทางวิทยาศาสตร์ที่สำคัญที่ฉันพลาดไป

10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system