คำถามติดแท็ก cart

'ต้นไม้จำแนกและถดถอย' รถเข็นเป็นเทคนิคการเรียนรู้ของเครื่องที่ได้รับความนิยมและเป็นพื้นฐานสำหรับเทคนิคเช่นฟอเรสต์แบบสุ่มและการใช้งานทั่วไปของเครื่องเพิ่มระดับความลาดชัน

2
ใครเป็นคนคิดค้นต้นไม้ตัดสินใจ
ฉันพยายามติดตามผู้ที่คิดค้นโครงสร้างข้อมูลและอัลกอริทึมการตัดสินใจต้นไม้ ในรายการวิกิพีเดียเกี่ยวกับแผนผังการตัดสินใจมีการอ้างว่า "ID3 และ CART ถูกประดิษฐ์ขึ้นอย่างอิสระในเวลาเดียวกัน (ระหว่างปี 1970 ถึง 1980)" ID3 ถูกนำเสนอในภายหลัง: Quinlan, JR 1986 การเหนี่ยวนำต้นไม้การตัดสินใจ จักร เรียน 1, 1 (มี.ค. 1986), 81-106 ดังนั้นฉันไม่แน่ใจว่าการอ้างสิทธิ์เป็นจริง ผมพบว่าการใช้ Google หนังสืออ้างอิงถึง 1959 หนังสือสถิติชุดการตัดสินใจและ 1958 คอลเลกชันของเอกสารการทำงาน บริบทไม่ชัดเจนและดูเหมือนว่าพวกเขาจะไม่นำเสนออัลกอริทึม อย่างไรก็ตามพวกเขาไม่ได้กำหนดโครงสร้างข้อมูลและถือว่าเป็นที่รู้จักกันดี เมื่อใช้ Google Scholar ฉันพบการอ้างอิงถึงปี 1853 แต่สิ่งเหล่านี้เป็นการแยกวิเคราะห์ข้อผิดพลาดและไม่ใช่การอ้างอิงจริงตั้งแต่วันนั้น
24 cart  history 

2
CHAID vs CRT (หรือรถเข็น)
ฉันใช้การจำแนกประเภทต้นไม้ตัดสินใจโดยใช้SPSSในชุดข้อมูลที่มีตัวพยากรณ์ประมาณ 20 ตัว (จัดหมวดหมู่ด้วยบางประเภท) CHAID (การตรวจจับปฏิกิริยาอัตโนมัติไคสแควร์) และ CRT / CART (การจำแนกและต้นไม้การถดถอย) กำลังให้ต้นไม้ที่ต่างกัน ใครสามารถอธิบายข้อดีของ CHAID กับ CRT ได้บ้าง ความหมายของการใช้วิธีหนึ่งกับอีกวิธีหนึ่งคืออะไร?
23 spss  cart 

5
ทางเลือกอื่นสำหรับต้นไม้ที่มีการจำแนกที่ดีกว่า (เช่น: CV)
ฉันกำลังมองหาทางเลือกในการจำแนกต้นไม้ซึ่งอาจให้พลังการทำนายที่ดีกว่า ข้อมูลที่ฉันจัดการมีปัจจัยสำหรับทั้งคำอธิบายและตัวแปรอธิบาย ฉันจำได้ว่าเคยเจอป่าสุ่มและเครือข่ายประสาทเทียมในบริบทนี้แม้ว่าจะไม่เคยลองมาก่อนมีผู้สมัครที่ดีอีกคนหนึ่งสำหรับงานสร้างแบบจำลอง (เช่นใน R หรือไม่)

1
อัลกอริทึมการเรียนรู้ต้นไม้ตัดสินใจอย่างไรจัดการกับค่าที่หายไป (ใต้ฝากระโปรง)
อะไรคือวิธีที่อัลกอริทึมการเรียนรู้ต้นไม้ตัดสินใจใช้เพื่อจัดการกับค่าที่หายไป พวกเขาเพียงแค่เต็มช่องในการใช้ค่าที่เรียกว่าหายไป? ขอบคุณ

2
ความสัมพันธ์ระหว่างคะแนน GINI และอัตราส่วนความน่าจะเป็นคืออะไร
ฉันกำลังศึกษาต้นไม้จำแนกและต้นไม้ถดถอยและหนึ่งในมาตรการสำหรับสถานที่แยกคือคะแนน GINI ตอนนี้ฉันถูกใช้เพื่อกำหนดตำแหน่งที่แยกที่ดีที่สุดเมื่อบันทึกอัตราส่วนความน่าจะเป็นของข้อมูลเดียวกันระหว่างการแจกแจงสองค่าเป็นศูนย์หมายความว่าโอกาสในการเป็นสมาชิกมีแนวโน้มเท่ากัน สัญชาตญาณของฉันบอกว่าต้องมีการเชื่อมต่อบางอย่างที่ GINI ต้องมีรากฐานที่ดีในทฤษฎีทางคณิตศาสตร์ของข้อมูล (Shannon) แต่ฉันไม่เข้าใจ GINI ดีพอที่จะได้รับความสัมพันธ์ของตัวเอง คำถาม: "หลักการแรก" ที่ได้มาจากคะแนนความไม่บริสุทธิ์ของ GINI เป็นตัวชี้วัดสำหรับการแยกคืออะไร? คะแนน GINI เกี่ยวข้องกับบันทึกของอัตราส่วนความน่าจะเป็นหรือปัจจัยพื้นฐานด้านข้อมูลทฤษฎีอื่น ๆ อย่างไร (Shannon Entropy, pdf , และเอนโทรปีของการข้ามเป็นส่วนหนึ่งของคะแนนเหล่านั้น) อ้างอิง: เกณฑ์การถ่วงน้ำหนักของ Gini เป็นอย่างไร คณิตศาสตร์ที่อยู่เบื้องหลังการจำแนกและต้นไม้การถดถอย http://www.cs.put.poznan.pl/jstefanowski/sed/DM-5-newtrees.pdf (เพิ่ม) http://www.ibe.med.uni-muenchen.de/organisation/mitarbeiter/020_professuren/boulesteix/pdf/gini.pdf https://www.youtube.com/watch?v=UMtBWQ2m04g http://www.ius-migration.ch/files/content/sites/imi/files/shared/documents/papers/Gini_index_fulltext.pdf /programming/4936788/decision-tree-learning-and-impurity เอนโทรปีของแชนนอนอธิบายว่า: H( x ) = ΣผมP( xผม) บันทึกขP( xผม)H(x)=ΣiP(xi)logb⁡P(xi) H \left(x \right) = \Sigma_{i} …

4
ต้นไม้การตัดสินใจเป็นต้นไม้ไบนารีหรือไม่?
เกือบทุกตัวอย่างการตัดสินใจที่ฉันเจอเจอจะเป็นต้นไม้คู่ เป็นสากลที่สวยมากใช่ไหม อัลกอริธึมมาตรฐานส่วนใหญ่ (C4.5, CART และอื่น ๆ ) สนับสนุนเฉพาะต้นไม้ไบนารีหรือไม่ จากสิ่งที่ฉันรวบรวมCHAIDไม่ได้ จำกัด อยู่ที่ต้นไม้ไบนารี แต่ดูเหมือนว่าจะเป็นข้อยกเว้น การแยกแบบสองทางแล้วตามด้วยการแยกแบบสองทางอีกทางหนึ่งของเด็ก ๆ นั้นไม่เหมือนกับการแยกแบบสามทางเดียว นี่อาจเป็นประเด็นทางวิชาการ แต่ฉันพยายามทำให้แน่ใจว่าฉันเข้าใจกรณีที่ใช้บ่อยที่สุด

4
วิธีการฉายเวกเตอร์ใหม่บนพื้นที่ PCA?
หลังจากทำการวิเคราะห์องค์ประกอบหลัก (PCA) ฉันต้องการฉายเวกเตอร์ใหม่ลงบนพื้นที่ PCA (เช่นค้นหาพิกัดในระบบพิกัด PCA) ผมได้คำนวณ PCA ในภาษา R prcompโดยใช้ ตอนนี้ฉันควรคูณเวกเตอร์ของฉันด้วยเมทริกซ์การหมุน PCA ควรจัดองค์ประกอบหลักในเมทริกซ์นี้เป็นแถวหรือคอลัมน์?
21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

4
มีอัลกอริทึมคล้ายต้นไม้ตัดสินใจสำหรับการทำคลัสเตอร์แบบไม่ดูแลหรือไม่
ฉันมีชุดข้อมูลประกอบด้วย 5 คุณสมบัติ: A, B, C, D, E พวกเขาทั้งหมดเป็นค่าตัวเลข แทนที่จะทำการจัดกลุ่มตามความหนาแน่นสิ่งที่ฉันต้องการทำคือการจัดกลุ่มข้อมูลในลักษณะคล้ายต้นไม้ตัดสินใจ วิธีที่ฉันหมายถึงคือ: อัลกอริทึมอาจแบ่งข้อมูลออกเป็นกลุ่มเริ่มต้น X ตามคุณลักษณะ C เช่นกลุ่ม X อาจมีขนาดเล็ก C ขนาดกลาง C ขนาดใหญ่และค่า C ที่มีขนาดใหญ่มากเป็นต้นถัดไปภายใต้โหนดคลัสเตอร์ X แต่ละโหนดอัลกอริธึมเพิ่มเติม ข้อมูลในคลัสเตอร์ Y ตามคุณลักษณะ A อัลกอริทึมจะดำเนินต่อไปจนกว่าจะใช้คุณลักษณะทั้งหมด อัลกอริทึมที่ฉันอธิบายไว้ข้างต้นเป็นเหมือนอัลกอริธึมต้นไม้ตัดสินใจ แต่ฉันต้องการมันสำหรับการจัดกลุ่มแบบไม่ดูแลแทนการจัดกลุ่มแบบมีผู้ดูแล คำถามของฉันมีดังต่อไปนี้: อัลกอริทึมดังกล่าวมีอยู่แล้วหรือไม่? ชื่อที่ถูกต้องสำหรับอัลกอริทึมดังกล่าวคืออะไร มีแพ็คเกจ / ไลบรารี R / python ที่มีการใช้อัลกอริทึมชนิดนี้หรือไม่?

2
ป่าสุ่มสร้างป่าสุ่มอย่างไร
ฉันไม่ใช่ผู้เชี่ยวชาญของป่าสุ่ม แต่ฉันเข้าใจชัดเจนว่าปัญหาสำคัญของป่าสุ่มคือการสร้างต้นไม้ (สุ่ม) คุณช่วยอธิบายฉันได้อย่างไรว่าต้นไม้สร้างขึ้นได้อย่างไร? (เช่นการกระจายที่ใช้สำหรับการสร้างต้นไม้คืออะไร) ขอบคุณล่วงหน้า !

3
การตัดสินใจเป็นตอแบบจำลองเชิงเส้นหรือไม่?
ตอการตัดสินใจเป็นต้นไม้การตัดสินใจที่มีเพียงหนึ่งแยก นอกจากนี้ยังสามารถเขียนเป็นฟังก์ชั่นตามเข็มนาฬิกา ตัวอย่างเช่นสมมติว่าเป็นเวกเตอร์และเป็นองค์ประกอบแรกของในการตั้งค่าการถดถอยการตัดสินใจบางอย่างอาจทำให้ตอx 1 xxxxx1x1x_1xxx ฉ( x ) = { 35x1≤ 2x1> 2ฉ(x)={3x1≤25x1>2f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases} แต่มันเป็นโมเดลเชิงเส้นหรือไม่? สามารถเขียนเป็นที่ไหน คำถามนี้อาจฟังดูแปลกเพราะดังที่ได้กล่าวไว้ในคำตอบและความคิดเห็นหากเราพล็อตฟังก์ชั่นตามลำดับมันไม่ใช่เส้น โปรดดูหัวข้อถัดไปสำหรับสาเหตุที่ฉันถามคำถามนี้ฉ( x ) = βTxฉ(x)=βTxf(x)=\beta^T x แก้ไข: เหตุผลที่ฉันถามคำถามนี้คือการถดถอยโลจิสติกเป็นโมเดลเชิงเส้น (ทั่วไป) และขอบเขตการตัดสินใจเป็นเส้นเช่นกันสำหรับตอการตัดสินใจ หมายเหตุเรามีคำถามนี้ด้วย: เหตุใดการถดถอยแบบลอจิสติกจึงเป็นโมเดลเชิงเส้น . ในทางกลับกันดูเหมือนว่าไม่เป็นความจริงที่ตอการตัดสินใจเป็นแบบจำลองเชิงเส้น อีกเหตุผลที่ฉันถามนี้เนื่องจากคำถามนี้: ในการส่งเสริมหากผู้เรียนพื้นฐานเป็นแบบจำลองเชิงเส้นแบบจำลองสุดท้ายเป็นเพียงแบบจำลองเชิงเส้นอย่างง่ายหรือไม่? โดยที่ถ้าเราใช้โมเดลเชิงเส้นเป็นผู้เรียนพื้นฐานเราจะไม่ได้อะไรมากไปกว่าการถดถอยเชิงเส้น แต่ถ้าเราเลือกผู้เรียนพื้นฐานเป็นตอการตัดสินใจเราจะได้แบบจำลองที่น่าสนใจมาก นี่คือตัวอย่างหนึ่งของการตัดสินใจตอการส่งเสริมการถดถอยด้วย 2 คุณสมบัติและ 1 …

1
“ ฟีเจอร์สเปซ” คืออะไร
คำจำกัดความของ "ฟีเจอร์สเปซ" คืออะไร? ตัวอย่างเช่นเมื่ออ่านเกี่ยวกับ SVM ฉันอ่านเกี่ยวกับ "การแมปไปยังพื้นที่ของฟีเจอร์" เมื่ออ่านเกี่ยวกับรถเข็นฉันอ่านเกี่ยวกับ "การแบ่งพาร์ติชันเพื่อใช้พื้นที่" ฉันเข้าใจว่าเกิดอะไรขึ้นโดยเฉพาะกับรถเข็น แต่ฉันคิดว่ามีคำจำกัดความที่ฉันพลาดไป มีคำจำกัดความทั่วไปของ "ฟีเจอร์สเปซ" หรือไม่? มีคำจำกัดความที่จะให้ข้อมูลเชิงลึกแก่ฉันเกี่ยวกับเมล็ด SVM และ / หรือรถเข็นมากขึ้นหรือไม่

3
ฟอเรสต์แบบสุ่มสำหรับการถดถอยนั้นเป็น "การถดถอย" ที่แท้จริงหรือไม่?
สุ่มป่าใช้สำหรับการถดถอย อย่างไรก็ตามจากสิ่งที่ฉันเข้าใจพวกเขากำหนดค่าเป้าหมายเฉลี่ยในแต่ละใบ เนื่องจากมีใบที่ จำกัด ในแต่ละต้นเท่านั้นจึงมีค่าเฉพาะที่เป้าหมายสามารถบรรลุได้จากโมเดลการถดถอยของเรา ดังนั้นมันไม่ใช่แค่การถดถอยแบบ 'ไม่ต่อเนื่อง' (เช่นฟังก์ชันขั้นตอน) และไม่เหมือนกับการถดถอยเชิงเส้นซึ่งเป็น 'ต่อเนื่อง'? ฉันเข้าใจสิ่งนี้ถูกต้องหรือไม่ ถ้าใช่ข้อได้เปรียบของป่าสุ่มในการถดถอยคืออะไร

2
เรียนรู้อย่างลึกซึ้งเทียบกับต้นไม้ตัดสินใจและวิธีการส่งเสริม
ฉันกำลังมองหาเอกสารหรือข้อความที่เปรียบเทียบและพูดคุย (ทั้งสังเกตุหรือในทางทฤษฎี): การเพิ่มและตัดสินใจอัลกอริธึมทรีของต้นไม้เช่นป่าสุ่มหรือAdaBoostและ GentleBoost นำไปใช้กับต้นไม้ตัดสินใจ กับ วิธีการเรียนรู้อย่างลึกซึ้งเช่นเครื่องจักร Boltzmann ที่ จำกัด , หน่วยความจำชั่วคราวลำดับชั้น , เครือข่ายประสาทเทียม , ฯลฯ มีใครรู้หรือไม่ว่าข้อความที่กล่าวถึงหรือเปรียบเทียบสองช่วงตึกของวิธีการ ML ในแง่ของความเร็วความแม่นยำหรือการลู่เข้า นอกจากนี้ฉันกำลังมองหาข้อความที่อธิบายหรือสรุปความแตกต่าง (เช่นข้อดีและข้อเสีย) ระหว่างแบบจำลองหรือวิธีการในบล็อกที่สอง คำแนะนำหรือคำตอบใด ๆ เกี่ยวกับการเปรียบเทียบดังกล่าวโดยตรงจะได้รับการชื่นชมอย่างมาก

1
มิติ VC ของแผนผังการตัดสินใจคืออะไร
อะไรคือสิ่งที่มิติ VCของต้นไม้ตัดสินใจกับ k แยกในสองมิติ? ให้เราบอกว่าแบบจำลองนั้นเป็นรถเข็นและตัวแยกที่อนุญาตเท่านั้นนั้นขนานกับแกน ดังนั้นสำหรับการแบ่งหนึ่งครั้งเราสามารถสั่งซื้อ 3 คะแนนในรูปสามเหลี่ยมและจากนั้นสำหรับการติดฉลากของคะแนนใด ๆ ที่เราจะได้รับการทำนายที่สมบูรณ์แบบ (เช่น: จุดแตกหัก) แต่ประมาณ 2 สปลิต, หรือ k ทั่วไปอะไร?

1
การส่งเสริมและห่อต้นไม้ (XGBoost, LightGBM)
มีโพสต์บล็อกมากมายวิดีโอ YouTube และอื่น ๆ เกี่ยวกับแนวคิดของการห่อ หรือ เพิ่มต้นไม้ ความเข้าใจทั่วไปของฉันคือรหัสหลอกสำหรับแต่ละคือ: บรรจุถุง: นำตัวอย่างแบบสุ่มจำนวน N% ของตัวอย่างและ y% ของฟีเจอร์ ปรับโมเดลของคุณ (เช่นแผนผังการตัดสินใจ) ในแต่ละ N ทำนายผลด้วยแต่ละ N เฉลี่ยการคาดการณ์เพื่อให้ได้คำทำนายสุดท้าย การส่งเสริมการ: ปรับโมเดลของคุณ (เช่นแผนผังการตัดสินใจ) กับข้อมูล รับส่วนที่เหลือ พอดีกับโมเดลของคุณกับของเหลือ ไปที่ 2 เพื่อเพิ่มรอบ N การทำนายขั้นสุดท้ายคือผลรวมถ่วงน้ำหนักของเครื่องทำนายลำดับ ฉันจะขอชี้แจงความเข้าใจของฉันด้านบน แต่คำถามที่ฉันตั้งใจไว้มีดังนี้: ทั้ง XGBoost และ LightGBM มี params ที่อนุญาตให้ใส่ถุงได้ แอปพลิเคชันไม่ได้บรรจุถุงหรือเพิ่มประสิทธิภาพ (ซึ่งเป็นสิ่งที่ทุกโพสต์ในบล็อกพูดถึง) แต่เป็นการบรรจุและเพิ่มประสิทธิภาพ รหัสหลอกสำหรับสถานที่และเวลาที่รวมถุงและการเพิ่มกำลังเกิดขึ้นคืออะไร? ฉันคาดว่ามันจะเป็น "ต้นไม้ที่ถูกกระตุ้นให้มีต้นไม้เพิ่มขึ้น" แต่ดูเหมือนว่ามันจะเป็น ความแตกต่างดูเหมือนมาก ต้นไม้ที่ได้รับการเสริมถุง: …

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.