คำถามติดแท็ก clustering

คำถาม: ฉันมีข้อมูลเลขฐานสองสำหรับคำถามสอบ (ถูกต้อง / ไม่ถูกต้อง) บุคคลบางคนอาจเคยเข้าถึงชุดคำถามและคำตอบที่ถูกต้องมาก่อน ฉันไม่รู้ว่าใครเป็นใครหรืออะไร หากไม่มีการโกงคิดว่าฉันจะรูปแบบน่าจะเป็นของการตอบสนองที่ถูกต้องสำหรับรายการที่ผมผมiเป็นl o gฉันt ( ( pผม= 1 | Z) ) = βผม+ zล.โอก.ผมเสื้อ((พีผม=1|Z))=βผม+Zlogit((p_i = 1 | z)) = \beta_i + zที่βผมβผม\beta_iแสดงให้เห็นถึงความยากลำบากคำถามและZZzคือความสามารถแฝงของแต่ละบุคคล นี่คือรูปแบบการตอบสนองข้อสอบที่ง่ายมากที่สามารถประมาณได้ด้วยฟังก์ชั่นเช่น Rasch LTM ของ () ในอาร์นอกจากนี้ยังมีการประมาณการZ J (ที่เจดัชนีบุคคล) ของตัวแปรแฝงฉันมีการเข้าถึงการประมาณการแยกต่างหากQญของตัวแปรแฝงเดียวกันซึ่งได้มาจากชุดข้อมูลอื่นที่ไม่สามารถทำการโกงได้Z^JZ^J\hat{z}_jJJjQ^JQ^J\hat{q}_j เป้าหมายคือการระบุบุคคลที่น่าจะถูกโกงและสิ่งของที่พวกเขาถูกโกง คุณอาจใช้แนวทางอะไรบ้าง? βฉันβ^ผมβ^ผม\hat{\beta}_i , ซีเจและQญที่มีอยู่ทั้งหมดแม้จะเป็นครั้งแรกที่ทั้งสองจะมีอคติบางอย่างเกิดจากการโกง ตามหลักการแล้ววิธีแก้ปัญหาจะอยู่ในรูปแบบของการจัดกลุ่ม / การจัดกลุ่มความน่าจะเป็นแม้ว่าจะไม่จำเป็นก็ตาม แนวคิดเชิงปฏิบัติได้รับการต้อนรับอย่างสูงเช่นเดียวกับแนวทางที่เป็นทางการZ^JZ^J\hat{z}_jQ^JQ^J\hat{q}_j จนถึงตอนนี้ผมได้มีการเปรียบเทียบความสัมพันธ์ของคะแนนคำถามสำหรับคู่ของบุคคลที่มีสูงขึ้นเมื่อเทียบกับที่ลดลงQเจ- ซีเจคะแนน (ที่Qเจ- ซีเจเป็นดัชนีคร่าวๆของความน่าจะเป็นว่าพวกเขาโกง) …

25 r  clustering  classification  psychometrics 

ฉันมีบางจุดในR pและฉันต้องการจัดกลุ่มคะแนนเพื่อให้:X= { x1, . . . , xn}X={x1,...,xn}X=\{x_1,...,x_n\}RพีRพีR^p แต่ละคลัสเตอร์มีจำนวนเท่ากันขององค์ประกอบของX(สมมติว่าจำนวนกลุ่มหารn )XXXnnn แต่ละกลุ่มมี "ความสัมพันธ์เชิงพื้นที่" ในบางกรณีเช่นกลุ่มจาก -meanskkk เป็นเรื่องง่ายที่จะนึกถึงกระบวนการจัดกลุ่มจำนวนมากที่ตอบสนองความต้องการอย่างใดอย่างหนึ่ง แต่ไม่มีใครรู้วิธีที่จะทำให้ทั้งสองอย่างพร้อมกันได้หรือไม่

25 machine-learning  clustering  k-means  unsupervised-learning 

ฉันมีตารางฐานข้อมูลของการถ่ายโอนข้อมูลระหว่างโหนดที่แตกต่างกัน นี่เป็นฐานข้อมูลขนาดใหญ่ (มีการโอนเกือบ 40 ล้านครั้ง) หนึ่งในแอ็ตทริบิวต์คือจำนวนไบต์ (nbytes) ที่ถ่ายโอนซึ่งมีช่วงตั้งแต่ 0 ไบต์ถึง 2 tera ไบต์ ฉันต้องการคลัสเตอร์ nbytes เช่นนั้นที่ได้รับ k กลุ่มบางการถ่ายโอน x1 เป็นของคลัสเตอร์ k1, x2 transfters เพื่อ k2 ฯลฯ จากคำศัพท์ที่ฉันใช้คุณอาจเดาได้ว่าฉันกำลังจะไปกับอะไร: K-mean นี่เป็นข้อมูล 1d เนื่องจาก nbytes เป็นคุณสมบัติเดียวที่ฉันสนใจ เมื่อฉันกำลังค้นหาวิธีการที่แตกต่างกันนี้ฉันเห็น EM ถูกพูดถึงสองสามครั้งพร้อมกับวิธีการไม่จัดกลุ่ม ฉันต้องการทราบเกี่ยวกับมุมมองของคุณเกี่ยวกับวิธีการแก้ไขปัญหานี้ (โดยเฉพาะอย่างยิ่งว่าจะจัดกลุ่มหรือไม่จัดกลุ่ม) ขอบคุณ!

24 clustering  k-means 

ฉันอ่านเกี่ยวกับอัลกอริทึม -sne มากสำหรับการลดขนาด ฉันประทับใจมากกับประสิทธิภาพของชุดข้อมูล "คลาสสิค" เช่น MNIST ซึ่งทำให้สามารถแยกตัวเลขได้อย่างชัดเจน ( ดูบทความต้นฉบับ ):เสื้อเสื้อt ฉันยังใช้มันเพื่อแสดงคุณสมบัติที่เรียนรู้โดยเครือข่ายประสาทที่ฉันกำลังฝึกอบรมและฉันก็พอใจกับผลลัพธ์มาก ดังนั้นฉันเข้าใจ: เสื้อเสื้อt -sne มีผลลัพธ์ที่ดีในชุดข้อมูลส่วนใหญ่และมีการนำไปใช้อย่างมีประสิทธิภาพ - ด้วยวิธีการประมาณ Barnes-Hut จากนั้นเราอาจพูดได้ว่าปัญหา "การลดมิติ" อย่างน้อยก็เพื่อจุดประสงค์ในการสร้างการสร้างภาพข้อมูล 2D / 3D ที่ดีตอนนี้เป็นปัญหา "ปิด" หรือไม่O ( n บันทึกn )O(nเข้าสู่ระบบ⁡n)O(n \log n) ฉันรู้ว่านี่เป็นคำสั่งที่ค่อนข้างหนา ฉันสนใจที่จะเข้าใจว่า "หลุมพราง" ที่เป็นไปได้ของวิธีการนี้คืออะไร นั่นคือมีกรณีใดบ้างที่เรารู้ว่าไม่มีประโยชน์หรือไม่ นอกจากนี้ปัญหา "เปิด" ในฟิลด์นี้คืออะไร

23 clustering  data-visualization  dimensionality-reduction  high-dimensional  tsne 

คำถาม: ฉันมีเมทริกซ์สหสัมพันธ์ขนาดใหญ่ แทนที่จะจัดกลุ่มความสัมพันธ์แต่ละตัวฉันต้องการจัดกลุ่มตัวแปรตามความสัมพันธ์ซึ่งกันและกันเช่นถ้าตัวแปร A และตัวแปร B มีความสัมพันธ์แบบเดียวกันกับตัวแปร C ถึง Z ดังนั้น A และ B ควรเป็นส่วนหนึ่งของคลัสเตอร์เดียวกัน ตัวอย่างชีวิตจริงที่ดีของเรื่องนี้คือประเภทสินทรัพย์ที่แตกต่างกัน - ความสัมพันธ์ภายในระดับสินทรัพย์จะสูงกว่าความสัมพันธ์ระหว่างระดับสินทรัพย์ ฉันยังพิจารณาถึงการจัดกลุ่มตัวแปรในแง่ความสัมพันธ์ระหว่างพวกเขาเช่นเมื่อความสัมพันธ์ระหว่างตัวแปร A และ B ใกล้เคียงกับ 0 พวกเขาทำหน้าที่อิสระมากหรือน้อย หากจู่ๆมีการเปลี่ยนแปลงเงื่อนไขพื้นฐานและความสัมพันธ์ที่แข็งแกร่งเกิดขึ้น (บวกหรือลบ) เราสามารถคิดว่าตัวแปรทั้งสองนี้เป็นของคลัสเตอร์เดียวกัน ดังนั้นแทนที่จะมองหาความสัมพันธ์เชิงบวกเราจะมองหาความสัมพันธ์กับความสัมพันธ์ ฉันเดาว่าการเปรียบเทียบอาจเป็นกลุ่มของอนุภาคที่มีประจุบวกและลบ หากประจุลดลงเหลือ 0 อนุภาคจะลอยออกจากกระจุก อย่างไรก็ตามประจุทั้งบวกและลบดึงดูดอนุภาคให้อยู่ในกระจุกดาว ฉันขอโทษถ้าบางอย่างไม่ชัดเจน กรุณาแจ้งให้เราทราบฉันจะชี้แจงรายละเอียดเฉพาะ

23 correlation  clustering  correlation-matrix 

ฉันต้องการจัดกลุ่มข้อมูลของฉันแบบลำดับชั้น แต่แทนที่จะใช้ระยะทางแบบยุคลิดฉันต้องการใช้ความสัมพันธ์ นอกจากนี้เนื่องจากค่าสัมประสิทธิ์สหสัมพันธ์มีค่าตั้งแต่ -1 ถึง 1 โดยที่ทั้ง -1 และ 1 แสดงถึง "การควบคุมร่วม" ในการศึกษาของฉันฉันจึงรักษาทั้ง -1 และ 1 เป็น d = 0 ดังนั้นการคำนวณของฉันคือ d= 1 - | r | d=1-|R|\ d = 1-|r| ผมอ่านในคำถามที่แยกต่างหาก (เกี่ยวกับ K-วิธีการจัดกลุ่ม) ที่คุณควรแปลงRเข้าจริง euclidean dใช้ทฤษฎีบทโคไซน์:d= 2 ( 1 - r )-------√d=2(1-R)d = \sqrt{2(1-r)} วิธีที่ถูกต้องที่สุดในการแปลงสหสัมพันธ์เป็นระยะทางสำหรับการจัดกลุ่มแบบลำดับชั้นคืออะไร

22 correlation  clustering  distance  hierarchical-clustering 

คำถามที่สองคือฉันพบในการสนทนาที่ไหนสักแห่งบนเว็บที่พูดถึง "การจัดกลุ่มแบบมีผู้ดูแล" เท่าที่ฉันทราบการจัดกลุ่มไม่ได้รับการสำรองดังนั้นความหมายที่อยู่เบื้องหลัง "การจัดกลุ่มแบบมีผู้ดูแล" คืออะไร ความแตกต่างเกี่ยวกับ "การจำแนกประเภท" คืออะไร? มีลิงค์มากมายที่พูดถึง: http://www.cs.uh.edu/docs/cosc/technical-reports/2005/05_10.pdf http://books.nips.cc/papers/files/nips23/NIPS2010_0427.pdf http://engr.case.edu/ray_soumya/mlrg/supervised_clustering_finley_joachims_icml05.pdf http://www.public.asu.edu/~kvanlehn/Stringent/PDF/05CICL_UP_DB_PWJ_KVL.pdf http://www.machinelearning.org/proceedings/icml2007/papers/366.pdf http://www.cs.cornell.edu/~tomf/publications/supervised_kmeans-08.pdf http://jmlr.csail.mit.edu/papers/volume6/daume05a/daume05a.pdf ฯลฯ ...

22 clustering  classification  unsupervised-learning  statistical-learning 

ฉันมีเมทริกซ์กึ่งกึ่งกลางของคุณสมบัติไบนารีของมิติ 250k x 100 แต่ละแถวเป็นผู้ใช้และคอลัมน์เป็น "แท็ก" แบบไบนารีของพฤติกรรมผู้ใช้บางอย่างเช่น "Likes_cats" user 1 2 3 4 5 ... ------------------------- A 1 0 1 0 1 B 0 1 0 1 0 C 1 0 0 1 0 ฉันต้องการให้ผู้ใช้พอดีกับ 5-10 คลัสเตอร์และวิเคราะห์การโหลดเพื่อดูว่าฉันสามารถตีความกลุ่มพฤติกรรมของผู้ใช้ได้หรือไม่ ดูเหมือนจะมีวิธีการค่อนข้างน้อยในการปรับคลัสเตอร์ให้เหมาะสมกับข้อมูลไบนารี - เราคิดว่าอะไรอาจเป็นกลยุทธ์ที่ดีที่สุดสำหรับข้อมูลนี้ PCA การสร้างเมทริกซ์ความคล้ายคลึงกันของ Jaccardติดตั้งคลัสเตอร์แบบลำดับขั้นจากนั้นใช้ "โหนด" ด้านบน K-มีเดีย K-medoids พร็อกซิมัส ? แอกเนส …

22 r  clustering  binary-data 

ฉันต้องการทำการจัดกลุ่ม K- หมายถึงการจัดกลุ่มบนวัตถุที่ฉันมี แต่วัตถุไม่ได้อธิบายว่าเป็นจุดในอวกาศเช่นobjects x featuresชุดข้อมูล อย่างไรก็ตามฉันสามารถคำนวณระยะห่างระหว่างวัตถุสองชนิดใดก็ได้ (มันขึ้นอยู่กับฟังก์ชันความคล้ายคลึงกัน) objects x objectsดังนั้นฉันจึงทิ้งของเมทริกซ์ระยะทาง ฉันเคยใช้ K-mean มาก่อน แต่นั่นก็มีจุดเข้าชุดข้อมูล; และด้วยการป้อนเมทริกซ์ระยะทางมันไม่ชัดเจนสำหรับฉันที่จะอัปเดตกลุ่มให้เป็น "ศูนย์" ของคลัสเตอร์โดยไม่ต้องใช้การแทนจุด ปกติจะทำเช่นนี้ได้อย่างไร? มีเวอร์ชั่นของ K-Mean หรือเมธอดอยู่ใกล้ไหม

22 machine-learning  clustering  data-mining  k-means  distance 

ฉันมีคำถามเกี่ยวกับการวิเคราะห์กลุ่ม มี 3,000 บริษัท ที่ต้องทำคลัสเตอร์ตามการใช้พลังงานในระยะเวลา 5 ปี แต่ละ บริษัท มีค่าสำหรับทุก ๆ ชั่วโมงในช่วง 5 ปี ฉันต้องการทราบว่าบาง บริษัท มีรูปแบบการใช้พลังงานเหมือนกันในช่วงระยะเวลาหนึ่งหรือไม่ ควรใช้ผลลัพธ์เพื่อทำนายการใช้พลังงานรายวัน หากคุณมีความคิดบางอย่างเกี่ยวกับวิธีการจัดลำดับเวลาใน SPSS โปรดแบ่งปันกับฉัน

22 time-series  clustering  spss 

ฉันสงสัยว่าถ้าใครมีความเข้าใจหรือสัญชาตญาณหลังความแตกต่างระหว่างการเปลี่ยนแปลงของข้อมูลและดัชนีแรนด์สำหรับการเปรียบเทียบการจัดกลุ่ม ฉันได้อ่านบทความ "การเปรียบเทียบคลัสเตอร์ - ระยะทางจากข้อมูล " โดย Marina Melia (วารสารการวิเคราะห์หลายตัวแปร 2007) แต่นอกเหนือจากการสังเกตความแตกต่างในคำจำกัดความฉันไม่เข้าใจว่าการเปลี่ยนแปลงของข้อมูลคืออะไร จับภาพที่ดัชนีแรนด์ไม่ได้จับ

21 machine-learning  clustering  metric 

อัลกอริธึมการจัดกลุ่มและการลดขนาดแบบคลาสสิกส่วนใหญ่ (การจัดกลุ่มแบบลำดับชั้นการวิเคราะห์องค์ประกอบหลัก, k-mean, การจัดระเบียบแผนที่เอง ... ) ได้รับการออกแบบมาโดยเฉพาะสำหรับข้อมูลตัวเลขและข้อมูลอินพุตของพวกเขาถูกมองว่าเป็นจุด นี่เป็นปัญหาแน่นอนเนื่องจากคำถามในโลกแห่งความเป็นจริงนั้นเกี่ยวข้องกับข้อมูลที่หลากหลาย: ตัวอย่างเช่นหากเราศึกษารถเมล์ความสูงและความยาวและขนาดมอเตอร์จะเป็นตัวเลข แต่เราอาจสนใจสีด้วย (ตัวแปรเด็ดขาด: สีน้ำเงิน / แดง / เขียว ... ) และคลาสความจุ (ตัวแปรที่สั่ง: ความจุขนาดเล็ก / กลาง / ใหญ่) โดยเฉพาะเราอาจต้องการศึกษาตัวแปรประเภทต่าง ๆ เหล่านี้พร้อมกัน มีวิธีการหลายวิธีในการขยาย algos การจัดกลุ่มแบบคลาสสิกเป็นข้อมูลแบบผสมเช่นการใช้ Gower dissimilarity เพื่อเชื่อมต่อเข้ากับการจัดกลุ่มแบบลำดับชั้นหรือการปรับขนาดแบบหลายมิติหรือวิธีการอื่นที่ใช้เมทริกซ์ระยะทางเป็นอินพุต หรือเช่นวิธีการนี้เป็นส่วนเสริมของ SOM เพื่อผสมข้อมูล คำถามของฉันคือทำไมเราไม่สามารถใช้ระยะทางแบบยุคลิดในตัวแปรผสมได้ หรือเพราะเหตุใดจึงไม่ดีที่จะทำเช่นนั้น? ทำไมเราไม่จำลองหุ่นตัวแปรที่เป็นหมวดหมู่ทำให้ตัวแปรทั้งหมดเป็นปกติเพื่อให้พวกมันมีน้ำหนักใกล้เคียงกันระหว่างการสังเกตและเรียกใช้ algos ปกติบนเมทริกซ์เหล่านี้ มันง่ายมากและไม่เคยทำเลยดังนั้นฉันคิดว่ามันผิดมาก แต่ทุกคนสามารถบอกฉันได้ว่าทำไม และ / หรือให้ฉันอ้างอิงบางอย่าง? ขอบคุณ

21 clustering  dimensionality-reduction  distance  self-organizing-maps  mixed-type-data 

ฉันกำลังอ่าน Bishop เกี่ยวกับอัลกอริทึม EM สำหรับ GMM และความสัมพันธ์ระหว่าง GMM และ k-mean ในหนังสือเล่มนี้มันบอกว่า k-mean เป็นรุ่นที่กำหนดยากของ GMM ฉันสงสัยว่านั่นหมายความว่าถ้าข้อมูลที่ฉันพยายามจัดกลุ่มไม่ใช่ Gaussian ฉันไม่สามารถใช้วิธี k (หรืออย่างน้อยก็ไม่เหมาะที่จะใช้)? ตัวอย่างเช่นถ้าข้อมูลเป็นภาพของตัวเลขที่เขียนด้วยลายมือซึ่งประกอบด้วย 8 * 8 พิกเซลแต่ละรายการมีค่า 0 หรือ 1 (และถือว่าเป็นข้อมูลที่เป็นอิสระดังนั้นจึงควรเป็นส่วนผสมของเบอร์นูลี) ฉันสับสนเล็กน้อยในเรื่องนี้และจะขอบคุณความคิดใด ๆ

21 clustering  data-mining  k-means  gaussian-mixture 

หลังจากทำการวิเคราะห์องค์ประกอบหลัก (PCA) ฉันต้องการฉายเวกเตอร์ใหม่ลงบนพื้นที่ PCA (เช่นค้นหาพิกัดในระบบพิกัด PCA) ผมได้คำนวณ PCA ในภาษา R prcompโดยใช้ ตอนนี้ฉันควรคูณเวกเตอร์ของฉันด้วยเมทริกซ์การหมุน PCA ควรจัดองค์ประกอบหลักในเมทริกซ์นี้เป็นแถวหรือคอลัมน์?

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

ฉันมีชุดข้อมูลประกอบด้วย 5 คุณสมบัติ: A, B, C, D, E พวกเขาทั้งหมดเป็นค่าตัวเลข แทนที่จะทำการจัดกลุ่มตามความหนาแน่นสิ่งที่ฉันต้องการทำคือการจัดกลุ่มข้อมูลในลักษณะคล้ายต้นไม้ตัดสินใจ วิธีที่ฉันหมายถึงคือ: อัลกอริทึมอาจแบ่งข้อมูลออกเป็นกลุ่มเริ่มต้น X ตามคุณลักษณะ C เช่นกลุ่ม X อาจมีขนาดเล็ก C ขนาดกลาง C ขนาดใหญ่และค่า C ที่มีขนาดใหญ่มากเป็นต้นถัดไปภายใต้โหนดคลัสเตอร์ X แต่ละโหนดอัลกอริธึมเพิ่มเติม ข้อมูลในคลัสเตอร์ Y ตามคุณลักษณะ A อัลกอริทึมจะดำเนินต่อไปจนกว่าจะใช้คุณลักษณะทั้งหมด อัลกอริทึมที่ฉันอธิบายไว้ข้างต้นเป็นเหมือนอัลกอริธึมต้นไม้ตัดสินใจ แต่ฉันต้องการมันสำหรับการจัดกลุ่มแบบไม่ดูแลแทนการจัดกลุ่มแบบมีผู้ดูแล คำถามของฉันมีดังต่อไปนี้: อัลกอริทึมดังกล่าวมีอยู่แล้วหรือไม่? ชื่อที่ถูกต้องสำหรับอัลกอริทึมดังกล่าวคืออะไร มีแพ็คเกจ / ไลบรารี R / python ที่มีการใช้อัลกอริทึมชนิดนี้หรือไม่?

20 r  machine-learning  clustering  cart