จะลงจุดข้อมูลเอาต์พุตของการทำคลัสเตอร์ได้อย่างไร


15

ฉันพยายามจัดกลุ่มชุดข้อมูล (ชุดเครื่องหมาย) และมี 2 กลุ่ม ฉันต้องการที่จะเป็นตัวแทนกราฟิก บิตสับสนเกี่ยวกับการเป็นตัวแทนเนื่องจากฉันไม่มีพิกัด (x, y)

กำลังมองหาฟังก์ชัน MATLAB / Python สำหรับการทำเช่นนั้น

แก้ไข

ฉันคิดว่าการโพสต์ข้อมูลทำให้คำถามชัดเจนขึ้น ฉันมีสองกลุ่มที่ฉันทำโดยใช้การจัดกลุ่ม kmeans ใน Python (ไม่ใช้ scipy) พวกเขาเป็น

class 1: a=[3222403552.0, 3222493472.0, 3222491808.0, 3222489152.0, 3222413632.0, 
3222394528.0, 3222414976.0, 3222522768.0, 3222403552.0, 3222498896.0, 3222541408.0, 
3222403552.0, 3222402816.0, 3222588192.0, 3222403552.0, 3222410272.0, 3222394560.0, 
3222402704.0, 3222298192.0, 3222409264.0, 3222414688.0, 3222522512.0, 3222404096.0, 
3222486720.0, 3222403968.0, 3222486368.0, 3222376320.0, 3222522896.0, 3222403552.0, 
3222374480.0, 3222491648.0, 3222543024.0, 3222376848.0, 3222403552.0, 3222591616.0, 
3222376944.0, 3222325568.0, 3222488864.0, 3222548416.0, 3222424176.0, 3222415024.0, 
3222403552.0, 3222407504.0, 3222489584.0, 3222407872.0, 3222402736.0, 3222402032.0, 
3222410208.0, 3222414816.0, 3222523024.0, 3222552656.0, 3222487168.0, 3222403728.0, 
3222319440.0, 3222375840.0, 3222325136.0, 3222311568.0, 3222491984.0, 3222542032.0, 
3222539984.0, 3222522256.0, 3222588336.0, 3222316784.0, 3222488304.0, 3222351360.0, 
3222545536.0, 3222323728.0, 3222413824.0, 3222415120.0, 3222403552.0, 3222514624.0, 
3222408000.0, 3222413856.0, 3222408640.0, 3222377072.0, 3222324304.0, 3222524016.0, 
3222324000.0, 3222489808.0, 3222403552.0, 3223571920.0, 3222522384.0, 3222319712.0, 
3222374512.0, 3222375456.0, 3222489968.0, 3222492752.0, 3222413920.0, 3222394448.0, 
3222403552.0, 3222403552.0, 3222540576.0, 3222407408.0, 3222415072.0, 3222388272.0, 
3222549264.0, 3222325280.0, 3222548208.0, 3222298608.0, 3222413760.0, 3222409408.0, 
3222542528.0, 3222473296.0, 3222428384.0, 3222413696.0, 3222486224.0, 3222361280.0, 
3222522640.0, 3222492080.0, 3222472144.0, 3222376560.0, 3222378736.0, 3222364544.0, 
3222407776.0, 3222359872.0, 3222492928.0, 3222440496.0, 3222499408.0, 3222450272.0, 
3222351904.0, 3222352480.0, 3222413952.0, 3222556416.0, 3222410304.0, 3222399984.0, 
3222494736.0, 3222388288.0, 3222403552.0, 3222323824.0, 3222523616.0, 3222394656.0, 
3222404672.0, 3222405984.0, 3222490432.0, 3222407296.0, 3222394720.0, 3222596624.0, 
3222597520.0, 3222598048.0, 3222403552.0, 3222403552.0, 3222403552.0, 3222324448.0, 
3222408976.0, 3222448160.0, 3222366320.0, 3222489344.0, 3222403552.0, 3222494480.0, 
3222382032.0, 3222450432.0, 3222352000.0, 3222352528.0, 3222414032.0, 3222728448.0, 
3222299456.0, 3222400016.0, 3222495056.0, 3222388848.0, 3222403552.0, 3222487568.0, 
3222523744.0, 3222394624.0, 3222408112.0, 3222406496.0, 3222405616.0, 3222592160.0, 
3222549360.0, 3222438560.0, 3222597024.0, 3222597616.0, 3222598128.0, 3222403552.0, 
3222403552.0, 3222403552.0, 3222499056.0, 3222408512.0, 3222402064.0, 3222368992.0, 
3222511376.0, 3222414624.0, 3222554816.0, 3222494608.0, 3222449792.0, 3222351952.0, 
3222352272.0, 3222394736.0, 3222311856.0, 3222414288.0, 3222402448.0, 3222401056.0, 
3222413568.0, 3222298848.0, 3222297184.0, 3222488000.0, 3222490528.0, 3222394688.0, 
3222408224.0, 3222406672.0, 3222404896.0, 3222443120.0, 3222403552.0, 3222596400.0, 
3222597120.0, 3222597712.0, 3222400896.0, 3222403552.0, 3222403552.0, 3222403552.0, 
3222299200.0, 3222321296.0, 3222364176.0, 3222602208.0, 3222513040.0, 3222414656.0, 
3222564864.0, 3222407904.0, 3222449984.0, 3222352096.0, 3222352432.0, 3222452832.0, 
3222368560.0, 3222414368.0, 3222399376.0, 3222298352.0, 3222573152.0, 3222438080.0, 
3222409168.0, 3222523488.0, 3222394592.0, 3222405136.0, 3222490624.0, 3222406928.0, 
3222407104.0, 3222442464.0, 3222403552.0, 3222596512.0, 3222597216.0, 3222597968.0, 
3222438208.0, 3222403552.0, 3222403552.0, 3222403552.0]

class 2: b=[3498543128.0, 3498542920.0, 3498543252.0, 3498543752.0, 3498544872.0, 
3498544528.0, 3498543024.0, 3498542548.0, 3498542232.0]

ฉันต้องการจะลงจุด ฉันพยายามต่อไปและมีผลต่อไปนี้เมื่อฉันพล็อตและab

pylab.plot(a,'x')
pylab.plot(b,'o')
pylab.show()

ป้อนคำอธิบายรูปภาพที่นี่

ฉันจะได้ภาพที่ดีขึ้นของการจัดกลุ่ม?


1
ที่จริงขึ้นอยู่กับคุณได้ทำการจัดกลุ่ม :) ถ้าคุณแสดงเป็นตัวอย่างเล็ก ๆ น้อย ๆ ของข้อมูลที่คุณมีผมมั่นใจว่าคุณจะได้คำตอบ
david W

1
การใช้สีและเครื่องหมายที่แตกต่างกันมีแนวโน้มที่จะง่ายที่สุด / ง่ายที่สุดในการอ่าน หากทั้งหมดที่คุณมีคือ 2 กลุ่มคุณสามารถพิมพ์ 0/1 หรือ O / X สำหรับค่าที่แตกต่างกัน
Marcin

โปรดบอกความหมายของ "ชุดของเครื่องหมาย" คุณมีตัวแปรกี่ตัวที่ใช้อธิบายลักษณะของกลุ่ม นอกจากนี้คุณแน่ใจหรือไม่ว่า 2 เป็นจำนวนกลุ่มที่ดีที่สุดที่จะใช้? หลายครั้งที่หนึ่งต้องใช้โปรแกรมวิเคราะห์คลัสเตอร์ซ้ำ ๆ ในตอนเริ่มแรกอาจได้รับเพียง 2 แต่ด้วยการปรับเปลี่ยนบางอย่างหนึ่งอาจได้รับจำนวนที่น่าสนใจและให้ข้อมูลที่สูงขึ้น
rolando2

ฉันใช้ kmeans ที่ฉันต้องให้จำนวนกลุ่มอย่างชัดเจน
2721

@ user2721 คุณช่วยบอกเราได้อย่างไรว่าคุณใช้ kmeans
Sigur

คำตอบ:


30

โดยปกติคุณจะต้องพล็อตค่าดั้งเดิมใน scatterplot (หรือเมทริกซ์ของ scatterplots หากคุณมีจำนวนมาก) และใช้สีเพื่อแสดงกลุ่มของคุณ

คุณขอคำตอบในหลามและคุณทำการจัดกลุ่มและการพล็อตจริงด้วย scipy, numpy และ matplotlib:

เริ่มต้นด้วยการสร้างข้อมูล

import numpy as np
from scipy import cluster
from matplotlib import pyplot

np.random.seed(123)
tests = np.reshape( np.random.uniform(0,100,60), (30,2) )
#tests[1:4]
#array([[ 22.68514536,  55.13147691],
#       [ 71.94689698,  42.31064601],
#       [ 98.07641984,  68.48297386]])

มีกี่กลุ่ม

นี่เป็นเรื่องยากเกี่ยวกับ k-mean และมีวิธีการมากมาย ลองใช้วิธีศอก

#plot variance for each value for 'k' between 1,10
initial = [cluster.vq.kmeans(tests,i) for i in range(1,10)]
pyplot.plot([var for (cent,var) in initial])
pyplot.show()

พล็อตข้อศอก

มอบหมายการสังเกตของคุณให้กับชั้นเรียนและพล็อตพวกเขา

ฉันคิดว่าดัชนี 3 (เช่น 4 กลุ่ม) ดีพอ ๆ กัน

cent, var = initial[3]
#use vq() to get as assignment for each obs.
assignment,cdist = cluster.vq.vq(tests,cent)
pyplot.scatter(tests[:,0], tests[:,1], c=assignment)
pyplot.show()

พล็อตกระจาย

เพิ่งออกกำลังกายที่คุณสามารถติดสิ่งที่คุณทำไปแล้วในเวิร์กโฟลว์นั้น (และฉันหวังว่าคุณจะเป็นกลุ่มที่ดีกว่าแบบสุ่ม!)


คำตอบของคุณดูดีมาก ฉันสามารถใช้งานได้อย่างมีประสิทธิภาพกับข้อมูลของฉัน ไม่สามารถรับเวลาลองได้
user2721

@david w: นี่เป็นหนึ่งในคำตอบที่ดีที่สุดที่ฉันเคยเห็น! ขอบคุณมากสำหรับการโพสต์ตัวอย่างแบบสแตนด์อโลน อย่างน้อยฉันก็เข้าใจคำตอบของคุณ :) ขอบคุณอีกครั้ง!
ตำนาน

@david w: คำถามเดียวที่ฉันมีคือวิธีข้อศอกแสดงค่าที่เพิ่มขึ้นและพล็อตของคุณลดลง เป็นเพราะคุณใช้ค่าการบิดเบือนโดยตรงจาก kmeans หรือไม่ ฉันจะแปลงมันให้ดูเหมือนกับข้อศอกของวิกิพีเดียได้อย่างไร และเป็นคำถามสุดท้ายคุณจะรู้วิธีการทำเช่นนี้กับ kmeans2 แทนที่จะเป็น kmeans หรือไม่
ตำนาน

คุณค้นพบดัชนี 3แค่มองไปที่พล็อตแรกหรือไม่?
Sigur

2

อาจลองใช้Fastmapเพื่อทำเครื่องหมายชุดของคุณโดยใช้ระยะทางสัมพัทธ์

(ยัง) ไม่มีอะไรที่ฉลาดได้เขียน Fastmap ในไพ ธ อนเพื่อพล็อตสตริงและสามารถอัปเดตได้อย่างง่ายดายเพื่อจัดการรายการของแอตทริบิวต์หากคุณเขียนตัวชี้วัดระยะทางของคุณเอง

ด้านล่างคือระยะทางแบบยุคลิดมาตรฐานที่ฉันใช้ซึ่งใช้สองรายการของคุณลักษณะเป็นพารามิเตอร์ หากรายการของคุณมีค่าคลาสอย่าใช้ในการคำนวณระยะทาง

def distance(vecone, vectwo, d=0.0):
    for i in range(len(vecone)):
        if isnumeric(vecone[i]):
            d = d + (vecone[i] - vectwo[i])**2
        elif vecone[i] is not vectwo[i]:
            d += 1.0
    return math.sqrt(d)

def isnumeric(s):
    try:
        float(s)
        return True
    except ValueError:
        return False

0

ฉันไม่ได้เป็นผู้เชี่ยวชาญของงูหลาม แต่มันมีประโยชน์อย่างมากในการวางแผนองค์ประกอบหลักที่ 1 2 ต่อกันบนแกน x, y

ไม่แน่ใจว่าคุณใช้แพ็คเกจใด แต่นี่คือลิงค์ตัวอย่าง:

http://pyrorobotics.org/?page=PyroModuleAnalysis


ฉันไม่ใช่ผู้เชี่ยวชาญด้านสถิติ คุณช่วยอธิบายเพิ่มเติมเกี่ยวกับแนวคิดการวางแผนได้ไหม
2721

แนวคิดพื้นฐานคือตัวแปรหลายตัวมีความสัมพันธ์ซึ่งกันและกันและทุกอย่างสามารถลดลงเหลือเพียงสองตัวแปรเท่านั้นซึ่งไม่เกี่ยวข้องกันและอธิบายถึง "ความเปลี่ยนแปลง" ส่วนใหญ่ในข้อมูล คุณต้องอ่านข้อมูลเกี่ยวกับการวิเคราะห์องค์ประกอบหลักและใช้แพ็คเกจที่อนุญาตให้คุณนำไปใช้งาน en.wikipedia.org/wiki/Principal_component_analysis
Ralph Winters
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.