แปลงอาเรย์ของดัชนีไปเป็นอาเรย์ numpy ที่เข้ารหัสแล้ว 1 ครั้ง


227

สมมติว่าฉันมีอาร์เรย์ numpy 1d

a = array([1,0,3])

ฉันต้องการเข้ารหัสเป็นอาร์เรย์ 2d 1-hot

b = array([[0,1,0,0], [1,0,0,0], [0,0,0,1]])

มีวิธีที่รวดเร็วในการทำเช่นนี้? เร็วกว่าการวนซ้ำaเพื่อตั้งค่าองค์ประกอบของbนั่นคือ

คำตอบ:


395

อาร์เรย์ของคุณaกำหนดคอลัมน์ขององค์ประกอบที่ไม่ใช่ศูนย์ในอาร์เรย์ผลลัพธ์ คุณต้องกำหนดแถวแล้วใช้การจัดทำดัชนีแฟนซี:

>>> a = np.array([1, 0, 3])
>>> b = np.zeros((a.size, a.max()+1))
>>> b[np.arange(a.size),a] = 1
>>> b
array([[ 0.,  1.,  0.,  0.],
       [ 1.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  1.]])

111
สวย. ทำให้เป็นเรื่องb = np.zeros((a.size, a.max()+1))ธรรมดา: จากนั้น `b [np.arange (a.size), a] = 1`
James Atwood

10
@ JamesAtwood ขึ้นอยู่กับแอปพลิเคชั่น แต่ฉันจะสร้างพารามิเตอร์สูงสุดและไม่คำนวณจากข้อมูล
Mohammad Moghimi

1
@ MohammadMoghimi แน่นอนทำให้รู้สึกถึงฉัน
James Atwood

7
เกิดอะไรขึ้นถ้า 'a' เป็น 2d และคุณต้องการเมทริกซ์แบบสามมิติหนึ่งมิติ?
โฆษณา

8
ทุกคนสามารถชี้ไปที่คำอธิบายว่าทำไมงานนี้ แต่ชิ้นด้วย [:, a] ไม่ได้?
N. McA

168
>>> values = [1, 0, 3]
>>> n_values = np.max(values) + 1
>>> np.eye(n_values)[values]
array([[ 0.,  1.,  0.,  0.],
       [ 1.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  1.]])

9
วิธีนี้เป็นวิธีเดียวที่มีประโยชน์สำหรับเมทริกซ์ ND เข้ากับเมทริกซ์ N + 1D ที่ร้อนแรง ตัวอย่าง: input_matrix = np.asarray ([[0,1,1], [1,1,2]]); np.eye (3) [input_matrix] # output 3D tensor
Isaías

5
+1 เนื่องจากควรใช้วิธีนี้เหนือโซลูชันที่ยอมรับ สำหรับวิธีแก้ปัญหาทั่วไปที่มากกว่านั้นvaluesควรเป็นอาร์เรย์ Numpy แทนที่จะเป็นรายการ Python จากนั้นจะทำงานในทุกมิติไม่ใช่เฉพาะใน 1D
อเล็กซ์

8
โปรดทราบว่าการใช้np.max(values) + 1จำนวนถังอาจไม่เป็นที่ต้องการหากชุดข้อมูลของคุณสุ่มตัวอย่างแบบสุ่มและโดยบังเอิญอาจไม่มีค่าสูงสุด จำนวนของถังควรเป็นพารามิเตอร์และยืนยัน / ตรวจสอบสามารถอยู่ในสถานที่เพื่อตรวจสอบว่าแต่ละค่าอยู่ภายใน 0 (รวม) และจำนวนถัง (นับ)
NightElfik

2
สำหรับฉันทางออกนี้ดีที่สุดและสามารถทำให้เป็นเมตริกซ์ได้ง่าย ๆ : def one_hot (x, depth = 10): return np.eye (depth) [x] โปรดทราบว่าการให้เมตริกซ์ x เป็นดัชนีส่งคืนเมตริกซ์ของแถวตา x.shape
cecconeurale

4
วิธีง่าย ๆ ในการ "เข้าใจ" วิธีแก้ปัญหานี้และทำไมจึงทำงานกับ N-dims (โดยไม่ต้องอ่านnumpyเอกสาร): ในแต่ละตำแหน่งในเมทริกซ์ดั้งเดิม ( values) เรามีจำนวนเต็มkและเรา "ใส่" เวกเตอร์ 1 อันร้อนแรงeye(n)[k]ในตำแหน่งนั้น . นี่เป็นการเพิ่มมิติเพราะเรา "ใส่" เวกเตอร์ในตำแหน่งของสเกลาร์ในเมทริกซ์ดั้งเดิม
avivr


32

นี่คือสิ่งที่ฉันพบว่ามีประโยชน์:

def one_hot(a, num_classes):
  return np.squeeze(np.eye(num_classes)[a.reshape(-1)])

ที่นี่num_classesหมายถึงจำนวนชั้นเรียนที่คุณมี ดังนั้นถ้าคุณมีaเวกเตอร์ที่มีรูปร่างของ(10000)ฟังก์ชั่นนี้จะแปลงมัน(10000 C) ทราบว่าaเป็นศูนย์จัดทำดัชนีคือจะให้one_hot(np.array([0, 1]), 2)[[1, 0], [0, 1]]

ฉันเชื่อในสิ่งที่คุณต้องการ

PS: แหล่งที่มาคือรูปแบบลำดับ - deeplearning.ai


นอกจากนี้อะไรคือสาเหตุของการทำ np.squeeze () ตั้งแต่ได้ขนาด (เวกเตอร์ขนาด a) ไปยังอาร์เรย์ที่มีการเข้ารหัสร้อนจำนวนมากโดยใช้np.eye(num_classes)[a.reshape(-1)]. What you are simply doing is using np.eye` คุณกำลังสร้างเมทริกซ์แนวทแยงที่มีดัชนีแต่ละชั้นเป็น 1 ศูนย์พักผ่อนและต่อมา โดยการผลิตการส่งออกที่สอดคล้องกับดัชนีในa.reshape(-1) np.eye()ผมไม่เข้าใจถึงความจำเป็นของnp.sqeezeตั้งแต่ที่เราใช้มันเพียงแค่ลบมิติเดียวที่เราจะไม่ได้เป็นในมิติของการส่งออกจะเป็น(a_flattened_size, num_classes)
Anu

27

คุณสามารถใช้ sklearn.preprocessing.LabelBinarizer:

ตัวอย่าง:

import sklearn.preprocessing
a = [1,0,3]
label_binarizer = sklearn.preprocessing.LabelBinarizer()
label_binarizer.fit(range(max(a)+1))
b = label_binarizer.transform(a)
print('{0}'.format(b))

เอาท์พุท:

[[0 1 0 0]
 [1 0 0 0]
 [0 0 0 1]]

ท่ามกลางสิ่งอื่น ๆ คุณอาจเริ่มต้นsklearn.preprocessing.LabelBinarizer()เพื่อให้ผลลัพธ์ของtransformเบาบาง


21

คุณยังสามารถใช้ฟังก์ชั่นการมองเห็นของ numpy:

numpy.eye(number of classes)[vector containing the labels]


1
เพื่อความชัดเจนยิ่งขึ้นการใช้np.identity(num_classes)[indices]อาจจะดีกว่า คำตอบที่ดี!
Oliver

5

นี่คือฟังก์ชั่นที่แปลงเวกเตอร์ 1 มิติเป็นอาเรย์หนึ่งสองมิติ

#!/usr/bin/env python
import numpy as np

def convertToOneHot(vector, num_classes=None):
    """
    Converts an input 1-D vector of integers into an output
    2-D array of one-hot vectors, where an i'th input value
    of j will set a '1' in the i'th row, j'th column of the
    output array.

    Example:
        v = np.array((1, 0, 4))
        one_hot_v = convertToOneHot(v)
        print one_hot_v

        [[0 1 0 0 0]
         [1 0 0 0 0]
         [0 0 0 0 1]]
    """

    assert isinstance(vector, np.ndarray)
    assert len(vector) > 0

    if num_classes is None:
        num_classes = np.max(vector)+1
    else:
        assert num_classes > 0
        assert num_classes >= np.max(vector)

    result = np.zeros(shape=(len(vector), num_classes))
    result[np.arange(len(vector)), vector] = 1
    return result.astype(int)

ด้านล่างคือตัวอย่างการใช้งาน:

>>> a = np.array([1, 0, 3])

>>> convertToOneHot(a)
array([[0, 1, 0, 0],
       [1, 0, 0, 0],
       [0, 0, 0, 1]])

>>> convertToOneHot(a, num_classes=10)
array([[0, 1, 0, 0, 0, 0, 0, 0, 0, 0],
       [1, 0, 0, 0, 0, 0, 0, 0, 0, 0],
       [0, 0, 0, 1, 0, 0, 0, 0, 0, 0]])

โปรดทราบว่านี่ใช้ได้เฉพาะกับเวกเตอร์เท่านั้น (และไม่มีassertการตรวจสอบรูปร่างของเวกเตอร์;)
johndodo

1
+1 สำหรับวิธีการทั่วไปและการตรวจสอบพารามิเตอร์ อย่างไรก็ตามตามหลักปฏิบัติทั่วไปฉันไม่แนะนำให้ใช้ asserts เพื่อตรวจสอบอินพุต ใช้การยืนยันเท่านั้นเพื่อตรวจสอบเงื่อนไขระหว่างกลางภายใน แต่แปลงลงในassert ___ if not ___ raise Exception(<Reason>)
fnunnari

3

สำหรับการเข้ารหัสแบบ 1 ครั้ง

   one_hot_encode=pandas.get_dummies(array)

ตัวอย่างเช่น

เพลิดเพลินกับการเข้ารหัส


ขอบคุณสำหรับความคิดเห็น แต่คำอธิบายสั้น ๆ เกี่ยวกับสิ่งที่รหัสกำลังทำอยู่จะมีประโยชน์มาก!
Clarus

โปรดดูตัวอย่าง
Shubham Mishra

@Clarus ชำระเงินตัวอย่างด้านล่าง คุณสามารถเข้าถึงการเข้ารหัสร้อนแรงหนึ่งรายการของแต่ละค่าในอาร์เรย์ np ของคุณโดยใช้ one_hot_encode [value] >>> import numpy as np >>> import pandas >>> a = np.array([1,0,3]) >>> one_hot_encode=pandas.get_dummies(a) >>> print(one_hot_encode) 0 1 3 0 0 1 0 1 1 0 0 2 0 0 1 >>> print(one_hot_encode[1]) 0 1 1 0 2 0 Name: 1, dtype: uint8 >>> print(one_hot_encode[0]) 0 0 1 1 2 0 Name: 0, dtype: uint8 >>> print(one_hot_encode[3]) 0 0 1 0 2 1 Name: 3, dtype: uint8
Deepak

2

ฉันคิดว่าคำตอบสั้น ๆ คือไม่ สำหรับกรณีทั่วไปที่มีnขนาดมากกว่านี้ฉันได้พบสิ่งนี้:

# For 2-dimensional data, 4 values
a = np.array([[0, 1, 2], [3, 2, 1]])
z = np.zeros(list(a.shape) + [4])
z[list(np.indices(z.shape[:-1])) + [a]] = 1

ฉันสงสัยว่ามีวิธีแก้ปัญหาที่ดีกว่าหรือไม่ฉันไม่ชอบที่จะต้องสร้างรายการเหล่านั้นในสองบรรทัดสุดท้าย อย่างไรก็ตามฉันทำการวัดด้วยtimeitและดูเหมือนว่าnumpy-based ( indices/ arange) และเวอร์ชันซ้ำจะทำงานเหมือนกัน


2

เพียงอธิบายอย่างละเอียดเกี่ยวกับคำตอบที่ยอดเยี่ยมจากK3 --- rnc ต่อไปนี้เป็นรุ่นทั่วไปเพิ่มเติม:

def onehottify(x, n=None, dtype=float):
    """1-hot encode x with the max value n (computed from data if n is None)."""
    x = np.asarray(x)
    n = np.max(x) + 1 if n is None else n
    return np.eye(n, dtype=dtype)[x]

นอกจากนี้ต่อไปนี้เป็นเกณฑ์มาตรฐานที่รวดเร็วและสกปรกของวิธีนี้และวิธีการจากคำตอบที่ได้รับการยอมรับในปัจจุบันโดยYXD (เปลี่ยนเล็กน้อยเพื่อให้พวกเขาเสนอ API เดียวกันยกเว้นว่าวิธีหลังนี้ใช้ได้กับ 1D เท่านั้น):

def onehottify_only_1d(x, n=None, dtype=float):
    x = np.asarray(x)
    n = np.max(x) + 1 if n is None else n
    b = np.zeros((len(x), n), dtype=dtype)
    b[np.arange(len(x)), x] = 1
    return b

วิธีหลังนั้นเร็วกว่า ~ 35% (MacBook Pro 13 2015) แต่วิธีเก่ากว่าทั่วไป:

>>> import numpy as np
>>> np.random.seed(42)
>>> a = np.random.randint(0, 9, size=(10_000,))
>>> a
array([6, 3, 7, ..., 5, 8, 6])
>>> %timeit onehottify(a, 10)
188 µs ± 5.03 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
>>> %timeit onehottify_only_1d(a, 10)
139 µs ± 2.78 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

2

คุณสามารถใช้รหัสต่อไปนี้สำหรับการแปลงเป็นเวกเตอร์ที่ร้อนแรง:

let x เป็นเวกเตอร์คลาสปกติที่มีคอลัมน์เดียวที่มีคลาส 0 เป็นจำนวน:

import numpy as np
np.eye(x.max()+1)[x]

ถ้า 0 ไม่ใช่คลาส; จากนั้นลบ +1


1

ฉันเพิ่งพบปัญหาชนิดเดียวกันและพบว่าวิธีแก้ปัญหาซึ่งกลายเป็นที่พอใจเท่านั้นถ้าคุณมีตัวเลขที่อยู่ในรูปแบบที่แน่นอน ตัวอย่างเช่นถ้าคุณต้องการเข้ารหัสหนึ่งรายการต่อไปนี้:

all_good_list = [0,1,2,3,4]

ไปข้างหน้าโซลูชั่นที่โพสต์ได้กล่าวถึงแล้ว แต่จะทำอย่างไรถ้าพิจารณาข้อมูลนี้:

problematic_list = [0,23,12,89,10]

หากคุณทำด้วยวิธีการที่กล่าวข้างต้นคุณจะมี 90 คอลัมน์ที่น่าสนใจ n = np.max(a)+1เพราะนี่คือคำตอบทั้งหมดรวมถึงสิ่งที่ต้องการ ฉันพบโซลูชันทั่วไปเพิ่มเติมที่ใช้งานได้สำหรับฉันและต้องการแบ่งปันกับคุณ:

import numpy as np
import sklearn
sklb = sklearn.preprocessing.LabelBinarizer()
a = np.asarray([1,2,44,3,2])
n = np.unique(a)
sklb.fit(n)
b = sklb.transform(a)

ฉันหวังว่าบางคนพบข้อ จำกัด เดียวกันกับวิธีแก้ไขปัญหาข้างต้นและนี่อาจเป็นประโยชน์


1

การเข้ารหัสประเภทนี้มักจะเป็นส่วนหนึ่งของอาร์เรย์ที่มีค่า หากคุณกำลังใช้อาร์เรย์แบบนี้:

a = np.array([1,0,3])

แล้วมีวิธีง่าย ๆ ในการแปลงที่การเข้ารหัส 1 ร้อน

out = (np.arange(4) == a[:,None]).astype(np.float32)

แค่นั้นแหละ.


1
  • p จะเป็น 2d ndarray
  • เราต้องการทราบว่ามูลค่าใดสูงที่สุดในหนึ่งแถวเพื่อใส่ 1 และที่อื่น 0

ทางออกที่สะอาดและง่าย:

max_elements_i = np.expand_dims(np.argmax(p, axis=1), axis=1)
one_hot = np.zeros(p.shape)
np.put_along_axis(one_hot, max_elements_i, 1, axis=1)

1

ใช้ขั้นตอนไปป์ไลน์Neuraxle :

  1. ตั้งค่าตัวอย่างของคุณ
import numpy as np
a = np.array([1,0,3])
b = np.array([[0,1,0,0], [1,0,0,0], [0,0,0,1]])
  1. ทำการแปลงจริง
from neuraxle.steps.numpy import OneHotEncoder
encoder = OneHotEncoder(nb_columns=4)
b_pred = encoder.transform(a)
  1. ยืนยันว่ามันใช้งานได้
assert b_pred == b

เชื่อมโยงไปยังเอกสาร: neuraxle.steps.numpy.OneHotEncoder


0

นี่คือตัวอย่างฟังก์ชันที่ฉันเขียนให้ทำตามคำตอบข้างต้นและกรณีการใช้งานของฉันเอง:

def label_vector_to_one_hot_vector(vector, one_hot_size=10):
    """
    Use to convert a column vector to a 'one-hot' matrix

    Example:
        vector: [[2], [0], [1]]
        one_hot_size: 3
        returns:
            [[ 0.,  0.,  1.],
             [ 1.,  0.,  0.],
             [ 0.,  1.,  0.]]

    Parameters:
        vector (np.array): of size (n, 1) to be converted
        one_hot_size (int) optional: size of 'one-hot' row vector

    Returns:
        np.array size (vector.size, one_hot_size): converted to a 'one-hot' matrix
    """
    squeezed_vector = np.squeeze(vector, axis=-1)

    one_hot = np.zeros((squeezed_vector.size, one_hot_size))

    one_hot[np.arange(squeezed_vector.size), squeezed_vector] = 1

    return one_hot

label_vector_to_one_hot_vector(vector=[[2], [0], [1]], one_hot_size=3)

0

ฉันกำลังเพิ่มฟังก์ชั่นง่าย ๆ ให้เสร็จโดยใช้ตัวดำเนินการ numpy เท่านั้น:

   def probs_to_onehot(output_probabilities):
        argmax_indices_array = np.argmax(output_probabilities, axis=1)
        onehot_output_array = np.eye(np.unique(argmax_indices_array).shape[0])[argmax_indices_array.reshape(-1)]
        return onehot_output_array

ใช้เป็นเมทริกซ์ความน่าจะเป็นอินพุทเช่น:

[[0.03038822 0.65810204 0.16549407 0.3797123] ... [0.02771272 0.2760752 0.3280924 0.33458805]]

และมันจะกลับมา

[[0 1 0 0] ... [0 0 0 1]]


0

ต่อไปนี้เป็นโซลูชันแบบสแตนด์อโลนที่มีมิติอิสระ

นี้จะแปลงใด ๆ อาร์เรย์ N มิติarrของจำนวนเต็มไม่ติดลบไปหนึ่งร้อน N + อาร์เรย์ 1 มิติone_hotที่หมายถึงone_hot[i_1,...,i_N,c] = 1 arr[i_1,...,i_N] = cคุณสามารถกู้คืนอินพุตผ่านnp.argmax(one_hot, -1)

def expand_integer_grid(arr, n_classes):
    """

    :param arr: N dim array of size i_1, ..., i_N
    :param n_classes: C
    :returns: one-hot N+1 dim array of size i_1, ..., i_N, C
    :rtype: ndarray

    """
    one_hot = np.zeros(arr.shape + (n_classes,))
    axes_ranges = [range(arr.shape[i]) for i in range(arr.ndim)]
    flat_grids = [_.ravel() for _ in np.meshgrid(*axes_ranges, indexing='ij')]
    one_hot[flat_grids + [arr.ravel()]] = 1
    assert((one_hot.sum(-1) == 1).all())
    assert(np.allclose(np.argmax(one_hot, -1), arr))
    return one_hot

0

ใช้รหัสต่อไปนี้ มันทำงานได้ดีที่สุด

def one_hot_encode(x):
"""
    argument
        - x: a list of labels
    return
        - one hot encoding matrix (number of labels, number of class)
"""
encoded = np.zeros((len(x), 10))

for idx, val in enumerate(x):
    encoded[idx][val] = 1

return encoded

พบที่นี่ PS คุณไม่จำเป็นต้องไปที่ลิงก์


5
คุณควรหลีกเลี่ยงการใช้ลูปกับ numpy
Kenan
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.