วิธีที่ดีกว่าในการสลับสองอาร์เรย์ numpy พร้อมเพรียง

ฉันมีอาร์เรย์ numpy สองตัวที่มีรูปร่างต่างกัน แต่มีความยาวเท่ากัน (มิตินำหน้า) ฉันต้องการสับเปลี่ยนแต่ละองค์ประกอบเช่นนั้นองค์ประกอบที่เกี่ยวข้องยังคงสอดคล้องกัน - เช่นสับเปลี่ยนพวกเขาพร้อมกันด้วยความเคารพดัชนีชั้นนำของพวกเขา

รหัสนี้ใช้งานได้และแสดงเป้าหมายของฉัน:

def shuffle_in_unison(a, b):
    assert len(a) == len(b)
    shuffled_a = numpy.empty(a.shape, dtype=a.dtype)
    shuffled_b = numpy.empty(b.shape, dtype=b.dtype)
    permutation = numpy.random.permutation(len(a))
    for old_index, new_index in enumerate(permutation):
        shuffled_a[new_index] = a[old_index]
        shuffled_b[new_index] = b[old_index]
    return shuffled_a, shuffled_b

ตัวอย่างเช่น:

>>> a = numpy.asarray([[1, 1], [2, 2], [3, 3]])
>>> b = numpy.asarray([1, 2, 3])
>>> shuffle_in_unison(a, b)
(array([[2, 2],
       [1, 1],
       [3, 3]]), array([2, 1, 3]))

อย่างไรก็ตามสิ่งนี้รู้สึกว่า clunky ไม่มีประสิทธิภาพและช้าและต้องมีการทำสำเนาของอาร์เรย์ - ฉันค่อนข้างจะสับพวกเขาในสถานที่เนื่องจากพวกเขาจะค่อนข้างใหญ่

มีวิธีที่ดีกว่าที่จะไปเกี่ยวกับเรื่องนี้? การดำเนินการที่เร็วขึ้นและการใช้หน่วยความจำต่ำเป็นเป้าหมายหลักของฉัน แต่โค้ดที่สง่างามก็ดีเช่นกัน

อีกความคิดหนึ่งที่ฉันมีคือ:

def shuffle_in_unison_scary(a, b):
    rng_state = numpy.random.get_state()
    numpy.random.shuffle(a)
    numpy.random.set_state(rng_state)
    numpy.random.shuffle(b)

มันใช้งานได้ ... แต่มันน่ากลัวนิดหน่อยเพราะฉันเห็นการรับประกันเล็กน้อยว่ามันจะยังคงทำงานต่อไป - มันดูไม่เหมือนสิ่งที่รับประกันว่าจะมีชีวิตรอดในเวอร์ชั่นที่เป็นก้อน ๆ

โซลูชัน "น่ากลัว" ของคุณไม่ปรากฏว่าน่ากลัวสำหรับฉัน การเรียกshuffle()สองลำดับของความยาวเท่ากันส่งผลให้มีการเรียกหมายเลขไปยังตัวสร้างหมายเลขสุ่มและสิ่งเหล่านี้เป็นองค์ประกอบ "สุ่ม" เพียงอย่างเดียวในอัลกอริทึมแบบสุ่ม ด้วยการรีเซ็ตสถานะคุณมั่นใจได้ว่าการเรียกไปยังตัวสร้างหมายเลขสุ่มจะให้ผลลัพธ์เดียวกันในการเรียกครั้งที่สองshuffle()ดังนั้นอัลกอริทึมทั้งหมดจะสร้างการเปลี่ยนแปลงแบบเดียวกัน

หากคุณไม่ชอบสิ่งนี้ทางออกที่แตกต่างคือการจัดเก็บข้อมูลของคุณในอาร์เรย์เดียวแทนที่จะเป็นสองต้นตั้งแต่ต้นและสร้างมุมมองสองมุมมองไว้ในอาร์เรย์เดียวนี้เพื่อจำลองสองอาร์เรย์ที่คุณมีในขณะนี้ คุณสามารถใช้อาเรย์เดี่ยวสำหรับการสับและมุมมองเพื่อจุดประสงค์อื่นทั้งหมด

ตัวอย่าง: สมมติว่าอาร์เรย์aและbมีลักษณะเช่นนี้:

a = numpy.array([[[  0.,   1.,   2.],
                  [  3.,   4.,   5.]],

                 [[  6.,   7.,   8.],
                  [  9.,  10.,  11.]],

                 [[ 12.,  13.,  14.],
                  [ 15.,  16.,  17.]]])

b = numpy.array([[ 0.,  1.],
                 [ 2.,  3.],
                 [ 4.,  5.]])

ตอนนี้เราสามารถสร้างอาร์เรย์เดียวที่มีข้อมูลทั้งหมด:

c = numpy.c_[a.reshape(len(a), -1), b.reshape(len(b), -1)]
# array([[  0.,   1.,   2.,   3.,   4.,   5.,   0.,   1.],
#        [  6.,   7.,   8.,   9.,  10.,  11.,   2.,   3.],
#        [ 12.,  13.,  14.,  15.,  16.,  17.,   4.,   5.]])

ตอนนี้เราสร้างมุมมองจำลองต้นฉบับaและb:

a2 = c[:, :a.size//len(a)].reshape(a.shape)
b2 = c[:, a.size//len(a):].reshape(b.shape)

ข้อมูลของa2และร่วมกับb2 เพื่อสับเปลี่ยนอาร์เรย์ทั้งสองพร้อมกันใช้cnumpy.random.shuffle(c)

ในรหัสการผลิตคุณแน่นอนจะพยายามที่จะหลีกเลี่ยงการสร้างเดิมaและbที่ทุกคนและทันทีสร้างc, และa2b2

วิธีการแก้ปัญหานี้สามารถปรับให้เข้ากับกรณีที่aและbมีชนิดที่แตกต่างกัน

คุณสามารถใช้การจัดทำดัชนีอาร์เรย์ของ NumPy :

def unison_shuffled_copies(a, b):
    assert len(a) == len(b)
    p = numpy.random.permutation(len(a))
    return a[p], b[p]

สิ่งนี้จะส่งผลให้เกิดการสร้างอาร์เรย์พร้อมเพรียงแยกกัน

X = np.array([[1., 0.], [2., 1.], [0., 0.]])
y = np.array([0, 1, 2])
from sklearn.utils import shuffle
X, y = shuffle(X, y, random_state=0)

หากต้องการเรียนรู้เพิ่มเติมดูhttp://scikit-learn.org/stable/modules/generated/sklearn.utils.shuffle.html

ทางออกที่ง่ายมาก:

randomize = np.arange(len(x))
np.random.shuffle(randomize)
x = x[randomize]
y = y[randomize]

สองอาร์เรย์ x, y ตอนนี้ทั้งสองสับแบบสุ่มในลักษณะเดียวกัน

James เขียนในปี 2558 โซลูชัน sklearn ซึ่งมีประโยชน์ แต่เขาเพิ่มตัวแปรสถานะแบบสุ่มซึ่งไม่จำเป็น ในโค้ดด้านล่างสถานะการสุ่มจาก numpy จะถูกสันนิษฐานโดยอัตโนมัติ

X = np.array([[1., 0.], [2., 1.], [0., 0.]])
y = np.array([0, 1, 2])
from sklearn.utils import shuffle
X, y = shuffle(X, y)

from np.random import permutation
from sklearn.datasets import load_iris
iris = load_iris()
X = iris.data #numpy array
y = iris.target #numpy array

# Data is currently unshuffled; we should shuffle 
# each X[i] with its corresponding y[i]
perm = permutation(len(X))
X = X[perm]
y = y[perm]

สับเปลี่ยนอาร์เรย์จำนวนใดก็ได้พร้อมกันในสถานที่โดยใช้ NumPy เท่านั้น

import numpy as np


def shuffle_arrays(arrays, set_seed=-1):
    """Shuffles arrays in-place, in the same order, along axis=0

    Parameters:
    -----------
    arrays : List of NumPy arrays.
    set_seed : Seed value if int >= 0, else seed is random.
    """
    assert all(len(arr) == len(arrays[0]) for arr in arrays)
    seed = np.random.randint(0, 2**(32 - 1) - 1) if set_seed < 0 else set_seed

    for arr in arrays:
        rstate = np.random.RandomState(seed)
        rstate.shuffle(arr)

และสามารถใช้งานได้เช่นนี้

a = np.array([1, 2, 3, 4, 5])
b = np.array([10,20,30,40,50])
c = np.array([[1,10,11], [2,20,22], [3,30,33], [4,40,44], [5,50,55]])

shuffle_arrays([a, b, c])

สิ่งที่ควรทราบ:

• การยืนยันยืนยันว่าอาร์เรย์อินพุตทั้งหมดมีความยาวเท่ากันตามมิติแรก
• อาร์เรย์มีการสับแบบแทนที่ขนาดตามมิติแรก - ไม่มีการส่งคืน
• สุ่มเมล็ดภายในช่วง int32 บวก
• หากจำเป็นต้องสลับแบบเล่นซ้ำสามารถตั้งค่าเมล็ดได้

หลังจากการสลับข้อมูลสามารถแยกโดยใช้np.splitหรืออ้างอิงโดยใช้ส่วนข้อมูล - ขึ้นอยู่กับแอปพลิเคชัน

คุณสามารถสร้างอาร์เรย์เช่น:

s = np.arange(0, len(a), 1)

จากนั้นสลับ:

np.random.shuffle(s)

ตอนนี้ใช้สิ่งนี้เป็นอาร์กิวเมนต์ของอาร์เรย์ของคุณ อาร์กิวเมนต์ที่สับแบบเดียวกันจะส่งคืนเวกเตอร์ที่สับแบบเดียวกัน

x_data = x_data[s]
x_label = x_label[s]

วิธีหนึ่งในการสับแบบ in-place ที่สามารถทำได้สำหรับรายการที่เชื่อมต่อคือการใช้เมล็ด (มันอาจเป็นแบบสุ่ม) และใช้ numpy.random.shuffle เพื่อทำการสับ

# Set seed to a random number if you want the shuffling to be non-deterministic.
def shuffle(a, b, seed):
   np.random.seed(seed)
   np.random.shuffle(a)
   np.random.seed(seed)
   np.random.shuffle(b)

แค่นั้นแหละ. นี่จะเป็นการสลับทั้ง a และ b ในวิธีเดียวกัน นอกจากนี้ยังทำในสถานที่ซึ่งเป็นข้อดีอยู่เสมอ

แก้ไขอย่าใช้ np.random.seed () ใช้ np.random.RandomState แทน

def shuffle(a, b, seed):
   rand_state = np.random.RandomState(seed)
   rand_state.shuffle(a)
   rand_state.seed(seed)
   rand_state.shuffle(b)

เมื่อเรียกมันจะส่งผ่านเมล็ดใด ๆ เพื่อป้อนสถานะแบบสุ่ม:

a = [1,2,3,4]
b = [11, 22, 33, 44]
shuffle(a, b, 12345)

เอาท์พุท:

>>> a
[1, 4, 2, 3]
>>> b
[11, 44, 22, 33]

แก้ไข: รหัสคงที่เพื่อหว่านเมล็ดสถานะสุ่มอีกครั้ง

มีฟังก์ชั่นที่รู้จักกันดีที่สามารถจัดการสิ่งนี้:

from sklearn.model_selection import train_test_split
X, _, Y, _ = train_test_split(X,Y, test_size=0.0)

เพียงตั้งค่า test_size เป็น 0 จะหลีกเลี่ยงการแยกและให้ข้อมูลแบบสับ แม้ว่าโดยปกติแล้วจะใช้เพื่อแยกการฝึกอบรมและทดสอบข้อมูล แต่จะสับเปลี่ยนข้อมูลด้วย
จากเอกสาร

แบ่งอาร์เรย์หรือเมทริกซ์เป็นส่วนย่อยของรถไฟแบบสุ่มและทดสอบ

ยูทิลิตี้ด่วนที่ล้อมรอบการตรวจสอบความถูกต้องของอินพุตและถัดไป (ShuffleSplit (). split (X, y)) และแอปพลิเคชันเพื่อป้อนข้อมูลในการโทรครั้งเดียวสำหรับการแยกข้อมูล

สมมติว่าเรามีสองอาร์เรย์: a และ b

a = np.array([[1,2,3],[4,5,6],[7,8,9]])
b = np.array([[9,1,1],[6,6,6],[4,2,0]]) 

ก่อนอื่นเราสามารถรับดัชนีแถวได้โดยอนุญาตมิติแรก

indices = np.random.permutation(a.shape[0])
[1 2 0]

จากนั้นใช้การจัดทำดัชนีขั้นสูง ที่นี่เราใช้ดัชนีเดียวกันเพื่อสลับทั้งสองอาร์เรย์พร้อมกัน

a_shuffled = a[indices[:,np.newaxis], np.arange(a.shape[1])]
b_shuffled = b[indices[:,np.newaxis], np.arange(b.shape[1])]

สิ่งนี้เทียบเท่า

np.take(a, indices, axis=0)
[[4 5 6]
 [7 8 9]
 [1 2 3]]

np.take(b, indices, axis=0)
[[6 6 6]
 [4 2 0]
 [9 1 1]]

หากคุณต้องการหลีกเลี่ยงการคัดลอกอาร์เรย์ฉันอยากจะแนะนำว่าแทนที่จะสร้างรายการการเปลี่ยนแปลงคุณจะผ่านทุกองค์ประกอบในอาร์เรย์และสุ่มสลับไปยังตำแหน่งอื่นในอาร์เรย์

for old_index in len(a):
    new_index = numpy.random.randint(old_index+1)
    a[old_index], a[new_index] = a[new_index], a[old_index]
    b[old_index], b[new_index] = b[new_index], b[old_index]

สิ่งนี้ใช้อัลกอริทึมสับเปลี่ยน Knuth-Fisher-Yates

ดูเหมือนว่าจะเป็นทางออกที่ง่ายมาก:

import numpy as np
def shuffle_in_unison(a,b):

    assert len(a)==len(b)
    c = np.arange(len(a))
    np.random.shuffle(c)

    return a[c],b[c]

a =  np.asarray([[1, 1], [2, 2], [3, 3]])
b =  np.asarray([11, 22, 33])

shuffle_in_unison(a,b)
Out[94]: 
(array([[3, 3],
        [2, 2],
        [1, 1]]),
 array([33, 22, 11]))

ด้วยตัวอย่างนี่คือสิ่งที่ฉันทำ:

combo = []
for i in range(60000):
    combo.append((images[i], labels[i]))

shuffle(combo)

im = []
lab = []
for c in combo:
    im.append(c[0])
    lab.append(c[1])
images = np.asarray(im)
labels = np.asarray(lab)

ฉันขยาย python random.shuffle () เพื่อหาเรื่องที่สอง:

def shuffle_together(x, y):
    assert len(x) == len(y)

    for i in reversed(xrange(1, len(x))):
        # pick an element in x[:i+1] with which to exchange x[i]
        j = int(random.random() * (i+1))
        x[i], x[j] = x[j], x[i]
        y[i], y[j] = y[j], y[i]

ด้วยวิธีนี้ฉันสามารถมั่นใจได้ว่าการสับเกิดขึ้นในสถานที่และฟังก์ชั่นไม่ได้ยาวเกินไปหรือซับซ้อน

เพียงแค่ใช้ numpy ...

ก่อนอื่นผสานสองอินพุตอาร์เรย์ 1D คือเลเบล (y) และอาร์เรย์ 2 มิติคือ data (x) และสลับกับshuffleวิธีNumPy ในที่สุดก็แยกพวกเขาและกลับมา

import numpy as np

def shuffle_2d(a, b):
    rows= a.shape[0]
    if b.shape != (rows,1):
        b = b.reshape((rows,1))
    S = np.hstack((b,a))
    np.random.shuffle(S)
    b, a  = S[:,0], S[:,1:]
    return a,b

features, samples = 2, 5
x, y = np.random.random((samples, features)), np.arange(samples)
x, y = shuffle_2d(train, test)