วิธีการทำให้ปกติอาร์เรย์ใน NumPy?


203

ฉันต้องการมีบรรทัดฐานของอาร์เรย์ NumPy หนึ่งชุด โดยเฉพาะอย่างยิ่งฉันกำลังมองหารุ่นที่เทียบเท่าของฟังก์ชั่นนี้

def normalize(v):
    norm = np.linalg.norm(v)
    if norm == 0: 
       return v
    return v / norm

มีอะไรแบบนั้นในskearnหรือnumpyเปล่า?

ฟังก์ชันนี้ทำงานในสถานการณ์ที่vเป็น 0 เวกเตอร์


3
เกิดอะไรขึ้นกับสิ่งที่คุณเขียน
ali_m

5
หากนี่เป็นข้อกังวลจริงๆคุณควรตรวจสอบบรรทัดฐาน <epsilon โดยที่ epsilon นั้นมีความอดทนเล็กน้อย นอกจากนี้ฉันจะไม่ส่งกลับค่าเวคเตอร์ศูนย์เวกเตอร์แบบเงียบ ๆ ฉันขอraiseยกเว้น!
ติดยา

4
ฟังก์ชั่นของฉันทำงานได้ แต่ฉันอยากจะรู้ว่ามีบางอย่างในห้องสมุดทั่วไปของงูใหญ่หรือไม่ ฉันกำลังเขียนฟังก์ชั่นการเรียนรู้ของเครื่องที่แตกต่างกันและฉันต้องการที่จะหลีกเลี่ยงการกำหนดฟังก์ชั่นใหม่ ๆ ที่มากเกินไปเพื่อทำให้รหัสชัดเจนและอ่านได้มากขึ้น
Donbeo

1
ฉันทำการทดสอบอย่างรวดเร็วไม่กี่ครั้งและฉันพบว่าx/np.linalg.norm(x)ไม่ช้ากว่านี้สักเท่าไหร่ (ประมาณ 15-20%) กว่าx/np.sqrt((x**2).sum())ในจำนวน 1.15.1 บน CPU
Bill

คำตอบ:


160

หากคุณใช้ scikit เรียนรู้คุณสามารถใช้sklearn.preprocessing.normalize:

import numpy as np
from sklearn.preprocessing import normalize

x = np.random.rand(1000)*10
norm1 = x / np.linalg.norm(x)
norm2 = normalize(x[:,np.newaxis], axis=0).ravel()
print np.all(norm1 == norm2)
# True

2
ขอบคุณสำหรับคำตอบ แต่คุณแน่ใจหรือไม่ว่า sklearn.preprocessing.normalize นั้นสามารถใช้ได้กับเวกเตอร์ที่มีรูปร่าง = (n,) หรือ (n, 1) ฉันกำลังมีปัญหากับห้องสมุดนี้
Donbeo

normalizeต้องใช้อินพุต 2D คุณสามารถผ่านการaxis=โต้แย้งเพื่อระบุว่าคุณต้องการใช้การนอร์มอลไลซ์ข้ามแถวหรือคอลัมน์ของอาเรย์อินพุตของคุณหรือไม่
ali_m

9
โปรดทราบว่าอาร์กิวเมนต์ 'norm' ของฟังก์ชัน normalize สามารถเป็นได้ทั้ง 'l1' หรือ 'l2' และค่าเริ่มต้นคือ 'l2' ถ้าคุณต้องการให้ผลรวมของเวคเตอร์เป็น 1 (เช่นการแจกแจงความน่าจะเป็น) คุณควรใช้ norm = 'l1' ในฟังก์ชันการทำให้เป็นมาตรฐาน
Ash

2
นอกจากนี้โปรดทราบว่าnp.linalg.norm(x)คำนวณค่าปกติ 'l2' ตามค่าเริ่มต้น หากคุณต้องการให้ผลรวมของเวกเตอร์เป็น 1 คุณควรใช้np.linalg.norm(x, ord=1)
354 Omid

หมายเหตุ: x จะต้องใช้ndarrayเพื่อให้สามารถใช้งานnormalize()ฟังก์ชันได้ listมิฉะนั้นก็อาจจะเป็น
Ramin Melikov

46

ฉันจะยอมรับว่ามันดีถ้าฟังก์ชั่นดังกล่าวเป็นส่วนหนึ่งของแบตเตอรี่ที่รวมอยู่ แต่ไม่ใช่เท่าที่ฉันรู้ นี่คือรุ่นสำหรับแกนใด ๆ และให้ประสิทธิภาพที่ดีที่สุด

import numpy as np

def normalized(a, axis=-1, order=2):
    l2 = np.atleast_1d(np.linalg.norm(a, order, axis))
    l2[l2==0] = 1
    return a / np.expand_dims(l2, axis)

A = np.random.randn(3,3,3)
print(normalized(A,0))
print(normalized(A,1))
print(normalized(A,2))

print(normalized(np.arange(3)[:,None]))
print(normalized(np.arange(3)))

ฉันไม่ได้ทดสอบโซลูชัน ali_m อย่างลึกซึ้ง แต่ในบางกรณีก็ดูเหมือนว่าจะใช้งานได้ มีซิทชั่นที่ฟังก์ชั่นของคุณดีขึ้นไหม?
Donbeo

1
ฉันไม่รู้ แต่มันใช้ได้กับแกนตามอำเภอใจและเรามีการควบคุมอย่างชัดเจนว่าเกิดอะไรขึ้นกับเวกเตอร์ความยาว 0
Eelco Hoogendoorn

1
ดีมาก! สิ่งนี้ควรอยู่ในความรู้สึก - แม้ว่าการสั่งซื้อควรมาก่อนที่แกนในความคิดของฉัน
Neil G

@EelcoHoogendoorn อยากรู้อยากเห็นว่าทำไม order = 2 ถูกเลือกมากกว่าคนอื่น ๆ ?
Henry Thornton

7
เนื่องจากบรรทัดฐาน Euclidian / pythagoran เกิดขึ้นเป็นสิ่งที่ใช้บ่อยที่สุด คุณจะไม่เห็นด้วยหรือ
Eelco Hoogendoorn

21

คุณสามารถระบุ ord เพื่อรับค่า L1 ได้ เพื่อหลีกเลี่ยงการหารศูนย์ฉันใช้ eps แต่นั่นอาจไม่ยอดเยี่ยม

def normalize(v):
    norm=np.linalg.norm(v, ord=1)
    if norm==0:
        norm=np.finfo(v.dtype).eps
    return v/norm

6
normalizing [inf, 1, 2]อัตราผลตอบแทน[nan, 0, 0]แต่ไม่ควรจะเป็น[1, 0, 0]?
pasbi

12

สิ่งนี้อาจใช้ได้กับคุณเช่นกัน

import numpy as np
normalized_v = v / np.sqrt(np.sum(v**2))

แต่ล้มเหลวเมื่อvมีความยาว 0


10

หากคุณมีข้อมูลหลายมิติและต้องการให้แกนแต่ละค่าเป็นค่าสูงสุดหรือผลรวมของมัน:

def normalize(_d, to_sum=True, copy=True):
    # d is a (n x dimension) np array
    d = _d if not copy else np.copy(_d)
    d -= np.min(d, axis=0)
    d /= (np.sum(d, axis=0) if to_sum else np.ptp(d, axis=0))
    return d

ใช้ numpys สูงสุดยอดฟังก์ชั่น

a = np.random.random((5, 3))

b = normalize(a, copy=False)
b.sum(axis=0) # array([1., 1., 1.]), the rows sum to 1

c = normalize(a, to_sum=False, copy=False)
c.max(axis=0) # array([1., 1., 1.]), the max of each row is 1

ระวังถ้าค่าทั้งหมดเหมือนกันในเมทริกซ์ดั้งเดิมจากนั้น ptp จะเป็น 0 หารด้วย 0 จะคืนค่าน่าน
Milso

8

นอกจากนี้ยังมีฟังก์ชั่นunit_vector()เพื่อปรับเวกเตอร์ให้เป็นมาตรฐานในโมดูลการแปลงยอดนิยมโดย Christoph Gohlke:

import transformations as trafo
import numpy as np

data = np.array([[1.0, 1.0, 0.0],
                 [1.0, 1.0, 1.0],
                 [1.0, 2.0, 3.0]])

print(trafo.unit_vector(data, axis=1))

7

คุณพูดถึง sci-kit ได้เรียนรู้ดังนั้นฉันต้องการแบ่งปันโซลูชันอื่น

ชุด Sci- เรียนรู้ MinMaxScaler

ในชุดเรียนรู้ sci-kit มี API ที่เรียกว่าMinMaxScalerซึ่งสามารถกำหนดช่วงค่าตามที่คุณต้องการ

นอกจากนี้ยังจัดการกับปัญหา NaN สำหรับเรา

NaN จะถือว่าเป็นค่าที่หายไป: ไม่สนใจอย่างพอดีและคงอยู่ในการแปลงสภาพ ... ดูการอ้างอิง [1]

ตัวอย่างโค้ด

รหัสนั้นง่ายเพียงพิมพ์

# Let's say X_train is your input dataframe
from sklearn.preprocessing import MinMaxScaler
# call MinMaxScaler object
min_max_scaler = MinMaxScaler()
# feed in a numpy array
X_train_norm = min_max_scaler.fit_transform(X_train.values)
# wrap it up if you need a dataframe
df = pd.DataFrame(X_train_norm)
การอ้างอิง

6

โดยไม่ต้องและใช้เพียงsklearn numpyเพียงกำหนดฟังก์ชั่น:

สมมติว่าแถวเป็นตัวแปรและคอลัมน์ตัวอย่าง ( axis= 1):

import numpy as np

# Example array
X = np.array([[1,2,3],[4,5,6]])

def stdmtx(X):
    means = X.mean(axis =1)
    stds = X.std(axis= 1, ddof=1)
    X= X - means[:, np.newaxis]
    X= X / stds[:, np.newaxis]
    return np.nan_to_num(X)

เอาท์พุท:

X
array([[1, 2, 3],
       [4, 5, 6]])

stdmtx(X)
array([[-1.,  0.,  1.],
       [-1.,  0.,  1.]])

4

หากคุณต้องการปรับเวกเตอร์คุณลักษณะ n มิติให้เป็นมาตรฐานที่เก็บไว้ในเทนเซอร์ 3D คุณสามารถใช้ PyTorch:

import numpy as np
from torch import FloatTensor
from torch.nn.functional import normalize

vecs = np.random.rand(3, 16, 16, 16)
norm_vecs = normalize(FloatTensor(vecs), dim=0, eps=1e-16).numpy()

4

หากคุณกำลังทำงานกับเวกเตอร์ 3 มิติคุณสามารถทำเช่นนี้รัดกุมโดยใช้แถบเครื่องมือVG มันเป็นชั้นแสงที่อยู่ด้านบนของ numpy และรองรับค่าเดียวและเวกเตอร์ที่ซ้อนกัน

import numpy as np
import vg

x = np.random.rand(1000)*10
norm1 = x / np.linalg.norm(x)
norm2 = vg.normalize(x)
print np.all(norm1 == norm2)
# True

ฉันสร้างห้องสมุดเมื่อเริ่มต้นครั้งล่าสุดซึ่งมีแรงบันดาลใจจากการใช้งานเช่นนี้: ความคิดง่ายๆที่ NumPy มีความคิดที่ชัดเจน


3

หากคุณไม่ต้องการความแม่นยำสูงสุดฟังก์ชั่นของคุณสามารถลดลงเป็น:

v_norm = v / (np.linalg.norm(v) + 1e-16)

3

หากคุณทำงานกับอาเรย์หลายมิติตามวิธีแก้ปัญหาอย่างรวดเร็วเป็นไปได้

สมมติว่าเรามีอาร์เรย์ 2 มิติซึ่งเราต้องการทำให้เป็นมาตรฐานโดยแกนสุดท้ายในขณะที่บางแถวมีค่าศูนย์

import numpy as np
arr = np.array([
    [1, 2, 3], 
    [0, 0, 0],
    [5, 6, 7]
], dtype=np.float)

lengths = np.linalg.norm(arr, axis=-1)
print(lengths)  # [ 3.74165739  0.         10.48808848]
arr[lengths > 0] = arr[lengths > 0] / lengths[lengths > 0][:, np.newaxis]
print(arr)
# [[0.26726124 0.53452248 0.80178373]
# [0.         0.         0.        ]
# [0.47673129 0.57207755 0.66742381]]
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.