การเรียนรู้ของเครื่องสามารถเรียนรู้ฟังก์ชั่นเช่นการหาค่าสูงสุดจากรายการได้หรือไม่?

ฉันมีอินพุตซึ่งเป็นรายการและเอาต์พุตคือองค์ประกอบสูงสุดของอินพุต - รายการ

การเรียนรู้ของเครื่องสามารถเรียนรู้ฟังก์ชันที่เลือกค่าสูงสุดขององค์ประกอบอินพุตที่มีอยู่ในอินพุตได้หรือไม่?

นี่อาจดูเหมือนเป็นคำถามพื้นฐานที่สวย แต่อาจทำให้ฉันเข้าใจในสิ่งที่การเรียนรู้ของเครื่องสามารถทำได้โดยทั่วไป ขอบคุณ!

บางทีแต่ทราบว่านี่คือหนึ่งในกรณีที่การเรียนรู้เครื่องไม่ได้คำตอบ มีแนวโน้มที่จะลองและการเรียนรู้ของเครื่องรองเท้าในกรณีที่จริงโซลูชั่นตามมาตรฐานกฎบึงจะเร็วขึ้นง่ายขึ้นและโดยทั่วไปก็เป็นทางเลือกที่เหมาะสม: P

เพียงเพราะคุณทำได้ไม่ได้หมายความว่าคุณควรทำ

แก้ไข : ฉันเขียนสิ่งนี้เป็น "ใช่ แต่โปรดทราบว่า ... " แต่จากนั้นเริ่มสงสัยตัวเองโดยที่ไม่เคยเห็นมันมาก่อน ฉันได้ลองตอนบ่ายนี้และเป็นไปได้อย่างแน่นอน:

import numpy as np
from keras.models import Model
from keras.layers import Input, Dense, Dropout
from keras.utils import to_categorical
from sklearn.model_selection import train_test_split
from keras.callbacks import EarlyStopping

# Create an input array of 50,000 samples of 20 random numbers each
x = np.random.randint(0, 100, size=(50000, 20))

# And a one-hot encoded target denoting the index of the maximum of the inputs
y = to_categorical(np.argmax(x, axis=1), num_classes=20)

# Split into training and testing datasets
x_train, x_test, y_train, y_test = train_test_split(x, y)

# Build a network, probaly needlessly complicated since it needs a lot of dropout to
# perform even reasonably well.

i = Input(shape=(20, ))
a = Dense(1024, activation='relu')(i)
b = Dense(512, activation='relu')(a)
ba = Dropout(0.3)(b)
c = Dense(256, activation='relu')(ba)
d = Dense(128, activation='relu')(c)
o = Dense(20, activation='softmax')(d)

model = Model(inputs=i, outputs=o)

es = EarlyStopping(monitor='val_loss', patience=3)

model.compile(optimizer='adam', loss='categorical_crossentropy')

model.fit(x_train, y_train, epochs=15, batch_size=8, validation_data=[x_test, y_test], callbacks=[es])

print(np.where(np.argmax(model.predict(x_test), axis=1) == np.argmax(y_test, axis=1), 1, 0).mean())

ผลลัพธ์คือ 0.74576 ดังนั้นการค้นหาสูงสุดอย่างถูกต้อง 74.5% ของเวลา ฉันไม่สงสัยเลยว่ามันจะดีขึ้น แต่เมื่อฉันบอกว่านี่ไม่ใช่ usecase ฉันอยากจะแนะนำสำหรับ ML

แก้ไข 2 : จริง ๆ แล้วฉันวิ่งอีกครั้งในเช้านี้โดยใช้ RandomForestClassifier แบบสุ่มของ sklearn และมันทำงานได้ดีกว่ามาก

# instantiation of the arrays is identical

rfc = RandomForestClassifier(n_estimators=1000, verbose=1)
rfc.fit(x_train, y_train)

yhat_proba = rfc.predict_proba(x_test)


# We have some annoying transformations to do because this .predict_proba() call returns the data in a weird format of shape (20, 12500, 2).

for i in range(len(yhat_proba)):
    yhat_proba[i] = yhat_proba[i][:, 1]

pyhat = np.reshape(np.ravel(yhat_proba), (12500,20), order='F')

print(np.where(np.argmax(pyhat, axis=1) == np.argmax(y_test, axis=1), 1, 0).mean())

และคะแนนที่นี่คือ 94.4% ของตัวอย่างที่มีการระบุค่าสูงสุดอย่างถูกต้องซึ่งค่อนข้างดีแน่นอน

ใช่. สำคัญมากคุณตัดสินใจสถาปัตยกรรมของโซลูชันการเรียนรู้ของเครื่อง สถาปัตยกรรมและขั้นตอนการฝึกอบรมไม่ได้เขียนเอง พวกเขาจะต้องได้รับการออกแบบหรือ templated และการฝึกอบรมดังต่อไปนี้เป็นวิธีการค้นพบพารามิเตอร์ของสถาปัตยกรรมที่เหมาะสมกับชุดของจุดข้อมูล

คุณสามารถสร้างสถาปัตยกรรมที่ง่ายมากซึ่งรวมถึงฟังก์ชั่นสูงสุด:

net(x) = a * max(x) + b * min(x)

โดยที่aและbเป็นพารามิเตอร์ที่เรียนรู้

ด้วยตัวอย่างการฝึกอบรมที่เพียงพอและชุดฝึกอบรมที่สมเหตุสมผลสถาปัตยกรรมที่เรียบง่ายนี้จะเรียนรู้อย่างรวดเร็วเพื่อตั้งค่าเป็น 1 และ b เป็นศูนย์สำหรับงานของคุณ

การเรียนรู้ของเครื่องมักจะอยู่ในรูปแบบของสมมติฐานที่สนุกสนานหลายประการเกี่ยวกับการแปลงร่างและการเปลี่ยนแปลงของจุดข้อมูลเข้าและการเรียนรู้ที่จะเก็บรักษาเฉพาะสมมติฐานเหล่านั้นที่สัมพันธ์กับตัวแปรเป้าหมาย สมมติฐานจะถูกเข้ารหัสอย่างชัดเจนในสถาปัตยกรรมและฟังก์ชั่นย่อยที่มีอยู่ในอัลกอริทึมแปรปรวนหรือเป็นสมมติฐานที่เข้ารหัสในอัลกอริทึม "พารามิเตอร์"

ตัวอย่างเช่นการเลือกใช้ dot dot และ nonlinearities ซึ่งเป็นเรื่องธรรมดาในเครือข่ายวานิลลานิวรัล ML นั้นค่อนข้างที่จะเป็นไปโดยพล มันเป็นการแสดงออกถึงสมมติฐานที่ครอบคลุมว่าฟังก์ชั่นสามารถสร้างขึ้นได้โดยใช้โครงสร้างเครือข่ายแบบผสมที่กำหนดไว้ล่วงหน้าของการแปลงเชิงเส้นและฟังก์ชั่นเกณฑ์ การกำหนดพารามิเตอร์ที่แตกต่างกันของเครือข่ายนั้นมีสมมติฐานที่แตกต่างกันเกี่ยวกับการแปลงเชิงเส้นที่จะใช้ กล่องเครื่องมือใด ๆ ของฟังก์ชั่นสามารถใช้งานได้และงานของผู้เรียนรู้ด้วยเครื่องจักรคือการค้นพบผ่านความแตกต่างหรือการทดลองและข้อผิดพลาดหรือสัญญาณอื่น ๆ ที่สามารถทำซ้ำได้ซึ่งฟังก์ชั่นหรือคุณสมบัติต่างๆ ในตัวอย่างด้านบนเครือข่ายที่เรียนรู้เพียงแค่ลดฟังก์ชั่นสูงสุดในขณะที่เครือข่ายที่ไม่ได้แยกแยะอาจเป็น "เรียนรู้" ฟังก์ชั่นขั้นต่ำ ฟังก์ชั่นเหล่านี้สามารถแสดงหรือประมาณด้วยวิธีอื่นเช่นเดียวกับในฟังก์ชั่นการถดถอยเชิงเส้นหรือเชิงเส้นประสาทในคำตอบอื่น โดยสรุปแล้วมันขึ้นอยู่กับว่าฟังก์ชั่นหรือชิ้นส่วนเลโก้ที่คุณมีในกล่องเครื่องมือ ML สถาปัตยกรรมของคุณเป็นอย่างไร

ใช่ - การเรียนรู้ของเครื่องสามารถเรียนรู้เพื่อค้นหาจำนวนสูงสุดในรายการตัวเลข

นี่คือตัวอย่างง่ายๆของการเรียนรู้เพื่อค้นหาดัชนีสูงสุด:

import numpy as np
from sklearn.tree import DecisionTreeClassifier

# Create training pairs where the input is a list of numbers and the output is the argmax
training_data = np.random.rand(10_000, 5) # Each list is 5 elements; 10K examples
training_targets = np.argmax(input_data, axis=1)

# Train a descision tree with scikit-learn
clf = DecisionTreeClassifier()
clf.fit(input_data, targets)

# Let's see if the trained model can correctly predict the argmax for new data
test_data = np.random.rand(1, 5)
prediction = clf.predict(test_data)
assert prediction == np.argmax(test_data) # The test passes - The model has learned argmax

ขั้นตอนวิธีการเรียนรู้

แทนที่จะเรียนรู้ฟังก์ชั่นเป็นการคำนวณที่ทำโดยเครือข่ายประสาทส่งต่อมีโดเมนงานวิจัยทั้งหมดเกี่ยวกับอัลกอริทึมการเรียนรู้จากข้อมูลตัวอย่าง ตัวอย่างเช่นบางคนอาจใช้บางอย่างเช่นเครื่องทัวริงประสาทหรือวิธีอื่น ๆ ที่การดำเนินการของอัลกอริทึมจะถูกควบคุมโดยการเรียนรู้เครื่องที่จุดตัดสินใจของมัน Toy algoritms เช่นการค้นหาค่าสูงสุดหรือการเรียงลำดับรายการหรือการย้อนกลับรายการหรือการกรองรายการมักใช้เป็นตัวอย่างในการวิจัยการเรียนรู้อัลกอริทึม

ฉันจะไม่รวมการออกแบบที่มีการศึกษาจากคำตอบของฉัน ไม่มันเป็นไปไม่ได้ที่จะใช้ออกจากการเรียนรู้เครื่องกล่อง (ML) วิธีการที่จะได้อย่างเต็มที่แทนการทำงานสูงสุดสำหรับพลรายการที่มีความแม่นยำโดยพลการ ML เป็นวิธีการใช้ข้อมูลและเป็นที่ชัดเจนว่าคุณจะไม่สามารถประมาณฟังก์ชั่นที่ภูมิภาคที่คุณไม่มีจุดข้อมูลใด ๆ ดังนั้นพื้นที่ของการสังเกตที่เป็นไปได้ (ซึ่งไม่มีที่สิ้นสุด) ไม่สามารถครอบคลุมโดยการสังเกตที่แน่นอน

ข้อความของฉันมีรากฐานทางทฤษฎีพร้อมด้วยทฤษฎีบทการประมาณแบบสากลของ Cybeko สำหรับเครือข่ายประสาท ฉันจะอ้างอิงทฤษฎีบทจาก Wikipedia:

ในทฤษฎีทางคณิตศาสตร์ของเครือข่ายประสาทเทียมสากลประมาณทฤษฎีบทรัฐ [1] ที่เครือข่ายฟีดไปข้างหน้าด้วยชั้นที่ซ่อนเดียวที่มีจำนวน จำกัด ของเซลล์ประสาทสามารถใกล้เคียงกับฟังก์ชั่นอย่างต่อเนื่องในส่วนย่อยกะทัดรัดของ , ภายใต้สมมติฐานเล็กน้อยในฟังก์ชั่นการเปิดใช้งาน ทฤษฎีนี้กล่าวว่าเครือข่ายประสาทง่ายสามารถเป็นตัวแทนของฟังก์ชั่นที่หลากหลายที่น่าสนใจเมื่อได้รับพารามิเตอร์ที่เหมาะสม อย่างไรก็ตามมันไม่ได้สัมผัสกับการเรียนรู้อัลกอริทึมของพารามิเตอร์เหล่านั้น$\mathbb{R}^n$

ส่วนที่สำคัญที่สุดคือการเซตกระโดด n คำสั่งเพิ่มเติมนี้จะ จำกัด การประยุกต์ใช้ใกล้เคียงกับฟังก์ชั่นสูงสุดสำหรับ{R} ข้อ จำกัด นี้แสดงให้เห็นในแบบที่ไม่ดีของแบบจำลองจากคำตอบด้วย upvotes มากที่สุด$\mathbb{R}^n$$x\in \mathbb{R}$

หากพื้นที่การสังเกตของคุณมีขนาดกะทัดรัดคุณอาจสามารถประมาณฟังก์ชั่นสูงสุดด้วยชุดข้อมูล จำกัด เมื่อคำตอบที่ได้รับการโหวตให้เด่นชัดคุณไม่ควรบูรณาการวงล้อใหม่!

นี่คือการขยายตัวในความคิดเห็นของฉัน เพื่อนำหน้าอย่างแน่นอน @DanScally ถูกต้องที่ไม่มีเหตุผลที่จะใช้ ML สำหรับการค้นหาสูงสุดของรายการ แต่ฉันคิดว่า "มันอาจทำให้ฉันเข้าใจในสิ่งที่การเรียนรู้ของเครื่องทำได้โดยทั่วไป" เป็นเหตุผลที่ดีพอที่จะเจาะลึกลงไปในเรื่องนี้

คุณถามเกี่ยวกับการเรียนรู้ของเครื่องทั่วไปเพิ่มเติม แต่ฉันจะมุ่งเน้นไปที่เครือข่ายประสาท ในบริบทที่เราต้องถามว่าฟังก์ชั่นที่เกิดขึ้นจริงที่ผลิตโดยเครือข่ายประสาทสามารถประมาณ (หรือประเมินว่า)และเพียงแล้วเราสามารถเพิ่มเติมสอบถามว่าใด ๆ ของ (ธรรมดา?) วิธีการฝึกอบรมสามารถใส่ประมาณ NNสูงสุด$\max$$\max$

ความคิดเห็นและคำตอบของ @ MachineLearner ทำให้เกิดทฤษฎีการประมาณแบบสากล: บนโดเมนที่มีขอบเขตเครือข่ายประสาทสามารถประมาณฟังก์ชั่นที่ดีพอสมควรเช่นแต่เราไม่สามารถคาดหวังว่านิรนัยประมาณกับอินพุตโดยพลการ คำนวณได้ทุกที่$\max$$\max$$\max$

แต่ปรากฎว่าเครือข่ายประสาทเทียมสามารถจัดเรียงหมายเลขอินพุตโดยพลการได้อย่างแน่นอน แท้จริงแล้วจำนวนเต็มบิตสามารถจัดเรียงตามเครือข่ายที่มีเพียงสองชั้นที่ซ่อนของขนาดกำลังสอง โครงข่ายประสาทเชิงลึกที่มีประสิทธิภาพสำหรับการแบ่งและปัญหาที่เกี่ยวข้อง , ทฤษฎีบท 7 ในหน้า 955; ขอบคุณมาก @MimimilianJanisch ในคำตอบนี้สำหรับการค้นหาข้อมูลอ้างอิงนี้$n$ $n$

ฉันจะอธิบายสั้น ๆ ถึงความเรียบง่ายของวิธีการในกระดาษนั้นเพื่อสร้างฟังก์ชันสำหรับอินพุตที่แตกต่างกันโดยพลการ ชั้นแรกซ่อนประกอบด้วยเซลล์ประสาทเป็นตัวแทนของแต่ละตัวบ่งชี้ตัวแปรสำหรับ<J สิ่งเหล่านี้สร้างขึ้นอย่างง่ายดายเป็นพร้อมตัวบ่งชี้ขั้นตอน เลเยอร์ถัดไปมีเซลล์ประสาทหนึ่งอันสำหรับแต่ละอินพุต ; เริ่มต้นด้วย sum ; นั่นคือจำนวนของเช่นนั้นและด้วยเหตุนี้ตำแหน่งของ$\operatorname{argmax}$$n$$\binom{n}{2}$$\delta_{ij} = \mathbf{1}(x_i < x_j)$$i<j$$x_j-x_i$$n$$x_i$$\sum_{j<i} \delta_{ji} + \sum_{j>i} (1-\delta_{ij})$$j$$x_i>x_j$$x_i$ในรายการเรียงลำดับ เพื่อให้ argmax เสร็จสมบูรณ์เพียงขีด จำกัด เลเยอร์นี้
ณ จุดนี้ถ้าเราสามารถคูณได้เราก็จะได้ค่าสูงสุดที่แท้จริงได้ง่ายๆ วิธีแก้ปัญหาในกระดาษคือการใช้การแทนเลขฐานสองของตัวเลขซึ่งการคูณด้วยเลขฐานสองจุดนั้นเหมือนกับการเพิ่มขีด จำกัด ที่เพิ่งได้รับ argmax ก็พอเพียงที่จะมีฟังก์ชั่นเชิงเส้นอย่างง่ายคูณตัวบ่งชี้โดยวันที่และข้อสรุป$i$$i$

ในที่สุดสำหรับคำถามที่ตามมา: เราสามารถฝึก NN ให้เข้าสู่สถานะนี้ได้ไหม @DanScally เราเริ่มต้น อาจจะรู้ว่าสถาปัตยกรรมในเชิงทฤษฎีสามารถช่วยเราให้แก้ปัญหาได้หรือไม่ (โปรดทราบว่าหากเราสามารถเรียนรู้ / ประมาณน้ำหนักชุดพิเศษด้านบนตาข่ายจะทำงานได้ดีนอกขอบเขตของตัวอย่างการฝึกอบรม)

สมุดบันทึกใน github / Colab

การเปลี่ยนแปลงสิ่งต่าง ๆ เล็กน้อยฉันได้รับคะแนนการทดสอบที่ดีขึ้น (0.838) และแม้แต่การทดสอบตัวอย่างนอกช่วงการฝึกอบรมเดิมก็จะได้คะแนนที่ดี (0.698) การใช้อินพุตที่ปรับสัดส่วนเป็น$[-1,1]$ได้รับคะแนนการทดสอบสูงถึง 0.961 โดยมีคะแนนนอกช่วง 0.758 แต่ฉันให้คะแนนด้วยวิธีเดียวกับ @DanScally ซึ่งดูเหมือนจะไม่น่าไว้วางใจเล็กน้อย: ฟังก์ชันข้อมูลเฉพาะตัวจะทำคะแนนได้อย่างสมบูรณ์ในตัวชี้วัดนี้ ฉันยังพิมพ์สัมประสิทธิ์ออกมาเล็กน้อยเพื่อดูว่ามีอะไรใกล้เคียงกับขนาดพอดีที่อธิบายข้างต้นปรากฏขึ้นหรือไม่ และเอาต์พุตดิบสองสามตัวซึ่งแนะนำว่าแบบจำลองนั้นขี้อายเกินไปในการทำนายค่าสูงสุดโดยมีข้อผิดพลาดทางด้านการทำนายว่าไม่มีอินพุตใดเป็นค่าสูงสุด บางทีการแก้ไขวัตถุประสงค์อาจช่วยได้ แต่ ณ จุดนี้ฉันใช้เวลามากเกินไปแล้ว ถ้าใครสนใจที่จะปรับปรุงวิธีการอย่าลังเลที่จะเล่น (ใน Colab ถ้าคุณชอบ) และแจ้งให้เราทราบ

ใช่แม้การเรียนรู้ด้วยเครื่องอย่างง่าย ๆ เป็นสี่เหลี่ยมจัตุรัสเชิงเส้นน้อยที่สุดธรรมดาก็สามารถทำได้หากคุณใช้ความฉลาดบางอย่าง

(แต่ส่วนใหญ่จะพิจารณาว่า overkill นี้น่ากลัวมาก)

(ฉันจะสมมติว่าเราต้องการหา abs สูงสุดของอินพุตเวกเตอร์):

1. เลือกฟังก์ชั่นการลดความซ้ำซ้อนของค่าสัมบูรณ์เช่น $$f(x) = \frac{1}{x^2}$$
2. สร้างเมทริกซ์ทแยงมุมของBF) ให้เราเรียกมันว่า$f({\bf r})$$\bf C_r$
3. รูปร่างเวกเตอร์เต็มรูปแบบของคนS$\bf S$
4. สร้างและแก้ระบบสมการ$(\epsilon {\bf I}+10^3{\bf S}^t{\bf S}+{\bf C_r})^{-1}(10^3 {\bf S}^t)$
5. ขอให้เราเรียกผลเวกเตอร์มันจะเป็นการวัดความน่าจะเป็น (ผลรวมถึง 1) เราสามารถชั่งน้ำหนักมันไม่เชิงเส้นเช่น$\bf p$ $$p_i = \frac{p_i^k}{\sum|p_i|^k}$$
6. เพียงคำนวณผลิตภัณฑ์สเกลาร์พร้อมดัชนีเวกเตอร์และปัดเศษ