อัลกอริทึมการจำแนกทางสถิติใดที่สามารถทำนายความจริง / เท็จสำหรับลำดับของอินพุตได้

15

กำหนดลำดับของอินพุตฉันต้องพิจารณาว่าลำดับนี้มีคุณสมบัติที่ต้องการหรือไม่ คุณสมบัติสามารถเป็นจริงหรือเท็จนั่นคือมีเพียงสองคลาสที่เป็นไปได้ที่ลำดับสามารถเป็นของ

ความสัมพันธ์ที่แน่นอนระหว่างลำดับและคุณสมบัตินั้นไม่ชัดเจน แต่ฉันเชื่อว่ามันสอดคล้องกันมากและควรให้ยืมเพื่อการจำแนกทางสถิติ ฉันมีหลายกรณีที่ต้องฝึกลักษณนามถึงแม้ว่ามันอาจจะมีเสียงดังเล็กน้อยในแง่ที่ว่ามีความเป็นไปได้ที่จะมีการมอบหมายลำดับคลาสที่ไม่ถูกต้องในชุดฝึกอบรมนี้

ตัวอย่างข้อมูลการฝึกอบรม:

Sequence 1: (7 5 21 3 3) -> true
Sequence 2: (21 7 5 1) -> true
Sequence 3: (12 21 7 5 11 1) -> false
Sequence 4: (21 5 7 1) -> false
...

ในแง่หยาบทรัพย์สินจะถูกกำหนดโดยชุดของค่าในลำดับ (เช่นการปรากฏตัวของ "11" หมายความว่าทรัพย์สินเกือบจะเป็นเท็จ) เช่นเดียวกับคำสั่งของค่า (เช่น "21 7 5" "เพิ่มโอกาสที่อสังหาริมทรัพย์จะเป็นจริง)

หลังจากการฝึกอบรมฉันควรจะสามารถจัดลำดับลักษณนามที่มองไม่เห็นก่อนหน้านี้เช่น(1 21 7 5 3)กันและควรให้ความมั่นใจว่าทรัพย์สินเป็นจริง มีอัลกอริทึมที่รู้จักกันดีสำหรับการฝึกอบรมตัวจําแนกด้วยอินพุต / เอาท์พุตชนิดนี้หรือไม่?

ฉันได้พิจารณาตัวจําแนกเบส์แบบไร้เดียงสา (ซึ่งไม่สามารถปรับให้เข้ากับความจริงที่ว่าลําดับนั้นมีความสําคัญอย่างน้อยก็ไม่ได้โดยไม่ท ฉันได้ตรวจสอบด้วยวิธีแบบจำลองมาร์คอฟที่ซ่อนอยู่ซึ่งดูเหมือนจะไม่เหมาะสมเพราะมีเพียงหนึ่งเอาต์พุตเท่านั้นที่มีอยู่แทนที่จะเป็นหนึ่งเอาต์พุตต่ออินพุต ฉันพลาดอะไร?

machine-learning classification modeling

— โรมันสตาร์คอฟ
แหล่งที่มา

คุณมีวิธีในการวัดระยะห่างระหว่างคู่ลำดับหรือไม่? ความยาวของลำดับขั้นต่ำและ / หรือสูงสุดเป็นที่รู้จักหรือไม่?

— Craig Wright

@ CraigWright ไม่มีการวัดระยะทางที่ใช้งานได้ที่ฉันคิดได้ ความยาวสูงสุดในลำดับที่ 12 และอย่างน้อยประมาณ 4 อาจจะถือว่า นอกจากนี้ยังมีค่าที่แตกต่างกันประมาณ 30 ค่า (ไม่ใช่ค่าธรรมชาติที่ไม่ จำกัด เพียงแค่ความเป็นไปได้ที่ค่อนข้างเล็ก)

— Roman Starkov

ตัวแปรตอบสนองหลายตัวแปรที่คุณพูดถึงคืออะไร? ฉันอ่านปัญหาของคุณเนื่องจากนี่เป็นเอาต์พุตไบนารีและบางทีคุณสามารถสร้างตัวแปรจำลองได้ Var1.1, Var1.12, ... , Var12.12

— B_Miner

@ B_Miner ฉันอาจเข้าใจผิดว่า HMM ทำงานอย่างไร แต่ดูเหมือนว่ามันจะทำงานได้ดังต่อไปนี้: ฉันป้อนลำดับการป้อนข้อมูลของฉัน (abcde) และส่งออกลำดับที่ซ่อนอยู่ที่ตรงกับที่ดีที่สุดนั่นคือ (a 'b' c 'd' e ' ) ฉันไม่คิดว่าตัวแปรจำลองจะแก้ปัญหานี้ได้ ฉันต้องการการจัดหมวดหมู่จริง / เท็จสำหรับลำดับทั้งหมด

— Roman Starkov

@romkyns นั่นไม่ใช่วิธีการทำงานของ HMM HMM เป็นกระบวนการที่น่าจะเป็น กำหนดลำดับ

และ HMM

คุณสามารถคำนวณความน่าจะเป็นที่

จะส่งออก

(โดยใช้การเขียนโปรแกรมแบบไดนามิก; อัลกอริทึมการส่งต่อ) นอกจากนี้ด้วยชุดลำดับการฝึกอบรมคุณสามารถค้นหา HMM

ที่มีโอกาสสูงสุดในการสร้างลำดับการฝึกอบรมเหล่านั้น (โดยใช้อัลกอริทึม Baum-Welch) ดังนั้น HMM อาจเป็นสิ่งที่ควรลองที่นี่ แม้ว่าจะมีรายละเอียดบางอย่างที่ต้องกรอก

s

$s$

M

$M$

M

$M$

s

$s$

M

$M$

— DW

10

คุณสามารถลองใช้วิธีความน่าจะเป็นที่คล้ายกับตัวจําแนกเบส์ไร้เดียงสา แต่มีข้อสมมติฐานที่อ่อนแอ ตัวอย่างเช่นแทนที่จะใช้การสันนิษฐานอิสรภาพอย่างเข้มแข็ง

p (x ∣ c) = p (x_{0} ∣ c) \prod_{t} p (x_{t} ∣ x_{t - 1}, c)

$p(x \mid c) = p(x_0 \mid c)\prod_t p(x_t \mid x_{t - 1}, c)$

คือเลเบลของคลาส,คือลำดับของคุณ คุณจำเป็นต้องประเมินการกระจายสองเงื่อนไขหนึ่งสำหรับและหนึ่งสำหรับ 0 $c$ $x$ $c = 1$ $c = 0$

ตามกฎของ Bayes:

p (c = 1 ∣ x) = \frac{p (x ∣ c = 1) p (c = 1)}{p (x ∣ c = 1) p (c = 1) + p (x ∣ c = 0) p (c = 0)} .

$p(c = 1 \mid x) = \frac{p(x \mid c = 1) p(c = 1)}{p(x \mid c = 1) p(c = 1) + p(x \mid c = 0) p(c = 0)}.$

การแจกแจงแบบไหนที่จะเลือกสำหรับขึ้นอยู่กับสมมติฐานอื่น ๆ ที่คุณสามารถทำเกี่ยวกับลำดับและจำนวนข้อมูลที่คุณมี $p(x_t \mid x_{t - 1}, c)$

ตัวอย่างเช่นคุณสามารถใช้:

p (x_{t} ∣ x_{t - 1}, c) = \frac{π (x_{t}, x_{t - 1}, c)}{\sum_{i} π (x_{i}, x_{t - 1}, c)}

$p(x_t \mid x_{t - 1}, c) = \frac{\pi(x_t, x_{t - 1}, c)}{\sum_i \pi(x_i, x_{t - 1}, c)}$

ด้วยการแจกแจงเช่นนี้หากมี 21 ตัวเลขที่แตกต่างกันที่เกิดขึ้นในลำดับของคุณคุณจะต้องประมาณพารามิเตอร์บวกพารามิเตอร์สำหรับบวกพารามิเตอร์สำหรับการ ) $21 \cdot 21 \cdot 2 = 882$ $\pi(x_t, x_t, c)$ $21 \cdot 2 = 42$ $p(x_0 \mid c)$ $2$ $p(c)$

หากสมมติฐานของโมเดลของคุณไม่เป็นไปตามที่กล่าวมามันสามารถช่วยในการปรับแต่งพารามิเตอร์โดยตรงเกี่ยวกับประสิทธิภาพการจัดหมวดหมู่ตัวอย่างเช่นโดยการลดการสูญเสียบันทึกโดยเฉลี่ยให้เหลือน้อยที่สุด

- \frac{1}{# D} \sum_{(x, c) \in D} \log p (c ∣ x)

$-\frac{1}{\#\mathcal{D}} \sum_{(x, c) \in \mathcal{D}} \log p(c \mid x)$

ใช้การไล่ระดับสี - โคตร

— ลูคัส
แหล่งที่มา

(+1) ฉันชอบอันนี้ อย่างไรก็ตามหนึ่งอาจต้องใช้ข้อมูลจำนวนมากเพื่อให้ได้การประมาณการที่เชื่อถือได้สำหรับ

p (x_{t} | x_{t - 1}, c)

$p(x_t|x_{t-1},c)$

— steffen

หากคุณสามารถตั้งสมมติฐานเพิ่มเติมเกี่ยวกับการแจกแจงที่เกี่ยวข้องคุณอาจหลีกเลี่ยงพารามิเตอร์ที่น้อยลง ตัวอย่างเช่นถ้าคุณรู้ว่า

เป็นทวินามและ

คุณจะต้องประมาณสองพารามิเตอร์เท่านั้น หนึ่งสำหรับค่าของแต่ละค

แน่นอนถ้าคุณไม่สามารถทำการสันนิษฐานได้และมีข้อมูลไม่เพียงพอคุณไม่สามารถทำอะไรได้มากมาย ไม่มีอาหารกลางวันฟรี

p (x_{t} ∣ x_{t - 1}, c)

$p(x_t \mid x_{t - 1}, c)$

E [x_{t} ∣ x_{t - 1}, c] = x_{t - 1}

$E[x_t \mid x_{t - 1}, c] = x_{t - 1}$

c

$c$

— ลูคัส

6

ฉันขอแนะนำให้คุณกำหนดคุณสมบัติบางอย่างแล้วเลือกอัลกอริทึมการเรียนรู้ของเครื่องเพื่อใช้กับคุณสมบัติเหล่านั้น

คุณสมบัติ:โดยทั่วไปคุณสมบัติแต่ละอย่างควรเป็นสิ่งที่สามารถคำนวณได้จากลำดับเฉพาะและคุณคิดว่าอาจเกี่ยวข้องกับว่าลำดับนั้นมีคุณสมบัติหรือไม่ ขึ้นอยู่กับคำอธิบายของคุณคุณอาจพิจารณาคุณสมบัติเช่นต่อไปนี้:

"ถุงตัวเลข" คุณอาจนับจำนวนครั้งที่เป็นไปได้ที่ปรากฏในลำดับ ตัวอย่างเช่นสมมติว่าแต่ละลำดับทำจากตัวเลข 1-30 เท่านั้น จากนั้นคุณสามารถสร้างคุณสมบัติ 30 อย่าง; TH นับคุณลักษณะกี่ครั้งจำนวนปรากฏในลำดับ ตัวอย่างเช่นลำดับสร้างเวกเตอร์คุณลักษณะ (0,0,2,0,1,0,1,0, ... , 0,1,0, ... , 0) $i$ $i$ (7 5 21 3 3)
"กระเป๋าของไดแกรม" digram เป็นคู่ของตัวเลขที่ต่อเนื่องกัน ตามลำดับคุณสามารถแยกส่วนย่อยทั้งหมด จากนั้นคุณสามารถนับได้ว่าแต่ละครั้งที่ digram ที่เป็นไปได้ปรากฏขึ้นกี่ครั้ง ยกตัวอย่างเช่นลำดับ(7 5 21 3 3)มีดังต่อไปนี้เป็น digrams ที่: 7 5, 5 21, และ21 3 3 3สมมติว่าลำดับนั้นทำจากตัวเลข 1-30 มี digrams ที่เป็นไปได้ดังนั้นคุณจึงได้รับคุณสมบัติ ได้รับลำดับคุณสามารถสร้างคุณสมบัติเวกเตอร์นี้ $30^2$ $30^2$
"ถุงตรีโกณมิติ" คุณสามารถพิจารณาตรีโกณฯ ซึ่งเป็นลำดับของตัวเลขสามตัวติดต่อกันจากลำดับเดิม คุณสามารถทำเช่นเดียวกับข้างต้น

$d=30+30^2+30^3$ $d$

$i$ $i$

$d$

— ใบสำคัญแสดงสิทธิอนุพันธ์
แหล่งที่มา

ความพยายามครั้งแรกที่ฉันนำไปใช้จริง ๆ คือ "ถุงตรีโกณมิติ" ที่มีการจำแนก Bayesian ที่ไร้เดียงสา ผลลัพธ์เป็นสิ่งที่ให้กำลังใจ แต่ก็ไม่ยอดเยี่ยม ฉันคิดว่าสิ่งนี้อาจเกี่ยวข้องกับความจริงที่ว่าตรีโกณมิติไม่ได้เป็นอิสระเลย: ถ้าฉันมี "1 2 3" ดังนั้นฉันก็มีแนวโน้มที่จะมีตรีโกณมิติ "2 3 *" บางทีฉันควรทดสอบด้วยฟีเจอร์ที่แน่นอนมากกว่านี้

— Roman Starkov

การทดลองเพิ่มเติมทั้งในชุดคุณลักษณะที่แตกต่างกันและด้วยอัลกอริทึมการเรียนรู้ที่แตกต่างกันเป็นความคิดที่ดี นอกจากนี้ตามคำอธิบายปัญหาของคุณคุณอาจต้องการเพิ่มฟีเจอร์สำหรับการปรากฏตัวของแต่ละหมายเลข (ถุงคำไม่ใช่แค่ถุงสามเหลี่ยม): ถ้าคุณใช้เฉพาะตรีโกณมิติคุณกำลังทำให้อัลกอริทึมการเรียนรู้ของเครื่องเรียนรู้ยากขึ้น ความจริงเช่น "ลำดับที่มี 11 เกือบจะไม่มีทรัพย์สิน"

— DW

2

สิ่งที่คุณทำอย่างมีประสิทธิภาพคือการทดสอบสมมติฐานในอนุกรมเวลา HMM จะทำงานให้คุณแม้ว่าคุณจะต้องปรับให้เข้ากับกรณีของคุณ

สุจริตถ้าคุณไม่สามารถเขียนคำอธิบายทางคณิตศาสตร์บางอย่างเกี่ยวกับสิ่งที่คุณพยายามตรวจพบคุณจะไม่ไปไกล บางทีคุณสามารถบอกเราเกี่ยวกับคุณสมบัติที่คุณคาดหวังที่จะเห็น?

— user873
แหล่งที่มา

1

การเรียนรู้ของเครื่องแสดงให้เราเห็นว่าเราสามารถไปได้ไกลโดยไม่ต้องมีความคิดเกี่ยวกับสิ่งที่จะมองหา

— bayerj

1

กำหนดความยาวสูงสุด 12 ลำดับจากนั้นเครือข่ายประสาทเทียมที่มี 12 อินพุตและเอาต์พุตหนึ่งอาจทำงานได้ แต่คุณจะต้องวางส่วนท้ายของแต่ละลำดับด้วยเลขศูนย์หรือค่าความเฉื่อยบางค่า

— Craig Wright
แหล่งที่มา

1

คุณเคยลองใช้เครือข่ายแบบเบย์ไหม? นั่นเป็นสิ่งแรกที่ฉันคิดว่าเมื่อฉันต้องการหลอมรวมข้อมูลหลาย ๆ ชิ้น (เข้าทีละครั้ง) เพื่อให้ได้มาซึ่งความน่าจะเป็นของตัวแปรสุ่ม

เครือข่ายแบบเบย์ไม่พึ่งพาสมมติฐานความเป็นอิสระที่ Bayes ไร้เดียงสาทำ

BTW แบบจำลองมาร์คอฟที่ซ่อนอยู่เป็นกรณีพิเศษของเครือข่ายแบบเบย์

— DojoGojira
แหล่งที่มา