หัวหอม (คำเตือน: บทความหลายเรื่องเป็น NSFW) เป็นองค์กรข่าวเหน็บแนมที่ล้อเลียนสื่อข่าวแบบดั้งเดิม ในปี 2014 The Onion เปิดตัวClickHole (คำเตือน: บ่อยครั้งที่ NSFW) เว็บไซต์ข่าวเสียดสีที่ล้อเลียนเว็บไซต์ "clickbait" เช่น BuzzFeed ต้องขอบคุณกฎหมายของโพจึงเป็นเรื่องปกติที่ผู้คนจะอ่านหัวข้อข่าวของ The Onion หรือ ClickHole และเชื่อว่าพวกเขาเป็นจริงโดยไม่รู้ว่าพวกเขาตั้งใจจะเสียดสี การสนทนายังเกิดขึ้นกับข่าวจริงที่ไร้สาระทำให้เกิดเสียง - ผู้คนมักคิดว่าพวกเขาเป็นถ้อยคำเมื่อพวกเขาไม่อยู่

ความสับสนนี้ทำให้ตัวเองเป็นเกม - ได้รับพาดหัวข่าว, พยายามที่จะเดาว่ามันเป็นการเสียดสีหรือไม่ ความท้าทายนี้เกี่ยวกับการทำเช่นนั้นกับโปรแกรม

รับพาดหัวข่าว (สตริงที่ประกอบด้วยอักขระ ASCII และช่องว่างที่พิมพ์ได้เท่านั้น) เอาต์พุต1หากพาดหัวเป็นถ้อยคำหรือ0หากไม่ใช่ คะแนนของคุณจะเป็นจำนวนผลลัพธ์ที่ถูกต้องหารด้วยจำนวนหัวข้อทั้งหมด

ตามปกติช่องว่างมาตรฐาน (โดยเฉพาะการปรับให้เหมาะสมที่สุดสำหรับกรณีทดสอบ ) ไม่ได้รับอนุญาต ในการบังคับใช้สิ่งนี้ฉันจะเรียกใช้โปรแกรมของคุณในชุดกรณีทดสอบที่ซ่อน 200 ชุด (100 ชุดจาก The Onion, 100 จาก Not The Onion) วิธีการแก้ปัญหาของคุณจะต้องได้คะแนนไม่เกิน 20 คะแนนน้อยกว่าคะแนนของคุณในกรณีทดสอบสาธารณะเพื่อให้ถูกต้อง

กรณีทดสอบ

เพื่อให้เกิดกรณีทดสอบสำหรับความท้าทายนี้ฉันเลือก 25 หัวข้อข่าวจากSubreddit The Onion (ที่บทความจาก The Onion และไซต์ย่อยเช่น ClickHole ถูกโพสต์) และ 25 หัวข้อจาก Subreddit Not The Onion (ที่บทความข่าวจริง เสียงเหมือนถ้อยคำที่โพสต์) การเปลี่ยนแปลงเพียงอย่างเดียวที่ฉันทำกับพาดหัวคือการแทนที่คำพูด "แฟนซี" ด้วยคำพูด ASCII ปกติและการใช้ตัวพิมพ์ใหญ่ให้เป็นมาตรฐาน บรรทัดแรกแต่ละบรรทัดเป็นของตนเอง

หัวข้อข่าวหัวหอม

Trump Warns Removing Confederate Statues Could Be Slippery Slope To Eliminating Racism Entirely
'No Way To Prevent This,' Says Only Nation Where This Regularly Happens
My Doctor Told Me I Should Vaccinate My Children, But Then Someone Much Louder Than My Doctor Told Me I Shouldn't
Man At Park Who Set Up Table Full Of Water Cups Has No Idea How Passing Marathon Runners Got Impression They Can Take Them
This Child Would Have Turned 6 Today If His Mother Hadn't Given Birth To Him In October
Incredible Realism: The Campaign In The Next 'Call Of Duty' Will Begin At Your Avatar's High School Cafeteria When He's Being Tricked Into Joining The Military By A Recruiter
'Sometimes Things Have To Get Worse Before They Get Better,' Says Man Who Accidentally Turned Shower Knob Wrong Way
Report: Uttering Phrase 'Easy Does It' Prevents 78% Of Drywall Damage While Moving Furniture
Barbara Bush Passes Away Surrounded By Loved Ones, Jeb
Family Has Way Too Many Daughters For Them Not To Have Been Trying For Son
News: Privacy Win! Facebook Is Adding A 'Protect My Data' Button That Does Nothing But Feels Good To Press
Dalai Lama Announces Next Life To Be His Last Before Retirement
Researchers Find Decline In Facebook Use Could Be Directly Linked To Desire To Be Happy, Fully Functioning Person
Manager Of Combination Taco Bell/KFC Secretly Considers It Mostly A Taco Bell
Trump: 'It's My Honor To Deliver The First-Ever State Of The Union'
Daring To Dream: Jeff Bezos Is Standing Outside A Guitar Center Gazing Longingly At A $200 Billion Guitar
Area Dad Looking To Get Average Phone Call With Adult Son Down To 47.5 Seconds
Experts Warn Beef Could Act As Gateway Meat To Human Flesh
Jeff Bezos Named Amazon Employee Of The Month
Dad Suggests Arriving At Airport 14 Hours Early
Report: Only 3% Of Conversations Actually Need To Happen
Delta Pilot Refuses To Land Until Gun Control Legislation Passed
Family Wishes Dad Could Find Healthier Way To Express Emotions Than Bursting Into Full-Blown Musical Number
New Honda Commercial Openly Says Your Kids Will Die In A Car Crash If You Buy A Different Brand
Teacher Frustrated No One In Beginner Yoga Class Can Focus Chakras Into Energy Blast

ไม่ใช่หัวข้อข่าว

Man Rescued From Taliban Didn't Believe Donald Trump Was President
Nat Geo Hires Jeff Goldblum To Walk Around, Being Professionally Fascinated By Things
Mike Pence Once Ratted Out His Fraternity Brothers For Having A Keg
Reddit CEO Tells User, "We Are Not The Thought Police," Then Suspends That User
Trump Dedicates Golf Trophy To Hurricane Victims
Uber's Search For A Female CEO Has Been Narrowed Down To 3 Men
ICE Director: ICE Can't Be Compared To Nazis Since We're Just Following Orders
Passenger Turned Away From Two Flights After Wearing 10 Layers Of Clothing To Avoid Luggage Fee
Somali Militant Group Al-Shabaab Announces Ban On Single-Use Plastic Bags
UPS Loses Family's $846k Inheritance, Offers To Refund $32 Shipping Fee
Teen Suspended From High School After Her Anti-Bullying Video Hurts Principal's Feelings
Alabama Lawmaker: We Shouldn't Arm Teachers Because Most Are Women
Cat Named After Notorious B.I.G. Shot Multiple Times - And Survives
EPA Head Says He Needs To Fly First Class Because People Are Mean To Him In Coach
Apology After Japanese Train Departs 20 Seconds Early
Justin Bieber Banned From China In Order To 'Purify' Nation
Alcohol Level In Air At Fraternity Party Registers On Breathalyzer
NPR Tweets The Declaration Of Independence, And People Freak Out About A 'Revolution'
Man Who Mowed Lawn With Tornado Behind Him Says He 'Was Keeping An Eye On It.'
After Eating Chipotle For 500 Days, An Ohio Man Says He's Ready For Something New
'El Chapo' Promises Not To Kill Any Jurors From Upcoming Federal Trial
After 4th DWI, Man Argues Legal Limit Discriminates Against Alcoholics
Palestinian Judge Bans Divorce During Ramadan Because 'People Make Hasty Decisions When They're Hungry'
Argentinian Officers Fired After Claiming Mice Ate Half A Ton Of Missing Marijuana
'Nobody Kill Anybody': Murder-Free Weekend Urged In Baltimore

JavaScript (ES7), 39/50 (78%)

63.5% (127/200) ในกรณีทดสอบที่ซ่อนอยู่

ฮิวริสติกแบบง่ายตามความยาวของชื่อจำนวนช่องว่างและการใช้-lyคำต่อท้าย

isOnion = str =>
  str.length ** 0.25 +
  str.split(' ').length ** 1.25 * 2 +
  str.split(/ly\b/).length ** 1.75 * 7
  > 76

ลองออนไลน์!

Python 3, 84%

ไม่ได้ทดสอบในกรณีทดสอบที่ซ่อนอยู่

สิ่งนี้ใช้ Keras LSTM RNN ที่ฝึกอบรมในหัวข้อข่าวต่างๆ เพื่อให้ทำงานได้คุณต้อง Keras ต่อไปนี้และรูปแบบที่ผมเคยมีอยู่บน GitHub: การเชื่อมโยง repo คุณจะต้องมีรูปแบบ.h5และคำว่า / .pklแมปเวกเตอร์ที่อยู่ใน ใหม่ล่าสุด

การพึ่งพาคือ:

import numpy as np
from pickle import load
from keras.preprocessing import sequence, text
from keras.models import Sequential
from keras.layers import Dense, Embedding, SpatialDropout1D, LSTM, Dropout
from keras.regularizers import l2
import re

การตั้งค่าคือ:

max_headline_length = 70
word_count = 20740

รูปแบบคือ:

model = Sequential()
model.add(Embedding(word_count, 32, input_length=max_headline_length))
model.add(SpatialDropout1D(0.4))
model.add(LSTM(64, kernel_regularizer=l2(0.005), dropout=0.3, recurrent_dropout=0.3))
model.add(Dropout(0.5))
model.add(Dense(32, kernel_regularizer=l2(0.005)))
model.add(Dropout(0.5))
model.add(Dense(2, kernel_regularizer=l2(0.001), activation='softmax'))

ตอนนี้โหลดแบบจำลองและคำว่า embeddings:

model.load_weights('model.h5')
word_to_index = load(open('words.pkl', 'rb'))

และรหัสเพื่อทดสอบว่าสตริงมาจาก 'NotTheOnion' หรือ 'TheOnion' ฉันได้เขียนฟังก์ชันตัวช่วยด่วนซึ่งจะแปลงสตริงเป็นคำ embeddings:

def get_words(string):
  words = []
  for word in re.finditer("[a-z]+|[\"'.;/!?]", string.lower()):
    words.append(word.group(0))
  return words

def words_to_indexes(words):
  return [word_to_index.get(word, 0) for word in words]

def format_input(word_indexes):
  return sequence.pad_sequences([word_indexes], maxlen=max_headline_length)[0]

def get_type(string):
  words = words_to_indexes(get_words(string))
  result = model.predict(np.array([format_input(words)]))[0]

  if result[0] > result[1]:
    site = 'NotTheOnion'
  else:
    site = 'TheOnion'

  return site

คำอธิบาย

รหัสนี้ใช้รูปแบบที่วิเคราะห์ความสัมพันธ์ระหว่างคำโดยแสดงคำว่า 'vector' คุณสามารถเรียนรู้เพิ่มเติมเกี่ยวกับคำฝังที่นี่

นี้คือการฝึกอบรมเกี่ยวกับการพาดหัวข่าว แต่กรณีทดสอบได้รับการยกเว้น

กระบวนการนี้เป็นไปโดยอัตโนมัติหลังจากประมวลผลค่อนข้างน้อย ฉันได้แจกจ่ายรายการคำที่ประมวลผลสุดท้ายแล้ว.pklแต่สิ่งที่เกิดขึ้นในการฝังคำคืออันดับแรกเราวิเคราะห์ประโยคและแยกคำ

หลังจากที่ตอนนี้เรามีคำว่าขั้นตอนต่อไปคือเพื่อให้สามารถที่จะเข้าใจความแตกต่างและความคล้ายคลึงกันระหว่างคำบางคำเช่นkingและqueenเมื่อเทียบกับและduke duchessงานแต่งงานเหล่านี้จะไม่เกิดขึ้นระหว่างคำที่เกิดขึ้นจริง แต่ระหว่างตัวเลขที่แสดงถึงคำซึ่งเป็นสิ่งที่เก็บไว้ใน.pklไฟล์ คำที่เครื่องไม่เข้าใจจะถูกแมปกับคำพิเศษ<UNK>ที่ช่วยให้เราเข้าใจว่ามีคำอยู่ที่นั่น แต่ไม่รู้ว่าความหมายคืออะไร

ขณะนี้สามารถเข้าใจคำต่าง ๆ ได้ลำดับของคำ (บรรทัดแรก) จะต้องสามารถวิเคราะห์ได้ นี่คือสิ่งที่ 'LSTM' ทำ LTSM เป็นเซลล์ประเภท 'RNN' ซึ่งหลีกเลี่ยงเอฟเฟกต์การไล่ระดับสีที่หายไป ยิ่งไปกว่านั้นมันใช้ลำดับของคำและช่วยให้เราค้นหาความสัมพันธ์ระหว่างพวกเขา

ตอนนี้ชั้นสุดท้ายคือซึ่งโดยทั่วไปหมายความว่ามันเป็นชนิดเช่นอาร์เรย์ความหมายออกเป็นดังนี้:Dense [probability_is_not_onion, probability_is_onion]โดยการค้นหาว่าอันใดที่ใหญ่กว่าเราสามารถเลือกอันใดอันที่มีความมั่นใจมากที่สุดสำหรับพาดหัวที่กำหนด

Python 3 + Keras, 41/50 = 82%

83% (166/200) สำหรับกรณีทดสอบที่ซ่อนอยู่

import json
import keras
import numpy
import re

from keras import backend as K

STRIP_PUNCTUATION = re.compile(r"[^a-z0-9 ]+")


class AttentionWeightedAverage(keras.engine.Layer):
    def __init__(self, return_attention=False, **kwargs):
        self.init = keras.initializers.get("uniform")
        self.supports_masking = True
        self.return_attention = return_attention
        super(AttentionWeightedAverage, self).__init__(**kwargs)

    def build(self, input_shape):
        self.input_spec = [keras.engine.InputSpec(ndim=3)]
        assert len(input_shape) == 3

        self.W = self.add_weight(shape=(input_shape[2], 1),
                                 name="{}_W".format(self.name),
                                 initializer=self.init)
        self.trainable_weights = [self.W]

        super(AttentionWeightedAverage, self).build(input_shape)

    def call(self, x, mask=None):
        logits = K.dot(x, self.W)
        x_shape = K.shape(x)
        logits = K.reshape(logits, (x_shape[0], x_shape[1]))

        ai = K.exp(logits - K.max(logits, axis=-1, keepdims=True))

        if mask is not None:
            mask = K.cast(mask, K.floatx())
            ai = ai * mask

        att_weights = ai / (K.sum(ai, axis=1, keepdims=True) + K.epsilon())
        weighted_input = x * K.expand_dims(att_weights)

        result = K.sum(weighted_input, axis=1)

        if self.return_attention:
            return [result, att_weights]

        return result

    def get_output_shape_for(self, input_shape):
        return self.compute_output_shape(input_shape)

    def compute_output_shape(self, input_shape):
        output_len = input_shape[2]

        if self.return_attention:
            return [(input_shape[0], output_len), (input_shape[0], input_shape[1])]

        return (input_shape[0], output_len)

    def compute_mask(self, input, input_mask=None):
        if isinstance(input_mask, list):
            return [None] * len(input_mask)
        else:
            return None


if __name__ == "__main__":
    model = keras.models.load_model("combined.h5", custom_objects={"AttentionWeightedAverage": AttentionWeightedAverage})
    with open("vocabulary.json", "r") as fh:
        vocab = json.load(fh)

    while True:
        try:
            headline = input()
        except EOFError:
            break

        tokens = STRIP_PUNCTUATION.sub("", headline.lower()).split()

        inp = numpy.zeros((1, 45))

        for i, token in enumerate(tokens):
            try:
                inp[0,i] = vocab[token]
            except KeyError:
                inp[0,i] = 1

        print(model.predict(inp)[0][0] > 0.3)

combined.h5และvocabulary.jsonสามารถเรียกดูได้จากที่นี่ (ใหญ่มาก)และที่นี่

ลักษณนามที่เชื่อมต่อเต็มที่เชื่อมต่อกับแบบจำลองการวิเคราะห์ความเชื่อมั่นที่ผ่านการฝึกอบรมอย่าง DeepMoji ซึ่งประกอบด้วย LSTM แบบสองทิศทางซ้อนกันและกลไกการเอาใจใส่ ฉันตรึงเลเยอร์ DeepMoji และนำเลเยอร์ softmax สุดท้ายออกมาฝึกฝนเฉพาะเลเยอร์ที่เชื่อมต่ออย่างเต็มที่จากนั้นจึงเลิกเลเยอร์ DeepMoji และฝึกฝนพวกมันร่วมกันเพื่อหาเงินทุน กลไกการตั้งใจนำมาจากhttps://github.com/bfelbo/DeepMoji/blob/master/deepmoji/attlayer.py (ฉันไม่ต้องการใช้รหัสทั้งหมดของพวกเขาเป็นการอ้างอิงสำหรับชั้นหนึ่งโดยเฉพาะอย่างยิ่งเนื่องจากเป็น Python 2 และค่อนข้างลำบากที่จะใช้เป็นโมดูล ... )

สิ่งนี้ทำงานได้ไม่ดีอย่างน่าประหลาดใจในชุดทดสอบของ Mego โดยพิจารณาว่าชุดตรวจสอบที่ใหญ่กว่าของฉันนั้นได้รับ> 90% ดังนั้นฉันยังไม่ได้ทำสิ่งนี้

JavaScript ( Node.js ), 98% (49/50)

96% (192/200) ในกรณีทดสอบที่ซ่อนอยู่

const words = require('./words');
const bags = require('./bags');

let W = s => s.replace(/[^A-Za-z0-9 ]/g, '').toLowerCase().split(' ').filter(w => w.length > 3);

let M = b => {
    for (let i = 0; i < bags.length; i++) {
        let f = true;
        for (let j = 0; j < bags[i].length; j++) if (!b.includes(bags[i][j])) {
            f = false;
            break;
        }
        if (f) return true;
    }
    return false;
};

let O = s => {
    let b = [];
    W(s).forEach(w => {
        let p = words.indexOf(w);
        if (p >= 0) b.push(p);
    });
    return (b.length > 0 && M(b));
};

ต้องใช้ไฟล์ JSON ขนาดใหญ่สองไฟล์ซึ่งฉันไม่สามารถวางไว้ที่นี่หรือที่ "TiO" โปรดดาวน์โหลดจากลิงค์ต่อไปนี้และบันทึกด้วยwords.jsonและbags.jsonชื่อในโฟลเดอร์เดียวกับไฟล์ JS นอกจากนี้ยังมีลิงก์สำหรับไฟล์ JS ที่มีกรณีทดสอบและการพิมพ์ผลลัพธ์ / เปอร์เซ็นต์ คุณสามารถใส่กรณีทดสอบที่ซ่อนอยู่onionsและnonOnionsตัวแปรของคุณ

• words.json
• bags.json
• onion.js (รวมถึงกรณีทดสอบเริ่มต้น)

หลังจากบันทึกทั้งหมด 3 node onion.jsไฟล์ในไดเรกทอรีเดียวกันวิ่ง

Oฟังก์ชั่นจะกลับมาtrueถ้ามันเป็นความหอมและfalseถ้ามันไม่ได้ ใช้รายการถุงคำขนาดใหญ่ (ไม่มีคำสั่ง) เพื่อตรวจสอบว่าสตริงอินพุตเป็นหัวหอมหรือไม่ ชนิดของรหัสยาก แต่ทำงานได้ดีมากในกรณีทดสอบแบบสุ่มที่หลากหลาย

แก้ปัญหาของ Arnauld

JavaScript (ES6), 41/50

64% (128/200) ในกรณีทดสอบที่ซ่อนอยู่

str.includes("Dad") || str.length ** .25 +
  str.split(' ').length ** 1.25 * 2 +
  str.split(/ly\b/).length ** 1.75 * 7
 > 76

JavaScript (ES6), 42/50

62.5% (125/200) ในกรณีทดสอบที่ซ่อนอยู่ (ไม่ถูกต้อง)

isOnion = str =>
  str.includes("Dad") || str.length ** .25 +
  str.split(' ').length ** 1.25 * 2 +
  str.split(' ').filter(w => w.length > 3 && w.split(/ly/).length > 1).length * 23.54 +
 /\d/.test(str) * 8
 > 76

ความยาว + จำนวนคำ + แนวคิด "ly" ทำงานได้ค่อนข้างดีฉันสามารถบีบคะแนนได้อีกสองสามจุดโดยการตรวจสอบคำว่า "พ่อ" (เมื่อบทความจริงพูดถึงพ่อของคนในบุคคลที่สามในชื่อเรื่อง) และ จุดเพิ่มเติมโดยการเปลี่ยนการค้นหาแบบ "ly" และตรวจสอบการปรากฏตัวของตัวเลขในชื่อเรื่อง (ซึ่งอาจไม่ถูกต้องในกรณีทั่วไปนอกการทดสอบดังนั้นฉันจึงออกจากทั้งสองวิธี)