วิธีการทำนายผลลัพธ์ด้วยการฝึกอบรมเชิงบวกเท่านั้น?

เพื่อความเรียบง่ายสมมติว่าฉันทำงานกับตัวอย่างคลาสสิกของอีเมลสแปม / จดหมายขยะ

ฉันมีอีเมลหนึ่งชุด ในบรรดาสิ่งเหล่านี้ฉันรู้ว่า 2000 เป็นสแปม แต่ฉันไม่มีตัวอย่างของอีเมลขยะ ฉันต้องการที่จะคาดการณ์ว่าส่วนที่เหลืออีก 18,000 เป็นสแปมหรือไม่ ตามหลักการแล้วผลลัพธ์ที่ฉันค้นหาคือความน่าจะเป็น (หรือค่า p) ที่อีเมลเป็นสแปม

ฉันสามารถใช้อัลกอริทึมใดในการทำนายอย่างสมเหตุสมผลในสถานการณ์นี้

ในขณะนี้ฉันกำลังคิดถึงวิธีการทางไกลที่จะบอกฉันว่าอีเมลของฉันคล้ายกับอีเมลสแปมที่รู้จักกันอย่างไร ฉันมีตัวเลือกอะไรบ้าง

โดยทั่วไปฉันสามารถใช้วิธีการเรียนรู้แบบมีผู้สอนหรือฉันจำเป็นต้องมีกรณีที่เป็นลบในชุดฝึกอบรมเพื่อทำเช่นนั้นหรือไม่? ฉัน จำกัด วิธีการเรียนรู้ที่ไม่ได้รับการดูแลหรือไม่? วิธีการกึ่งควบคุมดูแล?

สิ่งนี้เรียกว่าการเรียนรู้จากข้อมูลเชิงบวกและไม่มีป้ายกำกับหรือการเรียนรู้แบบ PU สำหรับระยะสั้นและเป็นช่องทางการเรียนรู้แบบกึ่งภายใต้การดูแล

สั้น ๆ มันเป็นสิ่งสำคัญที่จะต้องใช้ข้อมูลที่ไม่มีป้ายกำกับในกระบวนการเรียนรู้เพราะมันให้รูปแบบการปรับปรุงอย่างมีนัยสำคัญมากกว่าสิ่งที่เรียกว่าตัวแยกประเภทชั้นเดียว ข้อมูลที่ไม่มีป้ายกำกับสามารถรวมเข้าด้วยกันได้หลายวิธีวิธีเด่น ๆ มีดังต่อไปนี้:

• อย่างใดอนุมานชุดของเชิงลบที่น่าจะเป็นจากข้อมูลที่ไม่มีป้ายกำกับแล้วฝึกอบรมแบบจำลองภายใต้การดูแลเพื่อแยกความแตกต่างที่เป็นที่รู้จักจากเชิงลบที่อนุมานเหล่านี้
• ให้ถือว่าเซ็ตที่ไม่มีป้ายกำกับนั้นเป็นค่าลบและอาจทำให้เกิดเสียงรบกวนของฉลากที่ทราบว่ามีอยู่

ฉันทำงานในสาขานี้และแทนที่จะสรุปที่นี่ให้คุณฉันแนะนำให้อ่านเอกสารสองฉบับของฉันและเอกสารอ้างอิงในนั้นเพื่อรับภาพรวมของโดเมน:

• เทคนิคล้ำสมัยในการเรียนรู้แบบจำลองจากข้อมูลที่เป็นบวกและไม่มีชื่อ (มีการเผยแพร่อย่างเป็นทางการที่นี่ ): http://arxiv.org/abs/1402.3144
• เทคนิคในการคำนวณตัวชี้วัดประสิทธิภาพที่ใช้กันทั่วไปโดยที่ไม่รู้จักเชิงลบ (ภายใต้การทบทวนนี่เป็นครั้งแรกของประเภทนี้): http://arxiv.org/abs/1504.06837

ฉันสมมติว่ามีกรณีสแปมไม่มากนักใน 18,000 คดีของคุณ ในการใช้วิธีการเรียนรู้แบบมีผู้สอนคุณต้องมีมากกว่า 1 หมวดหมู่ / คลาสในข้อมูลของคุณ เนื่องจากคุณรู้ว่ามี 2,000 กรณีเป็นสแปมคุณสามารถติดป้ายกรณีที่เหลืออีก 18,000 กรณีเป็น 'หมวดหมู่ที่ไม่รู้จัก' และฝึกอบรมรูปแบบการเรียนรู้ภายใต้การดูแลเพื่อคาดการณ์กรณีที่อยู่ในสแปมหรือหมวดหมู่ที่ไม่รู้จัก จากนั้นตรวจสอบความถูกต้องของตัวอย่างแบบจำลองของคุณเพื่อดูว่าแบบจำลองนั้นมีประสิทธิภาพดีเพียงใดในการจำแนกความแตกต่างระหว่าง 2 หมวดหมู่ ถ้ามันทำงานได้ดีสมมุติว่ามีบางกรณีสแปมในหมวดหมู่ 'unknown' ถ้ามันทำงานได้ไม่ดีคุณจะต้องใช้ผู้เรียนที่ไม่ได้รับการดูแล (เช่น kmeans ฯลฯ ) เพื่อจัดกลุ่มและระบุกลุ่มที่เป็นเนื้อเดียวกันแยกต่างหากในข้อมูลของคุณ จากนั้นระบุว่ากลุ่มใดมีอีเมลสแปมมากที่สุด 2,000 รายการ และอันไหนที่ทำไม่ได้และติดป้ายกำกับว่าเป็นจดหมายขยะและไม่ใช่จดหมายขยะตามลำดับ ขั้นต่อไปคุณสามารถดำเนินการสร้างแบบจำลองโดยใช้ผู้เรียนที่มีการดูแลอย่างที่ฉันอธิบายไว้ก่อนหน้านี้

สิ่งที่ OP กำลังพูดถึงคืองานการจำแนกชั้นหนึ่งซึ่งเป็นงานที่ท้าทายมาก

มีเอกสารจำนวนมากเกี่ยวกับงานนี้ในสาขาการวิจัยที่แตกต่างกัน ฉันยังเขียนคนหนึ่งที่มีประสิทธิภาพที่แท้จริงประพันธ์ตรวจสอบโครงการบนพื้นฐานของการเรียนรู้ทั้งมวล มันง่ายมากที่จะปรับเปลี่ยนเพื่อจำแนกสแปม / ไม่ใช่สแปมแทนที่จะเป็นผู้เขียน ลองดูและแจ้งให้เราทราบหากคุณต้องการรายละเอียดเพิ่มเติม ...