ฉันจะค้นหา Waldo ด้วย Mathematica ได้อย่างไร

นี่เป็นช่วงเวลาที่ฉันปิดเทอมในช่วงสุดสัปดาห์: อะไรคือวิธีที่ดีในการแก้ปัญหาของ Where's Waldo? [ ปริศนา'เก่ง'นอกอเมริกาเหนือ] ใช้ Mathematica (การประมวลผลภาพและฟังก์ชั่นอื่น ๆ ) หรือไม่?

นี่คือสิ่งที่ฉันมีจนถึงตอนนี้ฟังก์ชั่นที่ช่วยลดความซับซ้อนของการมองเห็นเล็กน้อยโดยลดแสงสีที่ไม่ใช่สีแดงบางส่วน:

whereIsWaldo[url_] := Module[{waldo, waldo2, waldoMask},
    waldo = Import[url];
    waldo2 = Image[ImageData[
        waldo] /. {{r_, g_, b_} /;
          Not[r > .7 && g < .3 && b < .3] :> {0, 0,
          0}, {r_, g_, b_} /; (r > .7 && g < .3 && b < .3) :> {1, 1,
          1}}];
    waldoMask = Closing[waldo2, 4];
    ImageCompose[waldo, {waldoMask, .5}]
]

และตัวอย่างของ URL ที่ 'ทำงาน':

whereIsWaldo["http://www.findwaldo.com/fankit/graphics/IntlManOfLiterature/Scenes/DepartmentStore.jpg"]

(Waldo เป็นโดยการลงทะเบียนเงินสด):

ฉันได้พบกับ Waldo!

ฉันทำได้อย่างไร

ก่อนอื่นฉันจะกรองทุกสีที่ไม่ใช่สีแดง

waldo = Import["http://www.findwaldo.com/fankit/graphics/IntlManOfLiterature/Scenes/DepartmentStore.jpg"];
red = Fold[ImageSubtract, #[[1]], Rest[#]] &@ColorSeparate[waldo];

ต่อไปฉันจะคำนวณความสัมพันธ์ของภาพนี้ด้วยลวดลายขาวดำเรียบง่ายเพื่อค้นหาการเปลี่ยนสีแดงและสีขาวในเสื้อ

corr = ImageCorrelate[red, 
   Image@Join[ConstantArray[1, {2, 4}], ConstantArray[0, {2, 4}]], 
   NormalizedSquaredEuclideanDistance];

ฉันใช้Binarizeเพื่อเลือกพิกเซลในภาพที่มีความสัมพันธ์สูงเพียงพอและวาดวงกลมสีขาวรอบ ๆ พวกเขาเพื่อเน้นพวกเขาโดยใช้Dilation

pos = Dilation[ColorNegate[Binarize[corr, .12]], DiskMatrix[30]];

ฉันต้องเล่นกับเลเวลเล็กน้อย หากระดับสูงเกินไปจะมีการเลือกบวกปลอมมากเกินไป

ในที่สุดฉันก็รวมผลลัพธ์นี้กับภาพต้นฉบับเพื่อให้ได้ผลลัพธ์ด้านบน

found = ImageMultiply[waldo, ImageAdd[ColorConvert[pos, "GrayLevel"], .5]]

ฉันเดาว่า "วิธีกันกระสุนในการทำเช่นนี้" (คิดว่า CIA ค้นหา Waldo ในภาพดาวเทียมทุกเวลาไม่เพียงแค่ภาพเดียวที่ไม่มีองค์ประกอบการแข่งขันเช่นเสื้อลาย) ... ฉันจะฝึกเครื่อง Boltzmannในภาพหลายภาพของ Waldo - รูปแบบทั้งหมดของเขานั่ง, ยืน, ปิดและอื่น ๆ ; เสื้อหมวกกล้องและผลงานทั้งหมด คุณไม่ต้องการคลังข้อมูลขนาดใหญ่ของ Waldos (อาจจะ 3-5 พอ) ​​แต่ยิ่งดีกว่า

สิ่งนี้จะกำหนดกลุ่มเมฆแห่งความน่าจะเป็นให้กับองค์ประกอบต่าง ๆ ที่เกิดขึ้นในการจัดเรียงที่ถูกต้องจากนั้นสร้าง (ผ่านการแบ่งส่วน) ขนาดวัตถุเฉลี่ยคืออะไรแยกส่วนภาพต้นฉบับลงในเซลล์ของวัตถุซึ่งคล้ายกับบุคคลแต่ละคน ) แต่เนื่องจากภาพวัลโดมักจะรวมผู้คนจำนวนมากในระดับเดียวกันจึงเป็นเรื่องง่ายมากจากนั้นป้อนส่วนเหล่านี้ของเครื่อง Boltzmann ที่ผ่านการฝึกอบรมมาล่วงหน้า มันจะให้ความน่าจะเป็นของแต่ละคนที่เป็นวัลโด รับหนึ่งที่มีความน่าจะเป็นสูงสุด

นี่คือการทำงานของ OCR, เครื่องอ่านรหัสไปรษณีย์และการรู้จำลายมือที่ไร้ขีด จำกัด โดยพื้นฐานแล้วคุณรู้คำตอบอยู่ที่นั่นคุณรู้ว่าควรจะมีอะไรมากขึ้นหรือน้อยลงและทุกสิ่งอื่นอาจมีองค์ประกอบทั่วไป แต่แน่นอนว่า "ไม่ใช่" ดังนั้นคุณจึงไม่ต้องกังวลกับ "ไม่ใช่" คุณ เพียงแค่ดูความเป็นไปได้ของ "มัน" ในบรรดาที่เป็นไปได้ "มัน" ที่คุณเคยเห็นมาก่อน "(ในรหัสไปรษณีย์เช่นคุณจะฝึก BM เป็นเพียง 1 วินาทีแค่ 2 วินาทีเพียง 3 วินาทีเป็นต้น) ตัวเลขแต่ละเครื่องและเลือกหนึ่งที่มีความมั่นใจมากที่สุด) วิธีนี้ทำงานได้ดีกว่าคุณสมบัติการเรียนรู้เครือข่ายประสาทเดียวของตัวเลขทั้งหมด

ฉันเห็นด้วยกับ @GregoryKlopper ว่าวิธีที่ถูกต้องในการแก้ปัญหาทั่วไปในการค้นหา Waldo (หรือวัตถุใด ๆ ที่น่าสนใจ) ในภาพโดยพลการนั้นจะเป็นการฝึกอบรมตัวจําแนกการเรียนรู้ของเครื่องควบคุม การใช้ตัวอย่างฉลากที่เป็นบวกและลบจำนวนมากอัลกอริทึมเช่นSupport Vector Machine , Boosted Decision Stumpหรือ Boltzmann Machine อาจได้รับการฝึกอบรมเพื่อให้ได้ความแม่นยำสูงในปัญหานี้ Mathematica ยังรวมถึงขั้นตอนวิธีการเหล่านี้ในของเครื่องการเรียนรู้กรอบ

ความท้าทายทั้งสองด้วยการฝึกอบรมตัวจําแนกวัลโดคือ:

1. การพิจารณาคุณสมบัติการแปลงภาพที่เหมาะสม นี่คือคำตอบที่ @ Heike มีประโยชน์: ตัวกรองสีแดงและตัวตรวจจับรูปแบบที่ถูกปล้น (เช่นการสลายตัวของเวฟเล็ตหรือ DCT) จะเป็นวิธีที่ดีในการเปลี่ยนพิกเซลดิบให้เป็นรูปแบบที่อัลกอริทึมการจำแนกประเภทสามารถเรียนรู้ได้ การย่อยสลายแบบบล็อกที่ประเมินส่วนย่อยทั้งหมดของภาพก็เป็นสิ่งจำเป็น ... แต่สิ่งนี้ทำได้ง่ายขึ้นโดยข้อเท็จจริงที่ว่า Waldo คือ a) มักจะมีขนาดเท่ากันและ b) โดยประมาณเสมอทุกครั้งในแต่ละภาพ
2. รับตัวอย่างการฝึกอบรมที่เพียงพอ SVM ทำงานได้ดีที่สุดโดยอย่างน้อย 100 ตัวอย่างของแต่ละชั้นเรียน แอปพลิเคชั่นเชิงพาณิชย์สำหรับการเพิ่มประสิทธิภาพ (เช่นการโฟกัสใบหน้าในกล้องดิจิตอล) ได้รับการฝึกฝนในตัวอย่างเชิงบวกและลบหลายล้านรายการ

การค้นหารูปภาพของ Googleอย่างรวดเร็วทำให้ข้อมูลดีขึ้น - ฉันจะลองรวบรวมตัวอย่างการฝึกอบรมและเขียนโค้ดขึ้นมาทันที!

อย่างไรก็ตามแม้กระทั่งวิธีการเรียนรู้ด้วยเครื่อง (หรือวิธีการตามกฎที่แนะนำโดย @iND) จะต่อสู้เพื่อภาพเช่นLand of Waldos !

ฉันไม่รู้ Mathematica . . เลวร้ายเกินไป. แต่ฉันชอบคำตอบข้างต้นส่วนใหญ่

ยังคงมีข้อบกพร่องที่สำคัญในการพึ่งพาแถบเพียงอย่างเดียวเพื่อรวบรวมคำตอบ (โดยส่วนตัวฉันไม่มีปัญหากับการปรับด้วยตนเองเพียงครั้งเดียว ) มีตัวอย่าง (แสดงโดย Brett Champion ที่นี่ ) ซึ่งแสดงให้เห็นว่าบางครั้งพวกเขาก็สลายรูปแบบเสื้อ ดังนั้นมันจึงกลายเป็นลวดลายที่ซับซ้อนมากขึ้น

ฉันจะลองวิธีการของรูปร่าง id และสีพร้อมกับความสัมพันธ์พิเศษ เช่นเดียวกับการจดจำใบหน้าคุณสามารถมองหาลวดลายเรขาคณิตในอัตราส่วนที่แน่นอนจากกันและกัน ข้อแม้คือว่าโดยปกติจะมีรูปร่างหนึ่งรูปร่างหรือมากกว่านั้น

รับสมดุลแสงขาวที่ภาพและแดงสมดุลสีแดงจากภาพ ฉันเชื่อว่า Waldo นั้นมีค่า / สีเดียวกันอยู่เสมอ แต่ภาพนั้นอาจมาจากการสแกน จากนั้นอ้างถึงสีต่างๆที่ Waldo ใช้จริง ๆ คือ: สีแดงสีขาวสีน้ำตาลเข้มสีฟ้าสีพีชสี {สีรองเท้า}

มีรูปแบบเสื้อและกางเกง, แว่นตา, ผม, ใบหน้า, รองเท้าและหมวกที่กำหนด Waldo นอกจากนี้เมื่อเปรียบเทียบกับคนอื่น ๆ ในภาพวัลโดก็อยู่ข้างผอม

ดังนั้นหาคนสุ่มเพื่อให้ได้ความสูงของคนในรูปนี้ วัดความสูงเฉลี่ยของสิ่งต่าง ๆ ที่จุดสุ่มในภาพ (โครงร่างที่เรียบง่ายจะสร้างบุคคลไม่กี่คน) หากแต่ละสิ่งไม่ได้อยู่ในค่าเบี่ยงเบนมาตรฐานจากสิ่งอื่นพวกเขาจะถูกละเว้นในตอนนี้ เปรียบเทียบความสูงเฉลี่ยกับความสูงของภาพ หากอัตราส่วนนั้นมากเกินไป (เช่น 1: 2, 1: 4 หรือใกล้เคียงกัน) ให้ลองอีกครั้ง เรียกใช้ครั้งละ 10 (?) เพื่อให้แน่ใจว่าตัวอย่างอยู่ใกล้กันมากยกเว้นค่าเฉลี่ยใด ๆ ที่อยู่นอกค่าเบี่ยงเบนมาตรฐาน เป็นไปได้ใน Mathematica?

นี่คือขนาดวัลดาของคุณ Walso ผอมดังนั้นคุณกำลังมองหาบางอย่าง 5: 1 หรือ 6: 1 (หรืออะไรก็ตาม) ht: wd อย่างไรก็ตามนี่ไม่เพียงพอ หาก Waldo ถูกซ่อนไว้บางส่วนความสูงอาจเปลี่ยนไป ดังนั้นคุณกำลังมองหาบล็อกของสีแดงขาวที่ ~ 2: 1 แต่จะต้องมีตัวบ่งชี้เพิ่มเติม

1. Waldo มีแว่นตา ค้นหาวงกลมสองวง 0.5: 1 เหนือสีแดงขาว
2. กางเกงสีน้ำเงิน จำนวนสีน้ำเงินใด ๆ ที่มีความกว้างเท่ากันภายในระยะห่างระหว่างปลายแดงขาวกับระยะทางถึงเท้าของเขา โปรดทราบว่าเขาสวมเสื้อสั้น ๆ ดังนั้นเท้าไม่ใกล้เกินไป
3. หมวก. แดงขาวระยะทางสูงสุดถึงสองเท่าของหัวเขา โปรดทราบว่ามันต้องมีผมสีเข้มด้านล่างและอาจเป็นแว่นตา
4. แขนยาว แดงขาวในบางมุมจากหลักแดงขาว
5. ผมสีเข้ม.
6. สีรองเท้า ฉันไม่รู้สี

สามารถใช้สิ่งใดก็ได้ สิ่งเหล่านี้เป็นการตรวจสอบเชิงลบกับคนที่คล้ายกันในรูป - #, negates # 2 สวมผ้ากันเปื้อนสีแดงสีขาว (ใกล้กับรองเท้า), # 5 กำจัดขนสีอ่อน นอกจากนี้รูปร่างเป็นเพียงหนึ่งตัวบ่งชี้สำหรับการทดสอบแต่ละครั้ง . . สีเพียงอย่างเดียวในระยะทางที่กำหนดสามารถให้ผลลัพธ์ที่ดี

สิ่งนี้จะทำให้พื้นที่ที่ต้องดำเนินการแคบลง

การจัดเก็บผลลัพธ์เหล่านี้จะสร้างชุดของพื้นที่ที่ควรมี Waldo อยู่ในนั้น ยกเว้นพื้นที่อื่นทั้งหมด (เช่นสำหรับแต่ละพื้นที่ให้เลือกวงกลมใหญ่เป็นสองเท่าของขนาดบุคคลทั่วไป) จากนั้นเรียกใช้กระบวนการที่ @Heike กำหนดให้ลบทั้งหมดยกเว้นสีแดงและอื่น ๆ

มีความคิดเกี่ยวกับวิธีการรหัสนี้อย่างไร

แก้ไข:

ความคิดเกี่ยวกับวิธีการรหัสนี้ . . ยกเว้นทุกพื้นที่ยกเว้นวัลโดแดง, ปรับขนาดพื้นที่สีแดงและตัดลงไปจนถึงจุดเดียว ทำแบบเดียวกันกับผมสีน้ำตาล Waldo กางเกงสีฟ้า Waldo สีรองเท้า Waldo สำหรับสีผิวของ Waldo ให้แยกออกแล้วค้นหาโครงร่าง

ถัดไปแยกส่วนที่ไม่ใช่สีแดงขยาย (มาก) พื้นที่สีแดงทั้งหมดจากนั้นโครงกระดูกและพรุน ส่วนนี้จะให้รายชื่อของจุดศูนย์กลางที่เป็นไปได้ของ Waldo นี่คือเครื่องหมายเพื่อเปรียบเทียบส่วนสีอื่น ๆ ของ Waldo

จากจุดนี้ใช้พื้นที่สีแดงที่มีโครงกระดูก (ไม่ใช่ส่วนที่ขยาย) นับจำนวนเส้นในแต่ละพื้นที่ หากมีจำนวนที่ถูกต้อง (สี่ใช่มั้ย) นี่เป็นพื้นที่ที่เป็นไปได้อย่างแน่นอน ถ้าไม่ใช่ฉันเดาว่าไม่รวมมัน (เหมือนเป็นศูนย์กลางของวัลโด ... อาจเป็นหมวกของเขา)

จากนั้นตรวจสอบว่ามีรูปร่างใบหน้าด้านบนมีจุดขนด้านบนกางเกงชี้ด้านล่างจุดรองเท้าด้านล่างและอื่น ๆ

ยังไม่มีโค้ด - ยังอ่านเอกสารอยู่

ฉันมีวิธีแก้ปัญหาอย่างรวดเร็วสำหรับการค้นหา Waldo โดยใช้ OpenCV

ฉันใช้ฟังก์ชันจับคู่แม่แบบที่มีอยู่ใน OpenCV เพื่อค้นหา Waldo

ในการทำเช่นนี้จำเป็นต้องมีเทมเพลต ดังนั้นฉันจึงตัดวัลโดจากภาพต้นฉบับและใช้เป็นเทมเพลต

ต่อไปฉันเรียกใช้cv2.matchTemplate()ฟังก์ชันพร้อมกับค่าสัมประสิทธิ์สหสัมพันธ์ปกติเป็นวิธีที่ใช้ มันคืนความน่าจะเป็นสูงที่ภูมิภาคเดียวดังที่แสดงไว้ด้านล่างสีขาว (ที่ใดที่หนึ่งในภูมิภาคซ้ายบน):

พบตำแหน่งของพื้นที่ที่น่าจะเป็นที่สูงที่สุดโดยใช้cv2.minMaxLoc()ฟังก์ชั่นซึ่งฉันใช้ในการวาดรูปสี่เหลี่ยมผืนผ้าเพื่อไฮไลต์วัลโด: