เครื่องมือสำหรับการบันทึกอัตโนมัติ: webcam movie to PGN

บางครั้งระหว่างการเล่นแบบสายฟ้าแลบบนกระดานหรือเมื่ออยู่ในเซต์นอทมันยากมากที่จะใส่คำอธิบายประกอบ

ผมเคยเห็นหลายซอฟต์แวร์ฮาร์ดแวร์ / ความช่วยเหลือในการเขียนโน้ตแม้หนึ่งที่ได้รับการอนุมัติโดยสุจริต ; สิ่งเหล่านี้ต้องการให้คุณทำซ้ำการเคลื่อนไหวบนอุปกรณ์ เร็วกว่าปากกาและกระดาษแทบจะไม่เกิดข้อผิดพลาดรวมถึงคุณเสี่ยงที่จะพิมพ์ผิดและเสียเวลามากขึ้น

DGT ทำให้คณะกรรมการที่จะทำเช่นนี้โดยอัตโนมัติ แต่มันจะทำงานเฉพาะกับชิ้นส่วนของตนและเริ่มต้นที่ 400 €สองครั้งที่โต๊ะทัวร์นาเมนต์ บางโครงการที่เป็นอิสระที่มีอยู่เช่นUSB กระดานหมากรุก 101หรือเสียงควบคุมหุ่นยนต์หมากรุก , หมากรุกกระดานขั้นตอนที่ซีเควน นอกจากนี้ยังมีโปรเจ็กต์เปิดบางตัวที่สามารถเคลื่อนไหวได้ (หรือหมากยักษ์ )

ฉันมีการท่องเที่ยวในคืนนี้และกฎการแข่งขันจะกำหนดเกมที่สั้นและสั้นกว่าจนกว่าจะมีผู้ชนะ ดังนั้นฉันจึงคิดเกี่ยวกับการถ่ายทำภาพยนตร์ของบอร์ดเราควรจะติดตาม แต่แล้วพื้นหลังการเขียนโปรแกรมของฉันเตะเข้าและฉันคิดว่า "ต้องมีซอฟต์แวร์บางอย่างที่สามารถประมวลผลภาพยนตร์และเขียน PGN"

ฉันค้นหาทุกที่และไม่พบสิ่งใด

1. มีสิ่งใดอยู่ (เว็บแคม / วิดีโอเป็น pgn converter) หรือไม่ ต้นแบบอาจ?
2. มีใครพยายามทำเช่นนั้นและแบ่งปันงานวิจัยของพวกเขา?
3. มีข้อ จำกัด ที่ชัดเจนที่ทำให้โครงการนี้ไม่ประสบความสำเร็จหรือไม่
4. คุณจะซื้อมันถ้ามีอยู่?

เป็นที่น่าสนใจอย่างชัดเจนและเกี่ยวข้องกับการบันทึกเกมหมากรุกโดยอัตโนมัติ (กระดานสดมีปัญหามากขึ้นหรือน้อยลง) เท่าที่ฉันรู้ไม่มีซอฟต์แวร์สำหรับจุดประสงค์นี้ที่มีอยู่ในปัจจุบัน เพื่อแก้ปัญหานี้ฉันคิดว่ากรณี "ง่าย" ควรเป็นดังนี้

1. กระดานหมากรุกควรถ่ายจากบนลงล่างเพื่อรับมุมมองสองมิติ (แรงจูงใจ: การถ่ายทำในมุมมองสามมิติจะทำให้เกิดปัญหาเนื่องจากมุมมองแบบเบ้และชิ้นส่วนที่จะปิดกั้นมุมมองสำหรับชิ้นส่วนอื่น ๆ ที่อยู่ด้านหลังนอกจากนี้มุมมอง 3 มิติที่แตกต่างกันก็เป็นไปได้
2. ภาพยนตร์เรื่องนี้ควรได้รับการแก้ไขด้วยตนเองเพื่อบันทึกช่วงเวลา "คลีนบอร์ด" และลบช่วงเวลาเมื่อมือหรือหัวของผู้เล่นสองคนปิดกั้นมุมมอง
3. อัลกอริธึมการประมวลผลภาพด้านซอฟต์แวร์ควรตรวจจับการเปลี่ยนแปลงบนกระดานและบันทึกเป็นการเคลื่อนไหว ควรหมุนภาพโดยอัตโนมัติและแปลงภาพเพื่อตรวจจับทิศทางของกระดานและพิกัด
4. ซอฟต์แวร์ควรใช้ตำแหน่งเริ่มต้นเพื่อ "จดจำ" ทุกชิ้นส่วนจากนั้นใช้สิ่งเหล่านี้สำหรับการจดจำภาพในระหว่างเกม อาจจะมีเทคนิคที่ฉลาดบางอย่างที่สามารถเขียนเพื่อแก้ปัญหาการจำแนกชิ้นส่วนด้วยวิธีที่ชาญฉลาด

การค้นหาของ Google อย่างรวดเร็วด้วยสตริงการค้นหา

การประมวลผลภาพเกมหมากรุก

ส่งคืนบทความที่น่าสนใจนี้

สรุปแล้วมันควรจะเป็นจริงที่จะใช้ซอฟต์แวร์ประเภทนี้ แต่มันอาจจะถูกกว่าสำหรับมนุษย์ที่จะทำงานเดียวกัน (ถ่ายโอนย้ายจากวิดีโอคลิปไปยังคอมพิวเตอร์)

ตามลำดับ

1) ไม่ใช่ความรู้ของฉัน

2) ไม่ใช่ความรู้ของฉัน

3) มีหลายสิ่งหลายอย่างที่ทำให้โครงการประเภทนี้ไม่ใช่เรื่องไร้สาระแม้แต่เรื่องยาก ไม่ใช่อย่างน้อยที่ติดตามชิ้นส่วนแตกต่างจากท่าทางมือตัวอย่างเช่น นอกจากนี้การพิจารณาว่าเมื่อใดที่การหยุดหยุดจะเป็นคำถามที่น่าสนใจสำหรับการมองเห็นของคอมพิวเตอร์เพื่อแก้ไข ปัญหาประเภทนี้ได้รับการแก้ไขในสถานการณ์อื่น ๆ แต่ไม่ใช่ด้วยความแม่นยำ 100% และแน่นอนว่าไม่ใช่ในราคาที่ใกล้เคียงกับการแข่งขันกับบอร์ด DGT

จากนั้นก็มีคำถามว่าจะวางตำแหน่งกล้องได้อย่างไร ค่าใช้จ่ายโดยตรงจะให้มุมมองที่ดีที่สุดของกระดานทำให้ง่ายต่อการตรวจสอบตารางด้วยความแม่นยำ แต่ที่ใดก็ตามที่วางกล้องมีความเป็นไปได้ที่แตกต่างกันว่ามุมมองของมันจะถูกบดบังโดยผู้เล่นคนใดคนหนึ่งไม่ว่าจะเอนไปบนกระดานเอื้อมมือไปหยิบนาฬิกา

4) ไม่เว้นแต่จะถูกจริงๆ และฉันไม่คิดว่ามันจะเป็นเช่นนั้น เหตุผลของฉันง่าย เมื่อเวลาควบคุมสั้นลงคุณภาพของเกมก็ลดลงจนถึงจุดที่มันไม่น่าสนใจสำหรับฉันอีกต่อไป

นั่นจะเป็นงานที่ค่อนข้างซับซ้อน บางทีขั้นตอนแรกที่สมเหตุสมผลคือการค้นหาการรับรู้ตำแหน่ง FEN จากภาพเดียว - ซึ่งมีทรัพยากรมากขึ้นตัวอย่างเช่น:

• สร้าง FEN จากรูปภาพแผนภาพหมากรุก
• เทคนิคการจดจำรูปแบบที่แนะนำสำหรับกระดานหมากรุก

มันเป็นปี 2019-12 และ 5 ปีหลังจากคำถามเดิม

1. มีสิ่งใดอยู่ (เว็บแคม / วิดีโอเป็น pgn converter) หรือไม่ ต้นแบบอาจ?

   ดู

   • https://github.com/WolfgangFahl/play-chess-with-a-webcam/issues/19
   • https://github.com/WolfgangFahl/play-chess-with-a-webcam/issues/22 ซึ่งทั้งสองปิดแล้ว ดูhttp://lichess.bitplan.comสำหรับเกมที่บันทึกได้สำเร็จ เข้าร่วมhttps://gitter.im/play-chess-with-a-webcam/communityเพื่อพูดคุย

2. มีใครพยายามทำเช่นนั้นและแบ่งปันงานวิจัยของพวกเขา?

   ใช่ - ฉันพบเอกสารการวิจัย 35 ฉบับและโซลูชันโอเพนซอร์ส 10 ข้อและข้อเสนอเชิงพาณิชย์หนึ่งข้อ

   2.1 http://wiki.bitplan.com/index.php/PlayChessWithAWebCam/Papers

   2.2 http://wiki.bitplan.com/index.php/PlayChessWithAWebCam#Open_Source_Projects

   2.3 http://wiki.bitplan.com/index.php/PlayChessWithAWebCam#Commercial

   http://wiki.bitplan.com/index.php/PlayChessWithAWebCamเป็นอีกหนึ่งโครงการที่มุ่งเป้าหมายที่คุณระบุไว้ โครงการเริ่มต้นในปี 2019-10-15 และในเวลาไม่กี่ชั่วโมงฉันได้พบทรัพยากรมากมายเช่นคำถามนี้สองเดือนต่อมาฉันได้อัปเดตคำตอบของฉัน (ดูลิงก์ด้านบน)

3. มีข้อ จำกัด ที่ชัดเจนที่ทำให้โครงการนี้ไม่ประสบความสำเร็จหรือไม่ ฉันเท่านั้นที่สามารถตอบจากประสบการณ์ของตัวเองกับโครงการที่คล้ายกันที่ฉันได้ 31 ปีที่ผ่านมาเห็นhttp://wiki.bitplan.com/index.php/MagneticSensorChessBoard1987 ในเวลานั้นฉันพยายามสร้างกระดานหมากรุกที่จะตรวจจับการเคลื่อนไหว ฉันใช้แม่เหล็กเป็นชิ้นไม้และมีหน้าสัมผัสกก กุญแจสู่ความสำเร็จคือการใช้เครื่องมือหมากรุกที่ใหม่ "กฎ" เพื่อให้สามารถมีสมาธิในการเคลื่อนไหวเพียงอย่างเดียวและไม่ต้องตรวจสอบแต่ละชิ้น ตามที่ระบุไว้ในคำตอบข้างต้นโปรโมชั่นกับชิ้นส่วนที่ไม่ใช่ราชินีอาจเป็นหนึ่งในการใช้งานขอบที่ยาก การตรวจจับการเคลื่อนที่ของชิ้นงานผ่านความแตกต่างของรูปภาพเป็นปัญหาที่เข้าใจกันดี

   ทุกวันนี้มีเอ็นจิ้นหมากรุกและ GUI ที่เข้ากันได้กับ UCI ดังนั้นปัญหาจึงเป็นปัญหาการรวมกลุ่มมากขึ้นในทุกวันนี้จากนั้นจึงแก้ไขปัญหารายละเอียดส่วนบุคคล

   อุปสรรคสำคัญคือความแตกต่างระหว่าง "ต้นแบบ" และผลิตภัณฑ์ ดูเช่น http://www.nandanbanerjee.com/files/ICCVR-08AUG12-011%20paper.pdf

   กระดาษที่เก่ากว่าคำถามนี้ แต่ไกลจากผลิตภัณฑ์ที่คุณสามารถซื้อในราคาที่สมเหตุสมผล

4. คุณจะซื้อมันถ้ามีอยู่?

   ใช่. เมื่อฉันซื้อกระดานหมากรุกใหม่เมื่อไม่กี่วันที่ผ่านมาฉันกำลังมองหากระดานที่สามารถบันทึกการเคลื่อนไหวและยังคงอยู่ที่ประมาณ 500 ยูโร ดูเหมือนว่าราคาของฮาร์ดแวร์จะต่ำกว่า 150 ยูโรในทุกวันนี้รวมถึงกระดานหมากรุกและชิ้นส่วนที่ดี

   ซอฟต์แวร์อาจเป็นโอเพนซอร์สและฟรี (เช่นเดียวกับเบียร์ฟรี) ในไม่ช้า ฉันจะอัพเดทคำตอบนี้

ฉันเขียนซอฟต์แวร์นี้ มันมีเว็บแคม AI สำหรับการรับรู้การย้ายที่เชื่อมต่อกับ Arena GUI

https://www.youtube.com/watch?v=APkoE1UDKj0

ฉันทำงานเกี่ยวกับโครงการติดตามหมากรุก8x8camภายในหลักสูตรการประมวลผลภาพในปี 2013 ที่ FING UdelaR

จากนั้นในปี 2014 นักเรียนคนอื่น ๆ ที่สร้างขึ้นรุ่นที่ดีกว่าสำหรับ Android ชื่อchesstrack ใต้เว็บคุณสามารถค้นหาวิดีโอและลิงก์ไปยังรหัสที่ใช้

ฉันชอบที่จะเห็นแอพที่สมบูรณ์ของแนวคิดโครงการนี้ที่ฉันมีมานานหลายปี ดังนั้นหากมีข่าวเกี่ยวกับเรื่องนี้โปรดแสดงความคิดเห็น

ตอบคำถามแหลมของคุณ:

1. มีสิ่งใดอยู่ (เว็บแคม / วิดีโอไปยัง pgn ตัวแปลงหรือเปล่า?

   
   นอกเหนือจากโครงการของฉัน8x8camและchesstrackฉันได้พบเมื่อเร็ว ๆ นี้โครงการที่ชื่อว่าChessCam โครงการเหล่านี้ทั้งหมดเป็นโอเพ่นซอร์สและจำเป็นต้องตั้งชื่อเป็นทรัพยากรถ้าคุณสร้างโครงการใหม่จากพวกเขา

2. มีใครพยายามทำเช่นนั้นและแบ่งปันงานวิจัยของพวกเขา?

   
   ใช่. คุณสามารถเห็นเช่นนี้ในคำตอบของคำถามก่อนหน้า

3. มีข้อ จำกัด ที่ชัดเจนที่ทำให้โครงการนี้ไม่ประสบความสำเร็จหรือไม่

   
   ส่วนที่ยากที่สุดที่ฉันเชื่อคือการทำให้ซอฟต์แวร์ทำงานไม่ว่าจะวางกล้องอย่างไรและเป็นอิสระจากการให้แสงสว่าง และยังทำงานกับเกมที่รวดเร็วและทำงานร่วมกับการปิดท้ายด้วยมือเมื่อเกมกำลังเล่นอยู่เพื่อที่จะตรวจจับการเคลื่อนไหวได้อย่างถูกต้อง

4. คุณจะซื้อมันถ้ามีอยู่?

   
   ใช่แน่นอน

ฉันจะไม่ตอบคำถามเพราะฉันไม่รู้ว่ามีซอฟต์แวร์ออกมาหรือไม่ ฉันแค่บอกว่าฉันคิดว่าเป็นวิธีที่จะทำฉันไม่รู้แน่ดังนั้น ...

โอเคก่อนอื่นคุณต้องแน่ใจว่าวิดีโอถูกบันทึกจากซอฟต์แวร์หมากรุกไม่ใช่การแข่งขันสดเพียงเพื่อให้งานของคุณง่ายขึ้น

คุณต้องแปลงภาพยนตร์เป็นภาพ

ffmpeg -i foo.avi -vsync 0 -vf select="eq(pict_type\,PICT_TYPE_I)" -s WxH -f image2 foo-%03d.jpeg

• แหล่ง

นั่นเป็นเรื่องง่ายตอนนี้ส่วนที่ยากที่สุดคุณต้องเริ่มทำโปรเซสชั่นภาพเพื่อที่มีประสิทธิภาพมากที่สุดคือ OpenCV

เพื่อที่จะมีเทคนิคหลายอย่างฉันจะให้ลิงก์แก่คุณเพื่อให้คุณสามารถอ่านได้

• โครงการรู้จำภาพกระดานหมากรุก
• เทคนิคการจดจำรูปแบบที่แนะนำสำหรับกระดานหมากรุก
• OpenCV หามุมกระดานหมากรุกได้อย่างไร
• ใช้เทคนิคการประมวลผลภาพเพื่อบันทึกเกมหมากรุกอัตโนมัติ
• การตรวจสอบกระดานหมากรุกอัตโนมัติสำหรับการสอบเทียบพารามิเตอร์กล้องภายในและภายนอก
• การปรับเทียบกล้องและการสร้างภาพ 3 มิติ

มันซับซ้อน แต่ง่ายกว่าที่คุณคิดเพราะคุณแค่ต้องรู้ว่าอะไรคือตำแหน่งเริ่มต้นวนรอบรูปภาพทั้งหมดและดูความแตกต่าง ดูเอกสาร OpenCV ที่คุณจะพบกับเนื้อหามากมายในหัวเรื่องนั้น

โอ้ตอนนี้สิ่งที่คุณขอมาได้ทำไปแล้ว แต่ไม่ได้ใช้ซอฟต์แวร์เท่าที่ฉันรู้มีโครงการเก่า ๆ ที่เขียนโดยใช้ Pascal กล้องวางไว้บนกระดานหุ่นยนต์ทำการประมวลผลภาพและเคลื่อนไหว ทุกวันนี้หุ่นยนต์จำนวนมากเล่นหมากรุก

คุณสามารถซื้อ Arduino uno และเซ็นเซอร์แสงมันจะตรวจจับชิ้นส่วนสีขาวและสีดำชิ้นส่วนการเข้ารหัสบางส่วนและจะเล่นหมากรุก :)

แก้ไข:การส่งเสริมสิ่งที่แตกต่างจากราชินีจะทำให้ทุกอย่างระเบิด มันจะยากมากที่จะสนับสนุนสิ่งนี้ (โปรแกรมของฉันสำหรับส่วนที่ 2 สนับสนุนการส่งเสริมการขายต่ำ แต่การจัดเก็บข้อมูลของส่วนที่ 1 อย่างหมดจดโดยการอ่านพิกเซลเป็นฝันร้าย)

แก้ไข 2:ฉันเพิ่งสังเกตว่าคุณหมายถึงกระดานหมากรุกจริงกับ PGN ดังนั้นทั้งหมดนี้ไร้ประโยชน์และฉันจะลบคำตอบของฉันมากที่สุด

ส่วนที่ 1: การจัดเก็บสี่เหลี่ยมโดยใช้ตัวอ่านพิกเซล

เป็นไปได้โดยสิ้นเชิงขั้นตอนที่จำเป็นคือ:

1. เปลี่ยนการตั้งค่าของบอร์ดเพื่อเน้นการเคลื่อนไหวครั้งล่าสุด ( ไม่ใช่แค่ชายแดน)
2. เขียนโปรแกรมที่อ่านพิกเซลตามที่กำหนด (x, y)
3. ทำให้อ่านประมาณ 5+ พิกเซลในแต่ละช่องสี่เหลี่ยม (ดังนั้นเคอร์เซอร์ / ชิ้นจึงไม่สามารถครอบคลุมพิกเซลทั้งหมดที่จะอ่านได้)
4. แปลง HEX เป็น RBG จากนั้นกำหนดช่วงของค่าที่ยอมรับของสิ่งที่เราคิดว่าใกล้เคียงกับสี "ย้ายครั้งสุดท้าย"
5. บันทึกการเคลื่อนไหวในอาเรย์ด้วยรูปแบบ["h1-h8", "e4-e5", ...] เพียงสี่เหลี่ยมเริ่มต้นและจุดจบ (สั่งไม่สำคัญ )

หมายเหตุ:จากตรงนี้เราไม่สามารถรู้ได้ว่าสี่เหลี่ยมจัตุรัสนี้เป็นตำแหน่งเริ่มต้น / สิ้นสุด แต่จริงๆมีเพียง 2 ตำแหน่งและมีเพียง 1 ตำแหน่งเท่านั้นที่ถูกกฎหมาย

ฉันได้เขียนมาโคร / บอทแบบพิกเซลอย่างง่ายสำหรับเกม RPG ใน C # ฉันสามารถรับประกันได้ว่านี่ไม่ใช่เรื่องยากเนื่องจาก:

1. ลูกเบี้ยวนิ่ง (ดังนั้นค่า x, y จะไม่ทำให้สับสน)
2. ก่อนหน้านี้คุณรู้สีพื้นหลังหรือคุณสามารถตั้งค่าก่อนเล่น

โดยทั่วไปจะเป็นการดีที่สุดถ้าเกมเล่นออนไลน์และคุณกำลังบันทึกโดยตรงจากหน้าจอ

ขออภัยไม่มีโปรแกรมสำหรับส่วนที่ 1

ส่วนที่ 2: ส่งออกรายการไปยัง PGN

ในการเปลี่ยนรายการนี้เป็น PGN จริงคุณสามารถใช้โปรแกรมที่ฉันเขียนใน JavaScriptเพื่อบันทึกการเคลื่อนไหวและหนึ่งในฟังก์ชั่นที่moveCaller()คุณผ่านตำแหน่งสองกำลังสองและจะค้นหาการfinal_posเคลื่อนไหวทางกฎหมายของinitial_posและถ้ามีการแข่งขันmakeMove(). ดังนั้นเราสามารถเรียกมันสองครั้งe5 to e4และe4 to e5ฉันรับประกันว่ามันจะไม่สนใจสิ่งผิดกฎหมาย

1. ดาวน์โหลดโครงการ (ลิงค์โดยตรง. zip )
2. คลายการบีบอัด .zip
3. เปลี่ยนจาวาสคริปต์ของindex.htmlไฟล์ด้วยสิ่งนี้:

'

$(function(){
    var i, len, arr, temp, m_board;

    m_board=IsepicChess.initBoard({name : "main"});

    arr=["e4-e2", "e7-e5", "f3-g1"]; //is ok for the initial and final squares to be swapped

    for(i=0, len=arr.length; i<len; i++){
        temp=arr[i].split("-");

        //one of the two following lines will silently fail
        m_board.moveCaller(temp[0], temp[1]);
        m_board.moveCaller(temp[1], temp[0]);
    }

    m_board.refreshBoard();
});

0.4 คัดลอกรายการย้ายและเพิ่มส่วนหัว PGN ด้านบนเช่น[WhiteElo "2400"]ฯลฯ

ฉันใช้อุปกรณ์โน้ตหมากรุก Monroiสำหรับเกมหมากรุกทั้งหมดของฉันและมันเป็นกระดานอิเล็กทรอนิกส์