อัลกอริทึมเพื่อตรวจจับมุมของแผ่นกระดาษในภาพถ่าย

Question 1

วิธีใดที่ดีที่สุดในการตรวจจับมุมของใบแจ้งหนี้ / ใบเสร็จ / แผ่นกระดาษในภาพถ่าย สิ่งนี้จะใช้สำหรับการแก้ไขมุมมองในภายหลังก่อน OCR

แนวทางปัจจุบันของฉันคือ:

RGB> Grey> Canny Edge Detection with thresholding> Dilate (1)> Remove small objects (6)> clear boarder objects> pick larges blog ตาม Convex Area > [การตรวจจับมุม - ไม่ได้ใช้งาน]

ฉันอดไม่ได้ที่จะคิดว่าต้องมีวิธี 'อัจฉริยะ' / สถิติที่แข็งแกร่งกว่านี้เพื่อจัดการการแบ่งกลุ่มประเภทนี้ ฉันไม่มีตัวอย่างการฝึกอบรมมากนัก แต่ฉันน่าจะได้ 100 ภาพด้วยกัน

บริบทที่กว้างขึ้น:

ฉันใช้ matlab ในการสร้างต้นแบบและวางแผนที่จะใช้ระบบใน OpenCV และ Tesserect-OCR นี่เป็นปัญหาแรกในการประมวลผลภาพจำนวนมากที่ฉันต้องแก้ไขสำหรับแอปพลิเคชันเฉพาะนี้ ดังนั้นฉันจึงต้องการม้วนโซลูชันของตัวเองและทำความคุ้นเคยกับอัลกอริทึมการประมวลผลภาพอีกครั้ง

นี่คือภาพตัวอย่างบางส่วนที่ฉันต้องการให้อัลกอริทึมจัดการ: หากคุณต้องการรับมือกับความท้าทายสามารถดูภาพขนาดใหญ่ได้ที่http://madteckhead.com/tmp

_{(ที่มา: madteckhead.com )}

ในกรณีที่ดีที่สุดสิ่งนี้ให้:

_{(ที่มา: madteckhead.com )}

อย่างไรก็ตามมันล้มเหลวอย่างง่ายดายในกรณีอื่น ๆ :

_{(ที่มา: madteckhead.com )}

ขอบคุณล่วงหน้าสำหรับแนวคิดดีๆทั้งหมด! ฉันรักมาก!

แก้ไข: Hough Transform Progress

ถาม: อัลกอริทึมใดที่จะรวมกลุ่มเส้นที่หยาบเพื่อหามุม ตามคำแนะนำจากคำตอบฉันสามารถใช้ Hough Transform เลือกบรรทัดและกรองได้ แนวทางปัจจุบันของฉันค่อนข้างหยาบ ฉันตั้งสมมติฐานว่าใบแจ้งหนี้มักจะมีค่าน้อยกว่า 15deg ซึ่งไม่สอดคล้องกับรูปภาพ ฉันได้ผลลัพธ์ที่สมเหตุสมผลสำหรับบรรทัดหากเป็นกรณีนี้ (ดูด้านล่าง) แต่ฉันไม่แน่ใจทั้งหมดเกี่ยวกับอัลกอริทึมที่เหมาะสมในการจัดกลุ่มเส้น (หรือโหวต) เพื่อคาดการณ์สำหรับมุม เส้น Hough ไม่ต่อเนื่อง และในภาพที่มีเสียงดังอาจมีเส้นขนานดังนั้นต้องมีรูปแบบหรือระยะห่างจากเมตริกจุดเริ่มต้นของเส้น ความคิดใด ๆ ?

กรณีที่ 1
_{(ที่มา: madteckhead.com )}

Question 2

ฉันเป็นเพื่อนของมาร์ตินที่ทำงานนี้เมื่อต้นปีนี้ นี่เป็นโครงการเขียนโค้ดครั้งแรกของฉันและก็จบลงด้วยความเร่งรีบดังนั้นรหัสจึงต้องมีข้อผิดพลาด ... ถอดรหัส ... ฉันจะให้คำแนะนำเล็ก ๆ น้อย ๆ จากสิ่งที่ฉันเคยเห็นคุณทำมาแล้ว จัดเรียงรหัสของฉันในวันหยุดพรุ่งนี้

เคล็ดลับแรกOpenCVและpythonที่ยอดเยี่ยมย้ายไปหาพวกเขาโดยเร็วที่สุด : ง

แทนที่จะลบวัตถุขนาดเล็กและหรือเสียงรบกวนให้ลดข้อ จำกัด ที่มีขนาดเล็กลงเพื่อให้รับขอบได้มากขึ้นจากนั้นหารูปทรงปิดที่ใหญ่ที่สุด (ใน OpenCV ใช้findcontour()กับพารามิเตอร์ง่ายๆฉันคิดว่าฉันใช้CV_RETR_LIST) อาจยังคงมีปัญหาเมื่ออยู่บนแผ่นกระดาษสีขาว แต่ก็ให้ผลลัพธ์ที่ดีที่สุด

สำหรับการHoughline2()แปลงร่างให้ลองใช้สิ่งCV_HOUGH_STANDARDที่ตรงข้ามกับค่าCV_HOUGH_PROBABILISTICนี้จะให้rhoและthetaกำหนดเส้นในพิกัดเชิงขั้วจากนั้นคุณสามารถจัดกลุ่มเส้นภายในขอบเขตที่ยอมรับได้

การจัดกลุ่มของฉันทำงานเป็นตารางค้นหาสำหรับแต่ละบรรทัดที่ส่งออกมาจากการแปลง hough มันจะให้คู่ rho และ theta หากค่าเหล่านี้อยู่ภายในให้พูดว่า 5% ของคู่ค่าในตารางค่าเหล่านี้จะถูกละทิ้งหากค่าเหล่านี้อยู่นอก 5% รายการใหม่จะถูกเพิ่มเข้าไปในตาราง

จากนั้นคุณสามารถวิเคราะห์เส้นขนานหรือระยะห่างระหว่างเส้นได้ง่ายขึ้นมาก

หวังว่านี่จะช่วยได้

Question 3

กลุ่มนักศึกษาในมหาวิทยาลัยของฉันเพิ่งสาธิตแอป iPhone (และแอป python OpenCV) ที่พวกเขาเขียนขึ้นเพื่อทำสิ่งนี้ อย่างที่ฉันจำได้ขั้นตอนมีดังนี้:

ตัวกรองค่ามัธยฐานเพื่อลบข้อความบนกระดาษทั้งหมด (นี่คือข้อความที่เขียนด้วยลายมือบนกระดาษสีขาวที่มีแสงค่อนข้างดีและอาจใช้ไม่ได้กับข้อความที่พิมพ์ออกมามันทำงานได้ดีมาก) เหตุผลก็คือทำให้การตรวจจับมุมง่ายขึ้นมาก
Hough Transform สำหรับเส้น
ค้นหาจุดสูงสุดในพื้นที่สะสม Hough Transform แล้วลากเส้นแต่ละเส้นทั่วทั้งภาพ
วิเคราะห์เส้นและลบเส้นที่อยู่ใกล้กันมากและอยู่ในมุมที่ใกล้เคียงกัน (รวมเส้นเป็นเส้นเดียว) สิ่งนี้จำเป็นเนื่องจาก Hough Transform ไม่สมบูรณ์แบบเนื่องจากทำงานในพื้นที่ตัวอย่างที่ไม่ต่อเนื่อง
ค้นหาคู่ของเส้นที่ขนานกันโดยประมาณและตัดกับคู่อื่น ๆ เพื่อดูว่าเส้นใดเป็นสี่กลุ่ม

ดูเหมือนว่าจะทำงานได้ดีพอสมควรและพวกเขาสามารถถ่ายภาพกระดาษหรือหนังสือทำการตรวจจับมุมจากนั้นแมปเอกสารในภาพลงบนระนาบแบนในเกือบเรียลไทม์ (มีฟังก์ชัน OpenCV เพียงฟังก์ชันเดียว การทำแผนที่) ไม่มี OCR เมื่อฉันเห็นมันทำงาน

Question 4

นี่คือสิ่งที่ฉันคิดขึ้นหลังจากการทดลองเล็กน้อย:

import cv, cv2, numpy as np
import sys

def get_new(old):
    new = np.ones(old.shape, np.uint8)
    cv2.bitwise_not(new,new)
    return new

if __name__ == '__main__':
    orig = cv2.imread(sys.argv[1])

    # these constants are carefully picked
    MORPH = 9
    CANNY = 84
    HOUGH = 25

    img = cv2.cvtColor(orig, cv2.COLOR_BGR2GRAY)
    cv2.GaussianBlur(img, (3,3), 0, img)


    # this is to recognize white on white
    kernel = cv2.getStructuringElement(cv2.MORPH_RECT,(MORPH,MORPH))
    dilated = cv2.dilate(img, kernel)

    edges = cv2.Canny(dilated, 0, CANNY, apertureSize=3)

    lines = cv2.HoughLinesP(edges, 1,  3.14/180, HOUGH)
    for line in lines[0]:
         cv2.line(edges, (line[0], line[1]), (line[2], line[3]),
                         (255,0,0), 2, 8)

    # finding contours
    contours, _ = cv2.findContours(edges.copy(), cv.CV_RETR_EXTERNAL,
                                   cv.CV_CHAIN_APPROX_TC89_KCOS)
    contours = filter(lambda cont: cv2.arcLength(cont, False) > 100, contours)
    contours = filter(lambda cont: cv2.contourArea(cont) > 10000, contours)

    # simplify contours down to polygons
    rects = []
    for cont in contours:
        rect = cv2.approxPolyDP(cont, 40, True).copy().reshape(-1, 2)
        rects.append(rect)

    # that's basically it
    cv2.drawContours(orig, rects,-1,(0,255,0),1)

    # show only contours
    new = get_new(img)
    cv2.drawContours(new, rects,-1,(0,255,0),1)
    cv2.GaussianBlur(new, (9,9), 0, new)
    new = cv2.Canny(new, 0, CANNY, apertureSize=3)

    cv2.namedWindow('result', cv2.WINDOW_NORMAL)
    cv2.imshow('result', orig)
    cv2.waitKey(0)
    cv2.imshow('result', dilated)
    cv2.waitKey(0)
    cv2.imshow('result', edges)
    cv2.waitKey(0)
    cv2.imshow('result', new)
    cv2.waitKey(0)

    cv2.destroyAllWindows()

ไม่สมบูรณ์แบบ แต่อย่างน้อยก็ใช้ได้กับทุกตัวอย่าง:

Question 5

แทนที่จะเริ่มจากการตรวจจับขอบคุณสามารถใช้การตรวจจับมุม

Marvin Frameworkจัดเตรียมการใช้งานอัลกอริทึม Moravec เพื่อจุดประสงค์นี้ คุณสามารถหามุมของกระดาษเป็นจุดเริ่มต้น ด้านล่างผลลัพธ์ของอัลกอริทึมของ Moravec:

ป้อนคำอธิบายภาพที่นี่

Question 6

นอกจากนี้คุณสามารถใช้MSER (ขอบเขตสูงสุดที่เสถียรสูงสุด) บนผลลัพธ์ของตัวดำเนินการ Sobel เพื่อค้นหาพื้นที่ที่เสถียรของภาพ สำหรับแต่ละพื้นที่ที่ MSER ส่งคืนคุณสามารถใช้การประมาณตัวถังนูนและโพลีเพื่อให้ได้สิ่งนี้

แต่การตรวจจับแบบนี้มีประโยชน์สำหรับการตรวจจับแบบสดมากกว่าภาพเดียวที่ไม่ได้ให้ผลลัพธ์ที่ดีที่สุดเสมอไป

Question 7

หลังจากตรวจจับขอบแล้วให้ใช้ Hough Transform จากนั้นใส่จุดเหล่านั้นใน SVM (เครื่องเวกเตอร์ที่รองรับ) พร้อมกับป้ายกำกับหากตัวอย่างมีเส้นเรียบ SVM จะไม่มีปัญหาในการแบ่งส่วนที่จำเป็นของตัวอย่างและส่วนอื่น ๆ คำแนะนำของฉันเกี่ยวกับ SVM ใส่พารามิเตอร์เช่นการเชื่อมต่อและความยาว นั่นคือถ้าจุดเชื่อมต่อกันและมีความยาวก็น่าจะเป็นบรรทัดของใบเสร็จ จากนั้นคุณสามารถกำจัดจุดอื่น ๆ ทั้งหมด

Question 8

ที่นี่คุณมีรหัสของ @Vanuan โดยใช้ C ++:

cv::cvtColor(mat, mat, CV_BGR2GRAY);
cv::GaussianBlur(mat, mat, cv::Size(3,3), 0);
cv::Mat kernel = cv::getStructuringElement(cv::MORPH_RECT, cv::Point(9,9));
cv::Mat dilated;
cv::dilate(mat, dilated, kernel);

cv::Mat edges;
cv::Canny(dilated, edges, 84, 3);

std::vector<cv::Vec4i> lines;
lines.clear();
cv::HoughLinesP(edges, lines, 1, CV_PI/180, 25);
std::vector<cv::Vec4i>::iterator it = lines.begin();
for(; it!=lines.end(); ++it) {
    cv::Vec4i l = *it;
    cv::line(edges, cv::Point(l[0], l[1]), cv::Point(l[2], l[3]), cv::Scalar(255,0,0), 2, 8);
}
std::vector< std::vector<cv::Point> > contours;
cv::findContours(edges, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_TC89_KCOS);
std::vector< std::vector<cv::Point> > contoursCleaned;
for (int i=0; i < contours.size(); i++) {
    if (cv::arcLength(contours[i], false) > 100)
        contoursCleaned.push_back(contours[i]);
}
std::vector<std::vector<cv::Point> > contoursArea;

for (int i=0; i < contoursCleaned.size(); i++) {
    if (cv::contourArea(contoursCleaned[i]) > 10000){
        contoursArea.push_back(contoursCleaned[i]);
    }
}
std::vector<std::vector<cv::Point> > contoursDraw (contoursCleaned.size());
for (int i=0; i < contoursArea.size(); i++){
    cv::approxPolyDP(Mat(contoursArea[i]), contoursDraw[i], 40, true);
}
Mat drawing = Mat::zeros( mat.size(), CV_8UC3 );
cv::drawContours(drawing, contoursDraw, -1, cv::Scalar(0,255,0),1);

Question 9

แปลงเป็นพื้นที่ห้องปฏิบัติการ
ใช้คลัสเตอร์ kmeans เซ็กเมนต์ 2
จากนั้นใช้รูปทรงหรือปั้นบนหนึ่งในคลัสเตอร์ (ภายใน)