สวัสดีชุมชน CV / รูปแบบการรับรู้

ฉันมีปัญหาร้ายแรงเกี่ยวกับการแบ่งส่วนของรูปภาพ สถานการณ์เป็นบรรยากาศภายในเตาหลอมซึ่งทำให้หัวฉันเสียสติ และฉันต้องการตรวจจับวัตถุรูปทรงของวัสดุที่แตกต่างกัน (แก้ว, เซรามิก, อัล, ไออาร์ .. ) ในช่วงเวลาสั้น ๆ (<10 วินาที) และไม่ใช่แค่กรณีพิเศษอย่างเดียว ฉันยังต้องการเส้นชั้นความสูงในแถวพิกเซลต่อเนื่องเพื่อรับรหัส ดังนั้นจำเป็นต้องใช้รหัสลูกโซ่หรือที่เรียกว่าการติดตามเส้นขอบ / รูปร่างดังนั้นรูเปิดจึงไม่ดี ในพื้นหลังไม่ใช่เสียงเชิงเส้นประมาณฝุ่นอนุภาคหรืออย่างอื่นที่ปรากฏขึ้นเป็นครั้งคราว

ยินดีต้อนรับข้อเสนอแนะ Matlab หรือ OpenCV

เพื่อให้ชัดเจนยิ่งขึ้นฉันได้โพสต์ภาพเป้าหมายและวัตถุโปร่งใสครึ่งหนึ่งซึ่งต้องตรวจจับด้วย นอกจากนี้ยังมีตัวอย่างเพิ่มเติมที่ต้องระวัง

อย่างที่คุณเห็นในภาพ # 1 มีอนุภาคอยู่ทางด้านขวาของภาพและใกล้กับรูปร่างชั้นนอกของดาวซึ่งเป็นวัตถุ ความคมชัดโดยรวมยังไม่ดีมาก วัตถุนั้นตั้งอยู่บนชั้นใต้ดินซึ่งไม่เกี่ยวข้องกับการตรวจจับเส้นชั้นความสูง รูปภาพ # 2 แสดงวัตถุแบบกึ่งโปร่งใสซึ่งเป็นไปได้เช่นกัน

ฉันต้องการค้นหารูปร่าง / ขอบเขตของวัตถุนั้นเช่นบนหน้าจอถัดไป (เส้นสีแดง) สี่เหลี่ยมสองรูป (สีเหลือง) กำลังทำเครื่องหมายจุดเริ่มต้น (ซ้าย) และจุดสิ้นสุด (ขวา) เส้นสีฟ้านั้นไม่น่าสนใจ

ตอนแรกฉันคิดว่าฉันสามารถแก้ปัญหาของบรรยากาศที่สกปรกด้วยตัวกรองเพียงอย่างเดียว แต่หลังจากใช้เวลาในการลงทุนจำนวนมากฉันเพิ่งรู้ว่าฉันต้องกำจัดหรือลดเสียงอย่างมีนัยสำคัญเพื่อเพิ่มความคมชัดของฉากหน้าและฉากหลัง ฉันได้ลองวิธีการมากมายเช่นการทำให้เท่าเทียมกันฮิสโตแกรมการปรับแต่ง Otsu แบบปรับตัวกรองเชิงเส้น (เช่น Gauss) ตัวกรองแบบไม่เชิงเส้น (ค่ามัธยฐานการแพร่), รูปทรงที่ใช้งานได้, k-Means, Fuzzy-c-mean และ Canny การตรวจจับขอบร่วมกับตัวดำเนินการทางสัณฐานวิทยา

• Canny: อนุภาคและบรรยากาศก่อให้เกิดหลุม แต่ฉันต้องการรูปร่างที่สมบูรณ์ของวัตถุ ยังคงปิดการขยายตัวของผู้ประกอบการทางสัณฐานวิทยามันไม่ดีพอ Canny ยังคงผลลัพธ์ที่ดีที่สุดของวิธีการทั้งหมดที่ฉันศึกษาเพราะ hysteresis
• Active Contours: พวกมันทำงานบนขอบ / การไล่ระดับสีด้วยเช่นกันพวกมันทำตัวบ้าคลั่งอย่างสมบูรณ์หลังจากเริ่มต้นภายในวัตถุซึ่งอาจเกิดจากแผนที่ขอบทำให้วัตถุ 'เปิด' เท่าที่ฉันรู้ว่ารูปร่างจะต้องถูกปิด พยายามใช้อนุพันธ์ต่าง ๆ (GVF / VFC / Classic Snake)
• k-Means: ผลลัพธ์รวมถึงบรรยากาศเตาหลอมเนื่องจากพื้นหลังมีหมอก เหมือนกันสำหรับ fuzzy-c-mean ฉันเลือกสองกลุ่มเนื่องจากแยกวัตถุออกจากพื้นหลัง กลุ่มอื่น ๆ นำไปสู่ผลลัพธ์ที่อ่อนแอ
• ฮิสโตแกรม / Otsu: เนื่องจากความเข้มสีเทาที่ใกล้เคียง (imho!) มันจึงรวมวัตถุกับพื้นหลัง พยายามด้วยวิธีการในระดับท้องถิ่นและระดับโลก
• ฟิลเตอร์: โดยเฉพาะอย่างยิ่ง GLPF หรือ LPF อื่น ๆ กำลังทำให้ขอบซึ่งไม่ดีและไม่ลดบรรยากาศของหมอก
• ตัวกรองที่ไม่ใช่เชิงเส้นจะรักษาขอบ ส่วนใหญ่ใช้เวลานานเกินไปในการคำนวณภาพขนาดใหญ่ ใช้ตัวกรองทวิภาคีอย่างรวดเร็วในตอนนี้ ผลลัพธ์ดูด้านล่าง

ดังนั้นวิธีการเดียวจึงไม่ดีพอสำหรับขั้นตอนหลังการประมวลผลเนื่องจากผลลัพธ์ที่ได้จากส่วนของวัตถุนั้นมีการแข่งขันที่ไม่ดีกับอัลกอริทึมที่มีอยู่ อัลกอริทึมที่มีอยู่นั้นเป็นแบบโลคัลและดังนั้นจึงใช้ได้กับสถานการณ์ที่พิเศษมากนี้

ดังนั้นฉันขอให้คุณถ้าฉันพลาดบางสิ่งบางอย่างอย่างสมบูรณ์ ... ฉันไม่มีความคิดเพิ่มเติมเกี่ยวกับวิธีการดำเนินการและวิธีการที่ฉันควรได้รับผลดีรูปร่างโดยไม่ต้องมีช่องว่างหรือหลุม .. มันเป็นไปได้โดยไม่ต้องทำการเปลี่ยนแปลงมากมาย CCD และสภาพแวดล้อมทางกายภาพ? ขอบคุณล่วงหน้า!

วิธีการล่าสุดจนถึงตอนนี้ (หลังจากการทดลอง MO คืนที่ยาวนาน):

• ตัวกรองทวิภาคี (รักษาขอบ แต่ปรับพื้นที่ให้เป็นเนื้อเดียวกัน)
• Canny (Sigma = 2, Threshold = [0.04 0.08])
• ทางสัณฐานวิทยาการดำเนินงาน (MO): bwareopen, closing, removeและbridge
• bwlabelสำหรับการเลือกเฉพาะขอบเขตของรูปร่างซึ่งขจัดเสียงที่ไม่ต้องการ ยังไม่มีภาพหน้าจอที่อัปเดต แต่ใช้งานได้กับดาว แก้วจะทำให้เกิดเส้นชั้นในซึ่งเชื่อมต่อกับเส้นชั้นนอกซึ่งสามารถดูได้จากภาพด้านล่าง

ดังนั้นฉันจึงกลัวว่าฉันต้องการอัลกอริธึมพิเศษสำหรับการเคลื่อนที่ของเส้นรอบนอก มันจะมีการค้นหาตามเข็มนาฬิกา / ทวนเข็มนาฬิกาของพื้นที่ใกล้เคียง สามารถหมุนสลับตามเข็มนาฬิกา / ทวนเข็มนาฬิกาถ้ามีจุดมุม หากมีช่องว่างเพิ่มรัศมีและมองอีกครั้ง หากมีจุดต่อไปนี้ที่เป็นไปได้สองจุดขึ้นไปให้จับผู้ที่ได้ทิศทางเดียวกันกับที่ผ่านมา คุณคิดว่าอัลกอริธึมที่ตามมาของรูปร่างนั้นเหมาะสมหรือไม่

คุณสามารถลองต่อไปนี้:

• การแบ่งส่วนภาพตามกราฟที่มีประสิทธิภาพ: http://www.cs.brown.edu/~pff/segment/ (มีรหัส)

• การแบ่งส่วนแบบกราฟ - คัต: http://www.csd.uwo.ca/~olga/OldCode.html (มีรหัส)

• ทำการ denoise รูปภาพก่อนโดยใช้วิธีการกระจัดกระจาย: http://spams-devel.gforge.inria.fr/ (มีรหัสให้)

ฉันคิดว่าคุณละทิ้งเทคนิคการเกณฑ์เร็วเกินไป ลองดูฮิสโตแกรมของคุณมันเห็นได้ชัดว่าเป็นแบบสาม modal: (ฉันลบคอลัมน์สีขาวทางด้านขวาของภาพของคุณด้วยตนเองฉันคิดว่าพวกเขาไม่ได้เป็นส่วนหนึ่งของภาพ - โปรดถ่ายรูปนี้ก่อนเรียกใช้รหัสของฉัน)

ดูค่าทั้งหมดในกลุ่มแรก:

เพื่อหาโหมดในฮิสโตแกรมแบบไตรโมดัลคุณสามารถใช้การจัดกลุ่ม K-meanด้วยK=3ความรุนแรง รหัส Matlab ต่อไปนี้ค้นหาth1=67ในรหัสของคุณ ความคิดคือการสมมติว่าคุณมี 3 ชุดและคำนวณเซนทรอยด์ถ่วงน้ำหนักของแต่ละชุด จากนั้นแต่ละระดับความเข้มจะถูกกำหนดให้กับคลัสเตอร์ของตัวเอง คุณหยุดเมื่อเซนทรอยด์ที่ถ่วงน้ำหนักหยุดเคลื่อนไหว นี่คือผลลัพธ์ของการค้นหาสองขีด จำกัด บนรูปภาพของคุณซึ่งแสดงบนฮิสโตแกรม

function [th1,th2]=SegmentHistTo3()
    im = imread('http://i.stack.imgur.com/U2sc5.png');
    h = imhist(im(:,:,1)); %# Calculate histogram

    th1new = round(256/3); %# Initial thresholds
    th2new = round(256*2/3);
    th1 = 0;
    th2 = 0;

    while (th1~=th1new) || (th2~=th2new) %# While the centroids keep on moving
        th1 = th1new;
        th2 = th2new;

        wa1 = WeightedAverage(h,1,th1);  %# Calculate 3 weighted averages
        wa2 = WeightedAverage(h,th1+1,th2);
        wa3 = WeightedAverage(h,th2,numel(h));

        th1new = round( (wa1+wa2)/2 );  %# The thresholds are middle points between the averages
        th2new = round( (wa2+wa3)/2 );
    end

    figure; hist( double( reshape(im(:,:,1),1,[]) ),256);
    hold on;
    plot( [th1 th1],[0 max(h)],'r','LineWidth',2);
    plot( [th2 th2],[0 max(h)],'r','LineWidth',2);

    figure;imshow( im(:,:,1)<th1);
end

function wa = WeightedAverage(region,th1,th2)    
    regionNonEmpty(th1:th2) = region(th1:th2);
    wa = sum( regionNonEmpty .* (1:numel(regionNonEmpty))) / sum(regionNonEmpty);    
end

การแก้ปัญหาหลังจากนั้นเป็นชิ้นส่วนของเค้กเพียงแค่ทำสัณฐานวิทยาง่ายๆเช่นเปิด

ตามที่แนะนำไว้ข้างต้นการกำหนดเกณฑ์ขั้นต่ำสามารถมีประสิทธิภาพมากในภาพนี้ซึ่งเป็นฐานสองยกเว้นว่าเกณฑ์คงที่จะไม่ทำเพราะแสงไม่เท่ากัน คุณต้องมีการปรับเปลี่ยนสัญญาณ

คำแนะนำของฉันคือการสร้างพื้นหลังใหม่ด้วยแบบจำลองอย่างง่าย (อาจเป็นภาพถ่าย [3 อานนท์] หรือรูปสี่เหลี่ยมจตุรัส [6 อานนท์]) โดยการสุ่มตัวอย่างค่าจำนวนเล็กน้อยในพื้นที่แสง วิธีที่ดีที่สุดคือใช้ ROIs ขนาดเล็กเพื่อขจัดเสียงรบกวน จากนั้นแก้ไขการแรเงาด้วยการลบ (หรือหารด้วย) ค่าพื้นหลัง

หากการปฏิสัมพันธ์ระหว่างมนุษย์ไม่ใช่ตัวเลือกคุณสามารถทำการค้นหาพื้นที่พื้นหลังโดยอัตโนมัติเป็นครั้งแรกโดยใช้ Otsu เป็นอันดับแรกและพิจารณา ROIs สม่ำเสมอ (ความแปรปรวนต่ำ) ภายใต้ขีด จำกัด หลังจากการสร้างพื้นหลังเป็นครั้งแรกคุณสามารถปรับปรุงได้โดยใช้กระบวนการนี้กับภาพที่แก้ไขแล้ว

กระบวนการทั้งหมดสามารถดำเนินการเพื่อให้ทำงานได้ต่ำกว่าหนึ่งวินาที

ฉันคิดว่าวิธีที่ดีที่สุดคือใช้รูปทรงที่ใช้งานอยู่ หากคุณไม่ทราบว่ารูปทรงที่ใช้งานอยู่มีลักษณะอย่างไรดูวิดีโอนี้บน youtube http://www.youtube.com/watch?v=ijNe7f3QVdA

โดยทั่วไปคุณต้องให้การแบ่งส่วนเริ่มต้นและจะปรับปรุงรูปร่าง ข้อเสนอแนะของฉันคือหนึ่งในวิธีการที่กล่าวถึงในโพสต์นี้และใช้รูปทรงที่ใช้งานได้เป็นขั้นตอนที่ 2 เช่น เป็นขั้นตอนการปรับปรุง

นี่คือการใช้รูปทรงที่ใช้งานอยู่ซึ่งคุณสามารถใช้ http://www.mathworks.com/matlabcentral/fileexchange/19567

คุณรู้อย่างชัดเจนว่าคุณกำลังทำอะไรอยู่ แต่คุณยังไม่ได้พูดถึงการใช้ thresholding โดยเฉพาะอย่างยิ่งคุณลองใช้เกณฑ์ทั่วโลกโดยใช้ Otsu เพื่อคำนวณระดับที่เหมาะสมแล้วค้นหารูปทรงและเลือกขนาดที่ใหญ่ที่สุด?

[แก้ไขเพื่อชี้แจง]

เห็นได้ชัดว่าเกณฑ์ทั่วโลกจะไม่ทำงานเนื่องจากเห็นได้ชัดทั่วทั้งภาพ

ฉันเล่นกับสิ่งนี้ได้อย่างรวดเร็วและพบว่าถ้าคุณแบ่งภาพออกเป็น 6 ชิ้น (2 แถวขนาด 3 คอลัมน์เท่ากัน) จากนั้นทำการนวดใหม่โดยใช้ Otsu ในแต่ละอันแล้วประกอบใหม่อีกครั้ง ภาพ.

ยังมีสิ่งประดิษฐ์เล็ก ๆ บางส่วนที่มุมขวาบนของดาว

เกิดขึ้นกับฉันว่าเนื่องจากวัตถุมีขอบเขตเส้นตรงคุณอาจต้องการพิจารณาการแปลง Hough เพื่อแยกขอบเหล่านี้ตัดกันเพื่อหาจุดยอดและใช้ผลลัพธ์เป็นเส้นชั้นความสูงของวัตถุ

โครงร่างเป็นเส้นตรงหรือเส้นโค้งที่เป็นที่รู้จักเสมอหรือไม่?

ถ้าเป็นเช่นนั้นแทนที่จะพยายามที่จะให้แต่ละพิกเซลถูกต้องตามขอบฉันจะใช้ Hough transforms เพื่อให้ได้สมการของเส้นแล้วสร้าง countours จากเส้นและการวนซ้ำ