การเลือกคุณสมบัติและการตรวจสอบความถูกต้องข้าม

ฉันเพิ่งอ่านจำนวนมากบนไซต์นี้ (@Aniko, @Dikran Marsupial, @Erik) และที่อื่น ๆ เกี่ยวกับปัญหาการ overfitting ที่เกิดขึ้นกับการตรวจสอบข้าม - (Smialowski et al 2010 ชีวสารสนเทศศาสตร์, Hastie, องค์ประกอบของการเรียนรู้ทางสถิติ) ข้อเสนอแนะคือการที่ใด ๆการเลือกคุณลักษณะภายใต้การดูแล (โดยใช้ความสัมพันธ์ที่มีป้ายชื่อ class) ดำเนินการด้านนอกของประมาณการผลการดำเนินงานรูปแบบการใช้การตรวจสอบข้าม (หรือรูปแบบวิธีการอื่นเช่นการประเมินความร่วมมือ) อาจส่งผลให้อิง

สิ่งนี้ดูเหมือนจะไม่ง่ายสำหรับฉัน - แน่นอนถ้าคุณเลือกชุดคุณลักษณะและประเมินโมเดลของคุณโดยใช้เฉพาะคุณสมบัติที่เลือกโดยใช้การตรวจสอบความถูกต้องไขว้กันคุณจะได้รับการประเมินแบบไม่เอนเอียง ของประชากร)

ด้วยขั้นตอนนี้เราไม่สามารถอ้างสิทธิ์ชุดคุณลักษณะที่ดีที่สุด แต่สามารถรายงานประสิทธิภาพของคุณลักษณะที่เลือกซึ่งตั้งค่าไว้บนข้อมูลที่มองไม่เห็นว่าถูกต้องได้หรือไม่

ฉันยอมรับว่าการเลือกคุณสมบัติตามชุดข้อมูลทั้งหมดอาจมีการรั่วไหลของข้อมูลระหว่างชุดทดสอบและชุดรถไฟ แต่ถ้าชุดคุณลักษณะเป็นแบบคงที่หลังจากการเลือกเริ่มต้นและไม่มีการปรับแต่งอื่น ๆ แน่นอนว่ามันถูกต้องที่จะรายงานตัวชี้วัดประสิทธิภาพข้ามการตรวจสอบแล้ว?

ในกรณีของฉันฉันมี 56 คุณสมบัติและ 259 เคสดังนั้น #case> #features คุณสมบัติที่ได้รับมาจากข้อมูลเซ็นเซอร์

ขออภัยถ้าคำถามของฉันดูเหมือนอนุพันธ์ แต่นี่เป็นจุดสำคัญที่จะชี้แจง

แก้ไข: ในการดำเนินการเลือกคุณลักษณะภายในการตรวจสอบข้ามในชุดข้อมูลรายละเอียดข้างต้น (ขอบคุณคำตอบดังต่อไปนี้) ผมสามารถยืนยันได้ว่าคุณสมบัติการเลือกก่อนที่จะข้ามการตรวจสอบในชุดข้อมูลนี้แนะนำอย่างมีนัยสำคัญอคติ ความลำเอียง / การ overfitting นี้ยิ่งใหญ่ที่สุดเมื่อทำเช่นนั้นสำหรับสูตร 3 ระดับเมื่อเทียบกับสูตร 2 ระดับ ฉันคิดว่าความจริงที่ว่าฉันใช้การถดถอยแบบขั้นตอนสำหรับการเลือกคุณสมบัติเพิ่มขึ้น overfitting นี้; เพื่อวัตถุประสงค์ในการเปรียบเทียบในชุดข้อมูลที่แตกต่างกัน แต่มีความเกี่ยวข้องฉันได้เปรียบเทียบชุดคำสั่งการส่งต่อคุณสมบัติตามลำดับก่อนที่จะทำการตรวจสอบความถูกต้องข้ามกับผลลัพธ์ที่ฉันได้รับก่อนหน้านี้ด้วยการเลือกคุณสมบัติภายใน CV ผลลัพธ์ระหว่างวิธีการทั้งสองไม่แตกต่างกันอย่างมาก นี่อาจหมายความว่าการถดถอยแบบขั้นตอนมีแนวโน้มที่จะมีค่าเกินกว่า FS ตามลำดับหรืออาจเป็นเรื่องแปลกของชุดข้อมูลนี้

หากคุณทำการเลือกคุณสมบัติกับข้อมูลทั้งหมดจากนั้นตรวจสอบความถูกต้องของข้อมูลจากนั้นข้อมูลการทดสอบในแต่ละขั้นตอนของกระบวนการตรวจสอบความถูกต้องข้ามจะถูกใช้เพื่อเลือกคุณสมบัติและนี่คือสิ่งที่ทำให้การวิเคราะห์ประสิทธิภาพลำเอียง

ลองพิจารณาตัวอย่างนี้ เราสร้างข้อมูลเป้าหมายโดยการโยนเหรียญ 10 ครั้งและบันทึกว่ามันจะลงมาเป็นหัวหรือก้อย ต่อไปเราจะสร้างฟีเจอร์ 20 อย่างโดยการโยนเหรียญ 10 ครั้งสำหรับแต่ละฟีเจอร์และจดสิ่งที่เราได้รับ จากนั้นเราทำการเลือกคุณสมบัติโดยเลือกคุณสมบัติที่ตรงกับข้อมูลเป้าหมายให้ใกล้เคียงที่สุดและใช้การคาดการณ์ของเรา หากเราตรวจสอบข้ามเราจะได้รับอัตราความผิดพลาดที่คาดว่าจะต่ำกว่า 0.5 เล็กน้อย นี่เป็นเพราะเราได้เลือกคุณสมบัติบนพื้นฐานของความสัมพันธ์ทั้งชุดฝึกอบรมและชุดทดสอบในทุกขั้นตอนของกระบวนการตรวจสอบข้าม อย่างไรก็ตามอัตราความผิดพลาดที่แท้จริงจะเป็น 0.5 เนื่องจากข้อมูลเป้าหมายนั้นสุ่ม หากคุณทำการเลือกคุณสมบัติอย่างอิสระภายในแต่ละเท่าของการตรวจสอบความถูกต้องข้ามค่าคาดหวังของอัตราข้อผิดพลาดคือ 0

แนวคิดหลักคือการตรวจสอบความถูกต้องไขว้เป็นวิธีหนึ่งในการประเมินประสิทธิภาพการวางนัยทั่วไปของกระบวนการสำหรับการสร้างแบบจำลองดังนั้นคุณต้องทำซ้ำกระบวนการทั้งหมดในแต่ละครั้ง มิฉะนั้นคุณจะต้องจบด้วยการประมาณแบบเอนเอียงหรือการประมาณความแปรปรวนของการประมาณ (หรือทั้งสองอย่าง)

HTH

นี่คือรหัส MATLAB ที่ดำเนินการจำลอง Monte-Carlo ของการตั้งค่านี้พร้อมด้วยคุณสมบัติ 56 รายการและ 259 เคสเพื่อให้ตรงกับตัวอย่างของคุณผลลัพธ์ที่ได้คือ:

เครื่องมือประเมินลำเอียง: erate = 0.429210 (0.397683 - 0.451737)

ตัวประมาณที่ไม่เอนเอียง: erate = 0.499689 (0.397683 - 0.590734)

ตัวประมาณแบบเอนเอียงคือตัวเลือกที่จะดำเนินการก่อนที่จะมีการตรวจสอบความถูกต้องแบบข้ามส่วนตัวประมาณแบบเอนเอียงคือตัวประเมินแบบเอนเอียงซึ่งจะทำการเลือกอย่างอิสระในแต่ละส่วนของการตรวจสอบความถูกต้องแบบข้าม นี่แสดงให้เห็นว่าอคตินั้นค่อนข้างรุนแรงในกรณีนี้ขึ้นอยู่กับลักษณะของงานการเรียนรู้

NF    = 56;
NC    = 259;
NFOLD = 10;
NMC   = 1e+4;

% perform Monte-Carlo simulation of biased estimator

erate = zeros(NMC,1);

for i=1:NMC

   y = randn(NC,1)  >= 0;
   x = randn(NC,NF) >= 0;

   % perform feature selection

   err       = mean(repmat(y,1,NF) ~= x);
   [err,idx] = min(err);

   % perform cross-validation

   partition = mod(1:NC, NFOLD)+1;
   y_xval    = zeros(size(y));

   for j=1:NFOLD

      y_xval(partition==j) = x(partition==j,idx(1));

   end

   erate(i) = mean(y_xval ~= y);

   plot(erate);
   drawnow;

end

erate = sort(erate);

fprintf(1, '  Biased estimator: erate = %f (%f - %f)\n', mean(erate), erate(ceil(0.025*end)), erate(floor(0.975*end)));

% perform Monte-Carlo simulation of unbiased estimator

erate = zeros(NMC,1);

for i=1:NMC

   y = randn(NC,1)  >= 0;
   x = randn(NC,NF) >= 0;

   % perform cross-validation

   partition = mod(1:NC, NFOLD)+1;
   y_xval    = zeros(size(y));

   for j=1:NFOLD

      % perform feature selection

      err       = mean(repmat(y(partition~=j),1,NF) ~= x(partition~=j,:));
      [err,idx] = min(err);

      y_xval(partition==j) = x(partition==j,idx(1));

   end

   erate(i) = mean(y_xval ~= y);

   plot(erate);
   drawnow;

end

erate = sort(erate);

fprintf(1, 'Unbiased estimator: erate = %f (%f - %f)\n', mean(erate), erate(ceil(0.025*end)), erate(floor(0.975*end)));

หากต้องการเพิ่มคำอธิบายปัญหาที่แตกต่างเล็กน้อยและทั่วไปมากขึ้น:

หากคุณทำการประมวลผลล่วงหน้าด้วยข้อมูลใด ๆเช่น

1. การปรับพารามิเตอร์ให้เหมาะสมแนะนำโดยการตรวจสอบข้าม / out-of-bootstrap
2. การลดขนาดด้วยเทคนิคเช่น PCA หรือ PLS เพื่อสร้างอินพุตสำหรับโมเดล (เช่น PLS-LDA, PCA-LDA)
3. ...

และต้องการใช้การตรวจสอบข้ามการตรวจสอบ / ออกจาก bootstrap (/ ถือออก) เพื่อประเมินประสิทธิภาพของรุ่นสุดท้ายการประมวลผลล่วงหน้าที่ขับเคลื่อนด้วยข้อมูลจำเป็นต้องดำเนินการกับข้อมูลการฝึกอบรมตัวแทนแทนแต่ละแบบจำลองตัวแทน

หากการประมวลผลล่วงหน้าที่ขับเคลื่อนด้วยข้อมูลเป็นประเภทที่ 1 สิ่งนี้จะนำไปสู่การตรวจสอบความถูกต้องแบบ "ซ้อน" หรือ "ซ้อน": การประมาณค่าพารามิเตอร์จะทำในการตรวจสอบความถูกต้องโดยใช้เฉพาะชุดฝึกอบรม ElemStatLearn มีภาพประกอบ ( https://web.stanford.edu/~hastie/Papers/ESLII.pdfหน้า 222 ของการพิมพ์ 5)

คุณอาจบอกว่าการประมวลผลล่วงหน้านั้นเป็นส่วนหนึ่งของการสร้างแบบจำลองจริงๆ การประมวลผลล่วงหน้าที่ทำเสร็จแล้วเท่านั้น

• อิสระสำหรับแต่ละกรณีหรือ
• เป็นอิสระจากชุดข้อมูลจริง

สามารถนำออกจากการตรวจสอบห่วงเพื่อบันทึกการคำนวณ

ดังนั้นวิธีอื่น: ถ้าแบบจำลองของคุณถูกสร้างขึ้นโดยความรู้ภายนอกชุดข้อมูลเฉพาะ (เช่นคุณตัดสินใจล่วงหน้าด้วยความรู้ผู้เชี่ยวชาญของคุณว่าช่องการวัด 63 - 79 ไม่สามารถช่วยแก้ปัญหาได้แน่นอนว่าคุณสามารถยกเว้นช่องเหล่านี้ได้ สร้างรูปแบบและข้ามตรวจสอบข้อมูลได้. เดียวกันถ้าคุณทำถดถอย PLS และตัดสินใจจากประสบการณ์ของคุณที่ 3 ตัวแปรแฝงเป็นทางเลือกที่เหมาะสม ( แต่ไม่ได้เล่นรอบไม่ว่าจะเป็น 2 หรือ 5 เลเวลให้ผลลัพธ์ที่ดีกว่า) แล้วคุณสามารถ ไปข้างหน้ากับการตรวจสอบ out-of-bootstrap / cross ปกติ

เรามาลองทำให้เข้าใจง่ายหน่อย ลองพิจารณาตัวอย่างนี้: คุณมีตัวทำนายไบนารีและสองตัวทำนายไบนารี คุณต้องการโมเดลที่มีตัวทำนายเพียงตัวเดียว ผู้ทำนายทั้งสองมีโอกาสพูดได้ 95% ว่าเท่ากับผู้อยู่ในความอุปการะและโอกาส 5% ที่จะไม่เห็นด้วยกับผู้ติดตาม

ตอนนี้โดยบังเอิญข้อมูลของคุณตัวทำนายหนึ่งเท่ากับการพึ่งพาข้อมูลทั้งหมดใน 97% ของเวลาและอีกอันหนึ่งเท่านั้นใน 93% ของเวลา คุณจะเลือกผู้ทำนายที่มี 97% และสร้างแบบจำลองของคุณ ในแต่ละรอบของการตรวจสอบความถูกต้องไขว้คุณจะมีตัวแบบพึ่งพา = ตัวทำนายเนื่องจากมันเกือบจะถูกต้องเสมอ ดังนั้นคุณจะได้รับประสิทธิภาพที่คาดการณ์ไว้ 97%

ตอนนี้คุณสามารถพูดได้โอเคนั่นเป็นเพียงโชคร้าย แต่ถ้าตัวทำนายถูกสร้างขึ้นแล้วคุณจะมีโอกาส 75% ของอย่างน้อยหนึ่งคนที่มีความแม่นยำ> 95% ในชุดข้อมูลทั้งหมดและนั่นคือสิ่งที่คุณจะเลือก ดังนั้นคุณจึงมีโอกาส 75% ที่จะประเมินค่าสูงไป

ในทางปฏิบัติมันไม่ได้เป็นเรื่องเล็กน้อยที่จะประเมินผลกระทบ เป็นไปได้อย่างสิ้นเชิงว่าการเลือกคุณสมบัติของคุณจะเลือกคุณสมบัติเดียวกันในแต่ละเท่าราวกับว่าคุณทำในชุดข้อมูลทั้งหมดจากนั้นจะไม่มีอคติ เอฟเฟกต์จะเล็กลงหากคุณมีตัวอย่างมากขึ้น แต่มีคุณสมบัติ อาจเป็นคำแนะนำให้ใช้ทั้งสองวิธีกับข้อมูลของคุณและดูว่าผลลัพธ์แตกต่างกันอย่างไร

คุณสามารถตั้งค่าข้อมูลจำนวนหนึ่ง (พูด 20%) ใช้ทั้งวิธีของคุณและวิธีที่ถูกต้องในการรับการประเมินประสิทธิภาพโดยการตรวจสอบความถูกต้องของ 80% และดูว่าการทำนายประสิทธิภาพใดพิสูจน์ความแม่นยำมากขึ้นเมื่อคุณถ่ายโอนโมเดลของคุณ % ของข้อมูลที่ตั้งไว้ โปรดทราบว่าสิ่งนี้จะใช้งานการเลือกคุณสมบัติของคุณก่อนที่ CV จะต้องทำเพียงแค่ 80% ของข้อมูล มิเช่นนั้นจะไม่จำลองการถ่ายโอนโมเดลของคุณไปยังข้อมูลภายนอกตัวอย่างของคุณ