วิธีง่าย ๆ ในการตรวจจับโค้ดในข้อความอย่างน่าเชื่อถือ?

GMail มีคุณสมบัตินี้ซึ่งจะเตือนคุณหากคุณพยายามส่งอีเมลที่คิดว่าอาจมีไฟล์แนบ

เนื่องจาก GMail ตรวจพบสตริงsee the attachedในอีเมล แต่ไม่มีสิ่งที่แนบมาจริงจึงเตือนฉันด้วยกล่องโต้ตอบตกลง / ยกเลิกเมื่อฉันคลิกปุ่มส่ง

เรามีปัญหาที่เกี่ยวข้องกับ Stack Overflow กล่าวคือเมื่อผู้ใช้เข้าสู่โพสต์เช่นนี้ :

ปัญหาของฉันคือฉันต้องเปลี่ยนฐานข้อมูล แต่ฉันจะไม่สร้าง 
การเชื่อมต่อใหม่ ตัวอย่าง:

ชุดข้อมูล dsMasterInfo = ชุดข้อมูลใหม่ ();
ฐานข้อมูล db = DatabaseFactory.CreateDatabase ("ConnectionString");
DbCommand dbCommand = db.GetStoredProcCommand ("uspGetMasterName");

ผู้ใช้นี้ไม่ได้ฟอร์แมตรหัสเป็นรหัส!

นั่นคือพวกเขาไม่ได้เยื้อง 4 ช่องว่างต่อมาร์กดาวน์หรือใช้ปุ่มรหัส (หรือแป้นพิมพ์ลัดctrl+ k) ที่ทำเพื่อพวกเขา

ดังนั้นระบบของเรายอมรับการแก้ไขจำนวนมากที่ผู้คนต้องเข้าไปและจัดรูปแบบโค้ดด้วยตนเองสำหรับผู้ที่ไม่สามารถเข้าใจได้ สิ่งนี้นำไปสู่การท้องมาก เราได้ปรับปรุงเครื่องมือแก้ไขหลายครั้ง แต่ขาดการขับรถไปที่บ้านของผู้ใช้และกดปุ่มที่ถูกต้องบนแป้นพิมพ์สำหรับพวกเขาพวกเรากำลังสูญเสียเพื่อดูว่าจะทำอย่างไรต่อไป

นั่นเป็นเหตุผลที่เรากำลังพิจารณาคำเตือนสไตล์ Google GMail:

คุณหมายถึงรหัสไปรษณีย์หรือไม่

คุณเขียนสิ่งที่เราคิดว่าดูเหมือนรหัส แต่คุณไม่ได้จัดรูปแบบเป็นรหัสโดยการเยื้องช่องว่าง 4 โดยใช้ปุ่มรหัสแถบเครื่องมือหรือคำสั่งctrl+ kการจัดรูปแบบรหัส

แต่นำเสนอคำเตือนนี้เราต้องตรวจสอบสถานะของสิ่งที่เราคิดว่าเป็นรหัสที่ยังไม่ฟอร์แมตในคำถาม อะไรคือวิธีที่ง่ายและกึ่งเชื่อถือได้ในการทำเช่นนี้?

• ต่อMarkdownรหัสจะถูกเยื้องโดยเว้นวรรค 4 ครั้งหรือภายใน backticks ดังนั้นสิ่งใดก็ตามที่จัดรูปแบบอย่างถูกต้องสามารถทิ้งจากเช็คได้ทันที
• นี่เป็นเพียงคำเตือนและจะใช้กับผู้ใช้ที่มีชื่อเสียงน้อยเท่านั้นที่ถามคำถามแรกของพวกเขา (หรือให้คำตอบแรก) ดังนั้นผลบวกที่ผิดพลาดบางอย่างก็โอเคตราบใดที่พวกเขามีประมาณ 5% หรือน้อยกว่า
• คำถามเกี่ยวกับ Stack Overflow อาจเป็นภาษาใดก็ได้แม้ว่าเราจะสามารถ จำกัด การตรวจสอบของเราเป็นจริงพูดภาษา "สิบหลัก" ตามหน้าแท็กที่จะเป็น C #, Java, PHP, JavaScript, Objective-C, C, C ++, Python, Ruby
• ใช้การถ่ายโอนข้อมูลแบบกองซ้อนของครีเอทีฟคอมมอนส์เพื่อตรวจสอบโซลูชันที่เป็นไปได้ของคุณ (หรือเลือกคำถามสองสามข้อในแท็ก 10 อันดับแรกของ Stack Overflow) และดูวิธีการทำงาน
• Pseudocode นั้นใช้ได้ แต่เราใช้ c # ถ้าคุณต้องการเป็นมิตรเพิ่ม
• ง่ายกว่าดีกว่า (ตราบใดที่มันใช้งานได้) จูบ! หากวิธีการแก้ปัญหาของคุณต้องการให้เราพยายามรวบรวมโพสต์ในคอมไพเลอร์ 10 ตัวที่แตกต่างกันหรือกองทัพของผู้คนเพื่อฝึกฝนกลไกการอนุมานแบบเบย์ด้วยตนเองนั่นคือ ... ไม่ใช่สิ่งที่เราคิดไว้ในใจ

วิธีแก้ปัญหาที่เหมาะสมน่าจะเป็นแบบจำลองที่เรียนรู้ / สถิติ แต่นี่เป็นแนวคิดสนุก ๆ

1. กึ่งทวิภาคในตอนท้ายของบรรทัด สิ่งนี้เพียงอย่างเดียวก็จะจับได้ทั้งภาษา
2. เครื่องหมายวงเล็บตรงตามข้อความโดยไม่มีช่องว่างเพื่อแยก: myFunc()
3. จุดหรือลูกศรระหว่างสองคำ: foo.bar = ptr->val
4. การปรากฏตัวของวงเล็บปีกกา, วงเล็บ: while (true) { bar[i]; }
5. สถานะของ "ความคิดเห็น" ไวยากรณ์ (/ *, //, ฯลฯ ): /* multi-line comment */
6. ตัวอักษร / ตัวดำเนินการผิดปกติ: +, *, &, &&, |, ||, <, >, ==, !=, >=, <=, >>, <<, ::, __
7. เรียกใช้ปากกาเน้นข้อความไวยากรณ์ของคุณบนข้อความ ถ้ามันลงเอยด้วยการเน้นเปอร์เซ็นต์ที่สูงของมันก็อาจเป็นโค้ด
8. ข้อความ camelCase ในโพสต์
9. วงเล็บซ้อนกันวงเล็บและ / หรือวงเล็บเหลี่ยม

เราสามารถติดตามจำนวนครั้งที่ปรากฎแต่ละครั้งและสิ่งเหล่านี้สามารถใช้เป็นคุณสมบัติในอัลกอริทึมการเรียนรู้ของเครื่องอย่างเช่นperceptronซึ่งเป็นวิธีที่ SpamAssassin ทำ

ฉันอยากรู้อยากเห็นว่าการวัดโดยเฉลี่ยของการเขียนภาษาอังกฤษในด้านใดด้านหนึ่งและรหัสในอีกด้านหนึ่ง

• ความยาวของย่อหน้า
• ความยาวของเส้น
• ขนาดของคำ
• ตัวอักษรที่ใช้
• อัตราส่วนระหว่างตัวอักษรตัวเลขและสัญลักษณ์อื่น ๆ
• จำนวนสัญลักษณ์ต่อคำ
• เป็นต้น

บางทีนั่นอาจแยกแยะระหว่างรหัสและที่เหลือเพียงอย่างเดียว อย่างน้อยฉันก็เชื่อว่ารหัสโดยไม่คำนึงถึงภาษาจะแสดงตัวชี้วัดที่แตกต่างกันอย่างเห็นได้ชัดในหลายกรณี

ข่าวดีคือคุณมีข้อมูลมากมายที่จะสร้างสถิติของคุณ

ตกลงฉันกลับมาพร้อมข้อมูลบางอย่างเพื่อสำรองสมมติฐานของฉัน :-)

ผมได้ทดสอบที่รวดเร็วและสกปรกในโพสต์ของคุณเองและในการโพสต์แรกที่ผมพบใน StackOverflowwcด้วยเครื่องมือที่ทันสมัยสวย:

นี่คือสิ่งที่ฉันมีหลังจากทำงานwcในส่วนข้อความและในส่วนรหัสของทั้งสองตัวอย่าง:

ก่อนอื่นให้ดูที่ส่วนภาษาอังกฤษ :

• ส่วนภาษาอังกฤษของโพสต์ของคุณ (2635 ตัวอักษร, 468 คำ, 32 บรรทัด)
  • 5ตัวอักษร / คำ, 82ตัวอักษร / บรรทัด, 14คำ / บรรทัด
• ส่วนภาษาอังกฤษของโพสต์อื่น ๆ (1,499 ตัวอักษร, 237 คำ, 12 บรรทัด)
  • 6ตัวอักษร / คำ, 124ตัวอักษร / บรรทัด, 19คำ / บรรทัด

คุณไม่คิดเหมือนกันเลย

ตอนนี้ให้ดูที่ส่วนรหัส !

• ส่วนรหัสของโพสต์ของคุณ (174 ตัวอักษร, 13 คำ, 3 บรรทัด)
  • 13ตัวอักษร / คำ, 58ตัวอักษร / บรรทัด, 4คำ / บรรทัด
• ส่วนรหัสของโพสต์อื่น ๆ (4181 ตัวอักษร 287 คำ, 151 บรรทัด)
  • 14ตัวอักษร / คำ27ตัวอักษร / บรรทัด2คำ / บรรทัด

ดูว่าการวัดเหล่านั้นไม่แตกต่างกันอย่างไรและที่สำคัญกว่านั้นการวัดนั้นแตกต่างจากเมตริกภาษาอังกฤษอย่างไร และนี่เป็นเพียงการใช้เครื่องมือที่มี จำกัด ตอนนี้ฉันมั่นใจว่าคุณจะได้รับสิ่งที่ถูกต้องจริง ๆ โดยการวัดตัวชี้วัดเพิ่มเติม (ฉันกำลังคิดถึงสถิติตัวอักษรโดยเฉพาะ)

ฉันสามารถคุกกี้ฮาเซล?

โดยทั่วไปโซ่มาร์คอฟจะใช้ในการสร้างข้อความ แต่พวกเขายังสามารถใช้ในการทำนายความคล้ายคลึงกันของข้อความ (ต่อCE CE แชนนอน 1950 ) กับรูปแบบการฝึกอบรม ฉันแนะนำโซ่มาร์คอฟหลายลูก

สำหรับแต่ละภาษาที่แพร่หลายฝึกอบรมลูกโซ่มาร์คอฟกับตัวอย่างโค้ดขนาดใหญ่ในภาษา จากนั้นสำหรับโพสต์ Stack Overflow ที่คุณต้องการตรวจจับโค้ดให้ทำดังต่อไปนี้สำหรับแต่ละกลุ่ม:

• วนรอบบรรทัดในโพสต์
  • ประกาศตัวแปรสองตัว: ACTUAL = 1.0 และ HIGHEST = 1.0
  • วนซ้ำอักขระแต่ละตัวในบรรทัด
    • สำหรับแต่ละตัวอักษรค้นหาความน่าจะเป็นในลูกโซ่มาร์คอฟที่ตัวละครปัจจุบันเป็นตัวถัดจากตัวอักษร N ก่อนหน้า ตั้งจริง = จริง * PROB 1 หากอักขระปัจจุบันไม่มีอยู่ในห่วงโซ่ให้ใช้ค่าเล็ก ๆ สำหรับ PROB ₁เช่น 0.000001
    • ตอนนี้ค้นหาตัวละครที่มีโอกาสมากที่สุด (เช่นความน่าจะเป็นสูงสุด) เพื่อติดตามตัวละคร N ตัวก่อนหน้า ตั้ง = มากที่สุดเป็นอันดับสูงสุด * PROB 2
    • เห็นได้ชัดว่า PROB ₂ > = PROB ₁

สำหรับแต่ละบรรทัดคุณควรมีค่าจริงและสูงที่สุด แบ่งตามจริงโดยมากที่สุด ที่จะให้คะแนนการออกกำลังกายของคุณว่าบรรทัดใดบรรทัดหนึ่งเป็นซอร์สโค้ดหรือไม่ นั่นจะเชื่อมโยงตัวเลขกับแต่ละบรรทัดในตัวอย่างที่คุณให้:

my problem is I need to change the database but I don't won't to create // 0.0032
a new connection. example: // 0.0023

DataSet dsMasterInfo = new DataSet(); // 0.04
Database db = DatabaseFactory.CreateDatabase("ConnectionString");   // 0.05
DbCommand dbCommand = db.GetStoredProcCommand("uspGetMasterName");  // 0.04

สุดท้ายคุณจะต้องเลือกเกณฑ์เพื่อกำหนดว่าจะมีรหัสในโพสต์เมื่อใด นี่อาจเป็นตัวเลขที่เลือกโดยการสังเกตที่ให้ประสิทธิภาพสูง นอกจากนี้ยังสามารถคำนึงถึงจำนวนบรรทัดด้วยคะแนนสูง

การอบรม

ในการฝึกอบรมจัดหาตัวอย่างโค้ดขนาดใหญ่ที่เป็นตัวแทนในภาษา เขียนโปรแกรมเพื่อวนลูปข้อความรหัสและเชื่อมโยงแต่ละ N-Gram ในไฟล์ (ช่วงสำหรับ N ควรกำหนดพารามิเตอร์) กับความถี่ทางสถิติของตัวละครที่ตามมา สิ่งนี้จะให้สถานะของตัวอักษรที่เป็นไปได้หลายสถานะซึ่งตามหลังบิกแกรมแต่ละอันเกี่ยวข้องกับความน่าจะเป็น ตัวอย่างเช่น bigram "()" อาจมีความน่าจะเป็นของตัวละครดังต่อไปนี้:

"()" 0.5-> ";"
"()" 0.2-> "."
"()" 0.3-> "{"

สิ่งแรกที่ควรอ่านเช่น "ความน่าจะเป็นที่เครื่องหมายอัฒภาคตามหลังเครื่องหมายวงเล็บว่างคือ 0.5"

สำหรับการฝึกอบรมฉันแนะนำขนาด N-กรัมสองถึงห้า ย้อนกลับไปเมื่อฉันทำการวิจัยเกี่ยวกับเรื่องนี้เราพบว่าขนาด N- กรัมสองถึงห้าทำงานได้ดีสำหรับภาษาอังกฤษ เนื่องจากซอร์สโค้ดส่วนใหญ่เป็นภาษาอังกฤษฉันขอแนะนำให้เริ่มต้นด้วยช่วงนั้นแล้วปรับเพื่อค้นหาค่าพารามิเตอร์ที่ดีที่สุดในขณะที่คุณค้นหาสิ่งที่ใช้ได้

ข้อแม้: แบบจำลองจะได้รับผลกระทบจากตัวระบุชื่อวิธีการช่องว่างและอื่น ๆ อย่างไรก็ตามคุณสามารถปรับการฝึกอบรมเพื่อละเว้นคุณลักษณะบางอย่างของตัวอย่างการฝึกอบรม ตัวอย่างเช่นคุณสามารถยุบช่องว่างที่ไม่จำเป็นทั้งหมดได้ การมีอยู่ของช่องว่างในอินพุต (โพสต์สแต็คโอเวอร์โฟลว์) สามารถละเว้นได้เช่นกัน คุณสามารถเพิกเฉยกรณีตัวอักษรซึ่งจะมีความยืดหยุ่นมากกว่าเมื่อต้องเผชิญกับการตั้งชื่อตัวระบุที่แตกต่างกัน

ในระหว่างการวิจัยของฉันเราพบว่าวิธีการของเราทำงานได้ดีสำหรับภาษาสเปนและภาษาอังกฤษ ฉันไม่เห็นว่าทำไมสิ่งนี้ถึงทำงานได้ไม่ดีสำหรับซอร์สโค้ด ซอร์สโค้ดมีโครงสร้างและคาดการณ์ได้ดีกว่าภาษามนุษย์

ฉันขอแนะนำวิธีที่แตกต่างอย่างสิ้นเชิงได้ไหม? ในดังนั้นมนุษย์เพียงคนเดียวที่ได้รับอนุญาตภาษาคือภาษาอังกฤษดังนั้นอะไรที่ไม่ใช่ภาษาอังกฤษมี 99.9% มีโอกาสที่จะเป็นข้อมูลโค้ด

ดังนั้นวิธีการแก้ปัญหาของฉันคือ: ใช้หนึ่งในตัวตรวจสอบภาษาอังกฤษที่มีอยู่มากมาย (ตรวจสอบให้แน่ใจว่าพวกเขาส่งสัญญาณ - ด้านข้างคำที่สะกดผิด - ข้อผิดพลาดทางไวยากรณ์เช่นจุดสองจุดหรือสัญลักษณ์ที่ไม่ใช่ภาษาเช่น#หรือ~) จากนั้นบรรทัด / ย่อหน้าใด ๆ ที่ส่งข้อผิดพลาดและคำเตือนจำนวนมากควรเปิดใช้งาน "รหัสนี้หรือไม่" คำถาม.

วิธีการนี้ยังสามารถปรับใช้สำหรับไซต์ StackExchange เหล่านั้นโดยใช้ภาษาอื่นที่ไม่ใช่ภาษาอังกฤษแน่นอน

แค่ 2 my ของฉัน ...

ฉันอาจจะได้รับการลงคะแนนเล็กน้อยสำหรับเรื่องนี้ แต่ฉันคิดว่าคุณกำลังเข้าใกล้นี้จากมุมที่ผิด

บรรทัดนี้ให้ฉัน:

คนต้องเข้าไปและจัดรูปแบบรหัสด้วยตนเองสำหรับคนที่ไม่สามารถคิดออก

IMO นั้นจุดยืนคือความหยิ่ง ฉันพบสิ่งนี้มากในการออกแบบซอฟต์แวร์ที่โปรแกรมเมอร์และนักออกแบบสร้างความรำคาญให้กับผู้ใช้ที่ไม่สามารถหาวิธีใช้ซอฟต์แวร์ได้อย่างถูกต้องเมื่อปัญหาไม่ใช่ผู้ใช้ แต่เป็นตัวซอฟต์แวร์เองหรือ UI อย่างน้อย

สาเหตุที่แท้จริงของปัญหานี้ไม่ใช่ผู้ใช้ แต่ความจริงที่ว่าพวกเขาไม่สามารถทำได้

แล้วการเปลี่ยนแปลง UI จะทำให้สิ่งนี้ชัดเจนยิ่งขึ้นได้อย่างไร แน่นอนนี่จะเป็น:

1. ชัดเจนมากขึ้นกับผู้ใช้ใหม่ว่าสิ่งที่พวกเขาต้องทำ
2. ง่ายกว่าสำหรับคุณที่จะสร้างแทนที่จะเขียนอัลกอริทึมที่ซับซ้อนเพื่อตรวจสอบลอจิกโค้ดของภาษาจำนวนมาก

ตัวอย่าง:

รหัสหลอกจะเป็นสิ่งที่ท้าทายอย่างแท้จริงเพราะภาษาการเขียนโปรแกรมทั้งหมดขึ้นอยู่กับอักขระพิเศษเช่น '[]', ';', '()' ฯลฯ เพียงนับการเกิดขึ้นของอักขระพิเศษเหล่านี้ เช่นเดียวกับที่คุณตรวจพบไฟล์ไบนารี (ตัวอย่างมากกว่า 5% มีค่าไบต์ 0)

ฉันคิดว่าคุณอาจต้องกำหนดเป้าหมายนี้กับภาษาเฉพาะเท่านั้นโดยทั่วไปปัญหานี้อาจเป็นเรื่องยากเนื่องจากคุณสามารถรับภาษาที่ค่อนข้างคล้ายคลึงกับภาษาอังกฤษ (เช่นinform7 ) แต่โชคดีที่สิ่งที่ใช้มากที่สุดนั้นสามารถครอบคลุมได้ง่ายพอสมควร

การตัดครั้งแรกของฉันคือค้นหาลำดับ "; \ n" ซึ่งจะช่วยให้คุณได้รับการจับคู่ที่ดีสำหรับ C, C ++, Java, C # และภาษาอื่น ๆ ที่ใช้ไวยากรณ์ที่คล้ายกันและง่ายมาก มันยังมีโอกาสน้อยที่จะใช้ในภาษาอังกฤษกว่า; โดยไม่ต้องขึ้นบรรทัดใหม่

มีคนพูดถึงการดูที่แท็กจากนั้นมองหาไวยากรณ์สำหรับสิ่งนั้น แต่นั่นถูกทำให้แย่ลงเพราะสิ่งนี้มีวัตถุประสงค์เพื่อผู้ใช้ใหม่

ทางออกที่ดีกว่าที่เป็นไปได้คือการค้นหาชื่อภาษาในเนื้อหาของคำถามจากนั้นใช้กลยุทธ์เดียวกัน หากฉันพูดถึง "Javascript", "Java" หรือ "C #" โอกาสที่จะเป็นไปได้คือคำถามที่เกี่ยวกับและรหัสในคำถามนั้นน่าจะเป็นภาษานั้น

อันดับแรกเรียกใช้ผ่านการตรวจสอบการสะกดคำจะพบคำภาษาอังกฤษที่เหมาะสมน้อยมาก แต่ควรมีคำจำนวนมากที่เครื่องตรวจการสะกดคำจะแนะนำให้แยก

จากนั้นมีเครื่องหมายวรรคตอน / อักขระพิเศษที่ไม่ปกติสำหรับภาษาอังกฤษทั่วไปโดยทั่วไปสำหรับรหัส:

• something(); ไม่สามารถเป็นภาษาอังกฤษธรรมดาได้
• $somethingที่somethingไม่ใช่ตัวเลขทั้งหมด
• -> ระหว่างคำที่ไม่มีช่องว่าง
• . ระหว่างคำที่ไม่มีช่องว่าง

แน่นอนว่ามันจะทำงานได้ดีคุณอาจต้องการให้ตัวจําแนกเบส์สร้างขึ้นจากคุณลักษณะเหล่านี้

มีหลายภาษาที่ใช้ไวยากรณ์ร่วมกัน ภาษาส่วนใหญ่ได้รับอิทธิพลจากบางภาษาดังนั้นภาษา [AMPL, AWK, csh, C ++, C--, C #, วัตถุประสงค์ -C, BitC, D, Go, Java, JavaScript, Limbo, LPC, Perl, PHP, Pike, การประมวลผล [ทั้งหมดได้รับอิทธิพลจาก C ดังนั้นหากคุณตรวจพบ C คุณอาจตรวจพบภาษาเหล่านี้ทั้งหมด ดังนั้นคุณต้องเขียนรูปแบบง่าย ๆ เพื่อตรวจจับชุดภาษานี้เท่านั้น

ฉันจะแยกข้อความออกเป็นบล็อกด้วยเนื่องจากโค้ดส่วนใหญ่จะแบ่งเป็นสองบรรทัดใหม่หรือคล้ายกันจากบล็อกข้อความอื่น ๆ ในโพสต์

สิ่งนี้สามารถทำได้ง่ายด้วย javascript (ตัวอย่างที่ไม่สมบูรณ์สำหรับครอบครัวค):

var txt = "my problem is I need to change the database but I don't won't to create a new connection. example:\n\nDataSet dsMasterInfo = new DataSet();Database db = DatabaseFactory.CreateDatabase("ConnectionString");DbCommand dbCommand = db.GetStoredProcCommand("uspGetMasterName");";
var blocks = txt.split(/\n\n/gi); console.dir(blocks);
var i = blocks.length;
var cReg = /if\s*\(.+?\)|.*(?:int|char|string|short|long).*?=.+|while\s*\(.+?\)/gi;

while ( i-- ){
   var current = blocks[i];
   if ( cReg.test( current ) ){
      console.log("found code in block[" +  i + "]");
   }
}

เพียงนับคำ / เครื่องหมายวรรคตอนสำหรับแต่ละบรรทัด ภาษาอังกฤษมีแนวโน้มที่จะมี 4 รหัสขึ้นไปรหัสน้อยกว่า 2

ย่อหน้าข้างต้นมี 18 คำและเครื่องหมายวรรคตอน 4 ตัว ย่อหน้านี้มี 19 คำและเครื่องหมายวรรคตอน 4 ดังนั้นภายในความคาดหวัง

แน่นอนว่าสิ่งนี้จะต้องมีการทดสอบกับคำถามของผู้ที่พูดภาษาอังกฤษไม่ดีและอาจเป็นไปได้ว่าในกรณีเหล่านั้นสถิติจะเบ้

ฉันคาดหวังว่า [ไม่ใช่ช่องว่าง] [ช่องว่างหรือบรรทัดใหม่] หายากมากในรหัส แต่พบได้ทั่วไปในภาษาอังกฤษดังนั้นสิ่งนี้อาจนับได้ว่าเป็นคำไม่ใช่เครื่องหมายวรรคตอน

ฉันคิดว่าปัญหาที่ใหญ่ที่สุดคือรหัสแบบอินไลน์ซึ่งมีคนถามคำถามเช่น:

ถ้าฉันพูดถึง (i = 0; i> 100; i ++) {} นั่นหมายความว่าอย่างไร

นั่นคือรหัสและภาษาอังกฤษและควรถูกทำเครื่องหมายเช่นเดียวกับ back-ticks:

ถ้าฉันบอกfor (i=0; i>100; i++) {}ว่านั่นหมายความว่าอย่างไร

ฉันคิดว่าคุณควรแยกแยะความแตกต่างระหว่างโค้ดที่จัดรูปแบบ (อย่างเพียงพอ) ที่จำเป็นต้องได้รับการกำหนดให้เป็นเช่นนี้และ (เกินไป) โค้ดที่จัดรูปแบบไม่ดีซึ่งต้องการการจัดรูปแบบด้วยตนเองอยู่ดี

รหัสที่จัดรูปแบบมี breaklines และเยื้อง นั่นคือ: ถ้าบรรทัดนำหน้าด้วย breakline เดียวคุณมีผู้สมัครที่ดี ถ้ามันมี whitespaces ชั้นนำด้านบนของที่คุณมีผู้สมัครที่ดีมาก

ข้อความปกติใช้จุดพักสองหรือสองช่องว่างและเส้นแบ่งสำหรับการจัดรูปแบบดังนั้นจึงมีเกณฑ์ที่ชัดเจนสำหรับความแตกต่าง

ในรหัส LISP คุณจะไม่พบอัฒภาคในรหัส Ruby คุณอาจไม่พบวงเล็บในรหัสหลอกคุณอาจไม่พบอะไรเลย แต่ในภาษาใด ๆ ที่ไม่ใช่ความลับคุณจะพบโค้ดที่เหมาะสมที่จะจัดรูปแบบด้วยตัวแบ่งและการเยื้อง ไม่มีอะไรที่เป็นสากลอย่างนั้น เพราะในรหัสท้ายคือเขียนเพื่อให้มนุษย์อ่านได้

ดังนั้นแรกค้นหาศักยภาพสายรหัส นอกจากนี้บรรทัดของรหัสมักจะมาในกลุ่ม หากคุณมีหนึ่งมีโอกาสที่ดีที่ด้านบนหรือด้านล่างเป็นบรรทัดของรหัสเช่นกัน

เมื่อคุณแยกบรรทัดของรหัสที่เป็นไปได้แล้วคุณสามารถตรวจสอบกับเกณฑ์เชิงปริมาณและเลือกเกณฑ์ :

• ความถี่ของอักขระที่ไม่ใช่คำ
• ความถี่ของตัวระบุ: คำที่สั้นมากหรือคำที่ยาวมากด้วย CamelCase หรือ under_score style
• การทำซ้ำคำที่ผิดปกติ

นอกจากนี้ตอนนี้มีโปรแกรมเมอร์และ cs ขอบเขตของ stackoverflow แคบลงอย่างชัดเจน หนึ่งอาจพิจารณา denoting แท็กภาษาทั้งหมดเป็นภาษา และเมื่อโพสต์คุณจะถูกขอให้เลือกอย่างน้อยหนึ่งแท็กภาษาเลือกlanguage-agnosticแท็กหรือละเว้นอย่างชัดเจน

ในกรณีแรกคุณรู้ว่าภาษาใดที่ควรมองหาในกรณีที่สองคุณอาจต้องการค้นหารหัสหลอกและในกรณีสุดท้ายอาจไม่มีรหัสใด ๆ เพราะเป็นคำถามที่เกี่ยวข้องกับเทคโนโลยีบางอย่างหรือ กรอบหรือเช่น

คุณสามารถสร้างเครื่องมือแยกวิเคราะห์สำหรับแต่ละภาษาที่คุณต้องการตรวจหา (คำจำกัดความภาษาสำหรับ ANTLR มักจะหาง่าย) จากนั้นเรียกใช้แต่ละบรรทัดของคำถามผ่านแต่ละเครื่องมือแยกวิเคราะห์ หากมีการแยกบรรทัดใด ๆ อย่างถูกต้องคุณอาจมีรหัส

ปัญหาของเรื่องนี้คือประโยคภาษาอังกฤษ (ภาษาธรรมชาติ) บางประโยคอาจแยกวิเคราะห์เป็นรหัสดังนั้นคุณอาจต้องการรวมแนวคิดอื่นด้วย ตัวแยกวิเคราะห์ภาษาเดียวกัน

ปัญหาที่อาจเกิดขึ้นอื่น ๆ คือสิ่งนี้อาจจะไม่รับรหัสเทียม แต่อาจเป็นไปได้

สิ่งที่อาจเป็นหลักฐานในอนาคตและต้องการการปรับคู่มือน้อยที่สุดในระยะยาวเนื่องจากภาษาอื่น ๆ (ซึ่งดูแตกต่างจากภาษาโปรแกรมที่ใช้มากที่สุดตอนนี้) เป็นที่นิยมมากขึ้นและภาษาที่ใช้ในปัจจุบันกลายเป็นที่นิยมน้อยลง คล้ายกับที่Google แปลภาษาทำงาน (ดูย่อหน้าที่ชื่อว่า "ทำงานอย่างไร?") แทนที่จะมองหาบางอย่างเช่น ab และ a () เป็นต้น

ในคำอื่น ๆ แทนการด้วยตนเองความคิดของรูปแบบที่พบในรหัสที่จะมองหาคอมพิวเตอร์สามารถคิดออกด้วยตัวเอง ซึ่งสามารถทำได้โดยมี

1. รหัสมากมายในภาษาการเขียนโปรแกรมที่แตกต่างกัน

   • คำแนะนำ: นำตัวอย่างรหัสจากแหล่งเก็บข้อมูลบนเว็บโดยอัตโนมัติเช่น Google Code หรือ Github หรือแม้กระทั่งจากสิ่งต่าง ๆ ใน Stackoverflow ที่ทำเครื่องหมายเป็นรหัสแล้ว

   • หมายเหตุ: อาจเป็นการดีที่จะแยกวิเคราะห์ความคิดเห็นของโค้ด

2. ข้อความภาษาอังกฤษมากมายที่นำมาจากบทความบนเว็บ

   • แม้ว่าจะไม่ได้มาจากบทความเกี่ยวกับการเขียนโปรแกรม (มิฉะนั้นพวกเขาอาจมีรหัสในพวกเขาและผสมระบบขึ้น :-))

และการมีอัลกอริทึมบางอย่างจะค้นหารูปแบบในโค้ดที่ไม่ได้เป็นภาษาอังกฤษโดยอัตโนมัติและในทางกลับกันและใช้รูปแบบเหล่านั้นเพื่อตรวจสอบโค้ดคืออะไรและโค้ดใดที่ไม่ใช้รหัสโดยเรียกใช้อัลกอริทึมบนโพสต์

(อย่างไรก็ตามฉันไม่แน่ใจว่าอัลกอริทึมดังกล่าวทำงานอย่างไรคำตอบอื่น ๆ สำหรับคำถามปัจจุบันอาจมีข้อมูลที่เป็นประโยชน์สำหรับเรื่องนั้น)

จากนั้นระบบสามารถสแกนรหัสซ้ำ ๆ เป็นระยะ ๆ เพื่อพิจารณาการเปลี่ยนแปลงของวิธีการดูรหัส ณ จุดนั้นในเวลา