ฉันจะตัดสินกระดาษได้อย่างไร

อัปเดตด้านล่าง

เราทุกคนรู้ถึงความสำคัญที่สำคัญของการทบทวน มันเป็นรูปแบบหลักของการควบคุมคุณภาพและข้อเสนอแนะในการวิจัย อย่างไรก็ตามสำหรับนักวิจัยขั้นต้น (เช่นฉัน) บางครั้งมันอาจเป็นระบบ / กระบวนการที่สับสน

ดังนั้นจึงมีหลายบทความเกี่ยวกับกระบวนการตัดสินทางวิทยาศาสตร์ที่ให้คำแนะนำ ตัวอย่างสอง (แตกต่างกันมาก) จากวิทยาการคอมพิวเตอร์ - บทความ 1994 โดย Parberryและอีกหนึ่งเรื่องล่าสุดโดย Cormode - เสนอคำแนะนำที่ดี

ที่นี่ฉันต้องการขอคำแนะนำที่กว้างขึ้นจากสมาชิกที่มีประสบการณ์มากขึ้นของชุมชนนี้เกี่ยวกับกระบวนการตรวจสอบโดยคำนึงถึงลักษณะเฉพาะของวิทยาศาสตร์คอมพิวเตอร์เชิงทฤษฎี

1. เกณฑ์หลักในการพิจารณาความสำคัญของผลลัพธ์ของกระดาษมีอะไรบ้าง ฉันจะตัดสินได้อย่างไรว่าควรจะยอมรับบทความในการประชุม / วารสาร? การตรวจสอบความถูกต้องเป็นสิ่งสำคัญหรือไม่
2. องค์ประกอบหลักของรายงานผู้ตัดสินคืออะไรและส่วนใดสำคัญที่สุด? จำเป็นหรือไม่ที่จะต้องให้คำแนะนำในการยอมรับ (ไม่ใช่)? มีอะไรในรายงานและสิ่งใดที่จะแก้ไข แต่เพียงผู้เดียว
3. การประเมินการประชุมแตกต่างจากในวารสารอย่างไร รายงานสำหรับการประชุมต่างจากรายงานในวารสารอย่างไร (ฉันจะให้คะแนน "ความเชื่อมั่น" ของฉันบนโลกได้อย่างไรตามคำแนะนำของฉัน) รุ่นวารสารควรแตกต่างจากรายงานการประชุมหรือไม่
4. ถ้าฉันไม่เข้าใจกระดาษล่ะ ... หลักฐานหรือไม่ (มันเป็นความผิดของฉันหรือพวกเขา?)
5. แล้วข้อผิดพลาดทางไวยากรณ์และการพิมพ์ล่ะ? เกิดอะไรขึ้นถ้าพวกเขามีจำนวนมาก?
6. ฉันควรใช้เวลาในการรายงานนานเท่าใด
7. ฉันคาดว่าจะเขียนรายงานปีละกี่ครั้ง? เมื่อใดที่จะยอมรับการปฏิเสธคำขอไปยังผู้ตัดสิน?

แน่นอนคำถามและคำตอบอื่น ๆ ที่เกี่ยวข้องในหัวข้อนี้ได้รับการสนับสนุนเนื่องจากนี่คือ CW

คำถามนี้เป็นแรงบันดาลใจ (ขโมย) จากการโพสต์ใกล้เคียงที่ MathOverflow

อัปเดต 15/02/2011:

ฉันยังคงสนใจที่จะรับข้อมูลเพิ่มเติมเกี่ยวกับคำถามนี้โดยเฉพาะอย่างยิ่งเกี่ยวกับการทบทวนเอกสารการประชุมและการเป็นสมาชิกของคณะกรรมการโครงการ (บทบาททั้งสองนี้เป็นสัตว์ร้ายที่แตกต่างกันและทั้งคู่ต่างจากการเป็นผู้ตัดสินบทความในวารสาร IMO) จริง ๆ แล้วการสมัครสมาชิกของคณะกรรมการนั้นยากกว่าการตัดสินหรือทบทวน (และยังไม่เป็นสิทธิ์ของฉัน) แต่เป็น ความรับผิดชอบที่นักวิจัยทุกคนในวิทยาการคอมพิวเตอร์เชิงทฤษฎีจะต้องดำเนินการในที่สุด

• เวลา. ฉันคาดว่าจะใช้เวลาเท่าไหร่ในฐานะสมาชิกคณะกรรมการหรือผู้ตรวจสอบการประชุม? เมื่อพิจารณาถึงความน่าจะเป็นที่ฉันจะได้รับสิบหรือมากกว่านั้นเพื่อจัดการกับพื้นที่ของสองสามสัปดาห์ฉันจะหลีกเลี่ยงการหมดเวลาได้อย่างไร อะไรคือสิ่งสำคัญที่สุดในการใช้เวลา

• ความมั่นใจ. จะทำอย่างไรถ้ากระดาษนั้นอยู่ไกลจากความเชี่ยวชาญของฉันมากเกินไป ปัจจัยใดบ้างที่ควรใช้ในการเสนอชื่อ / ขอให้คนอื่นตรวจสอบการส่ง หากไม่ไกลจากความเชี่ยวชาญของฉันและฉันเลือกที่จะตรวจสอบมันจะอนุญาตให้อันดับความเชื่อมั่นที่ 1 เมื่อใด

• เกณฑ์ มีความแตกต่างที่สำคัญระหว่างวารสารและการประชุม เอกสารสำคัญบางฉบับไม่ได้ตีพิมพ์ในวารสาร เอกสารสำคัญบางอย่างไม่เคยปรากฏในการประชุม อะไรคือความแตกต่างที่สำคัญที่สุดในเกณฑ์ที่ใช้ประเมินเอกสารในการตั้งค่าเหล่านี้

• ข้อเสนอแนะ โดยเนื้อแท้มีข้อเสนอแนะน้อยกว่าที่สามารถเสนอให้กับผู้เขียนบทความการประชุมส่วนใหญ่เนื่องจากข้อ จำกัด ของพื้นที่และเวลา นอกจากนี้มักจะมีเพียงหนึ่งรอบของการตรวจสอบ สิ่งที่ควรพิจารณาอีกประการคือรายงานของฉันจะเปิดเผยต่อสาธารณะต่อคณะกรรมการที่แข็งแกร่งทั้งหมด ขอบเขตของข้อเสนอแนะ / คำสั่งที่ฉันสามารถนำเสนอคืออะไร?

ก่อนหน้านี้ถ้าคุณคิดว่าฉันไม่ได้ถามคำถามใด ๆ โปรดแจ้งให้เราทราบหรือแก้ไขโดยตรง นี่คือ CW หลังจากทั้งหมด

ความคิดใหม่ ๆ เหล่านี้มีแรงจูงใจบางส่วนจากการอ่านหนังสือพิมพ์ที่Suresh กล่าวถึงในบล็อกของเขา

1. เพื่อความรู้ที่ดีที่สุดของคุณกระดาษทำมีส่วนร่วมอย่างมีนัยสำคัญนำเสนออย่างดีและถูกต้องเพื่อสถานะของศิลปะ? หากกระดาษไม่ผ่านเกณฑ์สามข้อใด ๆ มันก็ยุติธรรมที่จะปฏิเสธด้วยเหตุผลนั้นเพียงลำพังโดยไม่คำนึงถึงอีกสองข้อ

2. นี่คือสิ่งที่ฉันคิดว่ารายงานควรมี ผู้แต่งควรมองเห็นทุกสิ่งยกเว้นอาจมีการกล่าวหาว่าประพฤติตนไม่เหมาะสม

   บทสรุปโดยย่อของบทความเพื่อช่วยให้ผู้ตัดสินตัดสินคุณภาพของผลลัพธ์และช่วยโน้มน้าวใจทั้งผู้แต่งและบรรณาธิการที่คุณอ่านและเข้าใจกระดาษ วางผลลัพธ์ในบริบทที่ใหญ่ขึ้น รวมประวัติของรุ่นก่อนหน้าแม้ว่าผู้แต่งจะรวมไว้ในการส่ง จงเคารพ แต่ความซื่อสัตย์อย่างไร้ความปราณี

   ข การอภิปรายเกี่ยวกับจุดแข็งและจุดอ่อนของกระดาษในแง่ของความถูกต้องความแปลกใหม่ความชัดเจนความสำคัญทั่วไปผลกระทบที่อาจเกิดขึ้นความสง่างามความลึกด้านเทคนิคความแข็งแกร่ง ฯลฯ หากคุณสงสัยพฤติกรรมที่ผิดจรรยาบรรณ (การลอกเลียนแบบการส่งแบบขนาน อธิบายความสงสัยของคุณ จงเคารพ แต่ความซื่อสัตย์อย่างไร้ความปราณี

   ค คำแนะนำสำหรับบรรณาธิการสำหรับการดำเนินการเพิ่มเติม - ยอมรับยอมรับด้วยการแก้ไขเล็กน้อยขอการทบทวนรอบที่สองหรือปฏิเสธทันที โปรดทราบว่าคุณกำลังเสนอแนะไม่ใช่ตัดสินใจ หากคุณไม่สามารถตัดสินใจได้ จงเคารพ แต่ความซื่อสัตย์อย่างไร้ความปราณี

   d ข้อเสนอแนะโดยละเอียดเพิ่มเติมไปที่ผู้เขียน - เหตุผลที่ละเอียดยิ่งขึ้นสำหรับคำแนะนำของคุณคำขอให้มีการชี้แจงในรุ่นสุดท้ายการอ้างอิงที่ขาดหายไปข้อบกพร่องในการพิสูจน์การทำให้เข้าใจง่ายการวางนัยทั่วไป

3. รายงานการประชุมควรสั้นลง คณะกรรมการโครงการมีเอกสารนับร้อยที่ต้องพิจารณาพร้อมกัน ไม่ว่าจะมีความแตกต่างระหว่างเอกสารการประชุมและวารสารหรือไม่นั้นขึ้นอยู่กับวารสาร (และทางอ้อมขึ้นกับชุมชน) วารสารวิทยาศาสตร์คอมพิวเตอร์เชิงทฤษฎีส่วนใหญ่ไม่ได้ยืนยันความแตกต่างอย่างมีนัยสำคัญ มันค่อนข้างทั่วไปสำหรับการประชุมและบันทึกประจำวันของบทความทฤษฎีที่จะเหมือนกันเป็นหลัก หากมีข้อสงสัยให้ถามบรรณาธิการ!

4. หากคุณยังไม่เข้าใจบทความหลังจากพยายามอย่างสุจริตนั่นเป็นความผิดของผู้เขียนหรืออาจเป็นบรรณาธิการ แต่ไม่ใช่ของคุณแน่นอน ความรับผิดชอบหลักของผู้เขียนคือการสื่อสารผลลัพธ์ของพวกเขาไปยังผู้ชมได้อย่างมีประสิทธิภาพและบรรณาธิการที่ดีจะส่งเอกสารถึงผู้ตัดสินหากพวกเขาคิดว่าคุณเป็นตัวแทนที่ดีของกลุ่มเป้าหมาย แต่คุณต้องใช้ความพยายามอย่างสุจริต อย่าคาดหวังว่าจะเข้าใจทุกอย่างทันที (อะไร?) ทันทีในการอ่านครั้งแรกของคุณ

5. หากมีจำนวนมากของข้อผิดพลาดไม่ได้อ่านกระดาษ; เพียงแนะนำให้ปฏิเสธโดยอ้างว่ากระดาษไม่ได้เขียนอย่างมืออาชีพ มิฉะนั้นหากคุณต้องการที่จะพูดให้ละเอียดให้รวมรายการตัวแทนของไวยากรณ์ความผิดพลาดการสะกดและเครื่องหมายวรรคตอนไว้ด้วย แต่อย่าพลาดโอกาสค้นหาข้อผิดพลาดล่าสุด จงเคารพ แต่ความซื่อสัตย์อย่างไร้ความปราณี

6. คาดว่าจะใช้เวลาประมาณหนึ่งชั่วโมงต่อหน้าส่วนใหญ่เกี่ยวกับการปรับขนาดผลลัพธ์และเทคนิคของกระดาษ จะประหลาดใจเมื่อมันใช้เวลาไม่นาน (ถ้าใช้เวลาน้อยกว่าอย่างมีนัยสำคัญไม่ว่าจะเป็นกระดาษที่มีความสง่างามมากและเขียนได้ดีคุณก็รู้ว่าพื้นที่นั้นดีมากหรือกระดาษนั้นตื้นในทางเทคนิคอย่าสับสนกับความเป็นไปได้ทั้งสามนี้)

7. คุณควรเขียนรายงานผู้ตัดสินอย่างน้อยที่สุดเท่าที่คนอื่นเขียนให้คุณ หากใช้เวลามากกว่าการเขียนบทความของคุณเองคุณไม่ได้ใช้เวลาในการเขียนบทความของคุณเองมากพอ

มากขึ้นอยู่กับการประชุม / วารสารเนื่องจากแต่ละชุมชนได้พัฒนาสไตล์ของตัวเองดังนั้นการรู้ว่าสิ่งที่คาดหวังจากการประชุม / วารสารจะช่วยได้เล็กน้อย

1.เกณฑ์หลักในการพิจารณาความสำคัญของผลลัพธ์ของกระดาษคืออะไร ฉันจะตัดสินได้อย่างไรว่าควรจะยอมรับบทความในการประชุม / วารสาร? การตรวจสอบความถูกต้องเป็นสิ่งสำคัญหรือไม่

เกณฑ์: ความแปลกใหม่ / ความคิดริเริ่มผลกระทบที่คาดหวังความถูกต้อง / ความถูกต้องความกว้างขวาง (มีการศึกษาปัญหามากน้อยแค่ไหน + ทฤษฎีบท + การใช้ + ผลการทดลอง?) คุณภาพของงานนำเสนอ เกณฑ์ในการยอมรับวารสารนั้นสูงกว่าการประชุมมาก สำหรับการประชุมคุณให้คะแนนตามเกณฑ์ก่อนหน้านี้ การตรวจสอบความถูกต้องให้มากที่สุดเป็นสิ่งสำคัญโดยเฉพาะอย่างยิ่งบทความในวารสาร

2.องค์ประกอบหลักของรายงานผู้ตัดสินคืออะไรและส่วนใดสำคัญที่สุด? จำเป็นหรือไม่ที่จะต้องให้คำแนะนำในการยอมรับ (ไม่ใช่)? มีอะไรในรายงานและสิ่งใดที่จะแก้ไข แต่เพียงผู้เดียว

รายงานผู้ตัดสินประกอบด้วยองค์ประกอบหลักอย่างน้อย 4 องค์ประกอบ: บทสรุปของรายงานและการมีส่วนร่วม; จุดสนับสนุนการรับกระดาษ; จุดต่อกระดาษ ความคิดเห็นที่สำคัญรวมถึงประเด็นที่จะได้รับการแก้ไข; ความคิดเห็นเล็กน้อย (ความผิดพลาดอื่น ๆ ) คุณควรแสดงถึงการยอมรับหรือการปฏิเสธหรือระดับการแก้ไขที่จำเป็น ความคิดเห็นที่บรรณาธิการอาจรวมถึง: การประเมินสั้น ๆ อาจทู่กระดาษ; คำแถลงข้อสงสัยใด ๆ รายละเอียดของการลอกเลียนแบบที่เป็นไปได้หรือการส่งแบบขนานของกระดาษ ...

3.การประเมินการประชุมแตกต่างจากวารสารอย่างไร รายงานสำหรับการประชุมต่างจากรายงานในวารสารอย่างไร (ฉันจะให้คะแนน "ความเชื่อมั่น" ของฉันบนโลกได้อย่างไรตามคำแนะนำของฉัน) รุ่นวารสารควรแตกต่างจากรายงานการประชุมหรือไม่

การทบทวนวารสารมีแนวโน้มที่จะครอบคลุมมากขึ้นและอาจรวมถึงสิ่งต่างๆมากมายที่ผู้เขียนต้องทำเพื่อนำบทความของพวกเขาไปสู่สถานะที่ยอมรับได้เช่น "นำไปใช้และประเมินความคิดเหล่านี้" ความมั่นใจของคุณควรขึ้นอยู่กับว่าคุณรู้สึกอย่างไร โดยทั่วไปแล้วสิ่งนี้จะมาพร้อมกับประสบการณ์ดังนั้นเริ่มต้นจากการเป็นคนอนุรักษ์นิยม มันอยู่นอกเขตของคุณแม้ว่าคุณจะเข้าใจกระดาษการอนุรักษ์เป็นความคิดที่ดี - มันยากที่จะประเมินความคิดริเริ่มของกระดาษนอกเขตของคุณ วารสารบางฉบับบอกว่าการส่งวารสารจะต้องมีวัสดุใหม่จำนวนมากเมื่อเทียบกับรุ่นการประชุม 30% เป็นตัวเลขที่ฉันเคยได้ยิน

4.ถ้าฉันไม่เข้าใจกระดาษ ... หลักฐานหรือไม่ (มันเป็นความผิดของฉันหรือพวกเขา?)

สิ่งนี้อาจแตกต่างกันไป บางครั้งมันจะเป็นความผิดของคุณบางครั้งมันจะเป็นของพวกเขา ใช้วิจารณญาณของคุณ อาจขอให้เพื่อนร่วมงานดูที่กระดาษ หากคุณไม่สามารถเข้าใจได้ทั้งหมดและไม่ได้เกิดจากการจัดรูปแบบที่ไม่ดีโปรดติดต่อเก้าอี้ PC และอธิบายว่าเป็นกรณีนี้ ไม่ว่าในกรณีใดก็ตามสิ่งนี้ควรสะท้อนให้เห็นในคะแนนความมั่นใจของคุณ หากไม่สามารถเข้าใจกระดาษได้เนื่องจากการเขียนหรือภาษาไม่ดีหรือเนื่องจากมีการส่งก่อนกำหนดควรเขียนในรายงานของคุณ

5.แล้วข้อผิดพลาดทางไวยากรณ์และตัวอักษรล่ะ? เกิดอะไรขึ้นถ้ามีพวกเขามากมาย?

เมื่อฉันยังเด็กฉันจะรายงานข้อผิดพลาดทางไวยากรณ์และข้อผิดพลาดทุกครั้ง ตอนนี้ฉันไม่มีเวลา การรายงานบางอย่างมีประโยชน์เสมอ: เลือกรายงานที่ร้ายแรงที่สุด นอกจากนี้ขอแนะนำให้ใช้กระดาษพิสูจน์อักษร (โดยเจ้าของภาษา) สำหรับเอกสารวารสารให้ละเอียดยิ่งขึ้น หากมีข้อผิดพลาดมากเกินไปก็ไม่ควรส่งไปยังวารสารซึ่งมีเหตุผลเดียวที่ปฏิเสธ (IMHO)

6.ฉันควรใช้เวลากับรายงานนานเท่าใด

สูงสุดหนึ่งวันสำหรับกระดาษการประชุมรวมถึงเวลาอ่าน สำหรับเอกสารวารสารโดยเฉพาะกระดาษที่มีความยาวการอ่านบทความอย่างระมัดระวังอาจใช้เวลาทั้งสัปดาห์

7.ฉันคาดว่าจะเขียนรายงานปีละกี่ครั้ง? เมื่อใดที่จะยอมรับการปฏิเสธคำขอไปยังผู้ตัดสิน?

จำนวนที่คาดหวังอาจแตกต่างกันระหว่าง 5 และ 30 ในฐานะนักวิจัยรุ่นน้องคุณจะได้รับการฝึกฝนบ้าง เมื่อคุณผ่านเกรดคุณจะได้รับการตรวจสอบมากขึ้นเมื่อคุณเป็นสมาชิกของพีซี จากนั้นเมื่อคุณก้าวไปไกลกว่านี้คุณจะมีกองทัพนักศึกษาปริญญาเอกทำการตรวจสอบให้คุณ มากกว่า 30 ในหนึ่งปีค่อนข้างเป็นภาระ

ดังที่ฉันได้กล่าวไว้ข้างต้นฉันว่ามันเหมาะสมที่จะปฏิเสธคำขอผู้ตัดสินเมื่อ (1) คุณไม่รู้สึกว่าคุณมีความเชี่ยวชาญเพียงพอที่จะทำการตรวจสอบที่ดีหรือ (2) คุณมีการตรวจสอบมากเกินไป (หรืออื่น ๆ ) ภาระผูกพันในขณะนี้ ถือว่าเป็นแบบฟอร์มที่ดีในการแนะนำผู้ตรวจสอบทางเลือกที่เป็นไปได้จำนวนมากในกรณีที่คุณปฏิเสธ

ฉันให้ที่นี่ 2 เซ็นต์ของฉันและฉันเพิ่มจุดที่เจ็ด:

1. ฉันต้องทำรายงานกี่ปีในแต่ละปี?

คำตอบของฉัน

1. แน่นอนว่าเกณฑ์นั้นไม่เหมือนกันสำหรับการประชุมและวารสาร สำหรับความถูกต้องทั้งสองอาจเป็นเกณฑ์ที่สำคัญที่สุด จากนั้นเกณฑ์ที่สองของฉันคือความแปลกใหม่ของผลลัพธ์สำหรับการประชุมในขณะที่มันเป็นผลกระทบของผลลัพธ์สำหรับวารสาร สำหรับการประชุมก็เป็นสิ่งสำคัญเช่นกันที่จะต้องตัดสินว่ากระดาษนั้นเป็นที่สนใจของผู้ชมหรือไม่

2. ก่อนอื่นยกเว้นหากคุณสงสัยว่ามีการฉ้อโกงหรือการปฏิบัติที่ไม่ดีและไม่แน่ใจ (คุณควรพูดคุยกับบรรณาธิการเท่านั้น) ความคิดเห็นของฉันคือคุณควรบอกทุกอย่างกับผู้เขียน ฉันคิดว่ามันเป็นสิ่งสำคัญที่จะต้องซื่อสัตย์กับผู้เขียนและให้คำแนะนำเสมอ ในรายงานคุณควรอธิบายหัวข้อผลลัพธ์ (เพื่อให้ผู้เขียนสามารถเห็นว่าคุณเข้าใจบทความ) จากนั้นคุณควรประเมินข้อดีของผลลัพธ์ (ความแปลกใหม่เกี่ยวกับสถานะของศิลปะความลึกเชิงเทคนิคความถูกต้องความชัดเจน) และชี้ให้เห็นทุกปัญหา ในที่สุดคุณควรให้คำแนะนำของคุณอาจมีคำแนะนำจากผู้เขียน (เช่น "ฉันคิดว่าผลลัพธ์นี้ดี แต่เหมาะสำหรับการประชุม A มากกว่าการประชุมครั้งนี้") ในบางกรณีคุณจะได้รับเอกสารที่ไม่สมควรส่งแม้แต่

3. ฉันคิดว่ายกเว้นในกรณีของการเชิญวารสารสำหรับปัญหาพิเศษที่เกี่ยวข้องกับกระดาษการประชุมควรมีความแตกต่างอย่างมีนัยสำคัญ

4. สองกรณี: มันไม่สามารถเข้าใจได้ (ความผิดของพวกเขา) ดังนั้นคุณสามารถปฏิเสธกระดาษด้วยเหตุผลนั้นหรือคุณไม่ใช่ผู้ตรวจสอบที่ดีสำหรับกระดาษนั้น เมื่อมันเกิดขึ้นคุณรู้ว่ามันคืออะไรถ้าไม่ใช่คุณจะเป็นในกรณีที่สอง!

5. ฉันไม่ใช่คนพูดภาษาอังกฤษดังนั้นจึงมีอคติในคำตอบของฉัน แต่ฉันคิดว่ามันไม่มีเหตุผลที่จะปฏิเสธกระดาษ (ยกเว้นในบางกรณีที่รุนแรง)

6. เวลาที่ต้องการ มันมีตั้งแต่ 1 ชั่วโมง (กระดาษไม่ดีในเวิร์กช็อป) จนถึงหลายวัน (กระดาษที่เกี่ยวข้องมากในวารสารชั้นนำ)

7. โดยส่วนตัวแล้วฉันคาดว่าจะทำรายงาน 3 ฉบับต่อกระดาษที่ฉันส่งไป (และใช่มากในความเป็นจริงการตรวจสอบอาจเป็นงานที่ต้องใช้เวลามากที่สุดงานหนึ่งของฉัน - ก่อนที่จะสอนบางที)