การพิสูจน์จากเอนโทรปีของลูกศร Bayesian แบบย้อนหลังของ Shalizi ของเวลาที่ผิดธรรมดา?

ในบทความนี้นักวิจัยที่มีความสามารถคอสมาชาลิซีีระบุว่าจะยอมรับอย่างเต็มที่มุมมองคชกรรมอัตนัยหนึ่งยังต้องยอมรับผล unphysical ที่ลูกศรของเวลา (ที่ได้รับจากการไหลของเอนโทรปี) จริงควรไปข้างหลัง นี้เป็นส่วนใหญ่ความพยายามที่จะเถียงกับเอนโทรปีสูงสุด / อัตนัยอย่างเต็มที่มุมมองแบบเบย์นำไปข้างหน้าและความนิยมโดยET เจย์นส์

มากกว่าที่LessWrongผู้ให้หลายคนมีความสนใจมากในทฤษฎีความน่าจะเป็นแบบเบย์และยังอยู่ในวิธีการแบบเบย์อัตนัยเป็นพื้นฐานสำหรับทฤษฎีการตัดสินใจอย่างเป็นทางการและหินก้าวต่อที่แข็งแกร่ง AI เอลีเซอร์ยัดคาสกีเป็นผู้สนับสนุนร่วมกันมีและฉันเพิ่งอ่านโพสต์นี้เมื่อฉัน พบกับความคิดเห็นนี้ (ความคิดเห็นที่ดีอื่น ๆ อีกไม่นานหลังจากนั้นในหน้าโพสต์ต้นฉบับ)

ทุกคนสามารถให้ความเห็นเกี่ยวกับความถูกต้องของการโต้แย้งของ Shalizi ของ Yudkowsky โดยสังเขปเหตุผลของ Yudkowsky คือกลไกทางกายภาพซึ่งตัวแทนการให้เหตุผลปรับปรุงความเชื่อของตนจำเป็นต้องมีการทำงานดังนั้นจึงมีค่าใช้จ่ายทางอุณหพลศาสตร์ที่ Shalizi กวาดใต้พรม ในความคิดเห็นอื่น Yudkowsky ปกป้องสิ่งนี้พูดว่า:

"ถ้าคุณใช้มุมมองของผู้สังเกตการณ์ที่สมบูรณ์แบบที่มีเหตุผลรอบนอกระบบความคิดของ" เอนโทรปี "นั้นค่อนข้างไร้ความหมายเช่นเดียวกับ" ความน่าจะเป็น "- คุณไม่จำเป็นต้องใช้อุณหพลศาสตร์เชิงสถิติในการสร้างแบบจำลองอะไรเลย สมการคลื่น "

probabilists หรือ statistcal ใด ๆ สามารถแสดงความคิดเห็นเกี่ยวกับเรื่องนี้ได้หรือไม่? ฉันไม่สนใจข้อโต้แย้งจากผู้มีอำนาจเกี่ยวกับสถานะของ Shalizi หรือ Yudkowsky แต่ฉันอยากจะเห็นบทสรุปของวิธีการที่ Yudkowsky ทั้งสามประเด็นเสนอวิจารณ์ของบทความของ Shalizi

เพื่อให้สอดคล้องกับแนวทางคำถามที่พบบ่อยและทำให้คำถามนี้เป็นคำตอบที่เป็นรูปธรรมโปรดทราบว่าฉันกำลังขอคำตอบเฉพาะรายการที่ใช้การโต้แย้งสามขั้นตอนของ Yudkowsky และระบุว่าในบทความของ Shalizi นั้นปฏิเสธสมมติฐานและ / หรือการพิสูจน์หรือ ในอีกทางหนึ่งระบุว่าในเอกสารของ Shalizi มีการโต้แย้ง Yudkowsky

ฉันมักจะได้ยินบทความ Shalizi ขนานนามว่าเป็นชุดเกราะเหล็กที่ Bayesianism แบบอัตนัยเต็มตัวไม่สามารถปกป้องได้ ... แต่หลังจากอ่านบทความ Shalizi สองสามครั้งดูเหมือนว่าอาร์กิวเมนต์ของเล่นสำหรับฉันที่ไม่สามารถใช้ เพื่อผู้สังเกตการณ์โต้ตอบกับสิ่งที่กำลังถูกสังเกต (เช่นฟิสิกส์จริงทั้งหมด) แต่ Shalizi เป็นนักวิจัยที่ยอดเยี่ยมดังนั้นฉันยินดีต้อนรับความคิดเห็นที่สองเพราะมีโอกาสสูงที่ฉันจะไม่เข้าใจกลุ่มของการอภิปรายนี้

— ely
แหล่งที่มา

Shalizi ชอบที่จะยั่วยุ ... การโต้แย้งของเขาดูเหมือนจะเป็นสิ่งเดียวกับที่ผู้สร้างโต้แย้งว่าวิวัฒนาการละเมิดกฎข้อที่สองของอุณหพลศาสตร์เพราะสิ่งมีชีวิต "ต่อมา" มีความซับซ้อนมากขึ้นในสิ่งมีชีวิต แต่กฎข้อที่สองบอกว่าเอนโทรปีนั้นไม่ลดลง อย่างไรก็ตาม 1) ไม่มีสิ่งใดในกฎข้อที่สองที่ป้องกันการลดลงของเอนโทรปีและ 2) ข้อโต้แย้งบอกเป็นนัยว่าไม่มีใครสามารถเรียนรู้อะไรเกี่ยวกับอะไรเลยได้เลย (ทำไมการเรียนรู้ผ่านการปรับปรุงแบบเบส์จึงแตกต่างจากกระบวนการเรียนรู้อื่น ๆ )

— jbowman

ฉันจะไม่ทำงานด้วยการอภิปรายระหว่าง Shalizi และ Yudkowsky; ไม่มีอำนาจ (Shalizi เขียนได้ดี) อย่างไรก็ตามคุณไม่คิดว่า physics.se เป็นสถานที่ที่ดีกว่าสำหรับคำถามนี้หรือไม่?

— เอ็ม

คุณได้อ่านโพสต์ลำดับของ Yudkowsky จำนวนมากแล้วหรือยัง? ฉันคิดว่าเขาเขียนได้ค่อนข้างดีเช่นกัน ตัวเลขทั้งสองนี้มีท่าทีถกเถียงกันอยู่ แต่ดูเหมือนว่าชาลิซีจะเอาไปใช้ในการทำแบบเบส์ เหตุผลที่ฉันถามที่นี่คือเพราะมันเชื่อมโยงเข้าด้วยกันอย่างลึกล้ำกับกระดาษสถิติทางทฤษฎีที่บริสุทธิ์กว่าที่ Shalizi เขียนกับ Andrew Gelman ซึ่งเต็มไปด้วยปัญหาทางปรัชญา ( ลิงก์ )

— ely

X

$X$

X

$X$

คำตอบ:

ในระยะสั้น: 1: 0 สำหรับ Yudkowsky

Cosma Shalizi พิจารณาการกระจายความน่าจะเป็นภายใต้การวัดบางอย่าง เขาปรับปรุงความน่าจะเป็นไปตามนั้น (ที่นี่ไม่สำคัญว่าจะเป็นการอนุมานแบบ Bayensian หรืออย่างอื่น)

ไม่น่าแปลกใจเลยที่การกระจายความน่าจะเป็นแบบเอนโทรปีลดลง

อย่างไรก็ตามเขาได้ข้อสรุปที่ผิดว่ามีบางอย่างเกี่ยวกับลูกศรของเวลา:

สมมติฐานเหล่านี้กลับลูกศรของเวลาเช่นพวกเขาทำให้เอนโทรปีไม่เพิ่มขึ้น

ตามที่ได้ชี้ให้เห็นในความคิดเห็นสิ่งที่สำคัญที่จะอุณหพลศาสตร์เป็นเอนโทรปีของการเป็นระบบปิด นั่นคือตามกฎข้อที่สองของอุณหพลศาสตร์เอนโทรปีของระบบปิดไม่สามารถลดลงได้ มันไม่ได้บอกอะไรเกี่ยวกับเอนโทรปีของระบบย่อย (หรือระบบเปิด) ไม่เช่นนั้นคุณไม่สามารถใช้ตู้เย็นได้

และเมื่อเราวัด sth (เช่นการโต้ตอบและรวบรวมข้อมูล) มันไม่ใช่ระบบปิดอีกต่อไป เราไม่สามารถใช้กฎข้อที่สองหรือ - เราจำเป็นต้องพิจารณาระบบปิดที่ทำจากระบบที่วัดได้และผู้สังเกตการณ์ (เช่นตัวเราเอง)

โดยเฉพาะอย่างยิ่งเมื่อเราวัดสถานะที่แน่นอนของอนุภาค (ในขณะที่ก่อนที่เราจะรู้การกระจายตัวของมัน) แน่นอนว่าเราลดระดับเอนโทรปีของมันลง อย่างไรก็ตามในการจัดเก็บข้อมูลเราจำเป็นต้องเพิ่มปริมาณเอนโทรปีของเราอย่างน้อยในจำนวนเดียวกัน (โดยทั่วไปจะมีค่าใช้จ่ายมาก)

ดังนั้น Eliezer Yudkowsky ทำให้เป็นจุดที่ดี:

1) การวัดใช้งาน (หรือลบอย่างน้อยในการเตรียมการสำหรับการวัดต่อไปใช้งาน)

จริงๆแล้วคำพูดเกี่ยวกับงานไม่ใช่สิ่งสำคัญที่สุดที่นี่ ในขณะที่อุณหพลศาสตร์เป็นเรื่องเกี่ยวกับเอนโทรปี (หรือการค้า) เกี่ยวกับพลังงานคุณสามารถไปรอบ ๆ (นั่นคือเราไม่จำเป็นต้องหันไปใช้หลักการของ Landauerซึ่งShalizi ไม่เชื่อ ) ในการรวบรวมข้อมูลใหม่คุณจำเป็นต้องลบข้อมูลก่อนหน้า

เพื่อให้สอดคล้องกับกลศาสตร์คลาสสิก (และควอนตัมเช่นกัน) คุณไม่สามารถสร้างฟังก์ชั่นการแมปอะไรกับศูนย์ทั้งหมดโดยพลการ(ไม่มีผลข้างเคียง) คุณสามารถสร้างฟังก์ชั่นการแมปหน่วยความจำของคุณให้เป็นศูนย์ทั้งหมดแต่ในเวลาเดียวกันก็ทิ้งข้อมูลไว้ที่ใดที่หนึ่งซึ่งเพิ่มการเอนโทรปีของสภาพแวดล้อมได้อย่างมีประสิทธิภาพ

(ข้างต้นมาจากการเปลี่ยนแปลงของมิลโตเนียน - นั่นคือการรักษาพื้นที่เฟสในกรณีคลาสสิกและหน่วยของวิวัฒนาการในกรณีควอนตัม)

PS: เคล็ดลับสำหรับวันนี้ - "ลดเอนโทรปี":

$H = 1$
$H = 0$

— Piotr Migdal
แหล่งที่มา

นี่คือ tl; dr version correct-ish: "กระดาษของ Shalizi เป็นเพียงการกล่าวย้ำแบบพิเศษของปีศาจของ Maxwell"

— Artem Kaznatcheev

@ArtemKaznatcheev โดยทั่วไปใช่ แต่เพิ่มเติมในรสชาติปิด vs ระบบเปิด แต่สำหรับคนที่ไม่ชอบอ่านนั่นคือบรรทัดแรก;)

— Piotr Migdal

ฉันชอบคำตอบนี้ แต่ฉันมีเวลาคืนดีกับการสนทนาในหัวข้ออื่น ดูที่ลิงค์นี้และค้นหากระทู้ / คำตอบที่เริ่มต้นโดยผู้ใช้ "pragmatist" หากคุณเพิ่มวรรคหนึ่งหรือสองที่จัดการกับข้อโต้แย้งนั้น (หรืออธิบายว่าทำไมข้อโต้แย้งนั้นจึงมีเหตุผล / ไม่เห็นด้วยกับคำตอบของคุณด้านบน) ฉันยินดีที่จะยอมรับ

— ely

@EMS ดี "คุณสามารถแสดงความคิดเห็นการสนทนาหรือไม่" ไม่เหมาะที่สุดสำหรับ SE (และโดยทั่วไปมีข้อโต้แย้งมากมาย) ยิ่งกว่านั้นในความเป็นจริงฉันได้พิสูจน์คำวิจารณ์จากกระดาษของ Shalizi รวมไปถึงการวิพากษ์วิจารณ์วิจารณ์จากการวิจารณ์ของกระดาษขอมากเกินไป คุณสามารถเจาะจงมากขึ้นเช่นชี้ไปที่จุดที่แน่นอน? อย่างไรก็ตาม: "เมื่อเราใช้กลไกทางสถิติเรามักไม่สนใจเอนโทรปีของระบบรวมถึงผู้สังเกตการณ์" - เท็จ (ระบบเปิด vs ปิด), "วิวัฒนาการของระบบจะไม่รวมกัน" - จริง แต่คุณไม่สามารถคลาสสิก ลดเอนโทรปีทั้งหมด

— Piotr Migdal

@EMS หลักการลบออกจะลึกกว่าสถิติ เมค - อย่างที่ฉันบอกไปถ้ามันไม่เป็นที่พอใจทั้งการหักล้างควอนตัมและกลศาสตร์แบบดั้งเดิม และอีกครั้ง: คุณไม่สามารถใช้กฎสำหรับระบบปิดกับระบบเปิดดังนั้นข้อโต้แย้งส่วนใหญ่โดยนักปฏิบัตินิยมอาจไม่ใช่วิทยาศาสตร์ (เช่นในสิ่งที่จะเชื่อหรือไม่) หรือไม่สนใจฟิสิกส์

— Piotr Migdal

ข้อบกพร่องของ Shalizi นั้นพื้นฐานมากและมาจากข้อสันนิษฐานที่ 1 ว่าวิวัฒนาการของเวลานั้นกลับไม่ได้

วิวัฒนาการเวลาของรัฐบุคคลสามารถย้อนกลับได้ วิวัฒนาการเวลาของการกระจายไปทั่วทุกพื้นที่แน่นอนไม่สามารถย้อนกลับได้เว้นแต่ว่าระบบอยู่ในภาวะสมดุล กระดาษถือว่าวิวัฒนาการเวลาของการกระจายไปทั่วทุกพื้นที่เฟสไม่ใช่ของรัฐแต่ละรัฐและดังนั้นสมมติฐานของการย้อนกลับที่ไม่ได้เป็นไปโดยสิ้นเชิง ในกรณีที่สมดุลผลลัพธ์ที่ได้เล็กน้อย

ลูกศรของเวลามาจากข้อเท็จจริงนี้จริง ๆ แล้วเวลานั้นวิวัฒนาการของการแจกแจงไม่สามารถย้อนกลับได้ (เหตุผลการไล่ระดับสีวิ่งลงและก๊าซกระจายออกไป) การย้อนกลับไม่เป็นที่ทราบกันว่าเกิดจาก 'ข้อกำหนดการชน'

หากคุณคำนึงถึงสิ่งนี้อาร์กิวเมนต์ของเขาก็จะแยกกัน สารสนเทศเอนโทรปี = เอนโทรปีของอุณหพลศาสตร์ยังคงตอนนี้ : D

— อีธาน
แหล่งที่มา

เนื่องจากในระดับพื้นฐาน QM นั้นถูกกำหนดไว้ - สมการชโรดิงเงอร์อธิบายได้อย่างแม่นยำว่าระบบวิวัฒนาการตลอดเวลาและไม่มีความไม่แน่นอนเกี่ยวกับเรื่องนั้น - และมันเป็นเส้นตรงดูเหมือนว่าการย้อนกลับในวิวัฒนาการของแต่ละรัฐนั้น การแจกจ่ายใด ๆ ของรัฐดังกล่าว ดังนั้นฉันอยากจะเห็นเหตุผลทางคณิตศาสตร์ของคุณเกี่ยวกับการยืนยันของคุณไปในทางตรงกันข้ามเพราะมันจะแสดงให้เห็นอย่างชัดเจนมากขึ้นว่าคุณเป็นอะไรในตอนนี้โดยเฉพาะอย่างยิ่งโดยสมมติว่ามีสมการพลวัต

— whuber

สำหรับการกระจายสมดุลสิ่งต่าง ๆ เป็นเรื่องเล็กน้อยวิวัฒนาการของเวลาสามารถย้อนกลับได้ สำหรับระบบกระจายซึ่งปริมาณพื้นที่เฟสไม่คงที่หลายสถานะของการแจกแจงเริ่มต้นอาจถูกแมปกับสถานะเดียวของการกระจายสุดท้ายหรือในทางกลับกัน (ไม่สามารถย้อนกลับได้) ชัดเจนในกรณีของเช่นการขยายตัวของก๊าซอุดมคติ การเคลื่อนที่ของอนุภาคแต่ละตัวนั้นสามารถย้อนกลับได้อย่างชัดเจน แต่การขยายตัวนั้นไม่ได้เกิดขึ้นเนื่องจากมันเกี่ยวข้องกับการเปลี่ยนแปลงของปริมาตรพื้นที่เฟส ก๊าซไม่เคย 'ไม่ขยาย' หากคุณยังไม่มีความสุขฉันสามารถคำนวณคณิตศาสตร์ให้คุณได้

— อีธาน

เนื่องจากคุณกล่าวหาว่า Shalizi ว่าผิดเกี่ยวกับเรื่องนี้การให้การสนับสนุนทางคณิตศาสตร์บางประเภทนั้นน่าจะเป็นแนวคิดที่ดี แต่ระวังอย่าหลงทางไกลเกินไปจากจุดสนใจของไซต์นี้ซึ่งเกี่ยวกับการวิเคราะห์ข้อมูลไม่ใช่ฟิสิกส์! อย่างไรก็ตามตัวอย่างการขยายตัวฟรีดูเหมือนจะไม่เป็นเรื่องที่น่าพอใจสำหรับฉันเพราะในเอกภพที่อัดแน่น (สมมุติ) ดูเหมือนจะไม่มีสิ่งเช่นนั้น: ก๊าซขยายไปสู่ที่อื่น

— whuber

บางครั้งฉันก็ลืมสแต็คแลกเปลี่ยนที่ฉันใช้อยู่ บางทีฉันอาจจะเริ่มต้นบางสิ่งที่นั่น แต่สำหรับแก๊สการเปลี่ยนแปลงเอนโทรปีคือ TdS = dU + pdV แต่ dU เป็นศูนย์คือเราอะเดียแบติกดังนั้น dS = pdV / T ตามกฎหมายแก๊สอุดมคติ dS = nRdV / V ดังนั้นการเปลี่ยนจาก v1 เป็น v2 จะเป็นการเปลี่ยนเอนโทรปีโดย ln (v2 / v1) โดยทั่วไปทุกกระบวนการ macroscopic ที่เกิดขึ้นเอง (เช่น. ทำซ้ำ) จะกลับไม่ได้ แต่บางทีอาจจะได้รับนี้จากหลักการพื้นฐานคือไม่น่ารำคาญ (Boltzmann ใช้ชีวิตในนั้น)

— อีธาน

กระดาษที่เชื่อมโยงอย่างชัดเจนถือว่า

ตัวดำเนินการวิวัฒนาการ T กลับด้านได้

แต่ถ้าคุณใช้ QM ในแบบปกติข้อสันนิษฐานนี้ก็ไม่ถือ สมมติว่าคุณมีสถานะ X1 ซึ่งสามารถพัฒนาเป็น X2 หรือ X3 ด้วยความน่าจะเป็นที่เท่ากัน คุณอาจพูดได้ว่าสถานะ X1 พัฒนาเป็นชุดถ่วงน้ำหนัก [1/2 X2 + 1/2 X3] Shalizi พิสูจน์ว่าชุดนี้ไม่มีเอนโทรปีมากกว่า X1

แต่เราในฐานะผู้สังเกตการณ์หรือเป็นส่วนหนึ่งของระบบนั้นเพียง แต่มองที่สาขาใดสาขาหนึ่งอย่างใดอย่างหนึ่งคือ X2 หรือ X3 การเลือกสาขาใดจากสองสาขาที่เราได้ดูเพิ่มเอนโทรปีใหม่หนึ่งบิตและการเลือกนี้ไม่สามารถย้อนกลับได้ นี่คือที่เพิ่มขึ้นของเอนโทรปีกับเวลามาจาก สิ่งที่ Shalizi ได้ทำคือการใช้คณิตศาสตร์ซึ่งเอนโทรปีมีต้นกำเนิดมาจากการแตกแขนงของควอนตัมแล้วลืมไปว่าการแตกแขนงของควอนตัมนั้นเกิดขึ้น

— jimrandomh
แหล่งที่มา

บทความ (ตามกฎหมายฉบับที่สอง) เกี่ยวข้องกับระบบปิด กลศาสตร์ควอนตัมสามารถย้อนกลับได้อย่างสมบูรณ์ในระบบปิด (เช่นตัวดำเนินการทั้งหมดรวมกัน) การดำเนินการที่ไม่สามารถย้อนกลับได้ในกลศาสตร์ควอนตัมเท่านั้นคือการวัด ถ้าคุณวัดระบบปิดแล้วมันจะไม่ถูกปิดจากมุมมองของอุณหพลศาสตร์ หากผู้สังเกตการณ์ของคุณอยู่ในระบบและวัดระบบย่อยจากนั้นผู้สังเกตการณ์ + ระบบย่อยจะวิวัฒนาการไปพร้อม ๆ กันและทำให้การดำเนินการนั้นกลับด้านได้ (เคล็ดลับนี้เรียกว่า ดังนั้นการโต้แย้งของคุณจาก "QM" จึงไม่ถูกต้อง

— Artem Kaznatcheev

นี่เป็นเพียงถ้าคุณเชื่อการตีความในโคเปนเฮเกน (หรืออื่น ๆ ที่แยก 'การวัด' ออกจากกระบวนการรวมกัน) หลาย ๆ คนในโลกเชื่อว่าการวัดเป็นเพียงกฎการรวมกันตามปกติและสามารถย้อนกลับได้อย่างสมบูรณ์แบบ มันเป็นเพียงสิ่งประดิษฐ์ของสถานะเริ่มต้นของเอกภพที่มันไม่น่าจะเป็นไปได้ที่จะเห็นการกลับรายการของมัน (ฉันอาจจะอธิบายได้ไม่ดีนักฉันไม่ใช่นักฟิสิกส์) ฉันไม่เชื่อว่าคำตอบนี้ควรถูกลดระดับลงเนื่องจากการวิจารณ์นี้

— ely

@EMS มันไม่สำคัญว่าคุณจะใช้การตีความอะไร QM ของระบบปิดสามารถย้อนกลับได้ แต่ในบริบทที่ใหญ่กว่าของคำถามเดิมรายละเอียดของผู้ตอบคำถามผิดเกี่ยวกับ QM นั้นไม่เกี่ยวข้อง: Shalizi กล่าวถึงประเด็นนี้ในหัวข้อ II.A แล้วโดยทั่วไป แม้แต่รูปแบบที่ถูกต้องของคำตอบนี้ไม่ได้ไปไกลเกินกว่าที่ชาลิซีจะชี้ให้เห็น

— Artem Kaznatcheev

ดังที่ได้กล่าวไว้ในหัวข้ออื่นที่พูดถึงเรื่องนี้คำตอบนี้ดูเหมือนจะเป็นคำตอบที่ตรงข้ามกับคำตอบที่ให้: ถ้าคุณยืนยันความต้องการของระบบปิดคุณต้องค้นหาแหล่งที่มาของเอนโทรปี (เช่น "ระบบปิด" ของ Shalizi บุคคลที่มีบิตของเอนโทรปีสำหรับ 'เกิดขึ้นเพื่อดำเนินการลงหนึ่งสาขา (ไม่ทราบ) สาขาของทั้งสองสาขา' นั่นคือดูเหมือนว่าคำตอบนี้ยังบอกว่ากระดาษของ Shalizi เป็นเพียงการปรับปรุงของปีศาจ Maxwell อีกครั้งฉันอาจจะ ความเข้าใจผิดว่ามันเกิดจากการขาดการฝึกอบรมฟิสิกส์อย่างเป็นทางการ.

— ely