Taleb และ Black Swan

หนังสือของ Taleb "The Black Swan" เป็นหนังสือขายดีที่สุดของ New York Times เมื่อมีข่าวออกมาเมื่อหลายปีก่อน หนังสือเล่มนี้อยู่ในรุ่นที่สองของมัน หลังจากพบกับนักสถิติในงาน JSM (การประชุมสถิติประจำปี) Taleb ก็ปรับลดคำวิจารณ์ของเขาลงเล็กน้อย แต่แรงผลักดันของหนังสือเล่มนี้ก็คือสถิติไม่ได้มีประโยชน์มากนักเพราะมันขึ้นอยู่กับการแจกแจงแบบปกติและเหตุการณ์ที่หายากมาก: "แบล็กสวอน" ไม่มีการแจกแจงแบบปกติ

คุณคิดว่านี่เป็นคำวิจารณ์ที่ถูกต้องหรือไม่? Taleb ขาดส่วนสำคัญของการสร้างแบบจำลองทางสถิติหรือไม่? สามารถทำนายเหตุการณ์ที่เกิดขึ้นได้น้อยอย่างน้อยในแง่ที่ว่าความน่าจะเป็นของการเกิดขึ้นสามารถประมาณได้?

ฉันอ่าน Black Swan เมื่อสองสามปีก่อน ความคิดแบล็กสวอนเป็นสิ่งที่ดีและการโจมตีความผิดพลาดที่น่าหัวเราะ (ดูสิ่งต่าง ๆ ราวกับว่าพวกเขาเป็นเกมลูกเต๋าที่มีความน่าจะเป็นที่รู้จัก) เป็นสิ่งที่ดี แต่สถิติมีการบิดเบือนความจริง ไม่กระจายตามปกติ ฉันรู้สึกหงุดหงิดอย่างมากจากการเขียนตัวอักษร Taleb ด้านล่าง:

เรียนดร. ทาเลบ

ฉันเพิ่งอ่าน "The Black Swan" เช่นคุณฉันเป็นแฟนของ Karl Popper และฉันพบว่าตัวเองเห็นด้วยกับสิ่งที่อยู่ในนั้น ฉันคิดว่าการอธิบายความผิดพลาดของคุณนั้นน่าฟังและให้ความสนใจกับปัญหาที่แท้จริงและเป็นเรื่องธรรมดา อย่างไรก็ตามฉันคิดว่าส่วนที่สามส่วนใหญ่ทำให้การโต้แย้งโดยรวมของคุณแย่ลงถึงขั้นที่อาจทำให้เสียชื่อเสียงในหนังสือเล่มที่เหลือ นี่เป็นความอัปยศเพราะฉันคิดว่าข้อโต้แย้งเกี่ยวกับ Black Swans และ "unknown unknowns" ยืนอยู่บนข้อดีของพวกเขาโดยไม่ต้องพึ่งพาข้อผิดพลาดบางอย่างในส่วนที่สาม

ประเด็นหลักที่ฉันต้องการชี้ให้เห็น - และขอคำตอบจากคุณโดยเฉพาะอย่างยิ่งถ้าฉันมีปัญหาที่เข้าใจผิด - เป็นการนำเสนอข้อมูลที่ผิดของคุณเกี่ยวกับสถิติที่ใช้ ในการตัดสินของฉันบทที่ 14, 15 และ 16 ขึ้นอยู่กับการโต้แย้งของคนฟางการแสดงสถิติและเศรษฐมิติในทางที่ผิด สาขาวิชาเศรษฐศาสตร์ที่คุณอธิบายไม่ใช่สาขาวิชาที่ฉันได้รับการสอนเมื่อฉันศึกษาสถิติประยุกต์เศรษฐมิติและทฤษฎีความเสี่ยงด้านคณิตศาสตร์ประกันภัย (ที่มหาวิทยาลัยแห่งชาติออสเตรเลีย แต่ใช้ตำราที่ดูค่อนข้างมาตรฐาน) ประเด็นที่คุณยกระดับ (เช่นข้อ จำกัด ของการแจกแจงแบบเกาส์) นั้นดีและมีความเข้าใจและสอนอย่างแท้จริงแม้ในระดับปริญญาตรี

ตัวอย่างเช่นคุณไปที่ความยาวบางส่วนเพื่อแสดงว่าการกระจายรายได้ไม่เป็นไปตามการกระจายแบบปกติและนำเสนอสิ่งนี้เป็นอาร์กิวเมนต์สำหรับการปฏิบัติทางสถิติโดยทั่วไป นักสถิติที่มีความสามารถจะไม่อ้างว่าเป็นเช่นนั้นและวิธีการจัดการกับปัญหานี้ได้รับการยอมรับอย่างดี ตัวอย่างเช่นการใช้เทคนิคจากระดับ "เศรษฐมิติปีแรก" พื้นฐานที่สุดอย่างเช่นการเปลี่ยนตัวแปรโดยการใช้ลอการิทึมจะทำให้ตัวอย่างตัวเลขของคุณดูน่าเชื่อถือน้อยลง อันที่จริงแล้วการแปลงเช่นนั้นจะทำให้สิ่งที่คุณพูดไม่ถูกต้องเนื่องจากความแปรปรวนของตัวแปรดั้งเดิมเพิ่มขึ้นเมื่อค่าเฉลี่ยเพิ่มขึ้น

ฉันแน่ใจว่ามีนักเศรษฐศาสตร์ที่ไร้ความสามารถบางคนที่ใช้วิธีถดถอยแบบ OLS และตัวแปรตอบกลับที่ไม่ได้แปลในแบบที่คุณพูด แต่นั่นทำให้พวกเขาไร้ความสามารถ แน่นอนว่าพวกเขาจะล้มเหลวแม้ในหลักสูตรระดับปริญญาตรีซึ่งใช้เวลามากมายในการหาวิธีที่เหมาะสมกว่าในการสร้างแบบจำลองตัวแปรเช่นรายได้สะท้อนให้เห็นถึงการกระจายตัวจริงที่ไม่ใช่แบบเกาส์

ตระกูลของโมเดลเชิงเส้นทั่วไปเป็นชุดของเทคนิคที่พัฒนาขึ้นเพื่อแก้ไขปัญหาที่คุณพบ ตระกูลของการแจกแจงแบบเอ็กซ์โพเนนเชียลจำนวนมาก (เช่นแกมม่า, เอ็กซ์โปเนนเชียลและการแจกแจงปัวซง) นั้นมีลักษณะเฉพาะและมีความแปรปรวนที่เพิ่มขึ้นเมื่อศูนย์กลางของการแจกแจงเพิ่มขึ้น หากนี่ยัง จำกัด อยู่มากเกินไปก็เป็นไปได้ที่จะลด "รูปร่าง" ที่มีอยู่แล้วทั้งหมดและเพียงแค่ระบุความสัมพันธ์ระหว่างค่าเฉลี่ยของการแจกแจงและความแปรปรวน (เช่นการอนุญาตให้ความแปรปรวนเพิ่มขึ้นตามสัดส่วนของค่าเฉลี่ย) ใช้วิธี "quasi-likelihood" ของการประมาณค่า

แน่นอนคุณอาจโต้แย้งว่ารูปแบบของการสร้างแบบจำลองนี้ยังง่ายเกินไปและกับดักทางปัญญาที่ทำให้เราคิดว่าอนาคตจะเป็นเหมือนอดีต คุณอาจถูกต้องและฉันคิดว่าความแข็งแกร่งของหนังสือของคุณคือการทำให้คนอย่างฉันพิจารณาสิ่งนี้ แต่คุณต้องการอาร์กิวเมนต์ที่แตกต่างจากที่คุณใช้ในบทที่ 14-16 น้ำหนักที่ยอดเยี่ยมของคุณจากข้อเท็จจริงที่ว่าความแปรปรวนของการกระจายแบบเกาส์เซียนนั้นคงที่ไม่ว่าค่าเฉลี่ยของมันจะเป็นเท่าใด ดังนั้นคุณจึงให้ความสำคัญกับความจริงที่ว่าการแจกแจงชีวิตจริงมีแนวโน้มที่จะมีความหลากหลายมากกว่าที่จะเป็นเส้นโค้ง

โดยทั่วไปคุณใช้วิธีการพื้นฐานทางสถิติมากที่สุด (การสร้างแบบจำลองของตัวแปรดิบแบบที่มีการแจกแจงแบบเกาส์) และแสดงให้เห็นว่ามีข้อบกพร่องของวิธีการที่ซับซ้อน จากนั้นคุณใช้สิ่งนี้เพื่อสร้างช่องว่างในการทำลายชื่อเสียงของฟิลด์ทั้งหมด นี่เป็นทั้งตรรกะและเทคนิคการโฆษณาชวนเชื่อ มันโชคร้ายเพราะมันเบี่ยงเบนจากการโต้แย้งโดยรวมของคุณซึ่งส่วนมาก (อย่างที่ฉันพูด) ฉันพบว่าถูกต้องและโน้มน้าวใจ

ฉันจะสนใจฟังสิ่งที่คุณพูดตอบ ฉันสงสัยว่าฉันเป็นคนแรกที่แจ้งปัญหานี้

ขอแสดงความนับถือ

วิชาพลศึกษา

ฉันไม่ได้อ่านหนังสือ แต่ตามที่ระบุไว้การวิจารณ์ดูเหมือนว่าไม่สมเหตุสมผลสำหรับฉัน หากเหตุการณ์สำคัญมีความสำคัญสถิติจะมีเครื่องมือที่เหมาะสมในกล่องเครื่องมือเช่นทฤษฎีค่าสุดขีดและนักสถิติที่ดีจะรู้วิธีใช้งาน (หรืออย่างน้อยค้นหาวิธีใช้งานและจะมีส่วนร่วมอย่างเพียงพอกับวัตถุประสงค์ของ การวิเคราะห์เพื่อดู) การวิจารณ์ดูเหมือนว่าจะ "สถิติไม่ดีเพราะมีสถิติที่ไม่ดีที่รู้เพียงเกี่ยวกับการแจกแจงแบบปกติ"

บอกว่า "แรงผลักของหนังสือเล่มนี้คือสถิติไม่ได้มีประโยชน์มาก" ฉันคิดว่าไม่ถูกต้อง เมื่ออ่านหนังสือสิ่งที่เขาดูเหมือนจะพูดก็คือสิ่งต่าง ๆ เช่นการเงินเชิงปริมาณหรือการซื้อขายหลักทรัพย์ใด ๆ ที่ถือว่าการแจกแจงแบบปกติเป็นข้อบกพร่องพื้นฐาน (จริง ๆ แล้วในหนังสือเขาเรียกคนที่อ้างว่าใช้แบบจำลองเหล่านี้เพื่อทำนาย , "charlatans") อ้างอิงจากส Taleb ในขณะที่การแจกแจงแบบปกตินั้นเป็นงานที่ยอดเยี่ยมในการสร้างแบบจำลองคุณค่าของสิ่งที่จับต้องได้ / ทางกายภาพ (เช่นความสูงน้ำหนักช่วงชีวิต ฯลฯ ) ระบบเช่นตลาดมักถูกขับเคลื่อนด้วยอารมณ์ความรู้สึกของมนุษย์ ชิงช้าขนาดใหญ่ที่การแจกแจงแบบปกติไม่สามารถทำนายได้อย่างแม่นยำ

ฉันไม่เข้าใจสถิติดีและจนกระทั่งอ่านคำตอบที่นี่ฉันไม่เคยได้ยินสิ่งต่าง ๆ เช่นทฤษฎีค่าสุดขีด โดยไม่คำนึงว่าThe Black SwanและFooled By Randomnessดูเหมือนจะมีสถานที่ที่คล้ายกันซึ่งก็คือ "การแจกแจงแบบปกติไม่ได้เสมอ" ฉันจำไม่ได้ว่าเขาหมิ่นประมาทสถิติทั้งหมด

ฉันอ่าน "The Black Swan" ฉันสนุกกับมันและฉันเป็นนักสถิติ ฉันไม่พบ "การวิจารณ์สถิติ" มันทนไม่ได้เลย ทีละจุด:

1. Taleb ไม่ได้คิดค้นแนวคิดของหงส์ดำ มันเป็นตัวอย่างที่ได้รับความนิยมในความคิดทางปรัชญามาระยะหนึ่งแล้ว!
2. Taleb ไม่ได้วิพากษ์วิจารณ์ "สถิติ" มากนักเนื่องจากเป็นแอปพลิเคชั่นที่ไม่ดี
3. หนังสือเล่มนี้เป็นหนังสือที่ขายดี มันไม่ได้มุ่งตรงไปที่นักสถิติ แต่ให้กับประชาชนทั่วไป มันทำได้ดีมากในการสอนว่าสาธารณชนเกี่ยวกับสิ่งที่นักสถิติรู้ดีมาก แต่ผู้อ่านคนอื่น ๆ (ส่วนใหญ่!) ทำไม่ได้ ดังนั้นเราสามารถเรียนรู้มากมายจากหนังสือเล่มนี้เกี่ยวกับวิธีการ "ขาย" สถิติ
4. ที่สำคัญที่สุด (สำหรับฉัน) Taleb รวมการอ้างอิงถึงปรัชญาที่ไม่เชื่อของกรีกโบราณจำนวนมาก ไม่มีใครพูดถึงประเด็นนี้ที่นี่ แต่ฉันคิดว่าการรวมเป็นจุดขายที่แท้จริงของหนังสือ!
5. หนังสือเล่มนี้เป็นงานวรรณกรรมไม่ใช่งานด้านเทคนิค หากคุณต้องการวิพากษ์วิจารณ์ Taleb สำหรับงานด้านเทคนิคของเขาไปที่หน้าแรกของเขาและดาวน์โหลดเอกสารทางเทคนิคของเขา

สำหรับผู้ที่ไม่ชอบคำตอบนี้หรือไม่ชอบหนังสือสามารถดูข้อโต้แย้งทางเทคนิคของ Taleb ได้ในhttps://fernandonogueiracosta.files.wordpress.com/2014/07/taleb-nassim-silent-riskใหม่pdf "ความเสี่ยงเงียบ" ซึ่งเป็นเทคนิค

ฉันไม่ได้อ่านแบล็กสวอน แต่ถ้าการวิพากษ์วิจารณ์สถิติของเขาง่ายมากอย่างที่คุณพูดมันก็ไร้สาระ เห็นได้ชัดว่าสถิติบางอย่างอาศัยการกระจายแบบปกติ แต่ไม่มากนัก

สามารถจำลองเหตุการณ์ที่หายากได้หรือไม่ แน่นอนพวกเขาสามารถ คำถามจริงคือพวกเขาสามารถสร้างแบบจำลองได้ดีเพียงใด และคำถามนั้นจะมีคำตอบที่แตกต่างกันในสาขาต่าง ๆ โดยขึ้นอยู่กับว่าเรารู้มากแค่ไหนเกี่ยวกับเหตุการณ์ที่หายากและสิ่งที่มาก่อน

ในนิตยสาร NY Times วันนี้มีบทความที่น่าสนใจโดย Nate Silver เกี่ยวกับการพยากรณ์อากาศได้ดีขึ้นอย่างไรในทศวรรษที่ผ่านมา ซึ่งรวมถึงการสร้างแบบจำลองที่ดีขึ้นของเหตุการณ์ที่หายากเช่นพายุเฮอริเคน

หนังสือคุ้มค่าที่จะอ่านหรือไม่?

ฉันยังไม่ได้อ่านหนังสือ แต่ก็ไม่มีทางที่จุดของเขาจะง่ายเหมือนการบอกว่ามีการแจกแจงที่มีหางอ้วนขึ้นกว่าการแจกแจงแบบปกติ นี่จะเป็นความเห็นต่อคำตอบอื่น ๆ แต่ฉันยังไม่ได้รับเกียรติเพียงพอในเว็บไซต์นี้

จาก Wikipedia:

"เขากล่าวว่าสถิตินั้นไม่สมบูรณ์เหมือนสนามซึ่งไม่สามารถคาดการณ์ความเสี่ยงของเหตุการณ์ที่เกิดขึ้นได้ยาก ... "

คำถามนี้ค่อนข้างคล้ายกับอะไรที่ชุมชนใช้ใน Quadrant ที่สี่?

ฉันขอแนะนำให้ตรวจสอบหนังสือเล่มนี้ของ Dennis Lindley มันมีการถกเถียงกันอย่างรุนแรงเกี่ยวกับการแสดงความคิดเห็นที่น่าสงสารและหยิ่งในหนังสือ:

http://onlinelibrary.wiley.com/doi/10.1111/j.1740-9713.2008.00281.x/abstract

The Black Swan เป็นอีกตัวอย่างหนึ่งที่เป็น "ผู้ขายดีที่สุด" ไม่รับประกันเนื้อหาที่มีคุณภาพสูง

ฉันไม่คิดว่า Taleb จะพูดจริง ๆ แล้วว่าเทคนิคทางสถิติที่อาศัยการกระจายแบบเกาส์เซียนนั้นไม่มีประโยชน์ ประเด็นของเขาในหนังสือเล่มนี้ก็คือพวกมันมีประโยชน์อย่างมากสำหรับกระบวนการทางกายภาพและชีวภาพและแบบจำลอง (แต่ไม่ใช่ทั้งหมด) เขาทำคะแนนได้ดีและไม่ดี (แบล็กสวอนและลิ้งค์เป็นจุดเริ่มต้นของ "ทุกสิ่งเป็นกฎหมายอำนาจ!" โรคระบาดที่ยังคงหลอกหลอนเราทุกวันนี้) แต่สิ่งสำคัญคือต้องจำไว้ว่าหนังสือเล่มนี้เป็นหนังสือเกี่ยวกับวรรณกรรมและปรัชญา เรียงความมีความหมายสำหรับบุคคลทั่วไป

ที่กล่าวว่าฉันคิดว่า Taleb ชอบที่จะทำให้รุนแรงขึ้นคน คุณสามารถเห็นสิ่งนี้ในการต่อสู้ของเขากับ Myron Scholes ในกรณีนี้มันอาจจะมีประโยชน์ในฐานะการศึกษาทางสถิติในระดับปริญญาตรีและบางครั้งในระดับบัณฑิตศึกษาก็มีการข้ามสมมติฐานของการแจกแจงแบบเกาส์ ฉันจินตนาการว่าในช่วงปีที่ผ่านมาด้านการเงินเขาเจอกับคำพูดจำนวนมากที่มีความรู้ที่ดีเกี่ยวกับ Black-Scholes และเทคนิคอื่น ๆ แต่ผู้ที่ไม่ได้พิจารณาสมมติฐานพื้นฐานเช่นการจัดจำหน่าย ฉันสงสัยว่า Taleb ถูก poking ที่สถาบันการศึกษาสำหรับความล้มเหลวในการศึกษาอย่างถูกต้อง

พวกคุณที่ยังไม่ได้อ่านหนังสือเล่มนี้เป็นวิธีออกจากฐาน เขาทำให้ความแตกต่างขนาดใหญ่ระหว่างที่ปรับขนาดได้และไม่สามารถปรับขนาดได้ สำหรับเรื่องที่ไม่สามารถประเมินได้แบบดั้งเดิมสถิติจะให้บริการที่ดีพอ เขาไม่ได้วิจารณ์อะไรเลย แบล็กสวอนเกิดขึ้นในการปรับขนาดได้และยากต่อการคาดการณ์จากข้อมูลเชิงประจักษ์ในอดีต หนังสือเล่มนี้เกี่ยวกับเหตุการณ์ที่เกิดขึ้นเหล่านี้จะมีผลกระทบอย่างมากและโดยทั่วไปจะอธิบายหลังจากความจริงเท่านั้น ญาณวิทยาเป็นเลิศ

หากปราศจากการอ่านหนังสือฉันรู้สึกว่าเสียงระฆังแบบเกาส์ล้มเหลวเพราะไม่ได้ให้คำจำกัดความที่ชัดเจนของ "ความหนาแน่นของความน่าจะเป็น" นอกเหนือจากนั้นพวกเขาไม่เคยให้คะแนนครบชุดของเส้นโค้ง Lorenz ที่รวมในเวลาเดียวกันทั้งหมดของตัวแปรกระจายและจำนวนประชากรทั้งหมดที่รับรู้อดีต หากใช้ "ความหนาแน่น" จำเป็นต้องอธิบายด้วยความเคารพต่อตัวแปรใด ตัวอย่างเช่นถ้าคุณพูดถึงกิโลกรัมต่อลิตรมันหมายถึงความหนาแน่นของน้ำหนักที่เกี่ยวข้องกับปริมาณ ขั้นตอนนั้นไม่ได้ถูกกำหนดโดยทฤษฎีเกาส์เซียนในหนังสือเรียน ไม่น่าแปลกใจที่คนหนุ่มสาวไม่เข้าใจสถิติที่ถูกต้อง