การทดสอบความแตกต่างบางอย่าง: นี่เป็นปัญหาที่ยากหรือไม่?

ฉันโพสต์สิ่งนี้ใน mathoverflow และไม่มีใครตอบ:

วิธีการของSchefféสำหรับการระบุความแตกต่างอย่างมีนัยสำคัญทางสถิติเป็นที่รู้จักกันอย่างกว้างขวาง ความคมชัดในหมู่หมายถึง ,ของประชากรเป็นเชิงเส้นรวมกันที่ , และเซนต์คิตส์และเนวิสของความคมชัดเป็นหลักความคมชัดเดียวกันดังนั้นใครจะบอกว่าชุดของความแตกต่างเป็นพื้นที่โปรเจค วิธีการของSchefféทดสอบสมมติฐานที่บอกว่าทุกความแตกต่างในหมู่เหล่านี้ประชากรเป็นและกำหนดระดับนัยสำคัญปฏิเสธสมมติฐานที่มีความน่าจะเป็น $\mu_i$ $i=1,\ldots,r$ $r$ $\sum_{i=1}^r c_i \mu_i$ $\sum_{i=1}^r c_i=0$ $r$ $0$ $\alpha$ $\alpha$ เนื่องจากสมมติฐานว่างเป็นจริง และหากสมมติฐานว่างถูกปฏิเสธSchefféชี้ให้เห็นว่าการทดสอบของเขาบอกเราว่าข้อแตกต่างอย่างมีนัยสำคัญแตกต่างจาก (ฉันไม่แน่ใจว่าบทความ Wikipedia ที่ฉันเชื่อมโยงกับจุดนั้น) $0$

ฉันต้องการทราบว่าสามารถทำสิ่งที่คล้ายกันในสถานการณ์ที่แตกต่างกันได้หรือไม่ พิจารณาเชิงเส้นอย่างง่ายรูปแบบการถดถอยที่ , n $Y_i = \alpha + \beta x_i + \varepsilon_i$ $\varepsilon_i\sim\operatorname{i.i.d.}N(0,\sigma^2)$ $i=1,\ldots,n$

สมมติฐานว่างที่ฉันต้องการพิจารณาเกี่ยวข้องกับความแตกต่าง มันบอกว่าไม่มีเซตย่อยเช่นนั้นสำหรับและสำหรับที่\หากเซตย่อยถูกระบุไว้ล่วงหน้าแล้วตัวอย่างสองตัวอย่าง -test จะทำการทดสอบ แต่เราต้องการสิ่งที่พิจารณาเซตย่อยทั้งหมดและเก็บความน่าจะเป็นที่จะปฏิเสธสมมติฐานว่างเปล่าที่แท้จริง $A\subseteq\lbrace 1,\ldots,n\rbrace$ $E(Y_i) = \alpha_1 + \beta x_i$ $i\in A$ $E(Y_i) = \alpha_2 + \beta x_i$ $i\not\in A$ $\alpha_1\ne\alpha_2$ $A$ $t$

หนึ่งสามารถคิดออกนี้ถ้ามีประสิทธิภาพไม่ได้กังวล: พบการทดสอบที่ผ่านไปทุกความเป็นไปได้ ถึงอย่างนั้นมันก็เป็นปัญหา สองความแตกต่างจะไม่เป็นอิสระ ฉันถามผู้เชี่ยวชาญเกี่ยวกับการตรวจจับนอกเรื่องเกี่ยวกับเรื่องนี้และเขาเพิ่งบอกว่ามันเป็นฝันร้ายแบบ combinatorial จากนั้นฉันก็ถามว่าใครสามารถพิสูจน์ได้ว่าไม่มีวิธีที่มีประสิทธิภาพในการทำบางทีอาจลดปัญหา NP-hard ลง เขาแค่บอกว่าเขาอยู่ห่างจากปัญหาที่ยากลำบาก $2^{n-1}-1$

ดังนั้น: หนึ่งสามารถพิสูจน์ได้ว่าปัญหานี้เป็น "ยาก" หรือว่าไม่ใช่?

— Michael Hardy
แหล่งที่มา

(+1) การคัดลอกความคิดเห็นเพื่อความกระจ่างจากเวอร์ชั่น MO : เพียงจุดเล็ก ๆ ของการอธิบาย: เมื่อฉันอ่านมันมีคุณสมบัติภายใต้สมมติฐานว่างของคุณ แต่และทำไม่ได้ (โดยไม่คำนึงถึง ) นั่นคือสิ่งที่คุณตั้งใจหรือไม่ (มันดูเหมือนจะไม่ตรงกับบางส่วนของอธิฐานอื่น ๆ ที่เกิดขึ้นในคำถาม.)

(α_{1}, α_{2}, α_{3}) = (1, 2, 3)

$(\alpha_1, \alpha_2, \alpha_3) = (1,2,3)$

(1, 2, 2)

$(1,2,2)$

(1, 1, 1)

$(1,1,1)$

β

$\beta$

— พระคาร์ดินัล

ตามที่ระบุไว้ข้างต้นสมมติฐานว่างก็คือว่าเราต้องการเพียงหนึ่งและสมมติฐานทางเลือกคือเราต้องการสอง ฉันไม่รู้ว่าทำไมคุณมีหนึ่งในสาม เราสามารถพิจารณาสมมุติฐานว่างของหนึ่งเทียบกับสมมติฐานทางเลือกของหลาย ๆ อันและนั่นอาจเป็นสิ่งที่ฉันควรทำแทน

α

$\alpha$

α

$\alpha$

— Michael Hardy

ขอบคุณ บางทีฉันอาจถูกโยนออกไปด้วยข้อความดั้งเดิมของแบบจำลองในขณะที่ซึ่งฉันได้นำมาเป็นตัวพิมพ์ที่อาจเป็นไปได้สำหรับ (เนื่องจากได้รับอนุญาตให้เปลี่ยนแปลง)

Y_{i} = α + β x_{i} + ε_{i}

$Y_i = \alpha + \beta x_i + \varepsilon_i$

α

$\alpha$

α_{i}

$\alpha_i$

— พระคาร์ดินัล

แน่นอนว่าถ้าขึ้นอยู่กับมันจะเป็นแบบจำลองแบบ over-parametrized และไม่เหมือนอย่างที่คนทั่วไปเรียกว่า "แบบจำลองการถดถอยเชิงเส้นอย่างง่าย"

α

$\alpha$

i

$i$

— Michael Hardy

พบว่ายังไม่มีใครตอบคำถามนี้จนถึงตอนนี้ ...

โดยพื้นฐานแล้วคำถามคือ: มีเวกเตอร์ 0-1ที่ ให้ a (พอดี) ดีกว่า "ดีขึ้นอย่างมีนัยสำคัญ" สามารถจับในแง่ของผลรวมของสี่เหลี่ยมเป็นความไม่เท่าเทียมกัน คำถามจะกลายเป็นว่ามีวิธีแก้ปัญหา 0-1 สำหรับความไม่เท่าเทียมกัน นี่เป็นตัวแปรของปัญหาการแบ่งพาร์ติชันที่กำหนดซึ่งเป็นที่รู้จักกันว่า NP-hard $Z$

y_{i} = α + β x_{i} + γ z_{i} + ϵ_{i}

$y_i = \alpha + \beta x_i + \gamma z_i + \epsilon_i$

y_{i} = α + β x_{i} + ϵ_{i} .

$y_i = \alpha + \beta x_i + \epsilon_i.$

f (z) \geq t .

$f(z) \ge t.$

— user3697176
แหล่งที่มา

สามารถลดปัญหาการแบ่งพาร์ทิชันตามจริงกับปัญหานี้ได้หรือไม่? ถ้าเป็นเช่นนั้นจะพิสูจน์ว่านี่เป็นปัญหาที่ยาก

${}\qquad{}$

— Michael Hardy

ปัญหานี้อย่างน้อยที่สุดก็ยากเท่ากับปัญหาการแบ่งพาร์ติชันชุดแบบคลาสสิค (SPP) SPP ใช้การรวมกันเชิงเส้นของตุ้มน้ำหนักและพยายามคูณด้วย +/- 1 เพื่อให้ได้นิพจน์ที่รวมเป็น 0 ตรงนี้คุณต้องการที่จะสนองความไม่เท่าเทียมกัน หากสิ่งนี้สามารถแก้ไขได้ในเวลาพหุนามสำหรับอินพุตโดยพลการดังนั้นการทะเลาะกันแสดงให้เห็นว่าคุณสามารถแก้ไข SPP ในเวลาพหุนาม นั่นไม่ใช่การลดลงอย่างแน่นอน แต่มันใกล้เคียง

— user3697176