การประมาณการแจกแจงโดยพิจารณาจากเปอร์เซนต์ไทล์

ฉันสามารถใช้วิธีการใดในการอนุมานการกระจายหากฉันรู้ว่ามีเปอร์เซนต์สามเปอร์เซ็นต์เท่านั้น

ตัวอย่างเช่นฉันรู้ว่าในชุดข้อมูลหนึ่งเปอร์เซนต์ไทล์ที่ห้าคือ 8,135 เปอร์เซ็นไทล์ที่ 50 คือ 11,259 และเปอร์เซ็นไทล์ 95 ที่ 23,611 ฉันต้องการที่จะไปจากจำนวนอื่นใดที่จะเป็นเปอร์เซ็นต์ของมัน

ไม่ใช่ข้อมูลของฉันและเป็นสถิติทั้งหมดที่ฉันมี เป็นที่ชัดเจนว่าการกระจายไม่ปกติ ข้อมูลอื่นที่ฉันมีเพียงอย่างเดียวคือข้อมูลนี้แสดงถึงเงินทุนรัฐบาลต่อหัวสำหรับเขตการศึกษาต่างๆ

ฉันรู้เพียงพอเกี่ยวกับสถิติที่จะรู้ว่าปัญหานี้ไม่มีวิธีการแก้ปัญหาที่ชัดเจน แต่ไม่เพียงพอที่จะรู้ว่าจะค้นหาการคาดเดาที่ดีได้อย่างไร

การแจกแจงแบบบันทึกปกติจะเหมาะสมหรือไม่? เครื่องมือใดที่ฉันสามารถใช้เพื่อทำการถดถอย (หรือฉันต้องทำเอง)

การใช้วิธีการทางสถิติอย่างหมดจดในการทำงานนี้จะไม่ให้ข้อมูลเพิ่มเติมเกี่ยวกับการกระจายการใช้จ่ายของโรงเรียนอย่างแน่นอน: ผลลัพธ์จะสะท้อนให้เห็นถึงทางเลือกของอัลกอริทึมโดยพลการ

ท่านต้องการข้อมูลเพิ่มเติม

สิ่งนี้ง่ายต่อการใช้งาน: ใช้ข้อมูลจากปีก่อน ๆ จากเขตที่เทียบเคียงได้ ยกตัวอย่างเช่นการใช้จ่ายของรัฐบาลกลางใน 14,866 โรงเรียนในปี 2008 ได้จากเว็บไซต์การสำรวจสำมะโนประชากร มันแสดงให้เห็นว่าทั่วประเทศรายได้รวมต่อหัว (ลงทะเบียน) ของรัฐบาลกลางมีการกระจายโดยประมาณ lognormally แต่การทำลายมันลงโดยรัฐแสดงให้เห็นถึงการเปลี่ยนแปลงที่สำคัญ ( เช่นการใช้จ่ายในอลาสก้ามีความเบ้เชิงลบ . ใช้ข้อมูลเหล่านั้นเพื่อระบุลักษณะการกระจายที่เป็นไปได้แล้วปรับขนาดของคุณให้เข้ากับแบบฟอร์มนั้น

หากคุณอยู่ใกล้กับรูปแบบการแจกแจงที่ถูกต้องคุณควรจะสามารถทำซ้ำปริมาณได้อย่างแม่นยำโดยการปรับพารามิเตอร์หนึ่งหรือสองพารามิเตอร์ให้มากที่สุด เทคนิคที่ดีที่สุดสำหรับการค้นหาความพอดีจะขึ้นอยู่กับรูปแบบการกระจายตัวที่คุณใช้ แต่ที่สำคัญกว่านั้นขึ้นอยู่กับสิ่งที่คุณตั้งใจจะใช้ผลลัพธ์. คุณจำเป็นต้องประเมินจำนวนค่าใช้จ่ายเฉลี่ยหรือไม่ ขีด จำกัด บนและล่างของการใช้จ่าย? ไม่ว่าคุณจะเป็นแบบไหนก็ตามคุณต้องการที่จะใช้ความดีที่เหมาะสมที่จะให้โอกาสที่ดีที่สุดในการตัดสินใจที่ดีกับผลลัพธ์ของคุณ ตัวอย่างเช่นหากความสนใจของคุณมุ่งเน้นที่ 10% ของการใช้จ่ายทั้งหมดคุณจะต้องการเปอร์เซ็นต์ไทล์ 95 ที่ถูกต้องและคุณอาจสนใจเพียงเล็กน้อยในการเลือกเปอร์เซ็นไทล์ที่ 5 ไม่มีเทคนิคการกระชับที่ซับซ้อนจะทำให้การพิจารณาเหล่านี้สำหรับคุณ

แน่นอนว่าไม่มีใครสามารถรับประกันได้ว่าวิธีการที่ได้รับข้อมูลและถูกต้องตามกฎหมายนั้นจะทำงานได้ดีกว่า (หรือแย่กว่านั้น) กว่าสูตรทางสถิติบางอย่าง แต่ - ซึ่งแตกต่างจากวิธีการทางสถิติอย่างแท้จริง - วิธีนี้มีพื้นฐานพื้นฐานในความเป็นจริง โดยมุ่งเน้นที่ความต้องการของคุณให้ความน่าเชื่อถือและการป้องกันการวิจารณ์

@whuber ชี้ให้เห็นว่าวิธีการทางสถิติไม่ได้ทำงานที่นี่อย่างแน่นอน คุณต้องสรุปการกระจายจากแหล่งอื่น ๆ เมื่อคุณรู้ว่าการกระจายคุณมีแบบฝึกหัดการแก้สมการไม่เชิงเส้น แสดงว่าโดยฟังก์ชัน quantile ของการกระจายความน่าจะเป็นของคุณเลือกด้วยพารามิเตอร์เวกเตอร์\สิ่งที่คุณมีคือระบบสมการไม่เชิงเส้นต่อไปนี้:$f$$\theta$

โดยที่คือปริมาณของคุณ คุณต้องแก้ระบบนี้เพื่อหา\ทีนี้สำหรับการแจกแจง 3 พารามิเตอร์คุณจะพบว่าค่าของพารามิเตอร์เป็นไปตามสมการนี้ สำหรับการแจกแจงแบบ 2 พารามิเตอร์และ 1 พารามิเตอร์ระบบนี้มีการกำหนดค่าเกินพิกัดดังนั้นจึงไม่มีวิธีแก้ไขปัญหาที่แน่นอน ในกรณีนี้คุณสามารถค้นหาชุดของพารามิเตอร์ที่ช่วยลดความคลาดเคลื่อน:$q$$\theta$

ที่นี่ฉันเลือกฟังก์ชั่นสมการกำลังสอง แต่คุณสามารถเลือกสิ่งที่คุณต้องการ จากความคิดเห็นของ @whuber คุณสามารถกำหนดน้ำหนักเพื่อให้สามารถติดตั้ง quantiles ที่สำคัญกว่าได้อย่างถูกต้องมากขึ้น

สำหรับพารามิเตอร์สี่ตัวขึ้นไประบบจะถูกกำหนดค่าต่ำสุดดังนั้นจึงมีคำตอบจำนวนไม่ จำกัด

นี่คือตัวอย่างรหัส R ที่แสดงวิธีการนี้ สำหรับวัตถุประสงค์ของการสาธิตฉันสร้างปริมาณจากการแจกแจงของซิงห์ - แมดดาลาจากแพ็คเกจVGAM การกระจายนี้มี 3 พารามิเตอร์และใช้ในการสร้างแบบจำลองการกระจายรายได้

 q <- qsinmad(c(0.05,0.5,0.95),2,1,4)
 plot(x<-seq(0,2,by=0.01), dsinmad(x, 2, 1, 4),type="l")
 points(p<-c(0.05, 0.5, 0.95), dsinmad(p, 2, 1, 4))

ตอนนี้รูปแบบฟังก์ชั่นที่ประเมินระบบที่ไม่ใช่เชิงเส้นของสมการ:

 fn <- function(x,q) q-qsinmad(c(0.05, 0.5, 0.95), x[1], x[2], x[3])

ตรวจสอบว่าค่าจริงตรงตามสมการหรือไม่:

 > fn(c(2,1,4),q)
   [1] 0 0 0

สำหรับการแก้ระบบสมการไม่เชิงเส้นผมใช้ฟังก์ชั่นnleqslvจากแพคเกจnlqeslv

 > sol <- nleqslv(c(2.4,1.5,4.3),fn,q=q)
 > sol$x       
  [1] 2.000000 1.000000 4.000001

อย่างที่เราเห็นเราได้ทางออกที่ถูกต้อง ทีนี้ให้เราลองหาการกระจายของ log-normal กับ quantiles เหล่านี้ สำหรับสิ่งนี้เราจะใช้optimฟังก์ชั่น

 > ofn <- function(x,q)sum(abs(q-qlnorm(c(0.05,0.5,0.95),x[1],x[2]))^2)
 > osol <- optim(c(1,1),ofn)
 > osol$par
   [1] -0.905049  0.586334

ตอนนี้พล็อตผล

  plot(x,dlnorm(x,osol$par[1],osol$par[2]),type="l",col=2)
  lines(x,dsinmad(x,2,1,4))
  points(p,dsinmad(p,2,1,4))

จากนี้เราจะเห็นได้ทันทีว่าฟังก์ชันกำลังสองไม่ดีนัก

หวังว่านี่จะช่วยได้

ลองใช้แพ็กเกจrriskDistributionและ - ถ้าคุณแน่ใจเกี่ยวกับตระกูลการกระจาย lognormal - ให้ใช้คำสั่ง

get.lnorm.par(p=c(0.05,0.5,0.95),q=c(8.135,11.259,23.611))

ซึ่งควรแก้ปัญหาของคุณ ใช้fit.percแทนหากคุณไม่ต้องการ จำกัด หนึ่ง PDF ที่รู้จัก

สำหรับ lognormal อัตราส่วนของเปอร์เซนต์ไทล์ 95 ต่อค่ามัธยฐานนั้นเท่ากับอัตราส่วนของมีเดียนต่อไทล์ 5 นั่นไม่ได้เป็นจริงเกือบที่นี่ดังนั้น logn ปกติจะไม่เหมาะสม

คุณมีข้อมูลเพียงพอที่จะพอดีกับการกระจายด้วยสามพารามิเตอร์และคุณต้องการการแจกแจงแบบเบ้อย่างชัดเจน เพื่อความง่ายในการวิเคราะห์ฉันขอแนะนำให้การกระจาย log-logisticเป็นฟังก์ชั่นควอไทล์ (เช่นค่าผกผันของฟังก์ชันการแจกแจงสะสม) สามารถเขียนในรูปแบบปิดที่เรียบง่ายพอสมควรดังนั้นคุณควรจะได้สำนวนปิด พารามิเตอร์สามตัวในแง่ของสามควอไทล์ของคุณกับพีชคณิตบิต (ฉันจะปล่อยให้เป็นแบบฝึกหัด!) การกระจายนี้ใช้ในการวิเคราะห์ความถี่ของน้ำท่วม

นี่จะไม่แสดงให้คุณเห็นถึงความไม่แน่นอนในการประมาณของปริมาณอื่น ๆ ฉันไม่รู้ว่าคุณต้องการสิ่งนั้นหรือเปล่า แต่ในฐานะนักสถิติฉันรู้สึกว่าฉันควรจะให้มันดังนั้นฉันจึงไม่พอใจกับคำตอบนี้จริงๆ แน่นอนว่าฉันจะไม่ใช้วิธีนี้หรืออาจเป็นวิธีการใด ๆ ในการประมาณค่า (มาก) นอกช่วง 5 ถึง 95 เปอร์เซนต์

เกี่ยวกับสิ่งเดียวที่คุณสามารถอนุมานได้จากข้อมูลคือการแจกแจงนั้นไม่สมมาตร คุณไม่สามารถบอกได้ว่าควอนไทล์เหล่านั้นมาจากการกระจายตัวที่พอดีหรือเพียงแค่ ecdf

หากพวกเขามาจากการกระจายที่เหมาะสมคุณสามารถลองการแจกแจงทั้งหมดที่คุณสามารถคิดถึงและดูว่าการแข่งขันใด ๆ ถ้าไม่มีข้อมูลไม่เพียงพอ คุณสามารถแก้ไขพหุนามดีกรีอันดับ 2 หรือเส้นโค้งระดับที่ 3 สำหรับฟังก์ชันควอนไทล์และใช้มันหรือคิดทฤษฎีที่เกี่ยวกับตระกูลการแจกแจงและจับคู่ควอไทล์ แต่การอนุมานใด ๆ ที่คุณทำด้วยวิธีการเหล่านี้

การใช้ quantiles การประมาณค่าพารามิเตอร์ของการแจกแจงเบื้องต้นจะกล่าวถึงในหนังสือที่เกี่ยวกับการวัดเวลาตอบสนองของมนุษย์เป็น "การประมาณค่าความน่าจะเป็นสูงสุด quantile" (การ QMPE แต่เดิมขนานนามว่าไม่สมควร "quantile สูงสุดประมาณค่าความน่าจะเป็น" QMLE) กล่าวถึงที่มีความยาวโดยHeathcote และเพื่อนร่วมงาน คุณสามารถใส่การแจกแจงแบบต่าง ๆ จำนวนมาก (แบบเกาส์เซียน, เปลี่ยนแบบ Lognormal, Wald และ Weibull) จากนั้นเปรียบเทียบโอกาสในการบันทึกผลรวมของผลลัพธ์ที่เหมาะที่สุดสำหรับการแจกแจงแต่ละครั้งเพื่อค้นหารสชาติการกระจายที่ดูเหมือนว่าเหมาะสมที่สุด

คุณสามารถใช้ข้อมูลเปอร์เซ็นไทล์ของคุณเพื่อจำลองข้อมูลในบางวิธีและใช้แพ็คเกจ "logspline" เพื่อประเมินการกระจายแบบไม่อิงพารามิเตอร์ ด้านล่างเป็นฟังก์ชั่นของฉันที่ใช้วิธีการเช่นนี้

calc.dist.from.median.and.range <- function(m, r) 
{
    ## PURPOSE: Return a Log-Logspline Distribution given (m, r).
    ##          It may be necessary to call this function multiple times in order to get a satisfying distribution (from the plot). 
    ## ----------------------------------------------------------------------
    ## ARGUMENT:
    ##   m: Median
    ##   r: Range (a vector of two numbers)
    ## ----------------------------------------------------------------------
    ## RETURN: A log-logspline distribution object.
    ## ----------------------------------------------------------------------
    ## AUTHOR: Feiming Chen,  Date: 10 Feb 2016, 10:35

    if (m < r[1] || m > r[2] || r[1] > r[2]) stop("Misspecified Median and Range")

    mu <- log10(m)
    log.r <- log10(r)

    ## Simulate data that will have median of "mu" and range of "log.r"
    ## Distribution on the Left/Right: Simulate a Normal Distribution centered at "mu" and truncate the part above/below the "mu".
    ## May keep sample size intentionaly small so as to introduce uncertainty about the distribution. 
    d1 <- rnorm(n=200, mean=mu, sd=(mu - log.r[1])/3) # Assums 3*SD informs the bound
    d2 <- d1[d1 < mu]                   # Simulated Data to the Left of "mu"
    d3 <- rnorm(n=200, mean=mu, sd=(log.r[2] - mu)/3)
    d4 <- d3[d3 > mu]                   # Simulated Data to the Right of "mu"
    d5 <- c(d2, d4)                     # Combined Simulated Data for the unknown distribution

    require(logspline)
    ans <- logspline(x=d5)
    plot(ans)
    return(ans)
}
if (F) {                                # Unit Test 
    calc.dist.from.median.and.range(m=1e10, r=c(3.6e5, 3.1e12))
    my.dist <- calc.dist.from.median.and.range(m=1e7, r=c(7e2, 3e11))
    dlogspline(log10(c(7e2, 1e7, 3e11)), my.dist) # Density
    plogspline(log10(c(7e2, 1e7, 3e11)), my.dist) # Probability
    10^qlogspline(c(0.05, 0.5, 0.95), my.dist) # Quantiles 
    10^rlogspline(10, my.dist) # Random Sample 
}