ขั้นตอนการประมาณค่าส่วนใหญ่เกี่ยวข้องกับการค้นหาพารามิเตอร์ที่ลด (หรือเพิ่ม) ฟังก์ชันวัตถุประสงค์บางอย่าง ตัวอย่างเช่นด้วย OLS เราจะลดผลรวมของส่วนที่เหลือกำลังสองน้อยที่สุด ด้วยการประเมินความน่าจะเป็นสูงสุดเราจะเพิ่มฟังก์ชั่นบันทึกความเป็นไปได้สูงสุด ความแตกต่างคือเรื่องเล็กน้อย: การย่อขนาดสามารถถูกแปลงเป็นการขยายให้ใหญ่สุดโดยใช้ฟังก์ชันลบของวัตถุประสงค์
บางครั้งปัญหานี้สามารถแก้ไขได้ทางพีชคณิตทำให้เกิดวิธีแก้ปัญหาแบบปิด ด้วย OLS คุณจะแก้ปัญหาระบบการสั่งซื้อครั้งแรกและรับสูตรที่คุ้นเคย (แม้ว่าคุณอาจต้องใช้คอมพิวเตอร์เพื่อประเมินคำตอบ) ในกรณีอื่น ๆ นี่เป็นไปไม่ได้ในทางคณิตศาสตร์และคุณต้องค้นหาค่าพารามิเตอร์โดยใช้คอมพิวเตอร์ ในกรณีนี้คอมพิวเตอร์และอัลกอริทึมมีบทบาทที่ใหญ่กว่า ตัวอย่างกำลังสองน้อยที่สุดคือไม่เชิงเส้น คุณไม่ได้สูตรที่ชัดเจน สิ่งที่คุณได้รับคือสูตรที่คุณต้องใช้คอมพิวเตอร์เพื่อนำไปใช้ สูตรอาจเริ่มต้นด้วยการเดาเริ่มต้นว่าพารามิเตอร์อาจเป็นอย่างไรและแตกต่างกันอย่างไร จากนั้นคุณลองใช้การรวมกันของพารามิเตอร์ต่างๆและดูว่าอันไหนให้ค่าฟังก์ชันวัตถุประสงค์ต่ำสุด / สูงสุด นี่เป็นวิธีการที่ดุร้ายและใช้เวลานาน ตัวอย่างเช่น,105
หรือคุณอาจเริ่มต้นด้วยการเดาและปรับแต่งการเดาในบางทิศทางจนกว่าการปรับปรุงในฟังก์ชันวัตถุประสงค์จะน้อยกว่าค่าบางค่า สิ่งเหล่านี้มักจะเรียกว่าวิธีการไล่ระดับสี (แม้ว่าจะมีวิธีอื่นที่ไม่ได้ใช้การไล่ระดับสีเพื่อเลือกทิศทางที่จะเข้าไปเช่นอัลกอริทึมทางพันธุกรรมและการจำลองการหลอม) ปัญหาบางอย่างเช่นการรับประกันนี้คุณจะพบคำตอบที่ถูกต้องอย่างรวดเร็ว (ฟังก์ชันวัตถุประสงค์กำลังสอง) คนอื่นไม่รับประกันเช่นนั้น คุณอาจกังวลว่าคุณติดอยู่กับคนท้องถิ่นมากกว่าคนทั่วโลกที่ดีที่สุดดังนั้นคุณจึงลองเดาการคาดเดาครั้งแรก คุณอาจพบว่าพารามิเตอร์ที่แตกต่างกันอย่างดุร้ายทำให้คุณมีค่าเหมือนกันของฟังก์ชันวัตถุประสงค์ดังนั้นคุณจึงไม่ทราบว่าจะเลือกชุดใด
E[y]=exp{α}
QN(α)=−12N∑iN(yi−exp{α})2
α∗=lny¯ln(y¯+k)