En Küçük Kareler

En küçük kareler yöntemi, birbirine bağlı olarak değişen iki fiziksel büyüklük arasındaki matematiksel bağlantıyı, mümkün olduğunca gerçeğe uygun bir denklem olarak yazmak için kullanılan, standart bir regresyon yöntemidir. Bir başka deyişle bu yöntem, ölçüm sonucu elde edilmiş veri noktalarına "mümkün olduğu kadar yakın" geçecek bir fonksiyon eğrisi bulmaya yarar. Gauss-Markov Teoremi'ne göre en küçük kareler yöntemi, regresyon için optimal yöntemdir.

Doğrusal Örnek

Basit bir örnek vermek gerekirse, aralarında doğrusal (lineer) bir bağlantı olan, X ve Y adında iki fiziksel büyüklük düşünelim. (Mesela, X belli bir ağaç türünün yaşı, Y aynı tür ağacın gövde çapı olabilir.) Y 'yi X 'in fonksiyonu olarak yazmak istiyoruz. Bu iki büyüklük arasındaki bağlantı doğrusal olduğuna göre, şöyle bir denklem halinde ifade edilebilir:

Y=aX+b

Bizim aradığımız şey, bu denklemdeki a ve b sayıları için mümkün olan en doğru değerlerdir. Bu değerleri belirlemek için bir dizi ölçüm yaptığımızı düşünelim. (Ağaç örneğine dönersek, ilgilendiğimiz türden pek çok ağacın yaşını ve gövde çapını ölçelim.) Bu ölçümler bize bir dizi (x_i, y_i) çifti verecektir. Bir kartezyen düzlem üzerinde bu çiftlere karşılık gelen noktaları tek tek işaretlersek, kabaca düz bir çizgi üzerinde yayılmış bir "noktalar bulutu" elde ederiz. Noktalar, çeşitli sebeplerden dolayı (ölçüm hataları, istisnai durumlar, modele katılmayan dış etkiler, vs) kusursuz bir çizgi üzerinde çıkmayacaktır.

X ve Y arasındaki bağlantıyı tek bir doğrusal denklem olarak ifade etmek istiyorsak, bu noktalara mümkün olduğunca yakın geçecek bir çizgi bulmalıyız. Bir başka deyişle, yukarıdaki denklemde a ve b'yi öyle seçmeliyiz ki, ortaya çıkan çizgi veri noktalarına mümkün olduğunca yakın olsun.

En küçük kareler yöntemi, denklemin verdiği (teorik) Y değerleri ile ölçümlerin verdiği (gerçek) Y değerleri arasındaki farkların karelerinin toplamını küçültme fikrine dayanır. Bu yöntem, denklemdeki a ve b sayılarını, bahsedilen kareler toplamını en küçük yapacak şekilde seçer (ve adını da buradan alır).