Bình phương nhỏ nhất thông thường, phương pháp (ordinary least squares – OLS) là phương pháp được sử dụng rộng rãi nhất để ước lượng các tham số trong phương trình hồi quy. Để tối thiểu hoá tổng bình phương của các khoảng cách theo phương thẳng đứng giữa số liệu thu thập được và đường (hay mặt) hồi quy, nhìn chung người ta sử dụng công thức (dưới dạng ma trận) sau:

P = (XX)-‘XĨ

trong đó p là véc tơ các tham số cần ước lượng, A là ma trận các kết quả quan sát của biên độc lập và Y là ma trận các kết quả quan sát của biến phụ thuộc.

Trong tình huống đơn gian chỉ có hai biến, công thức trên có thể viết thành

s,x,

trong đó .V, và y, là độ lệch so với số bình quân của biến độc lập và phụ thuộc. Trong những điều kiện nhất định, người ta có thể chứng minh ràng phương pháp bình phương nhỏ nhất thông thường là phương pháp ước lượng không trệch tuyên lính tốt nhất.