Chương 3 của tài liệu trình bày về hồi quy đơn biến và phương pháp ước lượng bình phương cực tiểu (OLS), nhấn mạnh rằng trong một mô hình hồi quy, các biến ngẫu nhiên có thể khiến cho các quan sát lệch khỏi đường xu thế tổng thể. Các giả định về yếu tố ngẫu nhiên, như kỳ vọng và phương sai, là rất quan trọng để đảm bảo tính không chệch và hiệu quả của ước lượng. Cuối cùng, định lý Gauss-Markov khẳng định rằng phương pháp OLS cho ra các ước lượng chính xác nhất nếu giả định về các yếu tố ngẫu nhiên được thỏa mãn.