Для иллюстрации данного утверждения докажем зависимость значения МНК-оценки
от величины случайной ошибки ε.
МНК-оценка коэффициента β1 модели регрессии определяется по формуле:
В связи с тем, что переменная у зависит от случайной компоненты ε (yi=β0+β1xi+εi), то ковариация между зависимой переменной у и независимой переменной х может быть представлена следующим образом:
Для дальнейших преобразования используются свойства ковариации:
1) ковариация между переменной х и константой С равна нулю: Cov(x,C)=0, C=const;
2) ковариация переменной х с самой собой равна дисперсии этой переменной: Cov(x,x)=G2(x).
Исходя из указанных свойств ковариации, справедливы следующие равенства:
Cov(x,β0)=0 (β0=const);
Cov(x, β1x)= β1*Cov(x,x)= β1*G2(x).
Следовательно, ковариация между зависимой и независимой переменными Cov(x,y) может быть записана как:
Cov(x,y)= β1G2(x)+Cov(x,ε).
В результате МНК-оценка коэффициента β1 модели регрессии примет вид:
Таким образом, МНК-оценка
может быть представлена как сумма двух компонент:
1) константы β1, т. е. истинного значения коэффициента;
2) случайной ошибки Cov(x,ε), вызывающей вариацию коэффициента модели регрессии.
Однако на практике подобное разложение МНК-оценки невозможно, потому что истинные значения коэффициентов модели регрессии и значения случайной ошибки являются неизвестными. Теоретически данное разложение можно использовать при изучении статистических свойств МНК-оценок.
Аналогично доказывается, что МНК-оценка
коэффициента модели регрессии и несмещённая оценка дисперсии случайной ошибки
могут быть представлены как сумма постоянной составляющей (константы) и случайной компоненты, зависящей от ошибки модели регрессии ε.
16. Состоятельность и несмещённость МНК-оценок
Предположим, что методом наименьших квадратов получена оценка
Для того, чтобы данная оценка могла быть принята за оценку параметра
необходимо и достаточно выполнения трёх статистических свойств:
1) свойства несмещённости;
2) свойства состоятельности;
3) свойства эффективности.
Сделаем следующие предположения об отклонениях єi:
1) величина єiявляется случайной переменной;
2) математическое ожидание єiравно нулю: М (єi) = 0;
3) дисперсия є постоянна: D(єi) = D(єi) = s 2 для всех i, j;
4) значения єiнезависимы между собой, следовательно, справедливо следующее выражение:
Если данные предпосылки выполняются, то оценки, найденные с помощью метода наименьших квадратов, обладают свойствами несмещённости, состоятельности и эффективности.
Если третье и четвёртое предположения не выполняются, т. е. дисперсия случайных компонент непостоянна и/или значения є коррелируют друг с другом, то свойства несмещенности и состоятельности сохраняются, но свойство эффективности – нет.
Величина
называется несмещённой оценкой параметра
если её выборочное математическое ожидание равно оцениваемому параметру генеральной совокупности:
Отсюда следует, что
где φi – это величина смещения оценки.
Рассмотрим свойство несмещённости МНК-оценок на примере модели парной регрессии.
Необходимо доказать, что оценка
полученная методом наименьших квадратов, является несмещённой оценкой параметра β1 для нормальной линейной модели регрессии, т. е. необходимо доказать справедливость равенства
Доказательство. Проведём доказательство утверждения
через ковариационную матрицу:
То же самое утверждение
можно доказать в более развёрнутом виде:
Следовательно, оценка
полученная методом наименьших квадратов, является несмещённой оценкой коэффициента β1 нормальной линейной модели парной регрессии.
Свойство несмещённости оценки
коэффициента β0нормальной линейной модели парной регрессии, полученной методом наименьших квадратов, доказывается аналогично.
Для модели множественной регрессии доказательство свойства несмещённости оценок параметров βi, полученных методом наименьших квадратов, целесообразно провести в матричной форме:
Следовательно, оценки
полученные методом наименьших квадратов, являются несмещёнными оценками коэффициентов βiнормальной линейной модели множественной регрессии.