Nejjednodušším příkladem, který mě napadá, je ukázková varianta, která intuitivně přichází k většině z nás, a to součet čtverců odchylek dělený $ n $ místo $ n-1 $ :

$$ S_n ^ 2 = \ frac {1} {n} \ sum_ {i = 1} ^ n \ left (X_i- \ bar {X} \ right) ^ 2 $$

Je snadné ukázat, že $ E \ left (S_n ^ 2 \ right) = \ frac {n-1} {n} \ sigma ^ 2 $ a odhad je tedy zkreslený. Ale za předpokladu konečné odchylky $ \ sigma ^ 2 $ pozorujte, že zkreslení jde na nulu jako $ n \ to \ infty $ protože

$$ E \ left (S_n ^ 2 \ right) - \ sigma ^ 2 = - \ frac {1} {n} \ sigma ^ 2 $$

Lze také ukázat, že rozptyl odhadce má tendenci k nule, a tak odhadovatel konverguje ve střední kvadratuře . Proto je také konvergentní v pravděpodobnosti .

Jednoduchým příkladem může být odhad parametru $ \ theta > 0 $ vzhledem k $ n $ i.i.d. postřehy $ y_i \ sim \ text {Uniform} \ left [0, \, \ theta \ right] $.

Nechť $ \ hat {\ theta} _n = \ max \ left \ {y_1, \ ldots, y_n \ right \} $. Pro jakékoli konečné $ n $ máme $ \ mathbb {E} \ left [\ theta_n \ right] < \ theta $ (takže odhad je zaujatý), ale v limitu se bude rovnat $ \ theta $ s pravděpodobností jedna (takže je to konzistentní).

Zvažte jakýkoli nezaujatý a konzistentní odhad $ T_n $ a posloupnost $ \ alpha_n $ konvergující k 1 ($ \ alpha_n $ nemusí být náhodná) a vytvořte $ \ alpha_nT_n $. Je to neobjektivní, ale konzistentní, protože $ \ alpha_n $ konverguje k 1.

Z wikipedie:

Volně řečeno, je odhadován $ T_n $ parametru $ \ theta $ konzistentní, pokud s pravděpodobností konverguje na skutečnou hodnotu parametru: $$ \ underset {n \ to \ infty} {\ operatorname {plim}} \; T_n = \ theta. $$

Nyní připomeňme, že zkreslení odhadce je definováno jako:

$$ \ operatorname {Bias} _ \ theta [\, \ hat \ theta \,] = \ operatorname {E} _ \ theta [\, \ hat {\ theta} \,] - \ theta $$

Předpětí je skutečně nenulové a pravděpodobnost konvergence zůstává pravdivá.

V nastavení časové řady se zpožděnou závislou proměnnou zahrnutou jako regresor bude odhad OLS konzistentní, ale zaujatý. Důvodem je to, že abychom ukázali nestrannost odhadu OLS, potřebujeme přísnou exogenitu, $ E \ left [\ varepsilon_ {t} \ left | x_ {1}, \, x_ {2,}, \, \ ldots , \, x_ {T} \ right. \ right] $, tj. že chybný termín, $ \ varepsilon_ {t} $, v období $ t $ není ve vzájemném vztahu se všemi regresory ve všech časových obdobích. Abychom však ukázali konzistenci odhadu OLS, potřebujeme pouze současnou exogenitu, $ E \ left [\ varepsilon_ {t} \ left | x_ {t} \ right. \ Right] $, tj. Že chybný člen, $ \ varepsilon_ {t} $, v období $ t $ nesouvisí s regresory, $ x_ {t} $ v období $ t $. Zvažte model AR (1): $ y_ {t} = \ rho y_ {t-1} + \ varepsilon_ {t}, \; \ varepsilon_ {t} \ sim N \ left (0, \: \ sigma _ {\ varepsilon} ^ {2} \ right) $ s $ x_ {t} = y_ {t-1} $ od nynějška.

Nejprve ukážu, že přísná exogenita neplatí v modelu se zpožděnou závislou proměnnou zahrnutou jako regresor. Podívejme se na korelaci mezi $ \ varepsilon_ {t} $ a $ x_ {t + 1} = y_ {t} $ $$ E \ left [\ varepsilon_ {t} x_ {t + 1} \ right] = E \ left [\ varepsilon_ {t} y_ {t} \ right] = E \ left [\ varepsilon_ {t} \ left (\ rho y_ {t-1} + \ varepsilon_ {t} \ right) \ right] $$

$$ = \ rho E \ left (\ varepsilon_ {t} y_ {t-1} \ right) + E \ left (\ varepsilon_ {t} ^ {2} \ right) $$

$$ = E \ left (\ varepsilon_ {t} ^ {2} \ right) = \ sigma _ {\ varepsilon} ^ {2} >0 \ (rovnice (1)). $$

Pokud předpokládáme postupnou exogenitu, $ E \ left [\ varepsilon_ {t} \ mid y_ {1}, \: y_ {2}, \: \ ldots \ ldots, y_ {t-1} \ right] = 0 $, tj. Že chybový termín $ \ varepsilon_ {t} $ v období $ t $ nesouvisí se všemi regresory v předchozích časových obdobích a aktuální pak první termín výše, $ \ rho E \ left (\ varepsilon_ {t} y_ {t-1} \ right) $, zmizí. Z výše uvedeného je zřejmé, že pokud nemáme přísnou exogenitu, očekávání $ E \ left [\ varepsilon_ {t} x_ {t + 1} \ right] = E \ left [\ varepsilon_ {t} y_ {t} \ right] \ neq0 $. Mělo by však být jasné, že současná exogenita, $ E \ left [\ varepsilon_ {t} \ left | x_ {t} \ right. \ Right] $, platí.

Nyní se podívejme na zkreslení odhadu OLS při odhadu výše uvedeného modelu AR (1). Odhad OLS $ \ rho $, $ \ hat {\ rho} $ je uveden jako:

$$ \ hat {\ rho} = \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ vlevo (\ rho y_ {t-1} + \ varepsilon_ {t} \ vpravo) y_ {t-1}} { \ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = \ rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ varepsilon_ {t} y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} \ (Rov. (2 )) $$

Potom vezměte podmíněné očekávání u všech předchozích, současných i budoucích hodnot, $ E \ left [\ varepsilon_ {t} \ left | y_ {1}, \, y_ {2,}, \, \ ldots, \, y_ {T-1} \ vpravo. \ vpravo] $, z $ ekv. (2) $:

$$ E \ left [\ hat {\ rho} \ left | y_ {1}, \, y_ {2,}, \, \ ldots, \, y_ {T -1} \ right. \ Right] = \ rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ left [\ varepsilon_ {t} \ left | y_ {1}, \, y_ {2,}, \, \ ldots, \, y_ {T-1} \ right. \ right] y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} $$

Víme však z $ Eq. (1) $ that $ E \ left [\ varepsilon_ {t} y_ {t} \ right] = E \ left (\ varepsilon_ {t} ^ {2} \ right) $ such that $ \ left [\ varepsilon_ {t } \ left | y_ {1}, \, y_ {2,}, \, \ ldots, \, y_ {T-1} \ right. \ right] \ neq0 $ znamená, že $ \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ left [\ varepsilon_ {t} \ left | y_ {1}, \, y_ {2,}, \, \ ldots, \, y_ {T-1 } \ right. \ right] y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} \ neq0 $ a tedy $ E \ left [\ hat {\ rho} \ left | y_ {1}, \, y_ {2,}, \, \ ldots, \, y_ {T-1} \ right. \ right] \ neq \ rho $ but je neobjektivní: $ E \ left [\ hat {\ rho} \ left | y_ {1}, \, y_ {2,}, \, \ ldots, \, y_ {T-1} \ right. \ right] = \ rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ left [\ varepsilon_ {t} \ left | y_ {1}, \, y_ {2,}, \, \ ldots, \, y_ {T-1} \ right. \ right] y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ { 2}} = \ rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} E \ vlevo (\ varepsilon_ {t} ^ {2} \ vpravo) y_ {t-1} } {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = $$ \ rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ sigma _ {\ varepsilon} ^ {2} y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ { 2}} $.

Vše, co předpokládám, aby se ukázalo konzistenci OLS odhadce v modelu AR (1), je současná exogenita, $ E \ left [\ varepsilon_ {t} \ left | x_ {t} \ right. \ right] = E \ left [\ varepsilon_ {t} \ left | y_ {t-1} \ right. \ right] = 0 $ což vede k momentální podmínce, $ E \ left [\ varepsilon_ {t} x_ {t} \ right] = 0 $ s $ x_ {t} = y_ {t-1} $. Stejně jako dříve máme odhad OLS $ \ rho $, $ \ hat {\ rho} $ uveden jako: $$ \ hat {\ rho} = \ frac {\ frac {1} {T} \ sum_ { t = 1} ^ {T} y_ {t} y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ {T} \ vlevo (\ rho y_ {t-1} + \ varepsilon_ {t} \ vpravo) y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = \ rho + \ frac {\ frac {1} {T} \ sum_ {t = 1} ^ { T} \ varepsilon_ {t} y_ {t-1}} {\ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} $$

Nyní předpokládejme, že $ plim \ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2} = \ sigma_ {y} ^ {2} $ a $ \ sigma_ { y} ^ {2} $ je kladné a konečné, $ 0< \ sigma_ {y} ^ {2} < \ infty $.

Pak jako $ T \ rightarrow \ infty $ a tak dlouho, jak platí zákon velkých čísel (LLN), máme $ p \ lim \ frac {1} {T} \ sum_ {t = 1} ^ {T} \ varepsilon_ {t} y_ {t-1} = E \ left [ \ varepsilon_ {t} y_ {t-1} \ right] = 0 $. Pomocí tohoto výsledku máme: $$ \ underset {T \ rightarrow \ infty} {p \ lim \ hat {\ rho}} = \ rho + \ frac {p \ lim \ frac {1} {T} \ sum_ {t = 1} ^ {T} \ varepsilon_ {t} y_ {t-1}} {p \ lim \ frac {1} {T} \ sum_ {t = 1} ^ {T} y_ {t} ^ {2}} = \ rho + \ frac {0} {\ sigma_ {y} ^ {2}} = \ rho $$

Tím se ukázalo, že odhad OLS $ p $, $ \ hat {\ rho} $ v modelu AR (1) je předpjatý, ale konzistentní. Všimněte si, že tento výsledek platí pro všechny regrese, kde je zpožděná závislá proměnná zahrnuta jako regresor.