Metoda nejmenších čtverců s dodatečnou informací

představuje postup, jak odhadnout parametry jednorovnicového regresního modelu pro případ, že jsou
tyto propojeny provazujícími podmínkami.  Omezíme se případ, kdy mezi parametry regresního modelu
existují jen lineární omezení tvaru

                                                   ,
kde

   je  matice rozměrů [JxK]  koeficientů těchto lineárních omezení

    je  vektor pravých stran soustavy omezení

  je  vektor parametrů, které jsou těmto omezením podrobeny.

Předpokládáme přitom, že

a) počet těchto omezení J  je nanejvýš roven počtu parametrů K, tj.

b) omezení neobsahují redundantní informaci, že jsou tedy nezávislá. Proto je hodnost matice
nejvyšší možná, tj. rovna J. tj.

Algoritmus odhadové metody OLS-AI je založen na tom, že jde o hledání vázaného extrému,. Půjde tedy
o formulaci úlohy ve tvaru

(1a/b)                                           za podmínky

Standardní cestou nalezení minima funkce (1a) při omezení (1b) je nasazení techniky Lagrangeových
multiplikátorů (jejich počet bude roven právě počtu lineárně nezávislých omezení, tj. J) :  Dále
tedy půjde o minimalizaci výrazu

(2)                                        ,

kde   je vektor Lagrangeových multiplikátorů délky J[1].


Položíme-li rovny nule první parciální derivace výrazu (2) podle jednotlivých prvků vektoru ,
dostaneme pro odhad minimalizujícího vektoru   vyjádření

(3)                                       .       a odtud pro


(4)                                                  neboli


(5)


Tento odhad ovšem zatím není použitelný, protože se v něm vyskytují (zatím neznámé) prvky vektoru
. Abychom tento vektor eliminovali, postupujeme následovně:


Vztah (5) vynásobíme zleva maticí R. Po tomto vynásobení obdržíme:


(6)

Na levé straně se nám objevuje levá strana omezujících podmínek, takže do ní můžeme dosadit  z
(1b). Dostaneme:

(7)

a odtud pak hodnotu vektoru Lagrangeových multiplikátorů minimalizujících kriteriální funkci (2)


Dosadíme-li nyní tento výraz pro  zpětně do vztahu (5), dostaneme výsledný výraz pro

(9)

Ze vztahu (9) je zřejmé, že odhadová funkce OLS-AI se liší od odhadové funkce OLS tím, že se ke
každé složce vektoru    připočte korekce obsahující lineární funkci typu  . Jinak by odhadová
funkce OLS nerespektovala omezující podmínky.

                         Některé vlastnosti odhadové funkce OLS-AI

Abychom vyšetřili, zda nalezená odhadová funkce OLS-AI je nestranná, dosadíme nejdříve do (9)
známý vztah

                                                   .                           Dostaneme

(10)

V odvozování jsme použili dosazení

Že je tato odhadová funkce přinejmenším nestranná, se lze snadno přesvědčit :

(11)





Kovarianční matici (nestranné) odhadové funkce OLS-AI lze odvodit následovně :

(12)

                ,

kde    označuje kovarianční matici vektoru  , tedy

Všimneme-li si blíže výrazu (12), můžeme konstatovat následující :

Matice  je typu KxJ a má podle předpokladu o nezávislosti omezení hodnost J . Proto i matice  a
jsou pozitivně definitní. Odtud plyne, že i odečítaná matice na pravé straně výrazu (12)   je
kladně semidefinitní. Každý její diagonální prvek je tedy nanejvýš roven stejnolehlému prvku na
hlavní diagonále matice .

Odtud tedy plyne, že  rozptyl každého prvku vektoru   je menší nebo nanejvýš roven odpovídajícímu
prvku matice . Lze i obecně ukázat – viz H.Theil - že prvky tohoto vektoru mají nejmenší rozptyl
uvnitř třídy nestranných odhadových funkcí.

Podrobné odvození tvaru kovarianční matice



 =



Příklady zápisu dodatkové informace :

(1) apriorní znalost hodnoty některých koeficientů , např.

      zápis omezení :

(2) apriorní znalost podílů hodnot některých prvků vektoru , např.  ,


      zápis omezení :

(3) apriorní znalost hodnoty lineární kombinace hodnot prvků vektoru , např.



     zápis omezení :
________________________________

[1] Dvojnásobek vektoru  se ve (2) objevuje jen proto, abychom s ním nemuseli operovat dále:  po
přechodu k (3) již se zde objevují jen výrazy s jedničkovými koeficienty.