*
Metoda nejmenších čtverců
Metoda nejmenších čtverců využívá optimalizace pro nalezení přímky
(nebo obecnější křivky), která je vhodnou aproximací naměřených
závislých dat. Velice často při měření hodnot potřebujeme získat
informaci o této závislosti ať už pro predikci nebo např. pro odhad
chyb přístroje apod.
Odvodíme nejjednodušší případ, budeme hledat přímku y = ax + b tak,
aby naměřeným dvojicím dat [x1, y1], . . . , [xn, yn] co nejlépe
odpovídala.
c Lenka Přibylová, 2010 ×
*
axi + b
y = ax + b
x
y
[xi, yi]
−yi
Minimalizujeme tedy vzdálenosti skutečně naměřených hodnot od
hodnot na aproximující přímce. Přesněji použijeme nikoliv vzdálenost,
tedy absolutní hodnotu rozdílu těchto hodnot, ale její čtverec, tedy
druhou mocninu. Odtud název metody - metoda nejmenších čtverců.
(Důvod je ten, že výpočet je podstatně jednodušší...)
c Lenka Přibylová, 2010 ×
*
n
i=1
(axi + b − yi)2
−→ min
Uvědomme si, že známe xi a yi, to, co neznáme jsou parametry
přímky: a a b. Minimalizovat tedy budeme vzhledem k těmto
proměnným. Hledáme tedy stacionární body funkce dvou proměnných,
nalezneme derivace podle obou proměnných a položíme je rovny nule:
(
n
i=1
(axi + b − yi)2
)a =
n
i=1
2(axi + b − yi)xi = 0
(
n
i=1
(axi + b − yi)2
)b =
n
i=1
2(axi + b − yi) = 0
c Lenka Přibylová, 2010 ×
*
Roznásobením a sloučením vhodných sčítanců dostaneme soustavu:
a
n
i=1
x2
i + b
n
i=1
xi =
n
i=1
xiyi
a
n
i=1
xi + nb =
n
i=1
yi
Tato soustava má vždy jediné řešení, protože
D = det





n
i=1
x2
i
n
i=1
xi
n
i=1
xi n





= n
n
i=1
x2
i − (
n
i=1
xi)2
> 0.
Jde o tzv. Jensenovu nerovnost, ostrá nerovnost je dána tím, že měříme
alespoň ve dvou různých hodnotách x, z jednoho měření nebo měření
v jednom x žádný závěr o závislosti y na x samozřejmě nedostaneme.
c Lenka Přibylová, 2010 ×
*
Podle Cramerova pravidla je řešením soustavy
a =
det





n
i=1
xiyi
n
i=1
xi
n
i=1
yi n





D
, b =
det





n
i=1
x2
i
n
i=1
xiyi
n
i=1
xi
n
i=1
yi





D
a je skutečně minimem, protože hessián 4D > 0 a navíc
(
n
i=1
(axi + b − yi)2
)aa = 2
n
i=1
x2
i > 0.
1. příklad: Najděte přímku aproximující body [0, 5], [1, 3], [3, 3], [5, 2],
[6, 1].
Řešení.
c Lenka Přibylová, 2010 ×