Commit 48d14583 authored by Pierre-antoine Comby's avatar Pierre-antoine Comby

élixir de polycopié

parent 5e090391
......@@ -87,9 +87,36 @@ L'estimateur devient :
\]
\section{Quelques méthode d'inversion classique}
\subsection{Le filtre de Wiener}
Le principe du filtre de Wiener consiste à déterminer un filtre donc
d'appliquer une opéartion liénaire invariante afin de séparer le bruit
des données. Wiener a démontrer que dans le cas d'un signal
stationnaire on peux trouver un filtre optimum dans le sens ou c'est
le meilleur filtre qui sépare le bruit de l'objet si on connait
l'autocorrélation des données $\gamma_{yy}$ et l'intercorrélation entre les
données et l'objet que l'on cherche $\gamma_{yx}$.
\begin{prop}[Relation de Wiener Hopf]
Pour $p \in\Z $on a :
\[
\sum_{k\in\Z}^{}g(k)\gamma_{yy}(p-k) = \gamma_{xy}(p)
\]
$g$ est le filtre disctret optimum permettant d'estimer au mieux
$x$. LE critère choisi est la minimisation de l'espérance du carré de
l'erreur de prédiction.
\end{prop}
\begin{proof}
cf. Poly TR
\end{proof}
\begin{prop}
De facon pratique on détermine lefiltre dans l'espace de fourier:
\[
G(\nu) = \frac{\Gamma_{xy}(\nu)}{\Gamma_{yy}}
\]
\end{prop}
\subsection{Estimateur des moindres carrés}
\begin{prop}
L'estimateur des moindres carré cherche àç minimiser la norme quadratique:
L'estimateur des moindres carré cherche à minimiser la norme quadratique:
\[
\hat{\vec{x}}_{MC} = \arg\min \| \vec{y-Hx}\|_2^2 = (\vec{H}^T\vec{H})^{-1}\vec{H}^{T}\vec{y}
\]
......@@ -155,7 +182,7 @@ Et sa généralisation vectorielle:
\addplot[black,domain=0.5:2]{2*0.5*abs(x)-0.25};
\end{axis}
\end{tikzpicture}
\caption{Fonction convexe et quadratique}
\caption{Fonction de Huber (s = 0.5) et quadratique}
\end{figure}
Comme précédemment on utilise différente fonction de régularisation.
\begin{itemize}
......@@ -173,41 +200,146 @@ Comme précédemment on utilise différente fonction de régularisation.
\]
\end{itemize}
\subsection{Application de ces approches au problème de débruitage}
On souhaite résoudre le problème suivant:
\[
\vec{y} =\vec{x}+\vec{b}
\]
Avec $\vec{x}$, blanc de variance $\sigma_x$ et $\vec{b}$ centré de
variance $\sigma_b$.
\subsubsection{Wiener}
On a le filtre de wiener:
\[
G(\nu) = \frac{\Gamma_{xy}(\nu)}{\Gamma_{yy}(\nu)} = \frac{1}{1+\frac{\sigma_b^2}{\sigma_x^2}}
\]
Dans le cas ou $x$ a une matrice de covariance $\vec{D^T}\vec{D})^{-1}$ on a :
\[
G(\nu) = \frac{\Gamma_{xy}(\nu)}{\Gamma_{yy}(\nu)} = \frac{1}{1+\frac{\sigma_b^2}{\sigma_x^2}|D(\nu)|}
\]
Alors :
\[
\boxed{\hat{\vec{x}}_{W} =TF^{-1}[G(\nu)Y(\nu)]}
\]
\subsubsection{MC et MCR}
\paragraph{Moindre carrés} Sans régularisation on a $H= I_n$ donc directement
\[
\boxed{\hat{\vec{x}}_{MC} = \vec{y}}
\]
\paragraph{Moindres carrés régularisé} En prenant en compte une
régularisation on a:
\[
\boxed{\vec{x}_{MCR} = (\vec{I_d}+\mu\vec{D^tD})^{-1}\vec{y}
}
\]
En utilisant les propriétés sur les matrices circulantes on retrouve
dans le donmaine de fourier le filtre de Wiener avec $\mu=\frac{\sigma_b^2}{\sigma_x^2}$
\[
\boxed{\hat{\vec{x}}_{MCR} =TF^{-1}\left[\frac{Y(\nu)}{1+\mu D(\nu)}\right]}
\]
\subsubsection{Ondelette et parcimonie }
\emph{cf poly.}
\section{Caractérisation statistique des estimateurs}
\emph{cf. UE 451 et poly}
\subsection{Espérance}
\begin{defin}
soit $x$ une VA de densité de probabilité $f$. On note $E[x]$
\emph{l'espérance} de $x$:
\[
E[x] = \int_{x\in\mathcal{X}}^{}xf(x)\d x
\]
\end{defin}
\subsection{Biais}
Le biais caractérise les estimateurs
\begin{defin}
Soit $\hat{x}$ un estimateur de $x$. Alors le \emph{biais} s'écrit :
\[
b(\hat{x}) = E[\hat{x}]-x
\]
\end{defin}
\subsection{Variance}
La variance est un autre outils pour caractériser les
estimateurs. elle donne un intervalle de confiance autour de la valeur
de l'estimateur.
\begin{defin}
On défini la \emph{variance} d'un estimateur comme:
\[
Var(\hat{x}) = E[(\hat{x}-E[\hat{x}])^2]
\]
\end{defin}
\subsection{Erreur quadratique moyenne}
L'EQM est un très bon outils pour comparer les estimateurs
\begin{defin}
L'erreur quadratique est défini comme:
\[
EQM(\hat{x}) = E[(\hat{x}-x)^2]
\]
\end{defin}
\begin{prop}
On a la relation suivante entre biais, variance et EQM :
\begin{align*}
EQM(\hat{x}) &= E[(\hat{x}-x)^2] \\
&= Var(\hat{x}) + b(\hat{x})^2
\end{align*}
\end{prop}
\begin{proof}
\begin{align*}
EQM(\hat{x}) &= E[(\hat{x}-x)^2] \\
&= E[(\hat{x}-E[\hat{x}]+E[\hat{x}-x])] \\
&= E[(\hat{x}-E[\hat{x}])^2]+2E[\hat{x}-E[\hat{x}]]+(E[\hat{x}]-x)^2\\
&= Var(\hat{x}) + b(\hat{x})^2
\end{align*}
\end{proof}
\section{Interprétation bayésienne}
\subsection{Vraisemblance}
\begin{defin}
En choisissant une ddp pour le bruit on a:
En choisissant une ddp gaussienne pour le bruit on a:
\[
f(\vec{y}|\vec{x}) =k_0 \exp\left[ \frac{1}{2\sigma_b^2} \|\vec{y-Hx}\|^2\right]
\]
Comme en pratique on connais $\vec{y}$ on a une fonction de $\vec{x}$ et $\sigma_b^2$. Que l'on appelle fonction de vraisemblance.
Comme en pratique on connais $\vec{y}$ on a une fonction de $\vec{x}$ et $\sigma_b^2$. Que l'on appelle fonction de \emph{vraisemblance}.
\end{defin}
\subsection{Loi \emph{a priori} et a \emph{posteriori}}
\begin{defin}
\begin{itemize}
\item \emph{Loi a priori}
\[
f(\vec{x}|\sigma_0^2,\sigma_1^2)= k_1 exp\left[\frac{1}{2\sigma_1^2} \|\vec{Dx}\|^2 - \frac{1}{2\sigma_0^2} \|x\|^2\right]
\]
La matrice $D$ correspond à ??
La matrice $D^tD$ (covariance de $\vec{x}$) n'est pas de rang plein
il faut ajouter le deuxième terme pour que la gaussienne soit
bien multivariée sur $\R^N$.
\item \emph{Loi a posteriori}
À partir de la règle de Bayes:
\[
f(\vec{x}|\vec{y},\sigma_b,\sigma_1,\sigma_0) = \frac{f(\vec{y}|\vec{x})f(\vec{x}|\sigma_0,\sigma_1)}{f(\vec{y}|\sigma_b^2,\sigma_0^2,\sigma_1^2)}
f(\vec{x}|\vec{y},\sigma_b,\sigma_1,\sigma_0) = \frac{f(\vec{y}|\vec{x},\sigma_b^2)f(\vec{x}|\sigma_0,\sigma_1)}{f(\vec{y}|\sigma_b^2,\sigma_0^2,\sigma_1^2)}
= K f(\vec{y}|\vec{x},\sigma_b^2)f(\vec{x}|\sigma_0,\sigma_1)
\]
La loi a posteriori rassemble toute l'information que l'on a sur $\vec{x}$
\end{itemize}
\end{defin}
\subsection{Vraisemblance gaussienne}
\subsection{Vraisemblance laplacienne}
\subsection{Estimateur du maximum a posteriori}
Dans le cas gaussien la moyenne, la médiane et le maximum sont
confondus.
\begin{defin}
On défini le maximum a posteriori comme:
\[
\hat{\vec{x}}_{MAP} =\arg\max_{x}f(\vec{x}|\vec{y},\sigma_b,\sigma_1,\sigma_0)
\]
\end{defin}
\begin{prop}[Cas Gaussien]
On a :
\[
\hat{\vec{x}}_{MAP} =\arg\max_{x}K\exp\left[-\frac{1}{2\sigma_b^2}(\|\vec{y-Hx}\|^2+\mu\|\vec{Dx}\|^2+\mu_0\|\vec{x}^2\|)\right]
\]
Soit encore:
\[
\hat{\vec{x}}_{MAP} =\arg\min_{x}\|\vec{y-Hx}\|^2+\mu\|\vec{Dx}\|^2+\mu_0\|\vec{x}^2\|
\]
\end{prop}
\section{Application à un cas simple d'observation multiple}
\section{Application à la déconvolution problème d'optimisation}
\section{Application de ma méthodologie bayésienne}
......@@ -226,4 +358,3 @@ Comme précédemment on utilise différente fonction de régularisation.
%%% mode: latex
%%% TeX-master: "main"
%%% End:
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment