Commit 86541fb0 authored by nanored's avatar nanored

fin cours 3

parent 4456923b
......@@ -75,4 +75,33 @@ $$ \Delta x_{nt} = - \nabla^2 f(x)^{-1} \nabla f(x) $$
Si on veut un critère d'arrêt, on peut remplacer l'optimal $p^*$ dans \eqref{stopcont} par une approximation avec le minimum de $\hat{f}$, c'est à dire :
$$ f(x) - \inf_y \hat{f}(y) = f(x) - \hat{f} \left( \Delta x_{nt} \right) = \dfrac{1}{2} \nabla f(x)^\trans \nabla^2 f(x)^{-1} \nabla f(x) $$
Cela donne alors le critère d'arrêt :
$$ \nabla f(x)^\trans \Delta x_{nt} \leqslant \epsilon $$
\ No newline at end of file
$$ \nabla f(x)^\trans \Delta x_{nt} \leqslant \epsilon $$
On peut alors obtenir une borne sur le nombre d'étapes nécessaires pour atteindre ce critère avec le théorème suivant.
\vspace{2mm}
\PROP{
Si $f$ est strictement convexe de constante $m$ et $\nabla^2 f$ est $L$-Lipschitzienne avec $L > 0$. Alors il existe deux constantes $\eta \in ]0, m^2 / L [$ et $\gamma > 0$ tel que :
$$ \left\| \nabla f(x) \right\|_2 \geqslant \eta \; \Rightarrow \; f \left( x^{(k+1)} \right) - f \left( x^{(k)} \right) \leqslant - \gamma \vspace{-2mm}$$
$$ \left\| \nabla f(x) \right\|_2 < \eta \; \Rightarrow \; \dfrac{L}{2m^2} \left\| \nabla f \left( x^{(k+1)} \right) \right\|_2 \leqslant \left( \dfrac{L}{2m^2} \left\| f \left( x^{(k)} \right) \right\|_2 \right)^2 $$
\vspace{-3mm}
}
\paragraph{Phase amortie}
Généralement on utilise le \textit{backtracking} pour ces étapes durant lesquels notre valeur diminue d'au moin $\gamma$ à chaque étape. Si la valeur optimale est finie alors le nombre nécessaire d'étapes est au plus $\left( f \left( x^{(0)} \right) - p^* \right) / \gamma$.
\paragraph{Phase quadratique}
Généralement dans cette phase on utilise toujours $t = 1$. De plus si $\left\| \nabla f(x) \right\|_2 < \eta$ alors :
$$ l \geqslant k \;\Rightarrow \; \dfrac{L}{2m^2} \left\| \nabla f \left( x^{(l)} \right) \right\|_2 \leqslant \left( \dfrac{L}{2m^2} \left\| f \left( x^{(k)} \right) \right\|_2 \right)^{2^{l-k}} \leqslant \left( \dfrac{1}{2} \right)^{2^{l-k}} $$
\paragraph{Conclusion}
Ainsi le nombre d'itérations avant que $f(x) - p^* \leqslant \epsilon$ est inférieur à :
$$ \dfrac{f \left( x^{(0)} \right) - p^*}{\gamma} + \log_2 \log_2 \left( \epsilon_0 / \epsilon \right) $$
$\epsilon_0$ dépend de $x^{(0)}$, $m$ et $L$.
\DEF{
Une fonction $f : \R \rightarrow \R$ est dite \textbf{auto-concordante} si pour tout $x \in \dom f$ :
$$ \left| f^{(3)}(x) \right| \leqslant 2 f^{(2)}(x)^{3/2} $$
Pour $f : \R^n \rightarrow \R$ on dira de même si $g(t) = f(x + tv)$ est auto-concordante pour tout $v \in \R^n$ et $x \in \dom f$.
}
On remarquera que les fonction auto-concordante sont stables par composition avec des fonctions affines.
\ No newline at end of file
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment