fin cours 3

chap2.tex

@@ -75,4 +75,33 @@ $$ \Delta x_{nt} = - \nabla^2 f(x)^{-1} \nabla f(x) $$
 Si on veut un critère d'arrêt, on peut remplacer l'optimal $p^*$ dans \eqref{stopcont} par une approximation avec le minimum de $\hat{f}$, c'est à dire :
 $$ f(x) - \inf_y \hat{f}(y) = f(x) - \hat{f} \left( \Delta x_{nt} \right) = \dfrac{1}{2} \nabla f(x)^\trans \nabla^2 f(x)^{-1} \nabla f(x) $$
 Cela donne alors le critère d'arrêt :
-$$ \nabla f(x)^\trans \Delta x_{nt} \leqslant \epsilon $$
\ No newline at end of file
+$$ \nabla f(x)^\trans \Delta x_{nt} \leqslant \epsilon $$
+On peut alors obtenir une borne sur le nombre d'étapes nécessaires pour atteindre ce critère avec le théorème suivant.
+
+\vspace{2mm}
+\PROP{
+	Si $f$ est strictement convexe de constante $m$ et $\nabla^2 f$ est $L$-Lipschitzienne avec $L > 0$. Alors il existe deux constantes $\eta \in ]0, m^2 / L [$ et $\gamma > 0$ tel que :
+	$$ \left\| \nabla f(x) \right\|_2 \geqslant \eta \; \Rightarrow \; f \left( x^{(k+1)} \right) - f \left( x^{(k)} \right) \leqslant - \gamma \vspace{-2mm}$$
+	$$ \left\| \nabla f(x) \right\|_2 < \eta \; \Rightarrow \; \dfrac{L}{2m^2} \left\| \nabla f \left( x^{(k+1)} \right) \right\|_2 \leqslant \left( \dfrac{L}{2m^2} \left\| f \left( x^{(k)} \right) \right\|_2 \right)^2 $$
+	\vspace{-3mm}
+}
+
+\paragraph{Phase amortie}
+Généralement on utilise le \textit{backtracking} pour ces étapes durant lesquels notre valeur diminue d'au moin $\gamma$ à chaque étape. Si la valeur optimale est finie alors le nombre nécessaire d'étapes est au plus $\left( f \left( x^{(0)} \right) - p^* \right) / \gamma$.
+
+\paragraph{Phase quadratique}
+Généralement dans cette phase on utilise toujours $t = 1$. De plus si $\left\| \nabla f(x) \right\|_2 < \eta$ alors :
+$$ l \geqslant k \;\Rightarrow \; \dfrac{L}{2m^2} \left\| \nabla f \left( x^{(l)} \right) \right\|_2 \leqslant \left( \dfrac{L}{2m^2} \left\| f \left( x^{(k)} \right) \right\|_2 \right)^{2^{l-k}} \leqslant \left( \dfrac{1}{2} \right)^{2^{l-k}} $$
+
+\paragraph{Conclusion}
+Ainsi le nombre d'itérations avant que $f(x) - p^* \leqslant \epsilon$ est inférieur à :
+$$ \dfrac{f \left( x^{(0)} \right) - p^*}{\gamma} + \log_2 \log_2 \left( \epsilon_0 / \epsilon \right) $$
+Où $\epsilon_0$ dépend de $x^{(0)}$, $m$ et $L$.
+
+\DEF{
+	Une fonction $f : \R \rightarrow \R$ est dite \textbf{auto-concordante} si pour tout $x \in \dom f$ :
+	$$ \left| f^{(3)}(x) \right| \leqslant 2 f^{(2)}(x)^{3/2} $$
+	Pour $f : \R^n \rightarrow \R$ on dira de même si $g(t) = f(x + tv)$ est auto-concordante pour tout $v \in \R^n$ et $x \in \dom f$.
+}
+
+On remarquera que les fonction auto-concordante sont stables par composition avec des fonctions affines.
\ No newline at end of file