Fin du premier cours

chap1.tex

@@ -150,8 +150,9 @@ Ainsi l'image et l'image inverse d'un convexe par une fonction de perspective es
 	tel que $\forall x \in C, \, a^\trans x \leqslant a^\trans x_0 $.
 }
 
-\sect{Problèmes d'optimisation convexe}
+\sect{Fonctions convexes}
 
+\vspace{2mm}
 \DEF{
 	$f \, : \, \R^n \rightarrow \R$ est \textbf{convexe} si $\dom f$ est convexe et :
 	$$ \forall x, y \in \dom f, \, 0 \leqslant \theta \leqslant 1, \quad f \left( \theta x + (1 - \theta) y \right) \leqslant \theta f(x) + (1 - \theta) f(y) $$
@@ -183,6 +184,7 @@ g(t) & = & \log \det \left( X + t V \right) \\
 \end{array} $$
 Où les $\lambda_i$ sont les valeurs propres de la matrice $X^{-1/2} V X^{1/2}$. Comme $g$ est concave en $t$, on obtient que $f$ est concave.
 
+\vspace{2mm}
 \PROP[ (Condition de 1er ordre)]{
 	Si le domaine de $f$ est convexe et que $f$ est différentiable en tout point de son domaine. Alors $f$ est convexe si et seulement si :
 	$$ \forall x, y \in \dom f, \quad f(y) \geqslant f(x) + \nabla f(x)^\trans (y - x) $$
@@ -239,9 +241,94 @@ On a clairement que $f$ est convexe si et seulement si $\epi f$ est convexe.
 	\item Si $f$ est convexe et $\alpha \geqslant 0$ alors $\alpha f$ est convexe.
 	\item Si $f_1$ et $f_2$ sont convexes $f_1 + f_2$ est convexe (peu être étendu aux sommes infinis et intégrales).
 	\item Si $f$ est convexe alors $f(Ax + b)$ est aussi convexe.
-	\item Si $f(x, y)$ est convexe en $x$ pour tout $y \in \mathcal{A}$ alors $g(x) = \sup_{y \in \mathcal{A}} f(x, y)$ est convexe.
+	\item Si $f(x, y)$ est convexe en $x$ pour tout $y \in \mathcal{A}$ alors $g(x) = \sup_{y \in \mathcal{A}} f(x, y)$ est convexe
+	\item Si $f(x, y)$ est convexe en $(x, y)$ et $C$ est convexe alors $g(x) = \inf_{y \in C} f(x, y)$ est convexe.
+	\item Si $f$ est convexe alors la fonction de perspective $g(x, t) = t f(x / t)$ est convexe.
 \end{itemize}
 
 \exe
+Pour $E$ un ensemble quelconque, la distance au point le plus loin de $E$ est convexe :
+$$ f(x) = \sup_{y \in E} \| x - y\| $$
 Pour $X \in \mathcal{S}^n$ alors la fonction qui a une matrice symétrique associe la valeur propre la plus grande est convexe :
-$$ \lambda_{\max}(X) = \sup_{\| y \|_2 = 1} y^\trans X y $$
\ No newline at end of file
+$$ \lambda_{\max}(X) = \sup_{\| y \|_2 = 1} y^\trans X y $$
+Si $C$ est un convexe alors la distance à $C$ est une fonction convexe :
+$$ \dist(x, C) = \inf_{y \in C} \| x - y \| $$
+
+\paragraph{Composition}
+Soit $g : \R^n \rightarrow \R$ et $h : \R \rightarrow \R$. On pose $f(x) = h(g(x))$. Alors :
+\begin{center}
+	$g$ convexe, $h$ convexe et $h$ croissante \quad $\Rightarrow$ \quad $f$ est convexe \\
+	$g$ concave, $h$ convexe et $h$ décroissante \quad $\Rightarrow$ \quad $f$ est convexe
+\end{center}
+Plus généralement si on a $g : \R^n \rightarrow \R^k$ et $h : \R^k \rightarrow \R$ avec $g(x) = \left( g_1(x), ..., g_k(x) \right)$, alors :
+\begin{center}
+	$(g_i)_{1 \leqslant i \leqslant k}$ convexe, $h$ convexe et $h$ croissante en chaque argument \quad $\Rightarrow$ \quad $f$ est convexe \\
+	$(g_i)_{1 \leqslant i \leqslant k}$ concave, $h$ convexe et $h$ décroissante en chaque argument \quad $\Rightarrow$ \quad $f$ est convexe
+\end{center}
+
+\vspace{2mm}
+\DEF{
+	Le \textbf{conjugué} $f^*$ d'une fonction $f$ est la fonction convexe définie par :
+	$$ f^*(y) = \sup_{x \in \dom f} \left( y^\trans x - f(x) \right) $$
+	\vspace{-5mm}
+}
+
+\DEF{
+	$f : \R^n \rightarrow \R$ est \textbf{quasi convexe} si $\dom f$ est convexe et les ensembles de sous-niveau :
+	$$ S_\alpha = \left\{ x \in \dom f ~|~ f(x) \leqslant a \right\} \vspace{-2mm} $$
+	sont convexes pour tout $\alpha$.
+	\begin{center}
+		\begin{tikzpicture}
+			\draw (-1.6, 1) -- (-0.7, 1) -- (-0.7, 0.2) -- (0.7, 0.2) -- (0.7, 1) -- (1.6, 1);
+			\draw[dashed] (2.1, 1) -- (1.6, 1);
+			\draw[dashed] (-2.1, 1) -- (-1.6, 1);
+			\draw[dashed, red] (-2.1, 0.6) -- (-0.7, 0.6);
+			\draw[dashed, red] (2.1, 0.6) node[right] {$\alpha$} -- (0.7, 0.6) ;
+			\draw[dashed, red, very thick] (-0.7, 0.6) -- (0.7, 0.6);
+			\draw[dashed, red, very thick] (-2.1, 1.2) -- (2.1, 1.2) node[right] {$\beta$};
+		\end{tikzpicture}
+	\end{center}
+}
+
+\paragraph{}
+L'inégalité de Jensen s'en trouve alors modifié et on obtient que pour $f$ quasi convexe :
+$$ 0 \leqslant \theta \leqslant 1 \quad \Rightarrow \quad f \left( \theta x + (1 - \theta) y \right) \leqslant \max \left\{ f(x), f(y) \right\} $$
+De même la condition du premier ordre change et devient $f$ est quasi convexe si et seulement si $\dom f$ est convexe et :
+$$ f(y) \leqslant f(x) \quad \Rightarrow \quad \nabla f(x)^\trans (y - x) \leqslant 0 $$
+Finalement certaines propriétés sont perdues. Par exemple la somme de deux fonctions quasi convexes n'est plus nécessairement quasi convexe.
+
+\DEF{
+	Une fonction strictement positive $f$ est \textbf{log-concave} si $\log f$ est concave :
+	$$ f \left( \theta x + (1 - \theta) y \right) \geqslant f(x)^\theta f(y)^{1 - \theta} $$
+	\vspace{-7mm}
+}
+
+\exe
+Beaucoup de densités de probabilité sont log-concave. Par exemple c'est le cas de la densité d'une gaussienne :
+$$ f(x) = \dfrac{1}{\sqrt{(2 \pi)^n \det \Sigma}} e^{- \frac{1}{2} (x - \bar{x})^\trans \Sigma^{-1 } (x - \bar{x})} $$
+
+\vspace{2mm}
+\PROP[ (Condition du second ordre)]{
+	Si $f$ est deux fois différentiable avec un domaine convexe. Alors $f$ est log-concave si et seulement si : \vspace{-2mm}
+	$$ \forall x \in \dom f, \quad f(x) \nabla^2 f(x) \preceq \nabla f(x) \nabla f(x)^\trans $$
+	\vspace{-6mm}
+}
+
+\paragraph{Opérations qui préserve la log-concavité}
+\begin{itemize}
+	\item Le produit de fonctions log-concave est log-concave.
+	\item La somme de fonctions log-concave n'est pas nécessairement log-concave.
+	\item Si $f : \R^n \times \R^m \rightarrow \R$ est log-concave alors $g(x) = \int f(x, y) \, dy$ est log-concave (preuve difficile).
+	\item La propriété précédente implique que le produit de convolution de fonctions log-concave est aussi log-concave.
+\end{itemize}
+
+\vspace{2mm}
+\DEF{
+	$f : \R^n \rightarrow \R^m$ est $K$-convexe si $\dom f$ est convexe et : \vspace{-1mm}
+	$$ f \left( \theta x + (1- \theta) y \right) \preceq_K \theta f(x) + (1 - \theta) f(y) $$
+	\vspace{-7mm}
+}
+
+\sect{Problèmes d'optimisation convexes}
+
+\sect{Dualité}
\ No newline at end of file

cours.tex

@@ -127,6 +127,7 @@
 \newcommand{\E}{\mathbb{E}}
 \newcommand{\dom}{\text{\textbf{dom}}~}
 \newcommand{\epi}{\text{\textbf{epi}}~}
+\newcommand{\dist}{\text{\textbf{dist}}}
 
 \mytitle{Convex Optimization}
 \author{