Commit df63a66d authored by nanored's avatar nanored

Fin du premier cours

parent 3affbb18
......@@ -150,8 +150,9 @@ Ainsi l'image et l'image inverse d'un convexe par une fonction de perspective es
tel que $\forall x \in C, \, a^\trans x \leqslant a^\trans x_0 $.
}
\sect{Problèmes d'optimisation convexe}
\sect{Fonctions convexes}
\vspace{2mm}
\DEF{
$f \, : \, \R^n \rightarrow \R$ est \textbf{convexe} si $\dom f$ est convexe et :
$$ \forall x, y \in \dom f, \, 0 \leqslant \theta \leqslant 1, \quad f \left( \theta x + (1 - \theta) y \right) \leqslant \theta f(x) + (1 - \theta) f(y) $$
......@@ -183,6 +184,7 @@ g(t) & = & \log \det \left( X + t V \right) \\
\end{array} $$
Où les $\lambda_i$ sont les valeurs propres de la matrice $X^{-1/2} V X^{1/2}$. Comme $g$ est concave en $t$, on obtient que $f$ est concave.
\vspace{2mm}
\PROP[ (Condition de 1er ordre)]{
Si le domaine de $f$ est convexe et que $f$ est différentiable en tout point de son domaine. Alors $f$ est convexe si et seulement si :
$$ \forall x, y \in \dom f, \quad f(y) \geqslant f(x) + \nabla f(x)^\trans (y - x) $$
......@@ -239,9 +241,94 @@ On a clairement que $f$ est convexe si et seulement si $\epi f$ est convexe.
\item Si $f$ est convexe et $\alpha \geqslant 0$ alors $\alpha f$ est convexe.
\item Si $f_1$ et $f_2$ sont convexes $f_1 + f_2$ est convexe (peu être étendu aux sommes infinis et intégrales).
\item Si $f$ est convexe alors $f(Ax + b)$ est aussi convexe.
\item Si $f(x, y)$ est convexe en $x$ pour tout $y \in \mathcal{A}$ alors $g(x) = \sup_{y \in \mathcal{A}} f(x, y)$ est convexe.
\item Si $f(x, y)$ est convexe en $x$ pour tout $y \in \mathcal{A}$ alors $g(x) = \sup_{y \in \mathcal{A}} f(x, y)$ est convexe
\item Si $f(x, y)$ est convexe en $(x, y)$ et $C$ est convexe alors $g(x) = \inf_{y \in C} f(x, y)$ est convexe.
\item Si $f$ est convexe alors la fonction de perspective $g(x, t) = t f(x / t)$ est convexe.
\end{itemize}
\exe
Pour $E$ un ensemble quelconque, la distance au point le plus loin de $E$ est convexe :
$$ f(x) = \sup_{y \in E} \| x - y\| $$
Pour $X \in \mathcal{S}^n$ alors la fonction qui a une matrice symétrique associe la valeur propre la plus grande est convexe :
$$ \lambda_{\max}(X) = \sup_{\| y \|_2 = 1} y^\trans X y $$
\ No newline at end of file
$$ \lambda_{\max}(X) = \sup_{\| y \|_2 = 1} y^\trans X y $$
Si $C$ est un convexe alors la distance à $C$ est une fonction convexe :
$$ \dist(x, C) = \inf_{y \in C} \| x - y \| $$
\paragraph{Composition}
Soit $g : \R^n \rightarrow \R$ et $h : \R \rightarrow \R$. On pose $f(x) = h(g(x))$. Alors :
\begin{center}
$g$ convexe, $h$ convexe et $h$ croissante \quad $\Rightarrow$ \quad $f$ est convexe \\
$g$ concave, $h$ convexe et $h$ décroissante \quad $\Rightarrow$ \quad $f$ est convexe
\end{center}
Plus généralement si on a $g : \R^n \rightarrow \R^k$ et $h : \R^k \rightarrow \R$ avec $g(x) = \left( g_1(x), ..., g_k(x) \right)$, alors :
\begin{center}
$(g_i)_{1 \leqslant i \leqslant k}$ convexe, $h$ convexe et $h$ croissante en chaque argument \quad $\Rightarrow$ \quad $f$ est convexe \\
$(g_i)_{1 \leqslant i \leqslant k}$ concave, $h$ convexe et $h$ décroissante en chaque argument \quad $\Rightarrow$ \quad $f$ est convexe
\end{center}
\vspace{2mm}
\DEF{
Le \textbf{conjugué} $f^*$ d'une fonction $f$ est la fonction convexe définie par :
$$ f^*(y) = \sup_{x \in \dom f} \left( y^\trans x - f(x) \right) $$
\vspace{-5mm}
}
\DEF{
$f : \R^n \rightarrow \R$ est \textbf{quasi convexe} si $\dom f$ est convexe et les ensembles de sous-niveau :
$$ S_\alpha = \left\{ x \in \dom f ~|~ f(x) \leqslant a \right\} \vspace{-2mm} $$
sont convexes pour tout $\alpha$.
\begin{center}
\begin{tikzpicture}
\draw (-1.6, 1) -- (-0.7, 1) -- (-0.7, 0.2) -- (0.7, 0.2) -- (0.7, 1) -- (1.6, 1);
\draw[dashed] (2.1, 1) -- (1.6, 1);
\draw[dashed] (-2.1, 1) -- (-1.6, 1);
\draw[dashed, red] (-2.1, 0.6) -- (-0.7, 0.6);
\draw[dashed, red] (2.1, 0.6) node[right] {$\alpha$} -- (0.7, 0.6) ;
\draw[dashed, red, very thick] (-0.7, 0.6) -- (0.7, 0.6);
\draw[dashed, red, very thick] (-2.1, 1.2) -- (2.1, 1.2) node[right] {$\beta$};
\end{tikzpicture}
\end{center}
}
\paragraph{}
L'inégalité de Jensen s'en trouve alors modifié et on obtient que pour $f$ quasi convexe :
$$ 0 \leqslant \theta \leqslant 1 \quad \Rightarrow \quad f \left( \theta x + (1 - \theta) y \right) \leqslant \max \left\{ f(x), f(y) \right\} $$
De même la condition du premier ordre change et devient $f$ est quasi convexe si et seulement si $\dom f$ est convexe et :
$$ f(y) \leqslant f(x) \quad \Rightarrow \quad \nabla f(x)^\trans (y - x) \leqslant 0 $$
Finalement certaines propriétés sont perdues. Par exemple la somme de deux fonctions quasi convexes n'est plus nécessairement quasi convexe.
\DEF{
Une fonction strictement positive $f$ est \textbf{log-concave} si $\log f$ est concave :
$$ f \left( \theta x + (1 - \theta) y \right) \geqslant f(x)^\theta f(y)^{1 - \theta} $$
\vspace{-7mm}
}
\exe
Beaucoup de densités de probabilité sont log-concave. Par exemple c'est le cas de la densité d'une gaussienne :
$$ f(x) = \dfrac{1}{\sqrt{(2 \pi)^n \det \Sigma}} e^{- \frac{1}{2} (x - \bar{x})^\trans \Sigma^{-1 } (x - \bar{x})} $$
\vspace{2mm}
\PROP[ (Condition du second ordre)]{
Si $f$ est deux fois différentiable avec un domaine convexe. Alors $f$ est log-concave si et seulement si : \vspace{-2mm}
$$ \forall x \in \dom f, \quad f(x) \nabla^2 f(x) \preceq \nabla f(x) \nabla f(x)^\trans $$
\vspace{-6mm}
}
\paragraph{Opérations qui préserve la log-concavité}
\begin{itemize}
\item Le produit de fonctions log-concave est log-concave.
\item La somme de fonctions log-concave n'est pas nécessairement log-concave.
\item Si $f : \R^n \times \R^m \rightarrow \R$ est log-concave alors $g(x) = \int f(x, y) \, dy$ est log-concave (preuve difficile).
\item La propriété précédente implique que le produit de convolution de fonctions log-concave est aussi log-concave.
\end{itemize}
\vspace{2mm}
\DEF{
$f : \R^n \rightarrow \R^m$ est $K$-convexe si $\dom f$ est convexe et : \vspace{-1mm}
$$ f \left( \theta x + (1- \theta) y \right) \preceq_K \theta f(x) + (1 - \theta) f(y) $$
\vspace{-7mm}
}
\sect{Problèmes d'optimisation convexes}
\sect{Dualité}
\ No newline at end of file
......@@ -127,6 +127,7 @@
\newcommand{\E}{\mathbb{E}}
\newcommand{\dom}{\text{\textbf{dom}}~}
\newcommand{\epi}{\text{\textbf{epi}}~}
\newcommand{\dist}{\text{\textbf{dist}}}
\mytitle{Convex Optimization}
\author{
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment