Commit 4576bc20 authored by nanored's avatar nanored

First slides

parent 074334e3
......@@ -18,7 +18,7 @@ Voici par exemple un problème facile :
\end{equation*}
C'est un programme linéaire (LP). Il peut très bien être résolu avec $n = 1000$ variables et $m = 10000$ contraintes. Si les vecteurs $a_i$ et le vecteur $c$ sont creux alors $n$ et $m$ peuvent même être bien plus grands. De même mes le problème des moindres carrés (LS) est un problème facile :
$$ \text{(LS)} \quad \min \| Ax - b \|_2^2 $$
Ici $A \in \R^{m \times n}$ et $b \in \R^m$ sont les paramètres. $x \in \R^n$ est le vecteur à optimiser. En ajoutant des contraintes affines comme dans le programme linéaire, le problème reste facile.
Ici $A \in \R^{m \times n}$ et $b \in \R^m$ sont les paramètres. $x \in \R^n$ est le vecteur à optimiser. En ajoutant des contraintes affines comme dans le programme linéaire, le problème reste facile. Avec les contraintes en plus le problème devient un programme quadratique (QP).
\paragraph{}
Si $p$ est un polynôme de degré $d$ et $x$ appartient à $\R^n$ alors le problème :
......@@ -26,4 +26,126 @@ $$ \min_x p(x) $$
Est un problème très difficile. Simplement avec $n = 20$ et $d = 10$ trouver une solution est presque inatteignable. Les algorithmes connus on une complexité exponentielle en $n$ ...
\paragraph{}
On a longtemps pensé que les problèmes faciles étaient ceux linéaires et les problèmes difficiles, ceux nn linéaires. En réalité la difficulté des problèmes d'optimisation se joue sur la convexité.
\ No newline at end of file
On a longtemps pensé que les problèmes faciles étaient ceux linéaires et les problèmes difficiles, ceux nn linéaires. En réalité la difficulté des problèmes d'optimisation se joue sur la convexité. (LP), (LS) et (QP) sont effectivement convexe.
\paragraph{Histoire de la résolution de programmes linéaires}
\begin{itemize}
\item 1949 : Dantzig invente l'algorithme simplexe. La complexité dans le pire cas est exponentielle mais l'algorithme est très efficace dans la plupart des cas.
\item 1979 : Khachiyan invente la méthode de l'ellipsoïde et montre alors que (LP) est dans le classe polynomiale P.
\item 1984 : Karmarkar décrit le premier algorithme efficace et polynomial pour résoudre les (LP) en utilisant la méthode du point intérieur.
\item 1994 : Nesterov and Nemirovskii montrent que la méthode du point intérieur peut être appliqué à une classe plus large de problème convexes.
\end{itemize}
\sect{Ensembles convexes}
\paragraph{}
Dans les slides se trouvent les définitions des ensembles affines, segments, ensembles convexes, combinaisons convexes, enveloppes convexes, hyperplans, demi-espaces, boules, polyèdres. Mais je ne revient pas dessus. Je laisse quelques définitions.
\vspace{2mm}
\DEF{
Une \textbf{combinaison conique} de $x_1$ et $x_2$ est un point de la forme :
$$ x = \theta_1 x_1 + \theta_2 x_2 \qquad \theta_1, \theta_2 \geqslant 0 $$
Un \textbf{cône convexe} est un ensemble qui contient toutes combinaisons coniques des ses points.
\begin{center}
\begin{tikzpicture}[scale=0.66]
\node (o) at (0, 0) {$\bullet$};
\node (a) at (1.5, 1.5) {$\bullet$};
\node (b) at (3, 0.75) {$\bullet$};
\fill[opacity=0.33] (0, 0) -- (6, 1.5) -- (3, 3) -- cycle;
\draw (0, 0) edge (6, 1.5) edge (3, 3);
\node[below left] at (o) {$0$};
\node[above left] at (a) {$x_1$};
\node[below right] at (b) {$x_2$};
\end{tikzpicture}
\end{center}
}
\exe
Le \textit{\textbf{norm cone}} est un cône convexe défini par : $ \left\{ \, (x, t) ~|~ \| x \| \leqslant t \, \right\} $.
\vspace{2mm}
\DEF{
Un \textbf{ellipsoïde} est un ensemble sous l'une des deux formes (équivalentes) suivantes :
$$ \begin{array}{c}
\left\{ x ~|~ (x - x_c)^\trans P^{-1} (x - x_c) \leqslant 1 \right\} \\[2mm]
\left\{ x_c + Au ~|~ \| u \|_2 \leqslant 1 \right\}
\end{array} $$
$P \in S_{++}^n$ est une matrice symétrique définie positive, $A$ est une matrice inversible et $x_c \in \R^n$ est le centre de l'ellipsoïde.
\begin{center}
\begin{tikzpicture}[scale=0.5]
\filldraw[rotate=20, fill opacity=0.33] (0, 0) ellipse (3.3 and 2);
\node (o) at (0, 0) {$\bullet$};
\node[below left] at (o) {$x_c$};
\draw (0, 0) edge ({3.3*cos(20)}, {3.3*sin(20)});
\draw (0, 0) edge ({-2*sin(20)}, {2*cos(20)});
\end{tikzpicture}
\end{center}
}
\vspace{2mm}
\DEF{
Un \textbf{cône propre} est un cône convexe $K \in \R^n$ tel que :
\begin{itemize}
\item $K$ est fermé
\item $K$ est solide (i.e. $\mathring{K} \neq \emptyset$)
\item $K$ est pointé (i.e. $K$ ne contient pas de lignes)
\end{itemize}
Un tel cône permet de définir une relation d'\textbf{inégalité généralisé} $\preceq_K$ :
\vspace{-1mm}
$$ x \preceq_K y \Leftrightarrow y - x \in K \qquad x \prec_K y \Leftrightarrow y - x \in \mathring{K} $$
\vspace{-7mm}
}
\exe
L'inégalité composantes par composantes est donnée par $\preceq_{R_+^n}$. L'inégalité entre matrice est donnée par $\preceq_{S_+^n}$.
\paragraph{}
Pour rappel un minimum d'un ensemble est un élément qui est plus petit que tous les autres. En revanche un élément minimal est un élément qui n'a pas d'élément plus petit autre que lui-même (i.e. $\forall y, \, y \preceq_K x \Rightarrow y = x$).
\vspace{2mm}
\DEF{
Le \textbf{cône dual} du cône $K$ est défini par le cône propre :
\vspace{-2mm}
$$ K^* = \left\{ y ~|~ y^\trans x \geqslant 0 \; \forall x \in K \right\} $$
\vspace{-7mm}
}
\vspace{2mm}
\PROP[ (Stabilité par intersection)]{
L'intersection de n'importe quel nombre de convexes est convexe.
}
\exe
Si on considère l'ensemble suivant :
$$ S = \left\{ x \in \R^m ~|~ | p_x(t) | \leqslant 1 \; \text{pour } |t| \leqslant \pi / 3 \right\} $$
$ p_x(t) = x_1 \cos t + x_2 \cos 2t + ... + x_m \cos mt $. On pose alors les ensembles suivant :
$$ S_t = \left\{ x \in \R^m ~|~ p_x(t) \leqslant 1 \right\} \qquad S'_t = \left\{ x \in \R^m ~|~ -p_x(t) \leqslant 1 \right\} $$
$S_t$ et $S'_t$ sont des demi-espaces car $p(t)$ est linéaire en $x$. Ils sont donc convexes. Finalement avec l'égalité suivante :
$$ S = \bigcap_{t \in \left[ -\pi/3, \, \pi/3 \right]} \left( S_t \cap S'_t \right) $$
On obtient que $S$ est une intersection de convexes. Et donc $S$ est convexe.
\vspace{3mm}
\PROP[ (Stabilité par foncions \textit{linear-fractional})]{
Si $f : \R^n \rightarrow R^m$ est une fonction \textit{linear-fractional}, i.e.
$$ f(x) = \dfrac{Ax + b}{c^\trans x + d} \qquad \dom f = \left\{ x ~|~ c^\trans x + d > 0 \right\} $$
Alors pour $A \subseteq \R^n$ et $B \subseteq \R^m$ deux convexes, les ensembles $f(A)$ et $f^{-1}(B)$ sont convexes.
}
\exe
Si $c = 0$ et $d = 1$ alors on obtient une fonction affine. Ainsi l'image et l'image inverse d'un convexe par une fonction affine est convexe. \\
Si $A = I_n$, $b = 0$, $c = e_n$ et $d = 0$$e_n$ est le vecteur dont toutes les composantes valent zéro sauf la n-ème qui vaut 1. Alors en projetant l'image de $f$ sur $R^{n-1}$ on obtient une fonction de perspective de $R^n$ dans $R^{n-1}$ :
$$ P(x, t) = x/t \qquad \dom f = \left\{ (x, t) ~|~ t > 0 \right\} $$
Ainsi l'image et l'image inverse d'un convexe par une fonction de perspective est convexe.
\vspace{2mm}
\PROP[ (Séparation)]{
Si $C$ et $D$ sont deux convexes disjoints alors il existe un hyperplan qui sépare $C$ et $D$. C'est à dire qu'il existe $a \neq 0$ et $b$ tel que :
$$ \forall x \in C, \, a^\trans x \leqslant b \qquad \forall x \in D, \, a^\trans x \geqslant b $$
\vspace{-7mm}
}
\PROP[ (Hyperplan de support)]{
Si $C$ est un convexe alors en tout point $x_0$ du bord de $C$ il existe un \textbf{hyperplan de support}. C'est à dire un hyperplan de direction $a$ passant par $x_0$ :
$$ \left\{ x ~|~ a^\trans x = a^\trans x_0 \right\} \vspace{-3mm}$$
tel que $\forall x \in C, \, a^\trans x \leqslant a^\trans x_0 $.
}
\ No newline at end of file
......@@ -125,6 +125,7 @@
\newcommand{\R}{\mathbb{R}}
\newcommand{\Pp}{\mathbb{P}}
\newcommand{\E}{\mathbb{E}}
\newcommand{\dom}{\text{\textbf{dom}}~}
\mytitle{Convex Optimization}
\author{
......@@ -132,9 +133,9 @@
Yoann Coudert--Osmont \\
\texttt{ycoudert@ens-paris-saclay.fr}
\and
\qquad D'après un cours de \qquad \\
\qquad Alexandre d'Aspremont \qquad \\
\qquad ENS Ulm, INRIA \qquad
D'après un cours de \\
Alexandre d'Aspremont \\
ENS Ulm, INRIA
}
\date\today
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment