Commit 3affbb18 authored by nanored's avatar nanored

Début des problèmes

parent 4576bc20
......@@ -148,4 +148,100 @@ Ainsi l'image et l'image inverse d'un convexe par une fonction de perspective es
Si $C$ est un convexe alors en tout point $x_0$ du bord de $C$ il existe un \textbf{hyperplan de support}. C'est à dire un hyperplan de direction $a$ passant par $x_0$ :
$$ \left\{ x ~|~ a^\trans x = a^\trans x_0 \right\} \vspace{-3mm}$$
tel que $\forall x \in C, \, a^\trans x \leqslant a^\trans x_0 $.
}
\ No newline at end of file
}
\sect{Problèmes d'optimisation convexe}
\DEF{
$f \, : \, \R^n \rightarrow \R$ est \textbf{convexe} si $\dom f$ est convexe et :
$$ \forall x, y \in \dom f, \, 0 \leqslant \theta \leqslant 1, \quad f \left( \theta x + (1 - \theta) y \right) \leqslant \theta f(x) + (1 - \theta) f(y) $$
\begin{center}
\begin{tikzpicture}
\draw[smooth, domain=-3:3, variable=\x] plot ({\x}, {0.1*\x*(2*\x+1)});
\node at (-2, 0.6) {$\bullet$};
\node at (2, 1) {$\bullet$};
\draw (-2, 0.6) -- (2, 1);
\node[left=2mm] at (-2, 0.6) {$(x, f(x))$};
\node[right=2mm] at (2, 1) {$(y, f(y))$};
\end{tikzpicture}
\end{center}
De plus $f$ est \textbf{concave} si $-f$ est convexe. Et $f$ est \textbf{strictement convexe} lorsque l'inégalité est stricte pour $0 < \theta < 1$.
}
\PROP[ (Caractérisation)]{
La fonction $f$ est convexe si et seulement si pour tout $x$ dans $\dom f$ et $v \in \R^n$, la fonction : \vspace{-2mm}
$$ g(t) = f(x + tv) \qquad \dom g = \left\{ t ~|~ x+tv \in \dom f \right\} $$
est une fonction convexe.
}
\exe
Prenons $f : \mathcal{S}^n \rightarrow \R$ définie par $f(X) = \log \det X$ avec $\dom f = \mathcal{S}_{++}$. Alors pour $X \succ 0$ et $V \in \mathcal{S}^n$ on a:
$$ \begin{array}{lll}
g(t) & = & \log \det \left( X + t V \right) \\
& = & \log \det X + \log \det \left( I_n + t X^{-1/2} V X^{1/2} \right) \\
& = & \log \det X + \sum_{i = 1}^n \log \left( 1 + t \lambda_i \right)
\end{array} $$
Où les $\lambda_i$ sont les valeurs propres de la matrice $X^{-1/2} V X^{1/2}$. Comme $g$ est concave en $t$, on obtient que $f$ est concave.
\PROP[ (Condition de 1er ordre)]{
Si le domaine de $f$ est convexe et que $f$ est différentiable en tout point de son domaine. Alors $f$ est convexe si et seulement si :
$$ \forall x, y \in \dom f, \quad f(y) \geqslant f(x) + \nabla f(x)^\trans (y - x) $$
\begin{center}
\begin{tikzpicture}
\draw[smooth, domain=-3:3, variable=\x] plot ({\x}, {0.1*\x*(2*\x+1)});
\node at (1, 0.3) {$\bullet$};
\node[below right] at (1, 0.3) {$(x, f(x))$};
\draw (-1, -0.5) -- (3, 1.1);
\node at (-2, 1.2) {$f(y)$};
\node[right] at (3, 1.1) {$f(x) + \nabla f(x)^\trans (y - x)$};
\end{tikzpicture}
\end{center}
}
\paragraph{Rappel}
Une fonction $f$ est deux fois différentiable si $\dom f$ est ouvert et sa matrice Hessienne $\nabla^2 f(x) \in \mathcal{S}^n$ existe en tout point $x \in \dom f$. Cette matrice Hessienne est définie par :
$$ \nabla^2 f(x)_{ij} = \dfrac{\partial^2 f(x)}{\partial x_i \partial x_j} $$
\PROP[ (Condition de second ordre)]{
Si le domaine de $f$ est convexe et que $f$ est deux fois différentiable en tout point de son domaine. Alors $f$ est convexe si et seulement si :
$$ \forall x \in \dom f, \quad \nabla^2 f(x) \succeq 0 $$
De plus si pour tout $x \in \dom f$, $\nabla^2 f(x) \succ 0$ alors $f$ est strictement convexe.
}
\exe
Pour une fonction quadratique : $f(x) =\frac{1}{2} x^\trans P x + q^\trans x + r$ avec $P \in \mathcal{S}^n$. Alors :
$$ \nabla f(x) = Px + q \qquad \nabla^2 f(x) = P $$
$f$ est convexe si et seulement si $P \succeq 0$. \\
Pour la fonction objective des moindres carrés : $f(x) = \| Ax - b \|_2^2$.
$$ \nabla f(x) = 2 A^\trans (Ax - b) \qquad \nabla^2 f(x) = 2 A^\trans A $$
$f$ est alors convexe quelque soit $A$.
\DEF{
L'\textbf{épigraphe} d'une fonction $f : \R^n \rightarrow \R$ est l'ensemble :
$$ \epi f = \left\{ (x, t) \in \R^{n+1} ~|~ x \in \dom f, \, f(x) \leqslant t \right\} $$
\begin{center}
\begin{tikzpicture}
\draw[smooth, domain=-2:2, variable=\x]
plot ({\x}, {0.5*cos(120*\x+80) + 0.5*cos(240*\x+60)}) node[below left] {$f$};
\fill[opacity=0.15, smooth, domain=-2:2, variable=\x]
plot ({\x}, {0.5*cos(120*\x+80) + 0.5*cos(240*\x+60)}) -- (2, 1) -- (-2, 1) -- cycle;
\node at (1, 0.66) {$\epi f$};
\end{tikzpicture}
\end{center}
}
\paragraph{}
On a clairement que $f$ est convexe si et seulement si $\epi f$ est convexe.
\paragraph{Opérations qui préserve la convexité}
\begin{itemize}
\item Si $f$ est convexe et $\alpha \geqslant 0$ alors $\alpha f$ est convexe.
\item Si $f_1$ et $f_2$ sont convexes $f_1 + f_2$ est convexe (peu être étendu aux sommes infinis et intégrales).
\item Si $f$ est convexe alors $f(Ax + b)$ est aussi convexe.
\item Si $f(x, y)$ est convexe en $x$ pour tout $y \in \mathcal{A}$ alors $g(x) = \sup_{y \in \mathcal{A}} f(x, y)$ est convexe.
\end{itemize}
\exe
Pour $X \in \mathcal{S}^n$ alors la fonction qui a une matrice symétrique associe la valeur propre la plus grande est convexe :
$$ \lambda_{\max}(X) = \sup_{\| y \|_2 = 1} y^\trans X y $$
\ No newline at end of file
......@@ -126,6 +126,7 @@
\newcommand{\Pp}{\mathbb{P}}
\newcommand{\E}{\mathbb{E}}
\newcommand{\dom}{\text{\textbf{dom}}~}
\newcommand{\epi}{\text{\textbf{epi}}~}
\mytitle{Convex Optimization}
\author{
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment