Commit a6b54745 authored by nanored's avatar nanored

exo 2 dm 2

parent 1d1a863d
......@@ -680,4 +680,61 @@ Si $\tilde{x}, \tilde{\lambda}, \tilde{\nu}$ vérifient les conditions KKT pour
Si les conditions de Slater sont vérifiées alors $x$ est optimal pour le primal si et seulement si il existe $\lambda, \nu$ qui vérifient les conditions KKT avec $x$. En effet les conditions de Slater impliquent la dualité forte et l'optimal du dual est atteint.
\paragraph{Résumé}
Lorsque la dualité forte tient les conditions de KKT sont nécessaire pour l'optimalité. De plus si le problème est convexe ou que les conditions de Salter sont vérifiées alors elles sont aussi suffisantes.
\ No newline at end of file
Lorsque la dualité forte tient les conditions de KKT sont nécessaire pour l'optimalité. De plus si le problème est convexe ou que les conditions de Salter sont vérifiées alors elles sont aussi suffisantes.
\paragraph{Perturbations}
On considère un problème sous forme standard et son dual :
$$ (P) \quad \begin{array}{llr}
\min & f_0(x) \\
\text{t.q.} & f_i(x) \leqslant 0, & i = 1, ..., m \\
& h_i(x) = 0, & i = 1, ..., p
\end{array} \qquad \qquad \qquad \begin{array}{llr}
\max & g(\lambda, \nu) \\
\text{t.q.} & \lambda \succeq 0
\end{array} \quad (D) $$
On décide de perturber un peu le problème en modifiant la partie droite des contraintes. Voici le primal et le dual obtenu :
$$ (P_{u, v}) \quad \begin{array}{llr}
\min & f_0(x) \\
\text{t.q.} & f_i(x) \leqslant u_i, & i = 1, ..., m \\
& h_i(x) = v_i, & i = 1, ..., p
\end{array} \qquad \qquad \qquad \begin{array}{llr}
\max & g(\lambda, \nu) - u^\trans \lambda - v^\trans \nu \\
\text{t.q.} & \lambda \succeq 0
\end{array} \quad (D_{u, v}) $$
On note $p^*(u, v)$ la valeur optimal de ce nouveau problème. On cherche des informations sur cette valeur à partir des solutions du problèmes initial non perturbé.
\paragraph{Analyse sensitive}
Si on suppose la dualité forte alors soit $\lambda^*, \nu^*$ une solution optimal du dual du problème non perturbé. Alors en appliquant la dualité faible au nouveau problème on obtient :
$$ \begin{array}{lll}
p^*(u, v) & \geqslant & g(\lambda^*, \nu^*) - u^\trans \lambda^* - v^\trans \nu^* \\
& \geqslant & p^*(0, 0) - u^\trans \lambda^* - v^\trans \nu^*
\end{array} $$
Si on suppose en plus que $p^*(u, v)$ est différentiable en (0, 0) alors :
$$ \lambda^* = \dfrac{\partial p^*}{\partial u} (0, 0) \qquad \nu^* = \dfrac{\partial p^*}{\partial v} (0, 0) $$
\paragraph{Reformulations}
Des formulations différentes du primal peuvent mener à des formulations très différentes du dual. De plus reformuler le primal pour dériver un nouveau dual peut s'avérer très utile lorsque l'on ne s'en sort pas avec le dual. Des reformulations communes consiste à introduire de nouvelles variables et contraintes d'égalité, ou encore de rendre des contraintes explicites, implicites. Ou bien on peut composer la fonction objective avec une fonction convexe et croissante.
\exe
Considérons le problème suivant : \vspace{-2mm}
$$ \min_x f_0(Ax + b) \vspace{-2mm}$$
Dans ce cas le dual est assez inutile puisque la fonction dual est constante égale à $p^*$.
On faire alors la reformulation suivante :
$$ (P) \quad \begin{array}{llr}
\min_{x, y} & f_0(y) \\
\text{t.q.} & Ax + b = y
\end{array} \qquad \qquad \qquad \begin{array}{llr}
\max & b^\trans \nu - f_0^*(\nu) \\
\text{t.q.} & A^\trans \nu = 0
\end{array} \quad (D) $$
$f_0^*$ est le conjugué de $f_0$. Le dual vient de :
$$ \begin{array}{lll}
g(\nu) & = & \inf_{x, y} f_0(y) - \nu^\trans y + \nu^\trans A x + b^\trans \nu \\[2mm]
& = & \syst{ll}{
- f_0^*(\nu) + b^\trans \nu & \text{Si } A^\trans \nu = 0 \\
- \infty & \text{Sinon}
}
\end{array} $$
\paragraph{Problèmes avec égalités généralisés}
Si une égalité est de la forme $f_i(x) \preceq_{K_i} 0$ alors le multiplicateur de Lagrange associé est $\lambda_i \in \R^{k_i}$$k_i$ est la dimension de l'espace dans lequel le cône $K_i$ vie. La dualité faible est vérifiée pour $\lambda_i \succeq_{K_i^*} 0$, et c'est donc cette contrainte qui est ajouté au problème dual. Remarquez alors que la nom du cône dual prend alors tout son sens.
\ No newline at end of file
......@@ -99,19 +99,67 @@
\end{center}
\paragraph{4.}
We can remark that $x$ and $y$ are independent in the problem. That is to say, $x$ and $y$ don't appear at the same time in a constraint and the objective function can be split in the sum of one function depending only in $x$ and another depending only in $y$. We can then optimize $x$ and $y$ separately. The restriction of (Self-Dual) to $x$ is exactly (P) and the restriction to $y$ is exactly (D). Thus:
We can remark that $x$ and $y$ are independent in the problem (Self-dual). That is to say, $x$ and $y$ don't appear at the same time in a constraint and the objective function can be split in the sum of one function depending only in $x$ and another depending only in $y$. We can then optimize $x$ and $y$ separately. The restriction of (Self-Dual) to $x$ is exactly (P) and the restriction to $y$ is (D) (by using the fact that minimizing the opposite of an expression is equivalent to maximizing). Thus:
\begin{center}
\fbox{The vector $[x^*, y^*]$ can also be obtained by solving (P) and (D).}
\end{center}
The problem is linear because the objective function and the constraints are linear. The we effectively have the strong duality. Because the problem is self-dual $[x^*, y^*]$ is also optimal for its dual. We recall that :
$$ x^* = \lambda'^* \qquad y^* = - \nu^* \qquad \lambda^* = A^\trans \nu^* + c $$
We then write the complementary slackness conditions :
$$ \left( A^\trans y^* - c \right)_i x_i^* = 0, \quad i = 1, ..., d $$
Now we rewrite the objective function using $Ax^* = b$ :
$$ f_0(x^*, y^*) = c^\trans x^* - b^\trans y^* = c^\trans x^* - (x^*)^\trans A^\trans y^* = - \left( A^\trans y^* - c \right)^\trans x^* = - \sum_{i = 1}^d \left( A^\trans y^* - c \right)_i x_i^* = 0 $$
We can conclude :
% The problem is linear because the objective function and the constraints are linear. Then we effectively have the strong duality. Because the problem is self-dual $[x^*, y^*]$ is also optimal for its dual. We recall that :
% $$ x^* = \lambda'^* \qquad y^* = - \nu^* \qquad \lambda^* = A^\trans \nu^* + c $$
% We then write the complementary slackness conditions :
% $$ \left( A^\trans y^* - c \right)_i x_i^* = 0, \quad i = 1, ..., d $$
% Now we rewrite the objective function using $Ax^* = b$ :
% $$ f_0(x^*, y^*) = c^\trans x^* - b^\trans y^* = c^\trans x^* - (x^*)^\trans A^\trans y^* = - \left( A^\trans y^* - c \right)^\trans x^* = - \sum_{i = 1}^d \left( A^\trans y^* - c \right)_i x_i^* = 0 $$
% We can conclude :
By strong duality of linear programs we have $p^* = d^*$ where $p^* = c^\trans x^*$ is the optimal value of (P) and $d^* = b^\trans y^*$ is the optimal value of (D). Then the value of $[x^*, y^*]$ in (Self-Dual) is $p^* - d^* = 0$.
\begin{center}
\fbox{The optimal value of (Self-Dual) is exactly 0.}
\end{center}
\section*{Exercise 2 (Regularized Least-Square)}
\paragraph{1.}
Let $g(x, y) = y^\trans x - \| x \|_1$. We denote by $\| . \|_1^*$ the conjugate of $\| . \|_1 $ such that:
$$ \| y \|_1^* = \sup_x g(x, y) $$
Suppose that there exists $i$ such that $| y_i | > 1$. Then by denoting $e_i$ the vector with a one at position $i$ and zeros everywhere else, for $\lambda > 0$, we have :
$$ g(\lambda e_i, y) = \lambda \left( | y_i | - 1 \right) \xrightarrow[\lambda \rightarrow + \infty]{} +\infty $$
So $\| y \|_{\infty} > 1$ implies $\| y \|_1^* = + \infty$. \\
Now suppose $\| y \|_{\infty} \leqslant 1$. In this case $x_i y_i \leqslant | x_i |$, then :
$$ g(x, y) = \sum_{i = 1}^d x_i y_i - | x_i | \leqslant 0 $$
We deduce $\| y \|_1^* \leqslant 0$. Because $g(0, y) = 0$ this is an equality. We finally have :
\begin{center}
\fbox{$ \displaystyle \| y \|_1^* = \syst{ll}{
0 & \text{If } \| y \|_{\infty} \leqslant 1 \\
+ \infty & \text{Otherwise}
} $}
\end{center}
\paragraph{2.}
We introduce the new variable $y = Ax + b$ in the problem to obtain :
$$ \begin{array}{llr}
\min_{x, y} & \| y \|_2^2 + \| x \|_1 \\
\text{s.t.} & Ax + b = y
\end{array} $$
We then compute the dual function :
$$ \begin{array}{lll}
g(\nu) & = & \inf_{x, y} \| y \|_2^2 - \nu^\trans y + \nu^\trans A x + \| x \|_1 - \nu^\trans b \\[2mm]
& = & \| \nu \|_2^{2 \, *} + \left\| - A^\trans \nu \right\|_1^* - \nu^\trans b \\[2mm]
& = & \syst{ll}{
\| \nu \|_2^{2 \, *} - \nu^\trans b & \text{If } \, \left\| A^\trans \nu \right\|_{\infty} \leqslant 1 \\
+ \infty & \text{Otherwise}
}
\end{array} $$
Now we compute the conjugate of the square of the 2-norm :
$$ \| \nu \|_2^{2 \, *} = \max_y \nu^\trans y - \| y \|_2^2 = \max_y h(\nu, y) $$
Where $h$ is a strictly concave function. We compute the gradient of $h$ with respect to $y$ :
$$ \nabla_y h(\nu, y) = \nu - 2 y $$
Then $h$ is maximal for $y = \frac{1}{2} \nu$ and we obtain :
$$ \| \nu \|_2^{2 \, *} = \frac{1}{4} \| \nu \|_2^2 $$
Then our dual can be written :
\begin{center}
\fbox{$ \displaystyle \text{(Dual RLS)} \quad \begin{array}{llr}
\max_\nu & \frac{1}{4}\| \nu \|_2^2 - b^\trans \nu \\[2mm]
\text{s.t.} & \left\| A^\trans \nu \right\|_{\infty} \leqslant 1
\end{array} $}
\end{center}
\end{document}
\ No newline at end of file
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment