Ottimizzazione libera

Note

Si parla di ottimizzazione libera quando si cercano i punti estremali di $f$ nel suo dominio.

Teorema di Fermat

Note

Sia $A\subseteq {\mathbb{R}}^2$ un insieme aperto e sia $f:A\to \mathbb{R}$ derivabile in $(x_0,y_0)\in A$. Se $(x_0,y_0)$ è un punto estremale relativo di $f$, allora:

$$\nabla f(x_0,y_0)=0$$

Cioè $(x_0,y_0)$ è un punto critico di $f$.

Criterio della matrice Hessiana

Note

Siano $A\subseteq {\mathbb{R}}^n$ aperto, $f\in c^2(A)$ e ${\overrightarrow{x}}_0\in A$ punto critico di $f$. sia $q:{\mathbb{R}}^n\to \mathbb{R}$ la forma quadratica indotta dalla matrice Hessiana $H_f({\overrightarrow{x}}_0)$. Abbiamo che:

• Se $q$ è definita positiva, allora ${\overrightarrow{x}}_0$ è punto di minimo locale.
• Se $q$ è definita negativa, allora ${\overrightarrow{x}}_0$ è punto di massimo locale.
• Se $q$ è indefinita, allora ${\overrightarrow{x}}_0$ è punto di sella.

Dimostrazione

Verifichiamo il primo caso (il secondo è analogo). La matrice Hessiana $H_f({\overrightarrow{x}}_0)$ è:

• Simmetrica: grazie al teorema di Schwarz siccome $f\in c^2(A)$.
• Ha tutti gli autovalori reali e positivi, siccome $q$ è definita positiva.

Ne deduciamo che:

$$⟨\overrightarrow{h},H_f({\overrightarrow{x}}_0)\cdot \overrightarrow{h}⟩=:q(\overrightarrow{h})\ge {\lambda }_{\min }||h|{|}^2\forall \overrightarrow{h}\in {\mathbb{R}}^n$$

Dove ${\lambda }_{\min }$ è il minimo degli autovalori di $H_f({\overrightarrow{x}}_0)$. Inoltre, dato che ${\overrightarrow{x}}_0$ è punto critico di $f$, dalla formula di Taylor al secondo ordine otteniamo che:

$$f({\overrightarrow{x}}_0+h)-f({\overrightarrow{x}}_0)=\frac{1}{2}q(\overrightarrow{h})+o(||\overrightarrow{h}|{|}^2)\ge \frac{{\lambda }_{\min }}{2}||h|{|}^2+o(||\overrightarrow{h}|{|}^2)$$

Per $||h||\to 0$, dove nella disuguaglianza abbiamo applicato la formula precedente. Per la definizione di o piccolo abbiamo che:

$$\underset{\overrightarrow{h}\to \overrightarrow{0}}{\lim }\frac{o(||\overrightarrow{h}|{|}^2)}{||\overrightarrow{h}|{|}^2}=0$$

E quindi $\exists \delta >0$ tale che se $||\overrightarrow{h}||<\delta$ e $\overrightarrow{h}\ne \overrightarrow{0}$, allora:

$$\frac{|o(||\overrightarrow{h}|{|}^2)|}{||\overrightarrow{h}|{|}^2}<\frac{1}{4}{\lambda }_{\min }$$

Dove ${\lambda }_{\min }>0$ grazie alla seconda ipotesi. Quindi in particolare $\exists \delta >0$ tale che $\forall \overrightarrow{h}\in B_{\delta }(\overrightarrow{0})$ abbiamo che:

$$o(||\overrightarrow{h}|{|}^2)>-\frac{1}{4}{\lambda }_{\min }||\overrightarrow{h}|{|}^2$$

Pertanto dalle formule precedenti possiamo concludere che

$$\begin{array}{rl}f({\overrightarrow{x}}_0+\overrightarrow{h})-f(\overrightarrow{x})& \ge \frac{1}{2}{\lambda }_{\min }||\overrightarrow{h}|{|}^2+o(||\overrightarrow{h}|{|}^2)\\ & \ge \frac{1}{2}{\lambda }_{\min }||\overrightarrow{h}|{|}^2-\frac{1}{4}{\lambda }_{\min }||\overrightarrow{h}|{|}^2=\frac{1}{4}{\lambda }_{\min }||\overrightarrow{h}|{|}^2\ge 0\end{array}$$

$\forall \overrightarrow{h}\in B_{\delta }(\overrightarrow{0})$ tale che ${\overrightarrow{x}}_0+\overrightarrow{h}\in A$, che implica che ${\overrightarrow{x}}_0$ è punto di minimo locale di $f$.

Criterio esplicito della matrice Hessiana nel caso $n=2$

Siano $A\subseteq {\mathbb{R}}^2$ aperto, $f\in c^2(A)$ e $(x_0,y_0)\in A$ punto critico di $f$. Sia $H_f(x_0,y_0)$ la matrice Hessiana di $f$ nel punto $(x_0,y_0)$. Abbiamo che:

• Se $\det H_f(x_0,y_0)>0$ e $\frac{{\partial }^{2}f}{\partial x^2}(x_0,y_0)>0$, allora $(x_0,y_0)$ è un punto di minimo locale di $f$.
• Se $\det H_f(x_0,y_0)>0$ e $\frac{{\partial }^{2}f}{\partial x^2}(x_0,y_0)<0$, allora $(x_0,y_0)$ è un punto di massimo locale di $f$.
• Se $\det H_f(x_0,y_0)<0$, allora $(x_0,y_0)$ è punto di sella di $f$.
• Se $\det H_f(x_0,y_0)=0$ il criterio non fornisce informazioni, possiamo usare l’indagine diretta o il controllo per convessità/concavità.

Inoltre, se $a:=\frac{{\partial }^{2}f}{\partial x^2}(x_0,y_0)=0$, ma $\frac{{\partial }^{2}f}{\partial y^2}(x_0,y_0)\ne 0$, valgono gli stessi assetti con $c$ al posto $a$.

Indagine diretta

Note

Questa strategia consiste nel trovare due curve passanti per il punto critico su cui le restrizioni di $f$ hanno in un caso un massimo e nell’altro un minimo, in maniera tale da concludere che il punto critico è u punto di sella.

Controllo per convessità/concavità

Note

Sia $f:{\mathbb{R}}^2\to \mathbb{R}\in c^2({\mathbb{R}}^2)$. Diciamo che $f$ è convessa (rispettivamente concava) se $\forall (x,y)\in {\mathbb{R}}^2$ la matrice Hessiana $H_f(x,y)$ è definita positiva o semi-definita positiva (rispettivamente definita negativa o semi-definita negativa).

Sia $f\in c^2({\mathbb{R}}^2)$ e $(x_0,y_0)\in {\mathbb{R}}^2$ un punto critico di $f$, abbiamo che:

• Se $f$ è convessa su ${\mathbb{R}}^2$, allora $(x_0,y_0)$ è un punto di minimo assoluto
• Se $f$ è concava su ${\mathbb{R}}^2$, allora $(x_0,y_0)$ è un punto di massimo assoluto