Optimizacion Clasica - Funcion Coerciva PDF
Optimizacion Clasica - Funcion Coerciva PDF
Optimizacion Clasica - Funcion Coerciva PDF
ITULO2. OPTIMIZACI
ONCL
USQUEDA DE M
AXIMOS Y M
2
f
x
2
= 12x + 10,
2
f
xy
=
2
f
yx
= 2y,
2
f
y
2
= 2x + 2
Por tanto, la matriz hessiana en un punto generico (x, y) es:
Hess(f) (x, y) =
_
12x + 10 2y
2y 2x + 2
_
Ahora pasamos a evaluar esta matriz hessiana en cada punto crtico y a clasicarla.
En el punto crtico P
1
= (0, 0), la matriz hessiana queda:
Hess(f) (0, 0) =
_
10 0
0 2
_
4CAP
ITULO2. OPTIMIZACI
ONCL
k
= {X IR
n
/ f(X) k}
es compacto.
NOTA: El conjunto vaco, , es compacto.
Ejemplo.- Veamos que la funcion f(x, y) = x
2
+y
2
es coerciva.
El conjunto de subnivel k es:
k
= {(x, y) IR
2
/ x
2
+y
2
k}
2.2. FUNCIONES COERCIVAS. 5
Para k < 0,
k
= , que es compacto.
Para k = 0,
k
= {(0, 0)}, que tambien es compacto.
Para k > 0,
k
= {(x, y) IR
2
/ x
2
+y
2
k} es la bola cerrada de centro (0, 0) y radio
k
= {(x, y) IR
2
/ x + 2y k}
Este conjunto es un semiplano no acotado. Por tanto, no es un conjunto compacto
nunca, da igual quien sea k. As que la funcion dada no es coerciva
3
.
2.2.1. Funciones coercivas: casos particulares.
A. Caso de funciones de una variable.
Se puede probar que para cualquier funcion continua f : IR IR:
f es coerciva
_
lm
x>+
f(x) = +
lm
x>
f(x) = +
En consecuencia, ejemplos concretos de funciones coercivas (de una variable) son:
f(x) = x
2
5x+6, f(x) = e
x
2
, f(x) =
x
4
5x
x
2
+ 6
, f(x) = |x|, f(x) = 5x
4
4x
3
+2x+5
(En general, toda funcion de una variable que sea polinomica de grado par y cuyo
coeciente de mayor grado sea positivo, es coerciva.)
Y ejemplos concretos de funciones no coercivas son:
f(x) = e
x
, f(x) = x
3
+ 3x
2
, f(x) = 2x + 3, f(x) = 3x
2
+ 5, f(x) = cos x
3
En realidad, para que una funcion no sea coerciva, bastara con que alguno de los
k
no sea
compacto.
6CAP
ITULO2. OPTIMIZACI
ONCL
M
es compacto-por ser f coerciva- y
M
= , ya que P
o
M
).
Por tanto, podemos asegurar que existe P
1
M
tal que f(P
1
) f(X) (X
M
).
Si X es cualquier punto de IR
n
entonces caben dos posibilidades:
Si X /
M
, entonces f(X) > M = f(P
o
) f(P
1
).
Si X
M
, entonces f(X) f(P
1
)
Por tanto, en cualquier caso, f(X) f(P
1
), como queramos demostrar.
Este teorema nos dice que toda funcion coerciva f : IR
n
IR tiene mnimo global
sobre IR
n
.
2.3. PROPIEDADES DE LAS FUNCIONES COERCIVAS. 7
2.3. Propiedades de las funciones coercivas.
1) Coercividad y composicion.
Sean f : IR
n
IR y F : IR IR funciones continuas tales que f es coerciva y F verica
que lm
z+
F(z) = +.
Entonces la funcion compuesta g(X) = F(f(X)) es tambien coerciva.
Ejemplos.-
La funcion g(x, y) = e
3x
2
+2y
2
10y3
es coerciva, ya que la funcion f(x, y) = 3x
2
+
2y
2
10y 3 es coerciva y la funcion F(z) = e
z
cumple la condicion de que su
lmite en + es +.
La funcion g(x, y) =
_
x
4
+y
2
+ 5 es coerciva, ya que la funcion f(x, y) = x
4
+
y
2
+ 5 es coerciva y la funcion F(z) =
z cumple la condicion
4
de que su lmite
en + es +.
El conjunto S = {(x, y) /(x
2
+ 3y
4
)
7
40} podemos asegurar que es compacto?
S, ya que la funcion g(x, y) = (x
2
+3y
4
)
7
es coerciva
5
. Por tanto, nuestro conjunto
S es en realidad el conjunto de subnivel
40
para esta funcion coerciva y, en
consecuencia, es un conjunto compacto.
2) Coercividad y orden.
Sean f y g dos funciones denidas en IR
n
y continuas. Supongamos que f(X) g(X)
(X IR
n
). Se tiene que:
Si f es coerciva, entonces tambien g es coerciva.
Demostracion: Partimos de la base de que f es coerciva. Queremos demostrar que g
es coerciva.
Pensamos en los conjuntos de subnivel k de ambas funciones:
k
(f) = {X IR
n
/ f(X) k},
k
(g) = {X IR
n
/ g(X) k}
El hecho de que f(X) g(X) para todo X IR
n
nos dice que
k
(g)
k
(f). (Ya que
X
k
(g) g(X) k f(X) g(X) k f(X) k X
k
(f))
4
La propiedad enunciada es valida tambien aunque la funcion F no este denida en todo IR, sino
en un intervalo como [0, +[ o ]0, +[, como es el caso de nuestra funcion F(z) =
z, siempre y
cuando el dominio de esta funcion F contenga al rango de f.
5
g(x, y) es coerciva, ya que f(x, y) = x
2
+3y
4
es coerciva y se cumple ademas que F(z) = z
7
+
cuando z +.
8CAP
ITULO2. OPTIMIZACI
ONCL
ON) 9
es coerciva? La matriz asociada a la forma cuadratica es A =
_
3 2
2 2
_
.
Esta matriz es denida positiva (porque D
1
= 3 > 0, D
2
= 2 > 0).
Por tanto, esta funcion s es coerciva.
Podemos dar una peque na justicacion de porque el hecho de que una funcion polinomica de
grado dos sea o no coerciva depende del signo de la forma cuadratica asociada.
Hay una propiedad, llamada de Rayleigh, que dice que si A =
_
a b
b c
_
es la matriz asociada
a la forma cuadratica en dos variables, Q
A
(x, y) = a x
2
+ 2b xy + c y
2
y llamo
1
al menor
de los valores propios de A, entonces
Q
A
(x, y)
1
(x
2
+ y
2
)
A consecuencia de esto, si tengo una funcion polinomica de grado dos en dos variables,
f(x, y) = a x
2
+ 2b xy + c y
2
+ d x + k y + n
ocurre que
f(x, y) = a x
2
+2b xy+c y
2
+d x+k y+n
1
(x
2
+y
2
)+d x+k y+n =
1
x
2
+d x+
1
y
2
+k y+n
La funcion
1
x
2
+ d x +
1
y
2
+ k y + n es una funcion de variables separadas. En el caso
de que fuera
1
> 0 (o, lo que es lo mismo, en el caso de que la forma cuadratica fuera
denida positiva), esta ultima funcion es coerciva. Y, por la propiedad 2, nuestra f tambien
es coerciva.
3) Coercividad y maximos globales.
Si f : IR
n
IR es una funcion coerciva, entonces no tiene maximo global.
Demostracion: Si tuviera maximo global, es decir, existiera un punto P
2
tal que
f(P
2
) f(X), (X IR
n
), entonces, llamando M = f(P
2
) el conjunto de subnivel
M
sera todo IR
n
, que no es compacto y contradice la suposicion de que la funcion era
coerciva.
2.4. El metodo de primer orden. (Para minimizacion)
Tratamos de resolver un problema de minimizacion sin restricciones, es decir, un pro-
blema del tipo Min. f(X) .
Supongamos que tenemos garantizado que el problema tiene solucion, es decir, que
tiene mnimo global. (Esta garanta se tiene si, por ejemplo, la funcion f es coerci-
va, aunque tambien puede garantizarsenos la existencia de solucion de otras maneras
diferentes).
Pues bien en esta situacion, podemos resolver el problema de la siguiente manera (Meto-
do de primer orden).
10CAP
ITULO2. OPTIMIZACI
ONCL
k
= {X IR
n
/ f(X) k} es compacto, para todo k IR.
Al igual que pasaba con las funciones coercivas, es posible reconocer a simple vista que
una determinada funcion es anticoerciva en ciertos casos particulares.
2.5.1. Funciones anticoercivas: casos particulares.
Caso de funciones de una variable f : IR IR.
f es anticoerciva
_
lm
x>+
f(x) =
lm
x>
f(x) =
(Por ejemplo, f(x) = x
2
+ 5x es anticoerciva y tambien f(x) = 5x
4
+ 4x
3
es anticoerciva. En general, toda funcion de una variable que sea polinomica de
grado par y cuyo coeciente de mayor grado sea negativo, es anticoerciva.)
Caso de funciones de variables separadas:
f(x, y) = (x) +(y) es anticoerciva y son anticoercivas
Caso de funciones polinomicas de grado dos, en dos variables.
f es una funcion anticoerciva A es denida negativa
(siendo A la matriz asociada a la forma cuadratica correspondiente)
12CAP
ITULO2. OPTIMIZACI
ONCL
ITULO2. OPTIMIZACI
ONCL
ITULO2. OPTIMIZACI
ONCL
ONCAVAS 17
vemos que el conjunto factible S = {(x, y) / x+y 2, x 0, y 0} es compacto
y convexo. Por tanto, existe maximo global, y ademas se alcanza en alg un punto
extremo. Los puntos extremos de S son E(S) = { (0, 0), (2, 0) (0, 2)}
Evaluando f(x, y) = x
2
+2y
2
en estos puntos extremos, tenemos que f(0, 0) = 0,
f(2, 0) = 4, f(0, 2) = 8.
Por tanto, el valor maximo es M = 8 y se alcanza en el punto (0, 2).
2.10. Funciones concavas
Def.- Sea S IR
n
un conjunto convexo y sea f : S IR una funcion. Diremos que f
es concava en S si su opuesta, f es una funcion convexa en S.
Ejemplos.-
1) f(x) = x
2
, 2) f(x) = 2x 1, 3) f(x, y) = x
2
y
2
NOTA 1: Una funcion f es estrictamente concava si y solo si su opuesta f es estric-
tamente convexa.
NOTA 2: Una funcion puede no ser ni concava ni convexa. Por ejemplo, la funcion
f(x) = x
3
denida en IR no es ni concava ni convexa. Pero si la restringimos a S =
[0, +[, entonces s es una funcion convexa sobre S = [0, +[.
La funcion f(x, y) = y
2
x
2
denida en IR
2
cuya graca aparece a continuaci on es un
ejemplo de una funcion que no es ni concava ni convexa.
NOTA 3: Existen funciones que son convexas y concavas a la vez. Las funciones
polinomicas de grado uno, como f(x) = ax +b, f(x, y) = ax +by +c.
18CAP
ITULO2. OPTIMIZACI
ONCL
(x) = 12x
2
no es estrictamente positiva para todo x IR, ya que se anula para
x = 0.
Pues bien existe una caracterizacion analoga para funciones de varias variables.
2.11. CARACTERIZACI
ONCAVAS 19
Caracterizacion de la convexidad o concavidad de una funcion
mediante la matriz hessiana.
Sea una funcion f : S IR, siendo S IR
n
un conjunto convexo. Suponemos que f es
de clase C
2
en S.
Consideramos la matriz hessiana, Hess f (X) en un punto generico X S. Entonces
1. f es convexa en S Hess f (X) es Denida o Semidenida Positiva en todo
punto X de S.
2. f es concava en S Hess f (X) es Denida o Semidenida Negativa en todo
punto X de S.
Para la convexidad o concavidad estricta tenemos el siguiente resultado:
1. Hess f (X) es Def. Pos. ( X S) f es estrictamente convexa en S.
2. Hess f (X) es Def. Neg. ( X S) f es estrictamente concava en S.
Ejemplo.- La funcion f(x, y) = x
3
+ 3y
2
, es convexa en IR
2
?
La matriz hessiana es
Hess f (x, y) =
_
6x 0
0 6
_
Antes de nada, observemos que el hecho de ser denida o semidenida positiva, indis-
tintamente, en cualquier punto (x, y) IR
2
, se traduce
8
en que sean:
a = 6x 0, c = 6 0, D
2
= 36x 0
Pues bien, esta claro que el signo de a = 6x no es siempre 0, ya que este signo es
negativo, cuando x es negativo. Por tanto, no se verica que nuestra matriz hessiana
sea siempre denida o semidenida positiva. En consecuencia, nuestra funcion no es
convexa.
Ejemplo.- Es concava en IR
2
la funcion f(x, y) = x
3
+ 3y
2
del ejemplo anterior?
La matriz hessiana era: Hess f (x, y) =
_
6x 0
0 6
_
Observemos que el hecho de que esta matriz sea denida o semidenida negativa en
cualquier punto (x, y) IR
2
, se traduce en que sean:
a = 6x 0, c = 6 0, D
2
= 36x 0
8
Estamos usando el criterio de los menores principales generalizados.
20CAP
ITULO2. OPTIMIZACI
ONCL
ON Y CONVEXIDAD. 21
De manera analoga, f es concava si y solo si A es denida o semidenida negativa.)
Ejemplo.-
La funcion polinomica de grado dos
f(x, y) = 3 x
2
+ 5 x y + 4 y
2
+ 28 x + 45 y + 321
es concava o convexa?
La matriz asociada a la forma cuadratica es
A =
_
3
5
2
5
2
4
_
Esta matriz se clasica como denida positiva (ya que a = 3 > 0, c = 4 > 0 y
D
2
= 12
25
4
=
23
4
> 0).
Por tanto, nuestra funcion es convexa. De hecho, es estrictamente convexa.
Ejemplo.- La funcion polinomica de grado dos
g(x, y) = 4 x
2
+ 10 xy + 2 y
2
+ 42 x + 65 y + 12
es concava o convexa?
La matriz asociada a la forma cuadratica es
A =
_
4 5
5 2
_
Esta matriz es indenida, porque D
2
< 0. En consecuencia, esta funcion g no es ni
concava ni convexa.
2.12. Optimizacion y convexidad.
Hemos visto antes que si S IR
n
es un conjunto convexo y f : S IR es una funcion,
entonces:
Si la funcion f es convexa y tiene alg un punto crtico, dicho punto crtico es un
mnimo global.
Si la funcion f es concava y tiene alg un punto crtico, este es un maximo global.
NOTA: El resultado anterior no dice que una funcion convexa tenga siempre mnimo
global. Solo dice que, en caso de que la funcion convexa tenga alg un punto crtico, este
es un mnimo global. Pero es perfectamente posible que una funcion convexa no tenga
puntos crticos, como por ejemplo, la funcion exponencial en una variable, f(x) = e
x
.
22CAP
ITULO2. OPTIMIZACI
ONCL
ITULO2. OPTIMIZACI
ONCL
ATICAS.
1.- Formas cuadraticas en dos variables.
Una forma cuadratica en dos variables es una funcion
f(x, y) = a x
2
+ 2 b xy +c y
2
donde a, b y c son constantes reales.
La expresion anterior se puede escribir usando matrices de la siguiente manera:
f(x, y) =
_
x y
_
_
a b
b c
__
x
y
_
La matriz A =
_
a b
b c
_
recibe el nombre de matriz asociada a la forma cuadratica.
Esta matriz es siempre una matriz simetrica.
1.1 Denicion: Clasicacion de las formas cuadraticas.
Una forma cuadratica, f(x, y) = a x
2
+2 b xy +c y
2
se clasica atendiendo al signo que
tenga f(x, y). En concreto, la denicion es la siguiente.
1. Se dice que la forma cuadratica es denida positiva si f(x, y) > 0 para todo
(x, y) = (0, 0).
2. Se dice que es denida negativa si f(x, y) < 0 para todo (x, y) = (0, 0).
3. Se dice que es semidenida positiva si f(x, y) 0 para todo (x, y) (y ademas,
existe (x
o
, y
o
) = (0, 0) tal que f(x
o
, y
o
) = 0).
4. Se dice que es semidenida negativa si f(x, y) 0 para todo (x, y) (y ademas,
existe (x
o
, y
o
) = (0, 0) tal que f(x
o
, y
o
) = 0).
5. Se dice que es indenida si existen dos puntos distintos, (x
1
, y
1
) y (x
2
, y
2
) tales
que f(x
1
, y
1
) > 0 y f(x
2
, y
2
) < 0.
Ejemplos.-
La forma cuadratica f(x, y) = 2x
2
+ y
2
es denida positiva, ya que f(x, y) > 0
para todo (x, y) = (0, 0).
2.15. AP
ATICAS. 25
f(x, y) = 2x
2
y
2
es indenida, ya que los valores de f(x, y) pueden ser tanto
positivos como negativos. Por ejemplo, para (x, y) = (1, 0), vemos que f(1, 0) =
2 > 0. Y para (x, y) = (0, 1), se tiene que f(0, 1) = 1 < 0.
La forma cuadratica f(x, y) = x
2
2xy +y
2
= (x y)
2
es semidenida positiva,
ya que f(x, y) 0 para todo (x, y). Ademas, toma el valor cero sobre alg un punto
no nulo. Por ejemplo, f(1, 1) = 0.
Algunas observaciones:
Cualquiera que sea la forma cuadratica f(x, y), se tiene que f(0, 0) = 0.
Toda forma cuadratica en dos variables cae en uno y solo uno de los tipos de
la clasicacion, con excepcion de la forma cuadratica trivial, (f(x, y) = 0, para
todo (x, y) IR
2
), que es simult aneamente semidenida positiva y semidenida
negativa.
Los ejemplos anteriores eran especialmente sencillos, por lo que hemos podido
clasicar la forma cuadratica usando solamente la denicion. Pero no siempre
ocurre as, lo que nos lleva a recordar criterios mas utiles para clasicar formas
cuadraticas.
1.2 Criterio de los valores propios.
Tenemos una forma cuadratica f(x, y) = a x
2
+ 2 b xy +c y
2
. La matriz asociada es
A =
_
a b
b c
_
Entonces:
1. A es denida positiva
9
Todos los valores propios de A son > 0.
2. A es denida negativa Todos los valores propios de A son < 0.
3. A es indenida Existe alg un valor propio > 0 y alg un otro < 0.
4. A es semidenida positiva Todos los valores propios de A son 0 (y alguno
de ellos es exactamente 0).
5. A es semidenida negativa Todos los valores propios de A son 0 (y alguno
de ellos es exactamente 0)
9
Por comodidad, usaremos la expresion la matriz A es denida ... en lugar de la forma cuadratica
f es denida ...
26CAP
ITULO2. OPTIMIZACI
ONCL
3 0
0 2
= (3 )(2 ) = 0
Por tanto, los valores propios son:
1
= 3 y
2
= 2. Como son uno positivo y el
otro negativo, esta forma cuadratica (o esta matriz) se clasica como indenida.
2. Sea la forma cuadratica cuya matriz asociada es A =
_
1 2
2 5
_
Calculamos los valores propios:
p
A
() =
1 2
2 5
= (1 )(5 ) 4 =
2
6 + 1
Resolviendo la ecuacion
2
6 + 1 = 0 obtenemos los valores propios, que son
1
=
6 +
32
2
= 5,83 y
1
=
6
32
2
ATICAS. 27
3. D
1
> 0, D
2
= 0 A es semidenida positiva.
4. D
1
< 0, D
2
= 0 A es semidenida negativa.
5. D
2
< 0 A es indenida.
Ejemplos.-
1. Vamos a clasicar la forma cuadratica cuya matriz asociada es A =
_
1 2
2 5
_
Vemos que D
1
= 1 > 0 y D
2
= 5 4 = 1 > 0. Por tanto, esta matriz es denida
positiva.
2. Para la matriz A =
_
3 0
0 1
_
vemos que D
2
= 3 < 0 y D
2
= 3 > 0. Por
tanto, esta matriz es denida negativa.
3. Para la matriz A =
_
1 3
3 2
_
vemos que D
2
= 7 < 0. Por tanto, esta matriz es
indenida.
4. Para la matriz A =
_
0 0
0 1
_
vemos que D
1
= 0 y D
2
= 0. Este caso no aparece
contemplado en este criterio de los menores principales. En este caso, el criterio no
decide. As que no podemos clasicar esta forma cuadratica, salvo que recurramos
al criterio de los valores propios o al criterio que vemos a continuaci on.
Existe otro criterio, que tambien utiliza el signo de ciertos menores de la matriz, que
presenta la ventaja de que siempre decide. Es el
1.4 Criterio de los menores principales generalizados.
Ses una forma cuadratica f(x, y) = a x
2
+ 2 b xy +c y
2
, cuya matriz asociada es
A =
_
a b
b c
_
Los menores principales generalizados de esta matriz son:
De orden uno: D
1
= a, D
1
= c (los elementos de la diagonal).
De orden dos: D
2
= ac b
2
(el determinante de la matriz)
Se tiene que
1. A es denida positiva a > 0, c > 0 y D
2
> 0.
28CAP
ITULO2. OPTIMIZACI
ONCL
_
_
a
11
a
12
a
13
a
12
a
22
a
23
a
13
a
23
a
33
_
_
_
_
x
1
x
2
x
3
_
_
o, lo que es lo mismo,
f(x
1
, x
2
, x
3
) = a
11
x
2
1
+a
22
x
2
2
+a
33
x
2
3
+ 2a
12
x
1
x
2
+ 2a
13
x
1
x
3
+ 2a
23
x
2
x
3
La matriz simetrica
A =
_
_
a
11
a
12
a
13
a
12
a
22
a
23
a
13
a
23
a
33
_
_
es la matriz asociada a la forma cuadratica.
La denicion de cuando una forma cuadratica en tres variables es denida positiva,
denida negativa, etc. es totalmente analoga al caso de dos variables, as que no la
daremos.
Para clasicar una forma cuadratica en tres variables se puede utilizar el criterio de
los valores propios, que se expresa de la misma forma que para dos variables, pero que
2.15. AP
ATICAS. 29
puede ser incomodo de utilizar debido a que hace falta calcular los valores propios de
una matriz de orden tres y eso, en algunos casos, puede ser muy complicado.
El otro criterio, el de los menores principales, se establece para el caso de tres variables
de la siguiente manera.
Tenemos la matriz simetrica de orden tres
A =
_
_
a
11
a
12
a
13
a
12
a
22
a
23
a
13
a
23
a
33
_
_
Los menores principales son:
De orden uno: D
1
= a
11
.
De orden dos: D
2
=
a
11
a
12
a
12
a
22
.
De orden tres: D
3
= |A|.
Entonces,
1. D
1
> 0, D
2
> 0, D
3
> 0 A es denida positiva.
2. D
1
< 0, D
2
> 0, D
3
< 0 A es denida negativa.
3. D
1
> 0, D
2
> 0, D
3
= 0 A es semidenida positiva.
4. D
1
< 0, D
2
> 0, D
3
= 0 A es semidenida negativa.
5. D
3
= 0 (y no se da el caso de Def. Pos. o Def. Neg.) A es indenida.
Ejemplo.-
Consideramos la forma cuadratica cuya matriz asociada es
A =
_
_
1 2 3
2 1 0
3 0 5
_
_
Vemos que D
1
= 1, D
2
= 5, y D
3
= 16. Por tanto, esta forma cuadratica es
indenida.