Optimización sin Restricciones: método del gradiente

El video introduce el método del gradiente, conocido también como método de máximo descenso, atribuido originalmente a Cauchy. A pesar de un uso inicial limitado, el método se revitalizó con ajustes por Magnus y Hestenes, integrando conceptos de gradiente conjugado, lo que permitió su reutilización y actualización como método de máximo descenso. Se explica cómo la dirección de descenso se basa en el gradiente en el punto, y cómo se determina la actualización de la dirección mediante búsqueda direccional.

Se discute una función cuadrática donde "a" es una matriz simétrica y definida positiva, lo que favorece la optimización por su naturaleza convexa. Se resuelve un ejemplo para calcular el gradiente y se muestra cómo expresar una función de este tipo en términos de un sistema lineal. Se concluye que el gradiente para f es A*x - b. Posteriormente, se establece cómo calcular el tamaño del paso exacto usando el gradiente y qué implica hacer una búsqueda lineal exacta en cada paso.

Se presentan ejemplos gráficos y aritméticos para ilustrar el cálculo de lambda y la actualización de x en método del máximo descenso, usando una matriz simétrica definida positiva. Se recalca que este método, aunque eficiente en problemas ideales, podría ser menos eficiente en otros escenarios. También se discute cómo verificar la convergencia del método del gradiente a través de cálculos repetidos.

Se profundiza en el problema de diseño del método del gradiente que no optimiza siempre la dirección de descenso más rápida. A través de una analogía, se ilustra cómo el método del gradiente tiene una visión limitada de sólo su entorno actual. Se proporcionan ejemplos de programación y cálculos en Matlab para entender cómo implementar el método y gestionar tolerancias y actualizaciones iterativas del gradiente.

El video explica detalladamente la implementación en Matlab del método, con ejemplos prácticos de cálculos y actualizaciones en el algoritmo. Se muestra cómo gestionar la lógica y cocientes en Matlab para calcular las iteraciones necesarias para la convergencia, y se concluye con resultados numéricos que demuestran el funcionamiento del método del gradiente.

Se continúa con una explicación teórica sobre la convergencia del método del gradiente. Se describe el uso de normas matriciales y propiedades de matrices positivas definidas simétricas para justificar la convergencia. Se analiza cada paso algebraico y se muestra cómo la norma de la desviación se relaciona con la reducción del valor de la función cuadrática, estableciendo así su convergencia lineal.

Se utiliza una demostración basada en valores propios de matrices para establecer el comportamiento de convergencia lineal del método del gradiente en funciones cuadráticas. Se muestra cómo la desigualdad de Kantorovich permite acotar la convergencia basada en valores propios mínimos y máximos. Esto proporciona una base matemática sólida de por qué el método del gradiente tiene limitada efectividad en ciertos contextos.