Функции нескольких переменных

см. Пример (функция нескольких переменных)

В этом разделе будем рассматривать методы, используемые при поиске безусловных минимумов функций нескольких переменных.

Многомерная задача безусловной оптимизации формулируется следующим образом:

f(x)-> min, xО Rⁿ, Rⁿ-n-мерное пространство (т.е. ограничения на х отсутствуют),

где x - вектор управляемых переменных размерностью n,

f- скалярная целевая функция.

Точка является точкой глобального минимума, если для всех xО Rⁿ, выполняется неравенство:

Df = f(x)-(x)>= 0 (1).

Точку глобального минимума будем обозначать x**.

Если формула (1) справедлива лишь в некоторой d - окрестности точки , т.е. для всех х, таких, что ||x-||<d , при заданном d >0, то есть точка локального минимума.

Ее будем обозначать х*.

Норма (модуль, длина) вектора:

(x, x)=x^T x - скалярное произведение х на себя;

x^T = (x₁, x₂, ..., x_n)

Если же выполняется:

D f = f(x) - f() <= 0, (2)

то есть точка максимума (локального или глобального в соответствии с данными ранее определениями).

Исключение знака равенства из формул (1) и (2) позволяет определить точку строгого минимума или максимума.

В случае, когда D f принимает как положительные и отрицательные, так и нулевые значения в зависимости от выбора точек из d - окрестности, точка представляет собой седловую точку.

Точка , в которой находится минимум или максимум, или седловая точка, должна удовлетворять условию стационарности:

Приведем некоторые сведения из линейной алгебры.

Квадратичной формой называется функция n переменных вида:

Q будем считать симметрической матрицей.

Определения:

1. матрица Q является положительно определенной тогда и только тогда, когда x^TQx > 0 для всех х № 0.
2. матрица Q является положительно полуопределенной тогда и только тогда, когда значения квадратичной формы x^TQz >= 0, для всех х и существует вектор х № 0 такой, что x^TQz = 0.
3. матрица Q является отрицательно определенной тогда и только тогда, когда - Q есть положительно определенная матрица. Другими словами - тогда и только тогда, когда x^TQx < 0 для всех х № 0.
4. матрица Q является отрицательно полуопределенной тогда и только тогда, когда - Q есть положительно полуопределенная матрица.
5. матрица Q является неопределенной, если квадратичная форма x^TQx может принимать как положительные, так и отрицательные значения.

Справедливы следующие утверждения:

1. Стационарная точка есть точка минимума, если H_f() = С²f() - положительно полуопределенная матрица. H_f(x) = С²f(x) = [d²f/(dx_id x_j)] - матрица Гессе (гессиан).
2. Стационарная точка есть точка максимума, если H_f() = С²f() - отрицательно полуопределенная матрица.
3. Стационарная точка есть седловая точка, если H_f() = С²f() - неопределенная матрица.

Сформируем необходимые и достаточные условия существования локального минимума функции нескольких переменных.

Необходимые условия:

Для наличия в точке х* локального минимума необходимо, чтобы выполнялось равенство:

С f(x*) = 0 (чтобы точка х* была стационарной)

и матрица H_f(x*) = С ²f(x*) была положительно полуопределенной. (неотрицательно определенной)

H_f(x) = С ²f(x) = [d²f/(dx_id x_j)] - матрица Гессе (гессиан).

Достаточные условия:

Если С f(x*) = 0 и матрица H_f(x*) = С ²f(x*) - положительно определена, то х* - точка изолированного (строгого) локального минимума функции f(x).

Примечание.

Если удастся показать, что x^TС ²f(x) >= 0 для всех х, то f(x) является выпуклой функцией, а локальный минимум оказывается глобальным.

см. Пример (функция нескольких переменных)