Среди научных и инженерных задач существует множество таких, основной це­лью которых является поиск оптимального значения. С математической точки зре­ния все эти задачи сводятся к поиску максимума или минимума конкретной функ­ции в заданной области.

Разнообразие научных и инженерных проблем предполагает и многообразие про­блем оптимизации, требующих специализированных подходов к решению и специфи­ческих методов оптимизации. С этой целью было разработано множество стратегий оптимизации, использующих разнообразные процедуры и алгоритмы для нахожде­ния экстремума.

Общим для всех методов оптимизации является поиск экстремума (максимума или минимума) в заданном пространстве параметров. С абстрактной точки зрения каждая задача на оптимизацию с независимыми параметрами может рассматривать­ся как поиск максимума или минимума оценочной функции [54], следовательно, справедлива следующая формулировка:

/(х) = Мах! для х е Rn. (4-74)

Оценочная функция/(х) представляет собой поверхность в (п + 1 )-мерном про­странстве, где п — размерность вектора х, а значение функции указывает качество выбранного набора параметров. Для задачи оптимизации с двумя независимыми па­раметрами эта поверхность может выглядеть, например, как показано на рис. 4.30. На этой иллюстрации оси х и у задают пространство параметров. Каждой точке на поверх­ности х-у соответствует набор параметров. Если каждому из возможных наборов параметров присвоить скалярное значение, откладываемое по оси z, то результат бу­дет представлять собой поверхность, описывающую качество всего параметрического пространства. Для различных задач эта поверхность будет иметь различные формы.

Хотя отдельные точки, принадлежащие поверхности, задаваемой функцией ка­чества во всей ее полноте, могут быть вычислены, они не известны заранее. Целью

любой стратегии оптимизации является нахождение оптимума за счет выполнения минимально возможного количества вычислительных операций.

Существует множество стратегий, следуя которым алгоритм оптимизации может выбрать оптимальный набор параметров. Разнообразные стратегии оптимизации можно классифицировать. Для многомерных задач оптимизации стратегии решения можно разделить на детерминистские и стохастические. При использовании детер­министских методов поиск решения производится по конкретному принципу, от ите­рации к итерации, причем на следующей итерации предполагается более приемле­мый результат. Если выбран этот тип стратегии, то при идентичных начальных и граничных условиях процедура оптимизации всегда протекает одним и тем же пу­тем. В отличие от детерминистских методов стохастические методы всегда включа­ют в процедуру оптимизации элемент случайности [78].

Детерминистские методы также называются «Стратегиями преодоления подъе­ма» {Hill climbing strategies)[17].

Далее их можно классифицировать по принципу применимости или непримени­мости градиентов оценочной функции. При использовании информации о градиен­тах цель оптимизации может быть достигнута очень быстро. Здесь необходимо отме­тить, что, с одной стороны, вычисление градиента не всегда возможно, а с другой стороны, градиент не всегда может быть определен надежно, или же его вычисление может оказаться слишком сложным, что ограничивает применимость градиентных методов.

Классификация распространенных алгоритмов оптимизации приведена на рис. 4.31. В следующем разделе будут рассмотрены различные стратегии поиска оптимума и крат­ко описаны отдельные методы. Более подробную информацию по данному вопросу можно найти в работах [77, 78,84].