При поиске максимума или минимума с помощью метода скорейшего спуска в описанных выше стратегиях оптимизации функция качества оценивается только в дискретных точках. В отличие от этих методов градиентные стратегии оптимизации, в дополнение к значениям оценочной функции, при выборе направления следующего шага итерации оценивают также ее первые частные производные в направлении осей координат. В общем случае в выбранной начальной точке поиска определяется гради­ент оценочной функции в различных направлениях. Точка следующей итерации вы­бирается в направлении, которому соответствует наиболее крутой градиент. Проце­дура продолжается до тех пор, пока не перестанет изменяться градиент в каждом из направлений поиска. Когда это происходит, можно считать, что оптимум найден.

Градиентные методы, существующие на сегодняшний день, позволяют не только выполнять шаги в направлении осей координат, но и дают возможность определять предпочтительное направление поиска, используя сведения об успехах и неудачах на предыдущих итерациях. Основная проблема, препятствующая широкому использо­ванию градиентных методов оптимизации, заключается в том, что получение произ­водных часто бывает затруднено, а иногда и просто невозможно.

Если функция качества является многократно дифференцируемой, то, в допол­нение к первым производным, могут использоваться и производные более высоких порядков. Например, в методе Ньютона для представления функции в заданной точ­ке используется вторая производная, отображаемая с помощью членов ряда Тэйлора. Таким образом, следующее наилучшее положение функции качества может быть оп­ределено с помощью единственного шага без необходимости выполнения линейного поиска.

Методы оптимизации, использующие частные производные, достаточно многочис­ленны; более подробную информацию по данному вопросу можно найти в работе [54].