Задача Лагранжа. Безусловный и условный экстремумы. Решение задачи безусловной оптимизации
Целевая функция представляет собой функцию с некоторыми переменными, от которых непосредственно зависит достижение оптимальности. Также она может выступать в качестве нескольких переменных, которые характеризуют тот или иной объект. Можно сказать, что, по сути, она показывает, как мы продвинулись в достижении поставленной задачи.
Примером таких функций может выступать расчет прочности и массы конструкции, мощности установки, объема выпуска продукции, стоимости перевозок и другие.
Целевая функция позволяет ответить на несколько вопросов:
Выгодно или нет то или иное событие;
В правильном ли направлении идет движение;
Насколько верно сделан выбор и т.д.
Если мы не имеем возможности влиять на параметры функции, то, можно сказать, что и сделать мы ничего не можем, разве что только проанализировать и все. Но чтобы быть в состоянии что-то изменить, обычно существуют изменяемые параметры функции. Главная задача - это изменить значения на те, при которых функция станет оптимальной.
Целевые функции не всегда могут быть представлены в виде формулы. Это может быть таблица, например. Также условие может быть в виде нескольких целевых функций. Например, если требуется обеспечить максимальную надежность, минимальные затраты и минимальную материалоемкость.
Задачи на оптимизацию должны иметь важнейшее исходное условие - целевую функцию. Если мы ее то можно считать, что оптимизации не существует. Иными словами, если нет цели, то и нет путей ее достижения, а тем более выгодных условий.
Задачи на оптимизацию бывают условными и безусловными. Первый вид предполагает ограничения, то есть определенные условия при постановке задачи. Второй вид состоит в том, чтобы отыскать максимум или при существующих параметрах. Зачастую такие задачи предполагают поиск минимума.
В классическом понимании оптимизации подбираются такие значения параметров, при которых целевая функция удовлетворяет желаемым результатам. Также ее можно обозначить как процесс подбора самого лучшего варианта из возможных. Например, выбрать лучшее распределение ресурсов, вариант конструкции и т.д.
Существует такое понятие, как неполная оптимизация. Она может образоваться по нескольким причинам. Например:
Число попавших в максимальную точку систем ограничено (уже установлена монополия или олигополия);
Нет монополии, но отсутствуют ресурсы (недостаток квалификации на каком-либо конкурсе);
Отсутствие самой а точнее «незнание» ее (мужчина мечтает о некой красивой женщине, но неизвестно, существует ли такая в природе) и т.д.
В условиях рыночных отношений управления сбытовой и производственной деятельностью фирм и предприятий основой принятия решений является информация о рынке, а обоснованность этого решения проверяется уже при выходе на рынок с соответствующим товаром или услугой. В таком случае отправной точкой является изучение потребительского спроса. Для нахождения решений устанавливается целевая функция потребления. Она показывает количество потребляемых благ и степень удовлетворения потребностей потребителя, а также зависимость между ними.
Пусть решается задача поиска экстремума нелинейной функции f
на всем пространстве n
-мерных векторов . Обозначим Ñf
(x
) =
- градиент функции f
в точке х =
(х
1 ,…, х
n
). Он задает направление скорейшего роста функции в этой точке. Точка, в которой градиент функции f
равен нулю, т.е. для всех
,
называется стационарной
или критической
.
Необходимое условие экстремума в задаче без ограничений дает следующая теорема
Теорема 2 (необходимое условие локального экстремума). Пусть - точка локального экстремума дифференцируемой функции f . Тогда является ее стационарной точкой.
Однако стационарная точка не всегда является точкой экстремума функции. Например, х = 0 - стационарная точка функции z = х 3 , но в ней она не достигает ни минимума, ни максимума. Это точка перегиба функции.
Другим примером может служить функция z = . Точка (0, 0) является ее стационарной точкой, но в ней функция достигает минимума по переменной x и максимума по переменной y . Поэтому эта точка является не точкой экстремума, а седловой точкой этой функции.
Таким образом, стационарная точка будет точкой экстремума лишь при выполнении дополнительных условий, которые дает следующая теорема.
Теорема 3 (достаточные условия локального экстремума) . Пусть f - дважды непрерывно дифференцируемая функция и х * - ее стационарная точка, т.е. для всех . Тогда
1) если все главные миноры гессиана функции f в этой точке положительны, то х * - точка локального минимума;
2) если все главные миноры нечетного порядка гессиана функции f в этой точке отрицательны, а все главные миноры четного порядка положительны, то х
Для функции одной переменной (n = 1) условия теоремы 3 выглядят так.
Пусть х * - стационарная точка дважды непрерывно дифференцируемой функции f , т.е. = 0 . Тогда
1) если > 0, то х * - точка локального минимума функции f ;
2) если , то х * - точка локального максимума функции f .
Для случая n = 2 условия теоремы 3 приобретают такой вид.
Пусть х * = - стационарная точка дважды непрерывно дифференцируемой функции f , т.е. , , а также выполнено условие
.
Тогда х * - точка локального экстремума функции f , причем
1) если > 0, то х * - точка локального минимума,
2) если < 0, то х * - точка локального максимума.
Для выпуклой (вогнутой) функции необходимое условие оптимума является достаточным.
Если же нужно найти минимум выпуклой (максимум вогнутой) функции, то задача существенно упрощается. Достаточно найти любую стационарную точку этой функции. Она и будет точкой ее глобального оптимума.
Введение
Теоретическая часть
Аналитический способ
Решение поставленной задачи в МCAD
Решение задачи с помощью табличного редактора Ms Excel
Решение задачи с помощью языка С++
Заключение
Введение
Оптимизация как раздел математики существует достаточно давно. Оптимизация - это выбор, т.е. то, чем постоянно приходится заниматься в повседневной жизни. Термином "оптимизация" в литературе обозначают процесс или последовательность операций, позволяющих получить уточненное решение. Хотя конечной целью оптимизации является отыскание наилучшего или "оптимального" решения, обычно приходится довольствоваться улучшением известных решений, а не доведением их до совершенства. Поэтому под оптимизацией понимают скорее стремление к совершенству, которое, возможно, и не будет достигнуто.
Необходимость принятия наилучших решений так же стара, как само человечество. Испокон веку люди, приступая к осуществлению своих мероприятий, раздумывали над их возможными последствиями и принимали решения, выбирая тем или другим образом зависящие от них параметры - способы организации мероприятий. Но до поры, до времени решения могли приниматься без специального математического анализа, просто на основе опыта и здравого смысла.
Наиболее сложно обстоит дело с принятием решений, когда речь идет о мероприятиях, опыта в проведении которых еще не существует и, следовательно, здравому смыслу не на что опереться, а интуиция может обмануть. Пусть, например, составляется перспективный план развития вооружения на несколько лет вперед. Образцы вооружения, о которых может идти речь, еще не существуют, никакого опыта их применения нет. При планировании приходится опираться на большое количество данных, относящихся не столько к прошлому опыту, сколько к предвидимому будущему. Выбранное решение должно по возможности уберечь нас от ошибок, связанных с неточным прогнозированием, и быть достаточно эффективным для широкого круга условий. Для обоснования такого решения приводится в действие сложная система математических расчетов.
Вообще, чем сложнее организуемое мероприятие, чем больше вкладывается в него материальных средств, чем шире спектр его возможных последствий, тем менее допустимы так называемые "волевые" решения, не опирающиеся на научный расчет, и тем большее значение получает совокупность научных методов, позволяющих заранее оценить последствия каждого решения, заранее отбросить недопустимые варианты и рекомендовать те, которые представляются наиболее удачными.
Практика порождает все новые и новые задачи оптимизации причем их сложность растет. Требуются новые математические модели и методы, которые учитывают наличие многих критериев, проводят глобальный поиск оптимума. Другими словами, жизнь заставляет развивать математический аппарат оптимизации.
Цель курсовой работы:
·изучить необходимые программные конструкции языка программирования;
·освоить стандартные алгоритмы безусловной оптимизации;
·реализовать их средствами языка программирования С++;
·научиться использовать программы MCAD и MS Excel для решения поставленных задач и сверить полученные результаты.
Задачи данной курсовой работы: 1.Рассмотреть аналитические методы поиска одномерного и многомерного безусловного экстремума.
2.Изучить численные методы поиска одномерного и многомерного безусловного экстремума.
Теоретическая часть
Для оптимизационного решения задачи требуется: Сформулировать задачу; Построить математическую модель (определить множество переменных); Определить ограничения на возможные решения; ·Аналитический
·Численный
В аналитическом f (x) задается в виде формулы, в численном f (x) задается в виде черного ящика, на входе подается х, на выходе значение целевой функции в этой точке.
Аналитический способ
1.Для одной переменной
Определение 1: Говорят, что функция имеет в точке максимум (или минимум), если существует некоторая окрестность в промежутке, где функция определена, что для всех точек этой окрестности выполняется неравенство: ().
Определение 2: Если выполняется равенство , то точку будем называть стационарной точкой.
Достаточное условие существования экстремума: Пусть функция y=f(x) : 1.непрерывна в точке ;
2.дифференцируема в этой точке ;
3. - точка возможного экстремума;
.при переходе через точку производная меняет знак.
Тогда, если меняет знак с плюса на минус, то - точка максимума, а если с минуса на плюс, то - точка минимума.
) Найти производную функции .
) Найти стационарные точки (точки, подозрительные на экстремум), решив уравнение .
) Выяснить, меняет ли производная свой знак в точках, подозрительных на экстремум. Если она меняет знак с минуса на плюс, то в этой точке функция имеет свой минимум. Если с плюса на минус, то максимум, а если знак производной не меняется, то экстремума в этой точке нет. ) Найти значение функции в точках минимума (максимума). Для двух переменных Необходимое условие локального экстремума дифференцируемой функции Если - точка экстремума функции f, то
и или
Достаточные условия локального экстремума дважды дифференцируемой функции Обозначим
Если D > 0, A > 0, то - точка минимума.
Если D > 0, A < 0, то - точка максимума.
Если D < 0, экстремума в точке нет.
Если D = 0, необходимы дополнительные исследования.
Численные методы
Метод «золотого сечения»
Метод "золотого сечения" почти столь же эффективен, как и метод Фибоначчи, однако при этом не требуется знать n - количество вычислений функции, определяемое вначале. После того как выполнено j вычислений, записываем
Lj-1=Lj+Lj+1
Однако если n не известно, то мы не можем использовать условие Ln-1 =Ln - е. Если отношение последующих интервалов будет постоянным, т.е.
т. е. τ=1+1/ τ.
Таким образом, τ2-τ-1=0, откуда. Тогда
Т.е. .
В результате анализа двух рассмотренных значений функции будет определен тот интервал, который должен исследоваться в дальнейшем. Этот интервал будет содержать одну из предыдущих точек и следующую точку, помещаемую симметрично ей. Первая точка находится на расстоянии Li/t от одного конца интервала, вторая - на таком же расстоянии от другого. Поскольку, то становится видно, что поиск методом "золотого сечения" является предельной формой поиска методом Фибоначчи. Название "золотое сечение" произошло от названия отношения в уравнении. Видно, что Lj-1 делится на две части так, что отношение целого к большей части равно отношению большей части к меньшей, т.е. равно так называемому "золотому отношению". Таким образом, если ищется интервал (х0, х3) и имеются два значения функции f1 и f2 в точках x1 и x2, то следует рассмотреть два случая (рис. 1).
Рисунок 1
Метод гарантирует нахождение минимума в самых неблагоприятных условиях, однако он обладает медленной сходимостью. Схема алгоритма метода «золотого сечения» представлена на рис. 2.
Рисунок 2. Схема алгоритма метода «золотого сечения» Здесь С - константа, 1 (поиск минимума функции F(x)), 1 (поиск минимума функции F(x)), При выводе x - координата точки, в которой функция F(x) имеет минимум (или максимум), FM - значение функции F(x) в этой точке. Метод градиентного спуска с постоянным шагом.
Постановка задачи. Пусть дана функция f(x), ограниченная снизу на множестве Rn и имеющая непрерывные частные производные первого порядка во всех его точках.
Требуется найти локальный минимум функции f(x) на множестве допустимых решений , т.е. найти такую точку , что .
Стратегия поиска Стратегия решения задачи состоит в построении последовательности точек {xk}, k=0,1,…, таких, что . Точки последовательности {xk} вычисляются по правилу
,
где точка x0 задается пользователем; - градиент функции f(x), вычисленный в точке xk; величина шага tk задается пользователем и остается постоянной до тех пор, пока функция убывает в точках последовательности, что контролируется путем проверки выполнения условия
Или Построение последовательности {xk} заканчивается в точке xk, для которой
где - заданное малое положительное число, или , где - предельное число итераций, или при двукратном одновременном выполнении двух неравенств
где - малое положительное число. Вопрос о том, может ли точка xk рассматриваться как найденное приближение искомой точки минимума, решается путем проведения дополнительного исследования.
Геометрическая интерпретация метода Геометрическая интерпретация метода для функции двух переменных f(x1,x2):
Алгоритм Шаг 1. Задать - предельное число итераций. Найти градиент функции в произвольной точке
Шаг 2. Положить k=0. Шаг 3. Вычислить .
Шаг 4. Проверить выполнение критерия окончания :
·если критерий выполнен, расчет закончен: ;
·если критерий не выполнен, то перейти к шагу 5.
Шаг 5. Проверить выполнение неравенства :
·если неравенство выполнено, то расчет окончен: ;
·если нет, то перейти к шагу 6.
Шаг 6. Задать величину шага tk.
Шаг 7. Вычислить .
Шаг 8. Проверить выполнение условия
(или ):
·если условие выполнено, то перейти к шагу 9;
·если условие не выполнено, положить и перейти к шагу 7.
Шаг 9. Проверить выполнение условий
·если оба условия выполнены при текущем значении k и k=k-1, то расчет окончен,
·если хотя бы одно из условий не выполнено, положить и перейти к шагу 3.
Процедура решения задачи 1.Используя алгоритм градиентного спуска с постоянным шагом, найти точку xk, в которой выполнен по крайней мере один из критериев окончания расчетов.
2.Провести анализ точки xk с целью установить, является ли точка xk найденным приближением решения задачи. Процедура анализа определяется наличием у функции f(x) непрерывных вторых производных. Если , то следует провести проверку выполнения достаточных условий минимума: . Если , то точка есть найденное приближение искомой точки . Если , то следует провести проверку функции f(x) на выпуклость в Q-окрестности точки , используя критерий выпуклости для функций : функция f(x) выпукла (строго выпукла) в том и только в том случае, если . Если функция f(x) выпукла (строго выпукла), то есть найденное приближение точки .
Замечание: если требуется найти глобальный минимум функции f(x), то для строго выпуклой f(x) решение этой задачи аналогично поиску локального минимума функции. В случае, когда f(x) имеет несколько локальных минимумов, поиск глобального минимума осуществляется в результате перебора всех локальных минимумов.
Схема алгоритма метода градиентного спуска
Решение поставленной задачи в МCAD
задача
Минимизация функции с одной переменной. способ
задача
Определение какого рода функция и нахождение минимума(максимума) этой функции. способ
способ
Для исследования функции на максимум или минимум мы находим производные второго порядка и по ним составляем определитель. Если он не равен 0, то экстремумы функции существуют. Если вторая производная по t больше 0 и определитель больше 0, то существующий экстремум-это минимум, что и требовалось доказать.
Решение задачи с помощью табличного редактора Ms Excel
задача:
0,0001,0000,1001,3300,2001,5180,3001,5630,4001,4650,5001,2240,6000,8400,7000,3160,800-0,3480,900-1,1491,000-2,0831,100-3,1481,200-4,3381,300-5,6481,400-7,0741,500-8,6091,600-10,2471,700-11,9801,800-13,8001,900-15,6982,000-17,6672,100-19,6952,200-21,7732,300-23,8902,400-26,0342,500-28,1932,600-30,3542,700-32,5052,800-34,6312,900-36,7183,000-38,7503,100-40,7123,200-42,5883,300-44,3613,400-46,0133,500-47,5263,600-48,8823,700-50,0603,800-51,0423,900-51,8074,000-52,3334,100-52,6004,200-52,5844,300-52,2624,400-51,6124,500-50,6094,600-49,2294,700-47,4464,800-45,2344,900-42,5665,000-39,4175,100-35,7575,200-31,5595,300-26,7945,400-21,4325,500-15,4435,600-8,7965,700-1,4615,8006,5955,90015,4046,00025,0006,10035,4166,20046,6866,30058,8456,40071,9296,50085,9746,600101,0166,700117,0946,800134,2446,900152,5057,000171,917 Поиск решений4,145-52,629 Ход решения в Ms Excel
Итак, вначале в соответствии с поставленной задачей протабулируем функцию (найти минимум при х>0). Затем по полученным данным построим график, по которому находим примерное приближение значений минимума. Записываем приближенное значение в отдельную ячейку, в соседнюю ячейку записываем формулу зависящую от приближенного значения и воспользуемся инструментом «Поиск решения». В качестве целевой ячейки указываем функцию, ставим галочку «Минимальное значение», в поле «Изменяя ячейки» ставим ячейку с приближение. Жмем «Выполнить» и получаем искомое значение минимума.
2 задача:
00,10,20,30,40,50,60,70,80,91000,050,20,450,81,251,82,453,24,0550,1-0,28-0,26-0,140,080,40,821,341,962,683,54,420,2-0,52-0,53-0,44-0,250,040,430,921,512,22,993,880,3-0,72-0,76-0,7-0,54-0,280,080,541,11,762,523,380,4-0,88-0,95-0,92-0,79-0,56-0,230,20,731,362,092,920,5-1-1,1-1,1-1-0,8-0,5-0,10,411,72,50,6-1,08-1,21-1,24-1,17-1-0,73-0,360,110,681,352,120,7-1,12-1,28-1,34-1,3-1,16-0,92-0,58-0,140,41,041,780,8-1,12-1,31-1,4-1,39-1,28-1,07-0,76-0,350,160,771,480,9-1,08-1,3-1,42-1,44-1,36-1,18-0,9-0,52-0,040,541,221-1-1,25-1,4-1,45-1,4-1,25-1-0,65-0,20,3511,1-0,88-1,16-1,34-1,42-1,4-1,28-1,06-0,74-0,320,20,821,2-0,72-1,03-1,24-1,35-1,36-1,27-1,08-0,79-0,40,090,681,3-0,52-0,86-1,1-1,24-1,28-1,22-1,06-0,8-0,440,020,581,4-0,28-0,65-0,92-1,09-1,16-1,13-1-0,77-0,44-0,010,521,50-0,4-0,7-0,9-1-1-0,9-0,7-0,400,51,60,32-0,11-0,44-0,67-0,8-0,83-0,76-0,59-0,320,050,521,70,680,22-0,14-0,4-0,56-0,62-0,58-0,44-0,20,140,581,81,080,590,2-0,09-0,28-0,37-0,36-0,25-0,040,270,681,91,5210,580,260,04-0,08-0,1-0,020,160,440,82221,4510,650,40,250,20,250,40,651-1,12-1,31-1,42-1,45-1,4-1,28-1,08-0,8-0,44-0,010,5
Поиск решений0,9680,290-1,452 Ход решения в Ms Excel
Табулируем функцию. По полученным данным построим график поверхности, по которому видим, что нужно найти минимум этой функции. С помощью встроенной функции МИН() найдем наименьшее приближенное значение функции. Далее в отдельную ячейку скопируем значения х, у и z для полученного максимума, и воспользуемся инструментом «Поиск решения». В качестве целевой ячейки указываем скопированное выше значение z, ставим галочку «Минимальное значение», в поле «Изменяя ячейки» ставим ячейку со значением х и у. Жмем «Выполнить» и получаем искомое значение максимума.
Решение задачи с помощью языка С++
численный экстремум безусловный оптимизация 1 задача:
#include #include #include #include #include {pow(x,4)/4-pow(x,3)/3-7*pow(x,2)+4*x+1;//заданная функция //Метод золотого сеченияGoldenSection(double a, double b) {x1,x2;//объявляемy1, y2;//переменные= a + 0.382*(b-a);//два отрезка на которые= a + 0.618*(b-a);//делится промежуток= fun(x1);//вычисляется значение функции в точке х1= fun(x2);//вычисляется значение функции в точке х2((b-a) > epsilon) {= x1;//к началу отрезка присваевается значение первого отрезка= x2;//= fun(x1);//вычисляется значение функции в точке х1= a + 0.618*(b-a);= fun(x2);//вычисляется значение функции в точке х2 {= x2;//к концу отрезка присваивается значение х2= x1;= fun(x2);//вычисляется значение функции в х2= a + 0.382*(b-a);= fun(x1);//вычисляется значение функции в х1 }(a+b)/2;//отрезок делится на две части {(LC_CTYPE, "Russian");a, b, min, max;//объявление переменных<< "\t Вычисление минимума функции F(x) = x^4/4-x^3/3-7*x^2)+4*x+1 \n\t метадом золотого сечения " << endl << endl;<< "Входной интервал для поиска экстремальных функций (например 0 15):\n";>> a;//Ввод начала отрезка>> b;//ввод конца отрезка= GoldenSection(a, b);//Значение минимума в золотом сечении("\n Значение точки минимум MIN=%3.3f",min);//Вывод минимума("\n значение функции F(min)=%3.3f",fun(min));//Вывод функции от точки минимума Результат программы:
2 Задача:
#include #include #include #include {(2*pow(x,2) -3*x*x + 5*x*x-3*x); //функция }dy_dx0(double *x, int n) // первая частная производная по Х }dy_dx1(double *x, int n) // первая частная производная по Y }dy2_dx0(double *x, int n)// 2-я частная производная по X }dy2_dx1(double *x, int n)// 2-я частная производная по Y { setlocale(LC_CTYPE, "Russian");_k = 0.001;//шаг_k = 0;//начальное_k = 5;//приближение(1)//будет длится до конца интервала {_k_1 = x_k- lambda_k*dy_dx0(x_k, N) ;//последвательное_k_1 = x_k - lambda_k*dy_dx1(x_k, N);//приближение(fabs(dy_dx0(x_k_1, N)) }_k = x_k_1;_k = x_k_1;("\tГрадиентный метод:\n");("\tМинимум найден на x1 =%.3lf, x2 =%.3lf, Y(X1,X2) =%3.3f\n", x_k, x_k, y(x_k, N));//Вывод минимальных точек и значения функции в этой точке();0; Результат программы:
Заключение
Путем сложных вычислений курсовая работа выполнена в математическом редакторе Mathcad, табличном редакторе Excel и языке программирования С++. Все ответы сходятся, для проверки построены графики, на которых видна приблизительная цель вычислений. Всё выполнено согласно правилам. Таким образом, можно сделать вывод, что данная курсовая работа по теме «Решение задач безусловной оптимизации» выполнена.
Нелинейное программирование
Целевая функция задачи оптимизации представляет собой нелинейную функцию действительных переменных 
. Определить значения переменных, при которых функция принимает минимальное значение при отсутствии ограничений на изменение переменных.
Задачи оптимизации, в которых нет ограничений на оптимизируемые переменные, называются задачами безусловной оптимизации.
Ввиду сложности задачи параметрической оптимизации применения классических метод поиска экстремума оказывается крайне сложным. Поэтому на практике предпочтение отдается поисковым (итерационным) методом оптимизации.
Все поисковые методы выполняются по одному алгоритму. Исходными данными в методах поиска является начальная точка поиска и требуемая точность метода . Затем выбирается величина шага поиска и по правилу метода происходит получение новых точек по предыдущей точке при таких, что 
. Получение новых точек продолжается до тех пор, пока не будет выполнено условие прекращения поиска. Последняя точка считается решением задачи оптимизации. Все точки поиска составляют траекторию поиска.
Методы поиска могут отличаться процедурой выбора шага (он может быть постоянным на всех итерациях или рассчитываться на каждой итерации), алгоритмом получения новой точки и условием прекращения поиска.
Методы поисковой оптимизации принято классифицировать по порядку производной целевой функции, используемой для получения новых точек. Методы, не использующие производные целевой функции, называются методами нулевого порядка (прямыми), использующие первую производную называются методами первого порядка, вторую – методы второго порядка. Чем выше порядок производной, тем более обоснованным является выбор следующей точки и тем меньше число итераций метода. Эффективность поискового метода определяется по числу итераций и по количеству вычислений целевой функции 
.