#constraint optimization

g=k의 등치선을 따라 걷는다고 해보자. 일반적으로 f와 g의 등치선은 서로 다르다. 따라서 g=k의 등치선을 따라 걷다보면, f의 등치선을 가로지르게 된다. 이는 g=k의 등치선을 따라 이동하는 동안 f의 값이 달라진다는 것과 같은 의미이다. ***오직 g=k의 등치선과 f의 등치선이 접할 경우에만, f의 값은 증가하거나 감소하지 않는다.*** 즉, 두 등치선이 접하면, 서로 가로지르지 않는다. 등치선의 접벡터가 서로 평행할 때, f와 g의 등치선이 접한다. 함수의 기울기(gradient) 벡터는 등치선과 수직이므로, f와 g의 기울기 벡터가 서로 평행할 때를 찾아도 좋다. 따라서, g(x, y)=k 이고, ∇f = -λ∇g 를 만족하는 (x, y)를 찾으면 된다. 단, 여기서 기울기 벡터 ∇f=(∂f/∂x, ∂f/∂y) 이고, ∇g=(∂g/∂x, ∂g/∂y) 이다. 그리고 두 기울기 벡터는 평행하기만 하면 되고 길이는 같을 필요가 없으므로, 상수 λ가 요구된다. 이러한 조건들을 한 방정식에 씀으로서, 다음과 같은 보조 함수를 도입할 수 있다. Λ(x, y, λ) = f(x, y) + λ·(g(x, y)-k) 그리고나서 ∇Λ(x, y, λ) = 0 를 풀면 된다. 특히, ∂Λ/∂λ=0 는 g(x, y)=c 를 함의한다는 점에 주목하자. 한편, f의 제한된 극값은 라그랑주 함수 Λ의 임계점이지만, Λ의 모든 임계점이 Λ의 극값이 되는 것은 아니다. ------------------------------------ 참고 목록 - [Constrained Optimization][co] - [Karush–Kuhn–Tucker conditions][kkt]: 라그랑주 승수법의 일반화된 방법 [^1]: Maximize f(x, y) subject to g(x, y)=k [^2]: [«최상의 최소»][wlb] 6.7절에 수록된 라그랑주 승수법의 아이디어에 대한 설명을 인용하였다. [mo]: https://en.wikipedia.org/wiki/Mathematical_optimization [ec]: https://en.wikipedia.org/wiki/Constraint_(mathematics) [co]: https://en.wikipedia.org/wiki/Constrained_optimization [kkt]: https://en.wikipedia.org/wiki/Karush%E2%80%93Kuhn%E2%80%93Tucker_conditions [lm]: https://en.wikipedia.org/wiki/Lagrange_multipliers [sp]: https://en.wikipedia.org/wiki/Stationary_point [wlb]: http://goodmath.tumblr.com/post/75699929984