우리는 일상에서 수많은 선택을 하며 살아갑니다. 그 선택들은 종종 나 혼자 결정하는 것이 아니라, 다른 사람의 행동이나 반응에 영향을 받는 경우가 많습니다. 이렇게 한 사람의 선택이 다른 사람의 선택에 영향을 미치고, 또 그 반대도 마찬가지인 상황을 경제학에서는 ‘전략적 상호작용’이라고 부릅니다. 이러한 전략적 상황을 체계적으로 분석하는 학문이 바로 게임이론이며, 그 중심 개념이 ‘내시 균형(Nash Equilibrium)’입니다. 아래에서는 내시 균형의 개념과 역사적 배경, 대표적 사례인 죄수의 딜레마, 그리고 현실에서의 응용 사례를 차례대로 살펴보도록 하겠습니다.
내시 균형 이론의 개념
내시 균형은 미국의 수학자 존 내시(John Nash)가 1950년에 발표한 논문에서 처음 제시한 개념입니다. 당시 학계에서는 게임이론이 막 발전하던 시기였으며, 특히 경제학자 폰 노이만과 모르겐슈테른이 협력 게임에 대한 분석을 시작한 직후였습니다. 하지만 존 내시는 이에 반해 사람들이 협력하지 않고 각자 독립적으로 전략을 선택하는 ‘비협력 게임’ 상황에서도 일정한 예측 가능성이 존재한다는 것을 수학적으로 증명하였습니다.
그의 핵심 주장은 이렇습니다. 어떤 게임이든 참가자들이 자신의 이익을 극대화하기 위해 전략을 선택할 때, 결국에는 서로가 전략을 바꾸지 않는 ‘균형 상태’에 도달한다는 것입니다. 이때의 전략 조합을 내시 균형이라고 부릅니다. 내시 균형은 참가자 각자가 다른 사람의 선택을 고려해 가장 합리적인 전략을 택했을 때, 누구도 자신의 선택을 바꾸지 않게 되는 상태를 의미합니다. 다시 말해, 어떤 참가자도 단독으로 전략을 바꿔서 이득을 얻을 수 없다면, 그 상태는 안정적인 균형 상태라는 것입니다.
내시 균형은 개인의 합리적인 선택이 서로 맞물려 만들어지는 결과를 설명합니다. 이는 단순히 ‘가장 좋은 결과’라는 의미와는 다릅니다. 오히려 참여자 모두가 최선은 아니지만, 자신의 입장에서 ‘바꿀 이유가 없는’ 전략 조합을 유지하게 되는 것이 내시 균형입니다. 따라서 내시 균형은 때때로 전체 사회적으로는 비효율적인 결과를 낳기도 합니다. 하지만 개인 단위에서는 합리적 선택이라는 점에서 현실을 잘 설명해줍니다.
이 이론은 이후 경제학, 정치학, 생물학, 심리학 등 다양한 분야로 확산되었으며, 존 내시는 1994년 경제학자 라인하르트 젤텐, 존 하사니와 함께 이 업적으로 노벨 경제학상을 공동 수상하게 되었습니다. 영화 ‘뷰티풀 마인드’에서도 그의 천재성과 고통스러운 삶이 조명되며 대중적으로도 널리 알려졌습니다.
내시 균형 이론의 죄수의 딜레마 설명
내시 균형을 가장 직관적으로 설명할 수 있는 예가 바로 ‘죄수의 딜레마(Prisoner's Dilemma)’입니다. 이 게임은 두 명의 범죄 용의자가 경찰에게 잡혀 따로 심문을 받는 상황을 가정합니다. 두 사람은 공범이지만 서로 연락할 수 없으며, 경찰은 각자에게 다음과 같은 선택지를 제시합니다.
- 두 사람 모두 자백하지 않고 침묵하면, 증거 부족으로 둘 다 징역 1년
- 한 사람만 자백하고 다른 사람은 침묵하면, 자백한 사람은 풀려나고 침묵한 사람은 징역 5년 구형
- 두 사람 모두 자백하면, 둘 다 징역 3년
이 상황에서 각 죄수는 무엇이 자기에게 가장 유리할지를 고민하게 됩니다. 가령 죄수 A는 죄수 B가 침묵할 것이라고 생각하면 자백하는 편이 낫습니다. 그러면 A는 풀려나기 때문입니다. 반대로 B가 자백한다고 생각해도, A는 자백하는 편이 낫습니다. 왜냐면 둘 다 자백하면 3년이지만, 자신만 침묵하면 5년을 살게 되기 때문입니다. B 역시 같은 논리로 자백을 선택하게 됩니다. 결국 두 사람은 모두 자백하고 징역 3년을 선고받게 되며, 이는 둘 다 침묵했을 때보다 더 나쁜 결과입니다. 이 상황에서 ‘둘 다 자백’이라는 전략 조합은 내시 균형입니다. 왜냐하면 A가 자백한 상황에서 B는 침묵으로 바꾸면 더 큰 손해를 보며, B가 자백한 상황에서도 A는 전략을 바꿀 이유가 없기 때문입니다. 즉, 이 전략 조합에서는 누구도 자신의 선택을 바꾸려 하지 않게 됩니다.
하지만 이 내시 균형은 사회 전체적으로는 비효율적입니다. 만약 두 사람 모두 신뢰를 바탕으로 침묵했더라면 더 나은 결과, 즉 징역 1년이라는 상대적으로 낮은 처벌을 받았을 것입니다. 이로 인해 죄수의 딜레마는 내시 균형이 항상 사회적으로 최선의 결과를 낳지 않는다는 점을 잘 보여줍니다.
이 개념은 경제뿐 아니라 정치, 사회, 심리학에서도 다양하게 활용됩니다. 예를 들어, 두 기업이 모두 가격을 낮추면 이윤이 줄어드는 것을 알면서도 경쟁 때문에 어쩔 수 없이 세일을 감행하는 상황이나, 선거에서 상대 후보를 비방하지 않으면 질 것 같아서 서로 비방전을 벌이는 정치적 전략도 죄수의 딜레마의 연장선에 있습니다. 이처럼 죄수의 딜레마는 사람들이 왜 집단적으로 비합리적인 결과를 선택하는지를 설명해주는 중요한 모델입니다.
현실에서의 응용
내시 균형 개념은 현실의 다양한 분야에 적용되고 있습니다. 기업들이 가격을 설정하거나 생산량을 결정할 때, 경쟁사의 전략을 고려해야 합니다. 예를 들어, 항공사가 항공권 가격을 정할 때 경쟁사가 가격을 인하하면 나도 가격을 내릴 수밖에 없습니다. 결국 항공사들이 모두 비슷한 가격으로 경쟁하게 되고, 이 상태가 변화하지 않는다면 내시 균형입니다. 또 다른 예는 노동시장입니다. 노동자와 기업이 임금 협상을 할 때, 어느 수준에서 협상을 타결할 것인지에 대해 서로가 전략적으로 접근하게 됩니다. 일정 수준의 임금이 설정되고 양쪽 모두 그 이상이나 이하로 바꾸려고 하지 않을 때 이 또한 내시 균형 상태가 됩니다.
생물학에서도 이 이론은 응용됩니다. 영국의 생물학자 메이너드 스미스는 동물의 진화적 전략을 설명하면서 내시 균형 개념을 도입하였습니다. 예를 들어, 어떤 동물이 싸움에 매우 공격적이면 에너지를 많이 소모하고 위험에 처하게 됩니다. 반면 너무 소극적이면 자원을 얻지 못하게 됩니다. 종 전체의 개체들이 적절한 비율로 공격성과 순응성을 조절하게 될 때, 자연스럽게 진화적으로 안정적인 상태, 즉 내시 균형에 도달한다고 본 것입니다.
현대 사회에서는 내시 균형이 인공지능과 알고리즘 설계에서도 활용됩니다. 예를 들어, 자율주행차가 교차로에서 멈출지 지나갈지를 결정할 때, 다른 차량의 행동을 고려해 최적의 전략을 선택해야 합니다. 이러한 상황은 여러 차량의 전략이 서로 얽혀 있어 일종의 게임이 되며, 그 결과로 도출되는 교통 흐름이 내시 균형에 해당할 수 있습니다. 온라인 플랫폼에서도 추천 알고리즘이나 광고 시스템 설계에 이 개념이 사용됩니다. 사용자와 플랫폼 간의 상호작용에서 각자의 전략이 고정되고, 변화하지 않는 상태가 된다면 그것은 일종의 전략적 균형 상태이며, 이를 분석하고 조절하는 것이 기업에게는 매우 중요합니다.
이처럼 내시 균형은 단순한 수학 이론을 넘어서, 실제 인간 사회의 상호작용을 설명하고 예측할 수 있게 해주는 도구로 활용되고 있습니다.
마치면서
내시 균형은 인간이 서로 영향을 주고받는 선택의 상황에서 어떤 전략을 선택하고 유지하게 되는지를 설명하는 강력한 개념입니다. 단순히 이익을 최대화하는 선택이 아니라, 상대방의 선택을 고려해 나의 선택을 바꾸지 않게 되는 상태를 분석하는 것이 핵심입니다. 죄수의 딜레마처럼 사회 전체에는 비효율적인 결과가 나타날 수 있지만, 개인 단위에서는 합리적일 수 있습니다. 현실에서의 다양한 응용 사례를 보면, 우리는 사실 매일같이 내시 균형 속에 살아가고 있음을 깨닫게 됩니다. 이러한 이해는 사회적 갈등, 협상, 경쟁 등 다양한 상황에서 더 나은 판단을 할 수 있도록 도와주는 이론이라고 할 수 있습니다.