들어가며: 같은 방에서 시작된 두 사람의 운명
경찰이 공범으로 의심되는 두 사람을 체포했습니다. 증거가 부족했던 경찰은 두 사람을 각각 다른 방에 가두고 똑같은 제안을 합니다. "당신이 자백하고 동료가 침묵하면, 당신은 즉시 풀어주고 동료는 10년형을 받습니다. 둘 다 자백하면 각각 5년형, 둘 다 침묵하면 증거 부족으로 각각 1년형입니다."
서로 대화할 수 없는 상황에서 두 사람은 어떤 선택을 할까요? 놀랍게도 각자가 가장 합리적으로 계산할수록 두 사람 모두에게 나쁜 결과가 나옵니다. 이것이 바로 게임이론의 가장 유명한 사례, 죄수의 딜레마(Prisoner's Dilemma)입니다.
1. 합리적인 선택이 왜 최악의 결과를 부를까
상대가 어떤 선택을 하든, 나에게는 '자백'이 항상 유리합니다.
- 상대가 침묵한다면: 내가 자백하면 석방(0년), 침묵하면 1년. 자백이 낫습니다.
- 상대가 자백한다면: 내가 자백하면 5년, 침묵하면 10년. 역시 자백이 낫습니다.
상대의 선택과 무관하게 나에게 유리한 이런 선택을 우월전략(Dominant Strategy)이라고 합니다. 두 사람 모두 똑같이 합리적으로 계산하면 둘 다 자백을 선택하고, 결국 각각 5년형을 받습니다. 그런데 만약 둘 다 침묵했다면 1년형으로 끝났을 것입니다. 개인의 합리적 선택이 모두에게 더 나쁜 결과로 이어지는 역설, 이것이 죄수의 딜레마의 핵심입니다.
2. 균형은 존재하지만, 최선은 아니다
두 사람이 모두 자백을 선택한 상태에서는, 어느 누구도 혼자 선택을 바꿔서 더 이득을 볼 수 없습니다. 이렇게 아무도 일방적으로 전략을 바꿀 유인이 없는 상태를 내쉬균형(Nash Equilibrium)이라고 부릅니다. 수학자 존 내쉬의 이름에서 따온 개념입니다.
중요한 점은, 내쉬균형이 반드시 모두에게 가장 좋은 상태를 뜻하지는 않는다는 것입니다. 죄수의 딜레마에서 '둘 다 자백(각 5년)'은 내쉬균형이지만, '둘 다 침묵(각 1년)'보다 분명히 나쁩니다. 개인의 최적과 집단의 최적이 어긋날 수 있다는 사실을 보여줍니다.
3. 우리 주변의 죄수의 딜레마
이 원리는 감옥 안에만 있지 않습니다. 일상과 경제 곳곳에서 같은 구조가 반복됩니다.
첫째, 기업의 가격 경쟁입니다. 두 회사가 가격을 유지하면 둘 다 적정 이윤을 얻지만, 한쪽이 가격을 내려 손님을 뺏으려 하면 결국 양쪽 모두 가격을 내려 출혈 경쟁에 빠집니다.
둘째, 광고비 경쟁입니다. 모두가 광고를 줄이면 비용을 아낄 수 있지만, 경쟁사가 광고를 늘릴까 두려워 결국 모두가 막대한 광고비를 쏟아붓습니다.
셋째, 환경 문제와 국가 간 군비 경쟁도 같은 구조입니다. 각자에게 합리적인 선택이 모여 모두가 손해를 보는 결과를 만듭니다.
4. 딜레마를 푸는 열쇠, 반복과 신뢰
그렇다면 이 딜레마에서 벗어날 방법은 없을까요? 핵심은 게임이 단 한 번으로 끝나지 않고 반복된다는 데 있습니다.
정치학자 로버트 액설로드의 유명한 실험에서, 가장 좋은 성과를 낸 전략은 의외로 단순한 팃포탯(Tit for Tat), 즉 '맞대응' 전략이었습니다. 처음에는 협력하고, 그다음부터는 상대가 직전에 한 행동을 그대로 따라 하는 방식입니다. 상대가 협력하면 나도 협력하고, 배신하면 나도 한 번 배신해 응징하되, 상대가 다시 협력하면 곧바로 용서합니다.
이 실험이 주는 교훈은 분명합니다. 관계가 한 번으로 끝나지 않고 계속 이어진다는 사실, 그리고 서로에 대한 신뢰와 약속을 지킬 장치가 있을 때 비로소 협력이 가능해진다는 것입니다. 계약, 법, 평판 같은 사회적 제도가 존재하는 이유이기도 합니다.
마치며: 합리성을 넘어선 협력의 가치
죄수의 딜레마는 단순한 퍼즐이 아니라, 인간 사회가 왜 규칙과 제도를 필요로 하는지를 설명하는 강력한 틀입니다. 혼자만의 이익을 좇는 계산은 때로 모두를 더 나쁜 곳으로 데려갑니다.
다음에 누군가와 협력할지 말지 고민하는 순간이 온다면 떠올려 보세요. 이 관계가 한 번으로 끝나는지, 앞으로도 계속될지. 그 답에 따라 가장 현명한 선택도 달라집니다.