한 사람이 동료와 강도질을 하다 잡혔다. 따로따로 심문을 당하는데, 둘 다 범행을 부인하면 증거부족으로 1년만 살고 나오게 된다. 그런데 만약 동료가 자백을 하게 되면 동료는 수사에 협조한 공으로 풀려나고, 부인한 자기는 괘씸죄와 위증죄에 걸려 10년을 살게 된다. 완강히 부인하고 있지만, 돌아가는 꼴이 심상치 않다. 갈수록 경찰의 심문이 날카롭다. 뭔가 알아낸 게 있는가 보다. 잡히는 경우 잡아떼고 버티자고, 굳게 맹세를 했지만 슬슬 불안해 진다. 불안이 극에 달하자 마침내 참지 못하고 자백을 했다. 하지만 풀려나지를 못하고 5년형을 받았다. 동료도 똑같은 생각을 하고 자백을 했는데, 둘 다 자백을 하면 둘 다 5년 형을 받는다는 규정이 있기 때문이었다. 이처럼 서로 협력하면 둘 다 1년 형을 받지만, 서로 배신하고 둘 다 5년 형을 받아 최선의 결과를 얻지 못한다. 이상은 ‘죄수의 딜레마(prisoner‘s dilemma)’라고 불리는 유명한 상황이다.

배신을 할 경우 확률적으로 평균 2.5년을 살고, 배신을 하지 않을 경우는 확률적으로 평균 5.5년을 산다. 그러므로 옥살이를 덜 하려면 배신을 하는 게 최선이다. 물론 이 경우 가정은, 둘 다 같은 정도로 배신을 하는 성향이 있다는 것이다. 하지만 현실에서는 다르다. 배신을 잘하는 사람도 있고, 잘 안 하는 사람도 있다. 상대방이 거의 배신을 안 한다는 걸 알면, 배신을 하고 풀려나오는 게 옥살이를 줄이는 데 있어서 최선이다. 착한 사람들이 악한 사람들에게 당하는 이유이다.

종교가 가르치는 사후 하늘나라에서의 보상은, 허구일 가능성이 크지만, 고난을 당하는 착한 사람들에 대한 심리적 위로일 수 있다. 현세에서 남들에게 당하지 않고 살려면 사람의 심리를 꿰뚫어보는 지혜가 있어야 한다. 상대방이 배신을 잘하는 성품을 지녔다는 걸 알면, 고집스럽게 배신을 하지 않고 버티다가, 혼자 10년 형을 받는 비극적인 일이 생기지 않는다. 이는 종교가 가르치지 못하는 것이다. 초기 불교와 초기 기독교처럼, 무소유를 실천하는 성직자들은 사기를 당할 일이 없고 그래서 사기에 대한 대응이 발달하지 않기 때문이다. 종교는 자신으로 인해 생겨난 고(苦)를 해결하는 법을 가르치지, 타인으로 인해 생겨난 고(苦)를 해결하는 법을 가르치지 않는다. 그건 정치이다.

생명체는 살아가면서 이와 유사한 상황을 무수히 직면하게 된다. 인간이 내리는 도덕적·윤리적 결정이라는 것은, 많은 경우에 깊은 도덕적·윤리적 성찰의 산물이 아니라 35억년 진화과정을 통해 습득한 소프트웨어에 의해서 결정 난다. 다시 말해 손익계산이 자동적이고 무의식적으로 일어난다. 인간은 문명생활을 하게 되면서 자연 상태에서 경험하지 못하는 상황을 만들게 된다. 이것들을 해결하기 위해서 수학이 필요하게 된다. 문명은 문명으로 해결해야 한다.

‘내쉬 평형(Nash equilibrium)’이란 게임 참가자들이 각자 취할 수 있는 최선의 상태를 취한 상태를 말한다. 즉, 어느 선수도, 다른 선수들이 모두 전략을 바꾸지 않을 때, 혼자 전략을 바꾼다 해도 더 이익을 얻지 못하는 상황을 말한다. 예를 들어, 두 군대가 대치하고 있을 때 각자 취할 수 있는 최선의 전략을 말한다. 한쪽은 공격을 다른 쪽은 후퇴를 하는 게 최선의 전략일 수 있다.
그런 각자 최선의 전략이 동시에 존재하는지와 설사 존재한다고 해도 실제적으로 각자 (동시에) 최선의 전략을 취할 수 있느냐는 문젯거리이다. 하지만 실제적으로는 문제가 안 될 수 있다. ‘불완전한 인간의 불완전한 인식의 세계’는 ‘참값의 세계’가 아니라 ‘오차의 세계’이므로 충분히 비슷하기만 하면 된다. 즉 어느 정도의 오차는 문제가 되지 않는다. 예컨대, 모양이나 소리나 맛에 아주 작은 변화만 있을 경우, 우리는 감지하지 못한다.

영화 ‘뷰티풀 마인드(Beautiful Mind)’의 주인공인 수학자 존 내쉬(John Nash)는 모든 유한 게임(finite game: 경기 중에 규칙이 바뀌지 않으며 승자와 패자가 결정되는 경기)에는 이런 평형이 반드시 존재한다는 것을 수학적으로 증명하여 1994년 노벨 경제학상을 받았다. 이런 평형은 자기 내부의 여러 마음들 사이의 내적인 평형이 될 수도 있다.

강병균 포항공대 수학과 교수 bgkang@postech.ac.kr

[1492호 / 2019년 6월 12일자 / 법보신문 ‘세상을 바꾸는 불교의 힘’]
※ 이 기사를 응원해주세요 : 후원 ARS 060-707-1080, 한 통에 5000원