[호평동 수학학원] 앤드루 와일스, 7년간 다락방에서 페르마를 증명한 사람

페르마의 마지막 정리는 겉보기에는 아주 단순한 문장입니다. n이 3 이상의 정수일 때, xⁿ + yⁿ = zⁿ을 만족하는 양의 정수 x, y, z는 존재하지 않는다는 것입니다. n이 2일 때는 3² + 4² = 5²처럼 피타고라스 수가 얼마든지 있는데, n이 3 이상이 되면 그런 조합이 하나도 없다는 주장입니다.

17세기 프랑스의 법률가이자 아마추어 수학자였던 피에르 드 페르마는 어떤 책의 여백에 이 정리를 적어두면서, 정말 놀라운 증명을 찾았지만 여백이 너무 좁아서 적지 못한다는 메모를 남겼다고 전해집니다. 이 메모 한 줄 때문에 이후 수백 년 동안 수많은 수학자들이 이 문제에 매달리게 되었습니다.

문제 자체는 중학생도 이해할 수 있을 만큼 단순했지만, 증명은 그렇지 않았습니다. 오일러가 n=3인 경우를, 이후 여러 수학자들이 특정한 n에 대해서는 증명에 성공했지만, 모든 n에 대해 성립함을 보이는 일반적인 증명은 나오지 않았습니다. 20세기에 들어서면서 이 정리는 정수론에서 가장 유명한 미해결 문제로 남아 있었고, 도전했다가 실패한 사람들의 이름만 쌓여갔습니다.

영국의 수학자 앤드루 와일스는 어린 시절 동네 도서관에서 이 정리에 대한 책을 읽고 매료되었다는 이야기가 전해집니다. 열 살 무렵 이 문제를 처음 접한 뒤로, 언젠가 자신이 풀어보겠다는 마음을 품었다고 합니다. 성인이 되어 프린스턴 대학의 교수가 된 와일스는 1986년 무렵, 페르마의 마지막 정리가 '타니야마 시무라 추측'이라는 전혀 다른 분야의 이론과 연결되어 있다는 사실을 알게 됩니다.

이 추측은 타원곡선이라는 도형과 모듈러 형식이라는 함수 사이의 깊은 관계를 다루는 것으로, 만약 이 추측이 참이라면 페르마의 마지막 정리도 자연스럽게 증명된다는 논리적 다리가 이미 다른 수학자들에 의해 놓여 있었습니다.

와일스는 이 다리를 건너기로 결심하고, 이후 7년 동안 거의 혼자서 이 문제에 매달렸다고 알려져 있습니다. 다른 수학자들의 관심과 경쟁을 피하기 위해 연구 사실을 외부에 알리지 않았고, 집 다락방을 서재 삼아 조용히 계산을 이어갔다는 이야기가 전해집니다. 새로운 수학 이론을 만드는 일은 한두 번의 계산으로 끝나지 않습니다.

수백 페이지에 걸친 논리를 하나하나 쌓아 올려야 하고, 어느 한 곳에서 틈이 발견되면 전체가 무너질 수 있는 작업입니다. 1993년, 와일스는 케임브리지에서 열린 강연에서 마침내 증명을 발표했고, 이는 수학계 전체를 흥분시킨 사건이었습니다.

하지만 이야기는 여기서 끝나지 않습니다. 발표 이후 다른 수학자들이 증명을 검토하는 과정에서 논리에 결함이 하나 발견되었습니다. 오랜 시간 공들여 쌓은 탑에 금이 간 셈이었습니다. 와일스는 다시 좌절하지 않고, 예전 제자였던 리처드 테일러와 함께 그 틈을 메우는 작업에 매달렸습니다.

거의 1년에 가까운 시간 동안 씨름한 끝에, 1994년 마침내 결함을 보완한 완전한 증명을 완성했고 이듬해 논문으로 발표되었습니다.

이 이야기가 수학을 공부하는 학생들에게 주는 교훈은 단순합니다. 아주 단순해 보이는 문장 하나에도 몇백 년의 역사와 여러 세대 수학자들의 노력이 쌓여 있을 수 있다는 것, 그리고 한 번의 발표로 끝나지 않고 오류를 인정하고 다시 고쳐나가는 과정 자체가 수학 연구의 정직한 모습이라는 것입니다.

중학교, 고등학교 교과서에 나오는 정리와 공식들도 누군가에게는 이렇게 오랜 시간과 인내가 필요했던 결과물이었다는 사실을 떠올려보면, 지금 풀고 있는 문제 하나가 조금 다르게 보일 수 있습니다.