[호평동 영수학원] 페르마, 여백이 부족해서 못 적은 증명과 350년의 수수께끼
핵심 개념
17세기 프랑스에 페르마라는 사람이 있었습니다. 본업은 법률가였고, 수학은 취미로 파고들었다고 알려져 있습니다. 그런데 이 취미가 남긴 흔적이 지금까지도 수학사에서 가장 유명한 사건 중 하나로 꼽힙니다. 그가 읽던 책의 한 귀퉁이에 적어 놓은 짧은 메모 때문입니다.
이야기의 출발점은 우리가 중학교에서 배우는 피타고라스 정리입니다. 직각삼각형에서 a² + b² = c²이 성립한다는 그 식 말입니다. 여기서 자연수 a, b, c를 찾는 문제를 생각해 볼 수 있습니다. 실제로 3² + 4² = 5², 즉 9 + 16 = 25가 성립하니 (3, 4, 5)는 답이 됩니다.
이런 자연수 세 쌍을 피타고라스 수라고 부르는데, (5, 12, 13), (8, 15, 17)처럼 무수히 많이 찾을 수 있습니다.
페르마는 여기서 한 걸음 더 나아가 질문을 던졌습니다. 지수를 2가 아니라 3, 4, 5처럼 더 큰 자연수로 바꾸면 어떻게 될까 하는 것이었습니다. 즉 aⁿ + bⁿ = cⁿ을 만족하는 양의 정수 a, b, c가 n이 3 이상일 때도 존재할까 하는 물음입니다. 예를 들어 세제곱을 넣어 1³ + 2³ = 1 + 8 = 9를 만들어 보면 이 값은 어떤 정수의 세제곱도 되지 않습니다. 몇 번을 시도해 봐도 딱 맞아떨어지는 세 수를 찾을 수 없습니다.
페르마는 디오판토스라는 고대 수학자가 쓴 책을 읽다가 이 문제와 관련된 여백에 이렇게 적었다고 전해집니다. n이 3 이상인 자연수일 때 aⁿ + bⁿ = cⁿ을 만족하는 양의 정수 a, b, c는 존재하지 않으며, 이에 대한 놀라운 증명을 알아냈지만 여백이 좁아 적을 수 없다는 내용이었습니다. 문제는 그가 이 메모를 남기고 세상을 떠난 뒤, 그 증명이 어디에도 남아 있지 않았다는 점입니다.
이후 여러 세대에 걸쳐 수많은 수학자가 이 문제에 도전했습니다. 오일러는 n이 3인 경우를 다뤘고, 이후 몇몇 특정한 지수에 대해서는 하나씩 증명이 이루어졌습니다. 그러나 모든 n에 대해 한 번에 성립함을 보이는 완전한 증명은 오랫동안 나오지 않았습니다. 그사이 이 문제는 아마추어 수학 애호가부터 전문 연구자까지 도전하는 유명한 난제로 자리 잡았고, 페르마의 마지막 정리라는 이름으로 불리게 되었습니다.
이 문제가 마침내 풀린 것은 20세기 후반의 일입니다. 영국의 수학자 앤드루 와일즈가 수년간의 연구 끝에 증명을 발표했고, 이후 보완을 거쳐 정리로 인정받았습니다. 그의 증명은 페르마가 살던 시대에는 존재하지도 않았던 현대적인 이론들을 동원한 매우 정교하고 방대한 것이었습니다.
그래서 오늘날 많은 수학사가는 페르마가 정말로 완전한 증명을 갖고 있었을지 의문을 품습니다. 어쩌면 그가 떠올린 방법에 스스로도 눈치채지 못한 허점이 있었을 가능성이 있다는 이야기입니다.
이 이야기가 흥미로운 이유는 답이 밝혀졌다는 결말 때문만은 아닙니다. 아주 간단해 보이는 질문 하나가, 그것도 지수 하나를 바꿔 본 것뿐인 질문이 300년 넘게 세계 최고의 수학자들을 붙잡아 두었다는 사실 자체가 놀랍습니다. 중학생이 배우는 피타고라스 정리에서 시작한 물음이 이렇게 깊고 오래된 이야기로 이어진다는 것을 알면, 교과서 속 공식 하나도 조금 다르게 보일 수 있습니다.