칸토어의 패러다임 전환

칸토어는 비구성적, 즉, 어떤 집합의 구체적인 구성 방법을 따르지 않더라도 모순 없음만 밝힌다면 존재를 인정한다는 원칙을 근거로 당시 논란을 불러일으켰던 집합론을 제안했습니다. 칸토어의 집합론은 인간의 직관으로 이해하기 어려운 수(정확히는, 기수, 즉 무한집합의 크기)까지도 다루는, 무한과 밀접하게 연관된 집합론입니다.

당시에 굉장히 혁신적인 생각었고, 직관에서 멀리 떨어졌기 때문에 당시에 계속 논란이 되었습니다. 왜냐하면 원래 무한은 일상적인 수로 다루어지지 않는 개념이고, 따라서 무한 집합의 크기를 비교하는 등의 경험을 직관적으로 느끼기 어렵기 때문입니다. 또한, 칸토어의 집합론은 집합 형성에 대한 제약이 없었기 때문에 ‘모든 집합을 포함하는 집합’도 존재한다고 봤고, 그로 인해 러셀의 역설 등의 모순이 발견되었습니다.

푸앵카레는 칸토어의 비구성적 접근에 우려하는 목소리를 내기도 했습니다. 그는 수학의 토대가 수학 자체가 가지고 있는 완전함보다, 사회적 합의에 있다는 점을 강조하는 규약주의(conventionalism)에 있다고 봤고, 수학과 논리학의 기초가 수학자의 직관에서 비롯된다는 직관주의(intuitionism)적 입장도 혼재합니다. 다음은 푸앵카레의 연설 ‘수학의 미래’에서 칸토어주의가 언급된 부분으로, 현재 발견된 칸토어주의의 문제를 인식하고, 따라서 앞으로 발전할 수학에 대해 낙천적인 시각을 보여주고 있습니다.^{1 2}

나는 우리 학문의 가장 중요한 원칙으로 돌아갈 때 인간의 생각에 대해 이해하는 결과를 낳을 것이라고 이전에 여러 차례 강조했습니다. 이를 위해 최근의 수학에 아주 큰 자리를 차지한 두 가지 노력이 있습니다. 첫 번째는 이미 우리가 우리 학문에 어떤 영향을 가져왔는지 잘 알고 있는 칸토어주의입니다. 칸토어주의의 가장 중요한 특성은 이것입니다. 복잡한 구성(construction)을 계속 만들어 내서 일반화에 이르는 방법, 즉 구성을 통한 정의가 아니라 아주 큰 집합에서 시작해 그것의 부분집합을 단지 개념으로만 특정하는 것입니다. 이것은 몇몇 수학자를 소스라치게 놀라게 하는 결과³를 만들어 냈습니다. 예를 들어 수학을 자연 과학과 비교해야 한다다고 주장했던 샤를 에르미트의 경우입니다.

우리 중 많은 이들은 처음에 가졌던 편견을 버렸습니다. 그러나 곧 역설⁴이 다시 떠올랐고 바로 이런 식의 모순이 엘레아의 제논과 메가라학파를 유행하게 했을 것입니다. 그리고 이제 다시 모든 사람이 이 문제의 해결책을 찾으려고 바빠졌습니다. 내 의견을 말하자면, 그리고 이건 나 혼자만의 생각이 아닙니다. 나는 한정적인 수의 단어로 정의할 수 있는 개념들만 다루는 것이 중요하다고 믿습니다. 훗날 역설에 대한 치료법이 무엇이 되든, 우리는 아름다운 병리학적 사례를 따르도록 요청받는 의사처럼, 해결책이 주는 기쁨을 기대할 수 있을 것입니다.

푸앵카레, <수학의 미래> 연설 중

즉, 칸토어는 “무한은 다양한 실재로서 존재한다"고 처음 주장하면서 수학의 패러다임 전환을 촉발시킨 인물입니다. 과학혁명에 코페르니쿠스의 지동설이 있다면, 수학에서는 칸토어의 집합론이 있었다 할 정도의 거대한 패러다임 전환입니다. 이후 칸토어의 느슨한 집한론(naive set theory)는 역설이 발생하지 않도록 규칙을 추가하여 오늘날 현대에 쓰는 ZFC 공리계(Zermelo-Fraenkel + 선택공리인 Choice Axiom)으로 발전하였습니다.