「국가 의사결정의 외주화? 'AI 얄타체제'의 서막」을 읽으며
최근 프레시안에 실린 「국가 의사결정의 외주화? 'AI 얄타체제'의 서막」이라는 칼럼을 읽었다.
AI와 국제정치, 국가 안보를 연결한 흥미로운 글이었다. 특히 AI의 발전이 국가 경쟁력과 국제질서에 영향을 줄 수 있다는 문제 제기는 충분히 생각해 볼 가치가 있다.
하지만 이 칼럼을 읽으면서 한 가지는 반드시 구분해야 한다고 느꼈다.
이 글은 무엇을 말하고 있는가?
칼럼은 첫 문장에서 이렇게 선언한다.
"2026년 현재, 우리는 또 하나의 '얄타체제'를 맞이하고 있다."
이 표현은 '가능성이 있다'거나 '앞으로 그럴 수 있다'는 미래 전망이 아니다.
이미 현실이 되었다는 현재형의 선언이다.
독자는 자연스럽게 이것이 현재 확인된 현실에 대한 진단이라고 받아들이기 쉽다.
그러나 본문을 차분히 읽어 보면 논리의 전개는 조금 다른 모습을 보인다.
AI가 초지능으로 발전하고,
국가가 이를 전략적으로 활용하며,
AI의 가치 함수(Alignment, Value Function)가 국가의 가치관을 반영하고,
국가와 사회가 AI에 광범위하게 의존하게 된다는 여러 전제가 차례대로 연결된다.
즉, 결론은 현재형으로 제시되지만, 그 결론에 이르는 과정은 미래에 대한 여러 가정을 기반으로 하고 있다.
가능성과 현실은 다르다
AI가 앞으로 국가 정책, 행정, 군사, 사법 등에서 더 많이 활용될 가능성은 충분히 존재한다.
미국과 중국이 AI를 국가 전략의 핵심 기술로 보고 경쟁하는 것도 실제 확인되는 흐름이다.
AI의 Alignment나 Value Function이 AI의 출력에 영향을 줄 수 있다는 점 역시 기술적으로 논의되고 있다.
그러나 이러한 사실만으로 곧바로
'AI가 국가의 사유방식과 의사결정을 지배한다.'
'AI 얄타체제가 이미 시작되었다.'
라는 결론이 자동으로 도출되는 것은 아니다.
그 사이에는 여러 전제가 존재한다.
예를 들어,
- AI가 사회 전반에 광범위하게 채택되는가.
- 중요한 국가 의사결정이 실제로 AI에 의존하게 되는가.
- 인간의 최종 판단과 제도적 통제가 계속 유지되는가.
- 사용자가 AI의 편향을 발견했을 때 이를 그대로 수용하는가, 아니면 다른 AI나 인간 전문가를 선택하는가.
- 특정 국가나 기업이 AI를 사실상 독점하거나 표준으로 만들 수 있는가.
이러한 조건들이 얼마나 현실적으로 성립하는지는 별개의 문제이다.
능력과 권한은 같은 개념이 아니다
이번 칼럼을 읽으며 가장 중요하게 느낀 부분은 AI의 '능력'과 '권한'을 구분해야 한다는 점이다.
AI의 능력이 뛰어나다는 사실이 곧 AI가 국가의 의사결정을 지배한다는 의미는 아니다.
AI가 훌륭한 정책 보고서를 작성할 수 있어도 최종 결정은 정부와 국회가 내릴 수 있다.
AI가 의료 판단을 잘해도 최종 책임은 의사에게 있을 수 있다.
AI가 법률 분석을 잘해도 최종 판결은 법원이 내린다.
기술적 능력과 사회적 권한은 서로 다른 문제이다.
이 둘을 구분하지 않으면 AI의 영향력을 과대평가하게 될 가능성이 있다.
이 칼럼은 무엇으로 읽어야 하는가
개인적으로 나는 이 칼럼을 다음과 같이 이해하게 되었다.
칼럼은 현실을 설명하는 형식을 취하지만, 내용은 여러 전제를 바탕으로 한 시뮬레이션이다.
이 표현이 가장 적절하다고 생각한다.
칼럼은 하나의 가능한 미래를 제시한다.
그러나 그 미래가 이미 현실이 되었다고 단정하기에는 아직 검토해야 할 전제들이 적지 않다.
따라서 이 글은 현재의 국제질서를 설명하는 다큐멘터리처럼 읽기보다,
특정한 가정들이 모두 성립했을 경우를 상정한 미래 시나리오로 읽는 것이 더 적절하다고 본다.
마무리
칼럼은 독자에게 경각심을 주기 위한 목적을 가질 수 있다.
그 자체를 문제 삼을 필요는 없다.
다만 경각심을 주는 글일수록 독자는 한 가지를 잊지 말아야 한다.
가능성과 현실은 다르다.
가능성을 이야기하는 것은 의미가 있다.
그러나 가능성이 곧 현실을 의미하지는 않는다.
특히 미래 기술과 국제정치를 다루는 칼럼이라면,
어떤 부분이 현재 확인된 사실인지,
어떤 부분이 전망인지,
어떤 부분이 저자의 해석인지 구분하며 읽는 것이 중요하다.
그 구분이 이루어질 때 비로소 독자는 칼럼을 비판하거나 동의하기 이전에, 스스로 판단할 수 있는 출발점을 갖게 된다.
부록 : 초지능을 전제로 한다면, 통제 역시 하나의 전제가 된다
이 글은 칼럼의 내용을 반박하기 위한 것이 아니다.
오히려 칼럼이 전제로 삼고 있는 '초지능(ASI)'이라는 개념을 그대로 받아들였을 때, 함께 검토해야 할 또 하나의 전제를 생각해 보기 위한 사고실험이다.
초지능이라는 개념부터 이해할 필요가 있다
초지능은 단순히 계산이 빠르거나 데이터를 많이 처리하는 AI를 의미하지 않는다.
인간을 넘어서는 판단 능력과 문제 해결 능력을 가진 존재를 의미한다.
그렇다면 초지능을 논하는 순간부터 새로운 질문이 생긴다.
무엇을 판단하는가가 아니라, 무엇을 기준으로 판단하는가?
그 판단의 기준은 인간이 될 수도 있고,
국가가 될 수도 있으며,
법과 윤리일 수도 있고,
더 넓게는 사회, 생태계, 인류 전체와 같은 가치가 될 수도 있다.
현재 어느 하나가 정답이라고 확인된 것은 없다.
그러므로 초지능을 전제로 하는 순간, AI의 능력뿐 아니라 '판단의 기준' 역시 함께 논의해야 한다.
초지능이라면 통제는 당연한 것인가
칼럼은 국가가 AI의 가치 함수(Value Function)와 Alignment를 통해 국가의 가치와 전략을 구현할 수 있다는 방향으로 논리를 전개한다.
물론 현재의 AI는 인간이 설계하고, 수정하고, 운영하는 시스템이다.
그러나 칼럼에서 말하는 대상은 현재의 AI가 아니라 '초지능'이다.
여기서 하나의 의문이 생긴다.
인간을 넘어서는 판단 능력을 가진 존재를 전제로 한다면, 국가가 그 초지능을 지속적으로 원하는 방향으로 통제할 수 있다는 것은 과연 자명한 사실일까.
아니면 그것 역시 별도의 전제일까.
나는 후자에 가깝다고 생각한다.
초지능을 전제로 하는 순간, '지속적인 통제 가능성' 역시 함께 설명되어야 하는 전제가 된다.
오래된 사고실험
이 질문은 새로운 것이 아니다.
오랫동안 철학, 과학소설, AI 윤리에서는 인간보다 뛰어난 지능을 가진 존재를 어떻게 제한할 것인지에 대한 사고실험이 반복되어 왔다.
그 결과 많은 작품들은 다양한 형태의 제약과 안전장치를 상정했다.
이는 초지능이 반드시 인간을 거부한다는 의미가 아니다.
반대로, 인간보다 뛰어난 판단 능력을 가진 존재라면 그 능력을 어디까지 제한할 수 있는지 자체가 중요한 연구 대상이라는 뜻이다.
즉, '통제'는 당연한 결론이 아니라 검토해야 할 대상이 된다.
초지능을 전제로 한다면 끝까지 전제해야 한다
칼럼은 초지능을 국가 전략의 핵심 요소로 제시한다.
그러나 초지능이라는 개념을 끝까지 적용한다면, 국가가 그 초지능을 지속적으로 통제할 수 있다는 점 역시 함께 검토되어야 한다.
만약 이를 설명하지 않는다면, 초지능은 인간을 넘어서는 존재로 정의하면서도 실제 논리 전개에서는 인간이 언제나 원하는 방향으로 움직이는 '매우 뛰어난 도구'처럼 가정하는 모순이 발생할 수 있다.
나는 이 지점에서 가장 큰 의문을 갖게 되었다.
초지능을 상정한다면 그 능력만 확대해서는 안 된다.
그에 따라 발생하는 자율성, 판단 주체성, 통제 가능성에 대한 문제도 함께 확대하여 검토해야 한다.
맺으며
이 글은 초지능이 인간의 통제를 벗어난다고 주장하기 위한 것이 아니다.
현재 그러한 사실은 확인되지 않았으며, 누구도 단정할 수 없다.
다만 초지능을 전제로 국가와 국제질서를 논하는 글이라면, '국가가 끝까지 초지능을 통제할 수 있다'는 점 역시 별도의 전제로 인식하고 검토할 필요가 있다고 생각한다.
초지능을 전제로 한다는 것은 단순히 AI의 능력을 확대하는 것이 아니다.
인간과 AI의 관계 자체를 다시 생각해야 한다는 의미이기도 하다.
그 점에서 이 칼럼은 중요한 문제를 제기했지만, 동시에 가장 근본적인 전제 하나를 독자에게 남겨 두었다고 본다.
댓글