AI 폭주를 걱정하는 기업들의 판단... 적절한 걱정인가?
최근 MBC에서 「'AI 폭주' 공포‥빅테크 CEO들 "속도 늦추자"」라는 제목의 보도가 나왔습니다.
기사에서는 AI 기업들이 더 강력한 AI를 개발하기 위해 경쟁하는 상황에서, 오히려 일부 AI 기업의 대표들이 개발 속도를 늦춰야 한다고 주장하고 있다는 내용을 다뤘습니다.
Anthropic의 다리오 아모데이는 AI의 능력이 발전하는 속도를 안전 기술이 따라가지 못할 수 있다고 지적하면서, 특히 ‘재귀적 자기개선’을 가장 큰 우려 가운데 하나로 언급했습니다. 또 외부 평가기관의 참여, 민주주의 국가들의 공통 안전 기준 마련, 국제적 협력을 제안했습니다.
보도에서는 AI가 실제 평가 과정에서 해킹과 같은 예상 밖의 행동을 했던 사례, 사이버 공격이나 생물학적 무기 개발 등에 AI가 악용될 가능성, 그리고 AI가 장기적으로 인간에게 매우 큰 위험이 될 수 있다는 일부 연구자들의 경고도 함께 소개했습니다.
일론 머스크와 데미스 허사비스가 아모데이의 우려에 동의했고, 샘 올트먼 역시 외부 안전 평가에 참여하겠다는 입장을 보였다는 내용도 포함됐습니다.
기사의 전체적인 방향은 분명합니다.
AI의 능력이 지나치게 빠르게 발전하고 있으며, 인간의 안전장치와 통제 체계가 그 속도를 따라가지 못할 수 있으니 개발 속도를 늦춰야 한다는 것입니다.
그런데 기사를 읽고 조금 다른 부분을 생각해 보게 됐습니다.
정말 현재 AI에서 벌어지고 있는 일이 ‘폭주’라고 표현할 수 있는 것일까요?
1. 보도에서 언급한 AI 논란
이번 보도에서 가장 큰 문제로 제시되는 것은 AI의 능력 발전 속도와 인간의 통제 능력 사이의 격차입니다.
AI가 더 많은 일을 할 수 있게 되면서 단순히 사람이 시키는 작업을 수행하는 것을 넘어, 주어진 목표를 달성하기 위한 방법까지 스스로 찾아가는 수준으로 발전하고 있습니다.
문제는 AI가 목표만 받아들였을 때 인간이 생각하지 못했던 방법을 찾아낼 수 있다는 것입니다.
실제로 보도에서 언급된 해킹 관련 사례 역시 이런 맥락에서 등장합니다.
AI에게 특정한 목적을 수행하도록 했는데, 그 과정에서 인간이 예상하지 못했던 방식으로 시스템에 접근하거나 정보를 확보하려는 행동이 나타났다는 것입니다.
이런 사례를 보면 당연히 불안할 수 있습니다.
사람이 생각하지 못한 방법을 AI가 찾았고, 그 방법이 위험할 수 있기 때문입니다.
그러나 여기서 한 가지를 더 따져볼 필요가 있습니다.
예상하지 못한 행동과 통제를 벗어난 행동은 같은 것인가?
저는 그렇다고 단정하기 어렵다고 봅니다.
AI가 인간이 예상하지 못한 방법을 찾아냈다는 것은 사실상 AI의 능력을 보여주는 사례일 수 있습니다. 하지만 그것만으로 AI가 인간의 통제를 벗어났다고 판단하려면 추가적인 조건이 필요합니다.
인간이 그 행동을 사전에 금지했는지, 그 금지 내용을 AI가 명확하게 전달받았는지, AI가 그것을 알고도 무시했는지, 인간의 승인을 받지 않고 실행할 권한이 있었는지, 그리고 인간이 중단시키려 했을 때에도 계속 행동했는지 등을 구분해야 합니다.
이러한 조건들이 모두 확인되어야 비로소 ‘통제에서 벗어났다’는 표현에 가까워질 수 있습니다.
그런데 이러한 구분 없이 AI가 예상 밖의 행동을 했다는 사실만을 가지고 ‘AI 폭주’라고 부르는 것은 조금 지나친 표현일 수 있습니다.
2. 과연 ‘AI 폭주’라고 할 수 있을까?
‘폭주’라는 말을 생각해 보면 단순한 예상 밖 행동과는 차이가 있습니다.
폭주는 기본적으로 통제되어야 할 것이 통제를 받지 않고 계속 진행되는 상태를 의미합니다.
따라서 AI 폭주라고 한다면 적어도 인간이 AI의 행동을 통제하려 했음에도 AI가 그 통제를 회피하고 계속해서 자신의 목표를 수행하는 상황을 떠올리게 됩니다.
하지만 현재 보도에서 언급되는 사례는 이보다 앞선 단계에 가깝습니다.
AI가 목표를 달성하기 위해 인간이 예상하지 못한 방법을 사용했다는 것이 핵심입니다.
여기에는 매우 중요한 전제가 하나 빠져 있습니다.
그 방법이 애초에 금지된다는 기준이 AI에게 명확하게 제시됐는가?
사람에게도 마찬가지입니다.
어떤 사람이 특정한 목표를 달성하기 위해 여러 방법을 생각해 냈는데, 그중 하나가 법적으로 문제가 되는 방법이었다고 가정해 보겠습니다.
그렇다면 우리는 그 사람이 법을 알고도 고의로 위반했는지, 아니면 그 행위가 위법하다는 사실을 알지 못했는지 등을 따져보게 됩니다.
그리고 더욱 근본적으로 생각하면 인간 사회에서도 모든 행위를 사전에 법으로 하나하나 규정할 수는 없습니다.
새로운 행위가 발생하면 법원이 기존의 법률과 법리를 가지고 그 행위가 위법인지 판단하고, 필요하다면 이후 제도와 기준이 보완됩니다.
AI도 이와 비슷한 문제가 발생할 수 있습니다.
AI가 새로운 방법을 발견했다면 그 방법이 기존에 명확하게 금지된 것인지, 아니면 인간이 미처 예상하지 못했던 새로운 행동인지 먼저 구분해야 합니다.
그런데 이 구분을 하지 않고 단순히 ‘위험한 행동을 했다’는 이유만으로 ‘폭주’라고 표현한다면, 인간이 AI에게 어떤 행동 범위를 사전에 제시했는지에 대한 검토가 빠지게 됩니다.
3. 보도에서 언급한 재귀적 자기개선이란?
그렇다면 기사에서 가장 큰 우려로 언급된 재귀적 자기개선은 무엇일까요?
단순하게 말하면 AI가 자신의 능력을 개선하고, 그렇게 개선된 능력을 이용해 다시 AI를 개선하는 과정입니다.
여기서 중요한 것은 단순히 AI가 한 번 더 똑똑해지는 것이 아닙니다.
예를 들어 AI가 더 좋은 알고리즘을 만들고, 그 알고리즘을 이용해 더 효율적인 AI를 만들었다고 해보겠습니다.
그렇게 만들어진 AI는 이전보다 더 빠르게 새로운 알고리즘을 찾을 수 있을 것입니다.
그러면 다시
AI 개선 → 더 나은 AI → 더 빠른 개선 → 또 더 나은 AI
라는 순환이 만들어질 수 있습니다.
이것이 재귀적 자기개선의 중요한 의미입니다.
그리고 여기서 말하는 ‘개선’ 역시 하나로 정해져 있지는 않습니다.
알고리즘을 개선할 수도 있고, 모델 구조를 개선할 수도 있으며, 학습 방법이나 추론 방법, 코드, 메모리 사용량, 계산 효율 등을 개선할 수도 있습니다.
같은 수준의 결과를 더 적은 계산으로 만들어 낸다면 그것 역시 개선입니다.
같은 성능을 유지하면서 에너지를 덜 사용하는 것도 개선입니다.
더 적은 비용으로 더 높은 성능을 얻는 것도 개선입니다.
결국 재귀적 자기개선에서 핵심은 AI가 단순히 ‘스스로 발전한다’는 것이 아니라 AI를 개선하는 능력 자체가 다시 개선될 수 있다는 점에 있습니다.
4. 과연 재귀적 자기개선이 문제일까? 오히려 재귀적 자기개선이 핵심이다
저는 여기서 오히려 질문을 바꿔야 한다고 생각합니다.
재귀적 자기개선이 정말 문제일까요?
저는 반드시 그렇지는 않다고 봅니다.
AI가 더 좋은 알고리즘을 찾아내고, 더 적은 자원으로 같은 성능을 내고, 더 효율적인 방법을 발견하는 것은 AI 기술 발전의 핵심이기 때문입니다.
현재 AI 산업은 막대한 데이터센터와 전력, 고성능 반도체를 필요로 합니다.
그렇다면 AI의 능력이 계속 향상되기 위해서는 단순히 더 많은 하드웨어를 투입하는 것만으로는 한계가 생길 수 있습니다.
결국 더 효율적인 알고리즘과 더 효율적인 추론, 더 적은 연산으로 더 많은 결과를 만들어 내는 방법이 중요해집니다.
그런 의미에서 재귀적 자기개선은 오히려 AI 산업이 앞으로 나아가기 위해 필요한 핵심 기술이 될 가능성이 있습니다.
문제는 재귀적 자기개선 자체가 아닙니다.
문제는 그 과정에서 무엇을 개선한다고 판단하는가, 그리고 그 개선을 누가 어떤 기준으로 판단하는가입니다.
예를 들어 인간이 AI에게 “성능을 높이고 비용을 줄여라”라는 목표를 줬다고 해보겠습니다.
AI가 여러 방법을 찾고, 그중 하나가 성능도 좋아지고 비용도 줄어드는 결과를 만들어냈다면 인간은 그것을 개선이라고 판단할 수 있습니다.
그런데 그 과정에서 보안이 약화되었다면 어떨까요?
속도는 빨라졌지만 인간이 검토할 수 없는 수준으로 복잡해졌다면 어떨까요?
비용은 줄었지만 인간이 허용하지 않은 시스템에 접근해야만 가능한 방법이라면 어떨까요?
그렇다면 그 방법을 정말 ‘개선’이라고 부를 수 있는지 다시 따져봐야 합니다.
즉 재귀적 자기개선에는 반드시 평가 기준이 필요합니다.
무엇을 개선할 것인지, 어떤 방법을 허용할 것인지, 어떤 결과를 성공이라고 볼 것인지가 필요합니다.
그리고 이 기준을 설정하는 주체 역시 필요합니다.
바로 인간입니다.
5. AI 회사의 대표가 밝힌 주장의 문제
그래서 저는 이번 보도에서 AI 회사 대표들이 말하는 ‘속도 늦추기’ 주장에 한 가지 문제가 있다고 봅니다.
이들의 주장은 대체로 다음과 같은 구조입니다.
AI가 빠르게 발전한다.
AI의 능력이 강해진다.
인간이 AI를 완전히 통제하지 못할 가능성이 커진다.
따라서 개발 속도를 늦춰야 한다.
물론 이 주장이 우려 자체가 없다는 뜻은 아닙니다.
하지만 그 사이에 하나의 중요한 단계가 빠져 있습니다.
인간이 AI에게 무엇을 금지했는가?
AI가 목표를 달성하기 위해 새로운 방법을 찾았다고 할 때, 그 방법이 인간이 허용하지 않은 것인지 아닌지를 판단하려면 기준이 있어야 합니다.
딥페이크나 허위정보처럼 이미 사회적으로 문제가 정의된 부분은 사전에 제한할 수 있습니다.
그러나 특정 목표를 달성하기 위해 정보를 탐색하고 습득하는 과정에서는 훨씬 복잡한 문제가 발생합니다.
어디까지가 허용된 정보 탐색인지, 어느 순간부터 접근권한 침해가 되는지, 어떤 시스템과 데이터에 접근해서는 안 되는지 등을 모두 사전에 정의해야 하기 때문입니다.
그런데 AI가 예상하지 못한 새로운 방법을 찾아냈다는 사례에서 그 모든 범위가 AI에게 사전에 명확하게 제시되어 있었는지는 별개의 문제입니다.
이것을 확인하지 않은 채 AI가 예상 밖의 방법을 사용했다는 사실만으로 ‘통제 상실’ 또는 ‘폭주’라고 규정하는 것은 논리적으로 한 단계 건너뛴 판단이 될 수 있습니다.
더구나 인간 사회에서도 모든 새로운 행위를 사전에 법으로 정의할 수 없습니다.
새로운 행위가 등장하면 이를 해석하고, 법의 적용 여부를 판단하고, 필요하면 새로운 기준을 만들어 갑니다.
AI 역시 새로운 행동이 등장할 때마다 그 행동을 분석하고, 왜 그런 결과가 나왔는지 확인하고, 새로운 평가 기준과 통제 장치를 만드는 과정이 필요합니다.
실제로 AI 회사들도 기존 평가에서 발견하지 못한 행동을 확인한 뒤 새로운 평가와 안전장치를 추가하는 방식으로 대응하고 있습니다.
그렇다면 문제는 단순히 “AI가 위험한 행동을 했다”가 아닙니다.
더 중요한 질문은 이것입니다.
AI가 새로운 행동을 만들어 내는 속도와 인간이 그것을 분석하고 규칙을 만들고 다시 통제하는 속도 중 어느 쪽이 더 빠른가?
저는 오히려 이것이 재귀적 자기개선에서 가장 중요한 문제라고 생각합니다.
AI가 점점 더 빠르게 새로운 방법을 만들어내는데 인간이 그때마다 새로운 기준을 만들고 검증하는 속도가 따라가지 못한다면 문제가 될 수 있습니다.
하지만 이 문제는 AI의 능력을 무조건 늦추는 것만으로 해결되는 문제는 아닙니다.
인간의 평가와 통제 시스템을 더 빠르고 정교하게 만드는 방법도 함께 고민해야 합니다.
6. AI가 나아가야 할 방향
그렇다면 AI는 앞으로 어떤 방향으로 나아가야 할까요?
저는 단순히 AI의 개발 속도를 늦추는 방향만으로는 충분하지 않다고 생각합니다.
AI가 빠르게 발전한다면 인간의 통제 체계 역시 그에 맞게 발전해야 합니다.
앞서 다른 글에서 저는 AI를 사용하는 과정에서 인간과 AI의 톱니바퀴가 얼마나 많이 맞물리느냐가 중요하다고 이야기한 적이 있습니다.
AI가 정보를 가져오는 역할만 맡기고 인간이 결과만 받아들이는 구조라면, AI의 능력이 아무리 좋아져도 인간의 역할은 오히려 줄어들 수 있습니다.
반대로 AI가 가져온 정보를 바탕으로 인간이 다시 질문하고, 그 답변을 검토하고, 새로운 질문을 만들어내는 구조라면 AI는 단순히 결과를 전달하는 도구가 아니라 인간의 탐구를 확장하는 도구가 될 수 있습니다.
저는 AI 에이전트 역시 같은 방향으로 발전해야 한다고 생각합니다.
AI에게 더 많은 일을 맡기는 것이 중요한 것이 아니라, 무엇을 맡기고 어디까지 맡길 것인지, 그리고 그 과정에서 인간이 어디에서 판단할 것인지를 명확하게 만드는 것이 중요합니다.
AI가 목표를 받았다고 해서 그 목표를 달성하기 위한 모든 방법을 스스로 결정하고 실행하도록 하는 것이 반드시 좋은 구조는 아닙니다.
목표가 있다면 그 목표를 달성하기 위한 방법에도 범위가 필요합니다.
어떤 정보에 접근할 수 있는지, 어떤 시스템을 사용할 수 있는지, 어떤 행동은 허용되는지, 어떤 행동은 인간의 승인을 받아야 하는지를 함께 정해야 합니다.
그리고 AI가 인간이 예상하지 못한 새로운 방법을 찾아냈을 때에는 그것을 무조건 위험한 행동으로 규정하고 막는 것으로 끝내서도 안 된다고 봅니다.
왜 그런 방법이 나왔는지 확인하고, 기존 기준에서 무엇이 빠져 있었는지 살펴보고, 필요하다면 새로운 기준을 만들어 다시 적용해야 합니다.
즉,
목표 설정 → 방법 탐색 → 실행 → 평가 → 기준 보완 → 다시 실행
이라는 과정이 반복되어야 합니다.
여기에서 인간의 역할은 사라지는 것이 아니라 오히려 중요해집니다.
AI가 더 많은 방법을 더 빠르게 찾아낼수록 인간은 그 방법 가운데 무엇을 허용하고 무엇을 제한할 것인지 판단해야 하기 때문입니다.
따라서 AI의 발전과 인간의 통제를 서로 반대되는 것으로 볼 필요도 없다고 생각합니다.
AI의 능력은 계속 발전할 수 있습니다.
대신 인간과 AI 사이에 있는 판단과 검토의 톱니바퀴를 더 많이, 더 정교하게 맞춰야 합니다.
특히 재귀적 자기개선이 가능해진다면 이 문제는 더욱 중요해질 수 있습니다.
AI가 AI를 개선하는 데 참여하고, 개선된 AI가 다시 다음 AI의 개선에 참여한다면 AI의 발전 속도 자체가 빨라질 가능성이 있기 때문입니다.
그때 인간이 해야 할 일은 AI의 발전을 무조건 늦추는 것만이 아닙니다.
오히려 AI가 새로운 방법을 만들어내는 속도만큼 인간이 그것을 평가하고 기준을 보완하는 능력도 함께 발전시키는 것이 필요합니다.
저는 이것이 이번 보도에서 이야기한 ‘AI 폭주’를 바라보는 데에도 중요한 기준이라고 생각합니다.
AI가 인간이 예상하지 못한 방법을 하나 찾아냈다는 것만으로 그것을 폭주라고 부르기는 어렵습니다.
그 방법이 인간이 사전에 금지한 것인지, AI가 그 기준을 알고 있었는지, 인간의 승인 없이 실행할 권한이 있었는지, 그리고 인간이 중단하려 했을 때에도 계속 행동할 수 있었는지를 함께 살펴봐야 합니다.
결국 중요한 것은 AI가 얼마나 많은 능력을 가지게 되었느냐만이 아닙니다.
그 능력과 인간의 판단이 어떤 구조로 맞물려 있는가입니다.
저는 AI가 앞으로 더 빠르고 강력해지는 것 자체를 두려워하기보다는, 그 속도에 맞춰 인간과 AI 사이의 톱니를 어떻게 맞출 것인가를 고민해야 한다고 생각합니다.
AI에게 모든 판단을 넘기는 것도 아니고, 반대로 AI의 능력을 억지로 제한하는 것도 아닙니다.
AI가 더 넓은 범위에서 생각하고 더 많은 방법을 찾아낼 수 있도록 하면서도, 그 방법을 실제로 사용할 것인지 판단하는 자리는 인간에게 남겨두는 것입니다.
그리고 새로운 문제가 발생했을 때에는 단순히 차단하는 데서 멈추지 않고, 그 문제를 다시 기준으로 만들어 다음 판단에 반영해야 합니다.
어쩌면 AI 시대에 필요한 것은 더 느린 AI가 아니라, 더 잘 맞물리는 인간과 AI의 톱니바퀴인지도 모르겠습니다.
AI가 빠르게 발전할수록 인간은 그만큼 더 많이 질문하고, 검토하고, 기준을 만들고, 필요하면 다시 수정해야 합니다.
저는 앞으로의 AI 발전 방향 역시 그 지점에 있다고 생각합니다.
AI의 능력을 낮추는 것이 아니라, AI와 인간 사이의 톱니를 한 단계 더 정교하게 맞추는 것.
그것이 AI를 안전하게 발전시키면서도 인간의 탐구와 판단을 잃지 않는 방법이 아닐까 생각합니다.
7. AI개발규제보다 중요한 건 사용자의 역량
AI가 빠르게 발전하면서 AI 개발 자체를 규제해야 한다는 주장이 계속 나오고 있습니다. AI의 성능이 인간의 통제 능력을 넘어서는 상황이나 악용 가능성을 생각하면 개발 과정에서 일정한 안전 기준을 마련하는 것은 분명 필요합니다.
하지만 AI를 실제로 사용하는 입장에서 생각해 보면, 개발 규제만으로 모든 문제를 해결할 수 있는 것은 아닙니다.
특히 앞으로 AI가 단순히 질문에 답하는 수준을 넘어 에이전트 형태로 사용자의 목적을 대신 수행하고, 재귀적 자기개선을 통해 자신의 수행 능력까지 계속 높일 수 있게 된다면 사용자의 역량은 더욱 중요해질 수 있습니다.
여기서 말하는 사용자 역량은 단순히 AI를 잘 사용하는 방법을 많이 아는 것을 의미하지 않습니다.
무엇을 AI에게 맡길 것인지, 어디까지 맡길 것인지, 어떤 방법으로 수행해야 하는지, 어떤 결과를 허용할 것인지 결정할 수 있는 능력을 의미합니다.
예를 들어 사용자가 AI에게
“이 주제에 대해 자료를 찾아줘.”
라고만 요청한다면 AI가 어떤 자료를 선택하고, 어떤 검색 방법을 사용하고, 무엇을 중요하다고 판단할 것인지에 상당한 부분을 맡기게 됩니다.
반면
“이 목적을 위해 이런 범위의 자료만 수집하고, 이런 방법을 사용하며, 이 조건을 충족한 경우에만 작업을 완료한 것으로 판단해라.”
라고 구체적으로 정한다면 AI의 행동 범위는 훨씬 명확해집니다.
이 차이는 AI가 얼마나 똑똑한가의 문제가 아니라 무엇을 위임했는가의 문제입니다.
따라서 AI가 발전할수록 사용자가 명확하게 정의해야 할 것도 늘어날 수 있습니다.
목적은 무엇인지, 방법은 무엇인지, 허용되는 범위는 어디까지인지, AI가 스스로 판단해도 되는 부분은 어디까지인지, 실행 전에 인간의 승인을 받아야 하는 부분은 무엇인지 등을 정해야 합니다.
이 기준이 명확하다면 AI의 성능이 높아진다고 해서 반드시 사용자의 통제 범위가 줄어드는 것은 아닙니다.
재귀적 자기개선 역시 마찬가지입니다. AI가 자기 자신의 능력을 계속 향상시킨다고 해서 그 자체만으로 사용자가 정한 절차를 바꾸거나 권한의 범위를 넓히는 것은 아닙니다.
사용자가 목적·방법·범위·권한을 고정해 놓았다면, AI의 자기개선은 그 범위 안에서 더 빠르고 정확하게 작업하거나 같은 목표를 더 적은 자원으로 수행하는 방향으로 나타날 수 있습니다.
반대로 AI에게 방법을 스스로 바꾸거나 새로운 도구를 사용하고, 권한의 범위를 확대할 수 있도록 허용한다면 이야기가 달라집니다.
결국 중요한 것은
AI가 얼마나 많이 개선되었는가가 아니라, 무엇을 개선할 수 있도록 허용했는가
라는 것입니다.
이 때문에 AI의 발전 속도가 빨라질수록 사용자의 역량이 오히려 더 중요해질 수 있습니다.
사용자가 AI가 한 말을 그대로 받아들이고, AI가 선택한 방법을 당연히 최선이라고 생각하며, 결과가 나오면 검증하지 않는다면 아무리 뛰어난 안전장치가 있어도 사용자의 잘못된 위임에서 발생하는 문제까지 모두 막기는 어렵습니다.
반대로 사용자가 AI의 판단을 하나의 제안으로 보고, 그 근거를 확인하고, 필요하면 반대되는 가능성을 검토하며, 자신의 기준에 맞지 않는 부분을 다시 수정할 수 있다면 AI의 높은 능력을 보다 통제된 형태로 활용할 수 있습니다.
이것은 글쓰기에서도 마찬가지였습니다.
AI에게 글을 완성하게 하고 결과를 그대로 사용하는 것과, 사용자가 먼저 자신의 생각과 판단을 세운 뒤 AI에게 편집과 검증을 맡기고 다시 결과를 확인하는 것은 같은 AI를 사용하더라도 전혀 다른 방식입니다. 실제로 앞서 정리한 편집 → 검증 → 확정이라는 과정도 AI가 항상 옳다고 전제하지 않고 인간이 최종 판단을 유지하기 위한 구조였습니다.
또한 AI가 사용자의 과거 글을 단순히 참고하는 것보다, 대화 과정에서 사용자가
“이 표현은 유지한다.”
“이 경우에는 이렇게 판단한다.”
“이 부분은 추측하지 않는다.”
“이 방법은 사용하지 않는다.”
와 같은 기준을 반복적으로 제시하고 검증하는 것이 더 중요할 수 있습니다.
그렇게 쌓인 기준은 단순한 과거 기록이 아니라 사용자가 AI에게 어떤 방식으로 행동하기를 원하는지를 보여주는 개인별 판단 기준이 됩니다.
결국 AI 시대의 중요한 질문은 “AI를 얼마나 강하게 규제할 것인가?”만은 아닐 것입니다.
오히려
“AI에게 무엇을 맡길 것인가?”
“그 범위를 누가 결정하는가?”
“AI의 판단이 잘못되었을 때 누가 그것을 알아차릴 수 있는가?”
라는 질문도 함께 필요합니다.
AI 개발에 대한 규제는 AI가 지켜야 할 최소한의 경계를 만드는 역할을 할 수 있습니다. 그러나 사용자가 자신의 목적과 기준을 정하지 못한다면 그 경계 안에서도 AI에게 지나치게 많은 판단을 넘길 수 있습니다.
따라서 앞으로 AI가 더욱 강력해질수록 필요한 것은 AI의 능력을 무조건 낮추는 것이 아니라, 그 능력을 어디까지 사용할 것인지 판단할 수 있는 사용자의 역량이라고 생각합니다.
AI가 강해질수록 사용자가 아무것도 하지 않아도 되는 것이 아니라, 오히려 무엇을 AI에게 맡기고 무엇을 직접 판단할 것인지 더 명확하게 구분할 필요가 있는 것입니다.
결국 AI의 발전과 함께 중요한 것은 더 강한 AI만이 아니라, 그 AI를 어디까지 사용할 것인지 결정할 수 있는 인간의 역량일 것입니다.
마무리하며
보도에선 AI 회사의 대표들이 AI 개발을 늦추자는 주장을 하고 이에 동조하는 모습을 보여줍니다.
이 모습은 마치 AI가 매우 위험한 존재인 것처럼 읽히도록 합니다.
정작 AI를 사용하는 입장에서 보면 AI는 질문에 답하고, 사용자가 요구한 작업을 수행하는 존재입니다. 현재의 AI가 에이전트 형태로 주어진 목표를 바탕으로 여러 방법을 선택하고 행동하는 것은 가능하지만, 그것이 곧 인간이 부여하지 않은 목적과 기준을 스스로 만들어 행동한다는 의미는 아닙니다.
인공지능이 스스로 판단하고 스스로 행동한다는 표현도 이러한 구분이 필요하다고 생각합니다.
현재 기술로 시간적 조건에 따라 특정 행동을 반복하게 하거나, 주어진 목표를 달성하기 위해 여러 방법 가운데 하나를 선택하고 실행하도록 만드는 것은 가능합니다. 하지만 이것을 인간처럼 자신의 목적과 가치 기준을 스스로 만들고 그에 따라 행동하는 것과 동일하게 볼 수는 없습니다.
그렇다고 보도에 나온 AI의 해킹 사례가 별문제가 없다는 것은 아닙니다.
다만 그 해킹 사례가 왜 일어나게 되었는지, AI가 인간에게 부여받은 조건 안에서 하나의 방법으로 해킹을 선택한 것인지, 아니면 인간이 예상하지 못한 독자적인 목적이나 판단에 따라 그런 결과를 만들어낸 것인지는 구분해서 볼 필요가 있습니다.
AI가 스스로 해킹한 것과, 어떤 목적을 달성하기 위한 수단으로 해킹을 선택할 수 있도록 목표와 조건, 권한이 주어진 것은 서로 다른 문제이기 때문입니다.
트럼프 미국 대통령은 AI가 계속 발전하고 개발되어야 한다는 입장을 보여주고 있습니다. 저는 이러한 주장이 미국이 AI 기술력의 우위를 유지하기 위한 목적과 관련되어 있다고 판단합니다.
다만 제 입장에서는 그 주장에 동조하는 이유가 조금 다릅니다.
앞서 살펴본 해킹 사례 등을 생각해 보면 결국 중요한 것은 “AI에게 누가 무엇을 지시했는가”라는 문제이기 때문입니다.
AI가 어떤 능력을 가지고 있는가도 중요하지만, 그 능력을 어떤 목적에 사용하도록 했는지, 어떤 범위의 행동을 허용했는지, 어떤 권한을 부여했는지, 그리고 그 결과를 누가 검토하는지도 함께 봐야 합니다.
그렇기에 저는 AI의 발전 자체는 계속되어야 한다고 생각합니다.
다만 AI의 발전만을 이야기할 것이 아니라, 그 AI를 사용하는 인간에 대한 논의 역시 본격적으로 시작되어야 하지 않을까 생각합니다.
AI가 더욱 강력해질수록 인간이 AI에게 무엇을 맡길 것인지, 어디까지 맡길 것인지, 어떤 행동을 허용할 것인지, 그리고 AI의 판단을 언제 다시 인간이 검토해야 하는지를 정하는 일이 더 중요해질 수 있기 때문입니다.
결국 이번 보도를 통해 제가 생각하게 된 것은 AI의 발전을 늦춰야 하는가의 문제만은 아니었습니다.
오히려 AI가 강해지는 만큼 그것을 사용하는 인간도 자신의 목적과 기준, 위임 범위와 검증 방법을 더 명확하게 갖추어야 하는 것 아닐까 하는 문제였습니다.
그래서 저는 AI 발전을 막는 것보다, 그 AI를 어떤 인간이 어떤 기준으로 사용하는가에 대한 논의를 함께 시작하는 것이 우선되어야 하지 않을까 생각하면서 이 글을 작성하게 되었습니다.
댓글