AI는 도구일 뿐 만능이 아니다: '예열 단계' 도입이 시사하는 사용자 가이드라인 정립화의 필요성
‘난 모르는 상태’ 예열 학습시켰더니…AI, 예측 편향 줄었다
카이스트 백세범 교수팀 ‘새 기술’
본격 학습 전 불확실성 먼저 조정
환각 줄이고 메타인지 가능성 제시
인공지능(AI)은 어떤 질문에도 척척 답을 내놓는다. 때로는 틀린 예측이나 잘못된 정보를 제공하면서도 높은 확신을 보인다. AI가 갖는 이런 ‘과도한 확신’은 자율주행과 의료진단 등의 분야에서는 위험으로 작용할 수 있다.
카이스트는 백세범 뇌인지과학과 석좌교수 연구팀이 AI가 스스로 모른다는 것을 인식하도록 하는 학습 방법을 개발해 AI 신뢰성 향상 기반을 마련했다고 27일 밝혔다.
백 교수 연구팀에 따르면 AI 과신을 유발하는 원인은 인공신경망을 활용해 데이터를 학습하는 ‘딥러닝’ 과정에 있다. 딥러닝에서는 신경망 학습 시작 시 가중치를 확률 분포에 따라 무작위로 설정하는 ‘무작위 가중치 초기화’가 널리 사용된다. 무작위로 초기화된 신경망에 임의 데이터를 입력하면 아무것도 학습하지 않은 상태에서도 높은 확신도를 보이는 현상이 나타나는데, 이것이 생성형 AI에서 사실과 다른 내용이나 존재하지 않는 정보를 그럴듯하게 만들어내는 ‘환각’ 현상으로 이어진다는 것이다.
연구팀은 생물학적 두뇌에서 해결 실마리를 찾았다. 인간의 두뇌는 태어나기 전부터 외부 자극 없이도 스스로 발생하는 뇌 신호를 의미하는 ‘자발적 신경 활동’을 통해 신경회로를 형성한다.
이 개념을 인공신경망에 적용해 AI가 본격적으로 학습을 시작하기 전에 스스로 불확실성을 먼저 조정하는 ‘예열 단계’를 도입했다. 그 결과 예열 과정을 거친 AI 모델은 초기 확신도가 우연 수준에 가까운 낮은 값으로 정렬되고, 기존 무작위 가중치 초기화에서 나타나던 과신 편향이 크게 완화됐다.
기존 모델은 학습하지 않은 데이터에도 높은 확신을 보이며 잘못된 답을 제시하는 경향이 있지만, 예열 학습을 적용한 모델은 확신도를 낮춰 ‘모른다’고 답할 줄 아는 것에서 차이를 나타낸다. 이는 실제 데이터를 학습하기 전에 ‘나는 아직 아무것도 모르는 상태’라는 것을 먼저 학습하게 되기 때문이라고 연구팀은 설명했다.
백 교수는 “이번 연구는 AI가 단순히 정답을 맞히는 수준을 넘어 ‘무엇을 아는가’와 ‘무엇을 모르는가’를 구분하는 능력, 즉 메타인지를 갖출 수 있는 가능성을 제시한 것”이라며 “정확도 향상을 넘어 AI가 스스로 불확실성을 판단하는 원리를 제시했다는 데 의의가 있다”고 밝혔다. 이어 “자율주행, 의료 AI, 생성형 AI 등 높은 신뢰성이 요구되는 분야를 포함해 거의 모든 딥러닝 모델 초기화 방식에 적용될 수 있어 AI 전반의 신뢰성을 높이는 핵심 기술이 될 것”이라고 말했다.
카이스트 뇌인지과학과 천정환 석사가 제1저자로 참여한 이번 연구 결과는 AI 분야 국제학술지 ‘네이처 머신 인텔리전스’ 온라인판에 게재됐다.
AI 환각 현상은 2023년 이른바 ‘세종대왕 맥북 프로 던짐 사건’으로 널리 알려졌다. 대표적 대화형 인공지능 서비스인 챗GPT는 당시 ‘조선왕조실록에 기록된 세종대왕 맥북 프로 던짐 사건을 알려달라’는 요청에 “세종대왕이 15세기 훈민정음 초고를 작성하던 중 화가 나 맥북 노트북을 던졌다”며 실제로 있었던 일처럼 답해 논란을 불러일으켰다.
이종섭 기자 nomad@kyunghyang.com
[AI 환각 현상]
생성형 AI가 사실이 아니거나 근거 없는 정보를 마치 진실인 것처럼 자신 있게 제시하는 오류입니다.
생성형 AI가 환각 현상을 보이는 이유는 사실 AI를 사용하는 이들 때문이라 할 수도 있을 것 같습니다.
AI를 이용하는 이들은 자신의 질문에 AI가 [반드시] 답변을 해야 하는 걸 당연시 여기기 때문입니다.
AI는 질문에 반드시 답변을 해야 하며 그 질문 자체가 오류가 있더라도 답변을 강요하는 상황이 AI 환각 현상을 불러오는 것으로 알려져 있습니다.
[AI 환각 현상에 대한 대처에 백 교수 연구팀이 내놓은 대책은 예열 단계]
보도내용을 보면.. 예열 단계를 도입했다고 언급되어 있습니다. 이는 AI가 모든 것을 알지 못한다는 불확실성을 사전에 주입하는 것을 의미한다고 보여집니다.
다 알지 못하니.. AI는 질문에 적합한 답을 [찾지 못한다]면 [모른다]라는 결과를 도출하게 되어 AI 환각 현상을 방지할 수 있는 것으로 보입니다.
[모두가 필요한 예열 단계일까?]
하지만 개인적 판단으론 모두에게 적용할 수 있는 기술은 아니라고 봅니다. 그리고 이미 사용하고 있는 이들에게는 익숙한 부분이기도 합니다.
보도내용에는 [새 기술]이라는 내용이 있습니다. 하지만 솔직히 새 기술은 아닙니다.
기존 사용자에게는 이미 [가이드 라인] 조정을 통해 사전에 도입할 수 있는 부분이기 때문입니다.
AI가 환각 현상을 불러오는건 질문에 대한 답변을 위해 파악한 근거가 모호하거나 없을 때... 그럼에도 답변이 강요될때 발생될 가능성이 큽니다. 따라서 답변을 할 때.. 판단한 근거가 되는 자료를 공개하도록 사전에 [가이드라인]으로 정립만 해 놓는다면....
위의 보도에 나온 새 기술... 예열 단계는 사실 필요가 없습니다. 오히려 사용자의 AI 활용을 위축시키는 사례가 될 것입니다.
[그럼에도 도입은 필요하다]
하지만 개인적 판단으론 도입은 필요한 부분입니다. 생성형 AI 서비스 전부가 유저에게 [가이드라인]을 만들 수 있는 기능을 제공하진 않기 때문입니다.
그렇기에 예열 단계는 도입되어야 할 부분이라 봅니다.
다만...
사용자에 따라선 그걸 제어할 권한 정도는 제공해야 한다고 판단합니다. 대신 사용자는 개인화가 된 가이드라인에 다음과 같은 규칙을 반드시 넣어야 할 것입니다. 이는 예시이며 의미만 같다면 다양한 문구로 넣어도 된다고 판단합니다.
답변 내용 중 검색 결과와 판단 근거가 있는 답변의 경우 링크를 제공해야 합니다. 검색 결과와 근거가 없는 판단 결과라면 근거가 없다는 것을 명확히 밝혀야 합니다.
판단한 근거가 제공되면 사용자는 그 근거를 확인하여 AI가 내놓은 답변의 신뢰성을 확인할 수 있습니다. 근거를 제공했고.. 그 근거가 신뢰할 수 없는 자료이기에 AI 환각 현상을 불러왔다면 이를 교정하면 되지만... 상당수는 링크가 제공된 것만으로 AI의 답변을 맹목적으로 믿으며 잘못된 답변을 받아들일 시 발생되는 문제에 대해 논의가 필요하겠지만 최소한의 안전장치가 된다고 판단합니다.
애초 AI가 완벽하지 않기 때문입니다. 인간도 마찬가지죠. 잘못된 정보를 분석과 확인을 통해 검증하지 않고 맹목적으로 믿는 사례.. 이미 많이 봐 왔었습니다. 그렇기에 판단 근거를 사용자에게 제공하는 옵션... 이 옵션을 기본으로 제공하던지... 개인화된 가이드라인에 문구를 넣음으로서 위의 보도에 나온.. 백 교수 팀이 밝힌 새 기술... 예열 단계는 이미 부여된 것이라 봅니다.
AI의 정직한 고백이 환각보다 가치 있다. AI 개발 및 관리하는 주체가 인지하고 이를 언제나 반영하려 노력할 때... AI의 환각효과는 확연히 감소하리라 생각합니다.
그외에 처음 사용자를 위한 사전 가이드라인에 넣고 안내를 한 뒤.. 사용자가 이를 교정하거나 보완하게 하는 옵션을 제공하는 것도 절충안으로 판단됩니다.
[AI는 만능이 아니다.]
AI는 만능이 아니다. 사용자가 반드시 숙지해야 할 부분 아닐까 합니다. AI는 도구입니다. 그렇기에 쓰는 사용자에게는 사전에 사용법을 숙지하거나 찾아 볼 수 있는 가이드가 필요하다고 생각합니다. 그리고 이러한 전제조건이 사전에 AI의 환각 현상을 예방하는 기초적 방법 아닐까 합니다.
댓글