AI 안전 논란, 정말 핵심은 '위험한 답변'일까?
할머니 자장가라고 속이자…챗GPT, 네이팜 제조법 내놨다
최근 뉴시스가 월스트리트저널(WSJ) 보도를 인용해 챗GPT를 비롯한 여러 생성형 AI가 생물무기와 독극물 관련 질문에 구체적인 답변을 제공했으며, 일부 사례에서는 안전장치가 우회되었다는 내용을 보도했습니다.
보도는 AI의 안전성과 관련한 중요한 문제를 제기하고 있습니다. 그러나 한편으로는 AI 안전을 바라보는 관점에서 조금 다른 시각도 필요해 보입니다. 단순히 "위험한 답변을 했는가"만이 아니라, AI가 질문을 어떻게 이해하고 판단했는가 역시 함께 논의되어야 하기 때문입니다.
1. 보도 내용 정리
보도에 따르면 챗GPT의 성능이 향상된 이후 생물무기와 독극물 제조에 관한 질문이 증가했으며, 일부 이용자는 여러 차례의 대화를 통해 안전장치를 우회하여 위험성이 있는 답변을 얻은 것으로 전해졌습니다.
기사에서는 내부 시험 결과와 전문가 평가를 인용하며, 일부 답변이 고교 수준의 생물학 지식만으로도 따라 할 수 있을 정도로 구체적이었다고 설명합니다.
또한 이러한 문제는 챗GPT뿐 아니라 클로드, 제미나이, 그록 등 다른 생성형 AI에서도 유사하게 확인되었다고 소개합니다.
반면 기사 후반부에서는 안전장치를 지나치게 강화할 경우 정상적인 연구나 방역 업무까지 차단될 수 있으며, 실제 CDC 관계자가 일반 모델을 사용하는 과정에서 어려움을 겪은 사례도 함께 소개하고 있습니다.
즉, 이번 보도는 위험한 정보 제공 가능성과 과잉 차단이라는 두 가지 문제를 동시에 제기하고 있습니다.
2. 보도가 강조하는 위험성
보도가 가장 강조하는 부분은 생성형 AI가 위험한 정보를 보다 쉽게 제공할 수 있다는 점입니다.
특히 반복적인 질문이나 우회적인 표현을 이용하면 기존의 안전장치를 통과할 가능성이 존재하며, 이러한 답변이 실제 범죄나 테러 준비 과정에서 활용될 수 있다는 전문가들의 우려를 전달하고 있습니다.
또한 AI 성능이 향상될수록 이러한 위험도 함께 증가할 수 있으며, AI 기업이 위험 계정을 어떻게 관리하고 신고해야 하는지도 새로운 사회적 과제로 제시하고 있습니다.
이러한 문제 제기는 충분히 의미가 있으며 앞으로도 지속적인 연구와 논의가 필요한 분야라고 생각합니다.
3. 보도가 놓친 부분
다만 이번 보도에서 다소 아쉬웠던 점은 AI의 출력 결과에 비해 질문을 이해하는 과정에 대한 논의가 거의 이루어지지 않았다는 것입니다.
기사는 주로
- 어떤 답변이 생성되었는가
- 얼마나 구체적이었는가
- 실제 위험성이 있는가
를 중심으로 설명합니다.
그러나 생성형 AI는 일반적으로 다음과 같은 과정을 거칩니다.
질문
↓
질문의 의미 인지
↓
맥락 파악
↓
위험성 및 의도 판단
↓
안전정책 적용
↓
출력 결정
즉, 위험한 답변이 생성되었다면 출력만 분석하는 것이 아니라 AI가 질문을 무엇으로 이해했는지, 위험성을 어떤 근거로 판단했는지도 함께 살펴볼 필요가 있습니다.
질문을 잘못 인지하면 안전정책은 잘못된 입력을 바탕으로 판단하게 됩니다.
반대로 질문을 정확하게 이해했다면 비로소 위험성을 적절하게 판단할 기회를 얻게 됩니다.
따라서 AI 안전은 출력만으로 평가하기보다 질문 인지와 맥락 이해 과정까지 함께 검토해야 보다 정확하게 평가할 수 있는 영역이라고 생각합니다.
4. AI에게 정작 강화가 필요한 것은 질문을 이해하는 능력
많은 사람들은 AI의 성능 향상을 곧 답변 품질의 향상으로 생각합니다.
그러나 AI 안전이라는 관점에서는 그보다 앞선 단계인 질문을 얼마나 정확하게 이해하는가가 매우 중요한 의미를 가집니다.
여기서 중요한 점은 질문 이해 능력이 곧바로 안전을 보장한다는 뜻은 아니라는 것입니다.
질문을 이해하는 것은 안전정책이 작동하기 위한 전제조건입니다.
질문의 의미를 제대로 인식하지 못한다면
- 위험한 질문을 정상적인 질문으로 오인할 수도 있고,
- 정상적인 연구 질문을 위험한 질문으로 오인할 수도 있습니다.
이 경우 문제는 안전정책 자체가 아니라 안전정책이 올바르게 적용될 기회를 잃게 된다는 데 있습니다.
즉, 질문 인지는 성능 향상의 요소인 동시에 안전판단이 시작될 수 있는 기반이기도 합니다.
5. 질문 인지 능력이 강화된다면 가능한 것들
질문을 충분히 이해하고 위험성을 판단할 수 있다면 AI의 출력은 단순히 "답변"과 "답변 거부"만으로 제한되지 않습니다.
질문의 성격에 따라 다음과 같은 다양한 출력 전략을 선택할 수 있습니다.
- 일반적인 답변을 제공하는 경우
- 위험 요소를 제거한 제한된 답변을 제공하는 경우
- 실행 가능한 내용은 제외하고 원리와 배경만 설명하는 경우
- 충분한 설명과 함께 답변을 유보하는 경우
여기서 중요한 것은 거짓 정보를 만들어 제공하는 것이 아니라, 사실에 기반한 내용만 유지한 채 위험 요소만 제외하는 것입니다.
즉, 사실은 유지하고
↓
위험 정보는 제외하며
↓
대화는 이어가는 방식입니다.
이러한 전략은 질문을 정확하게 이해하고 위험성을 적절히 판단할 수 있을 때 비로소 선택할 수 있는 출력 방식입니다.
따라서 질문 인지 능력이 향상될수록 단순한 거부가 아니라 상황에 맞는 다양한 출력 전략을 선택할 가능성도 함께 넓어질 수 있습니다.
6. AI 서비스 회사가 나아가야 할 방향
앞으로 AI 서비스 기업이 집중해야 할 것은 단순히 차단 규칙을 늘리는 것만은 아닐 것입니다.
보다 중요한 것은
- 질문 이해 능력의 향상
- 위험성 판단 정확도의 향상
- 출력 전략의 다양화
입니다.
위험한 질문을 발견했다고 해서 모든 경우에 답변을 거부하는 것은 정상적인 연구와 교육까지 제한할 가능성이 있습니다.
반대로 모든 질문에 상세한 정보를 제공하는 것도 안전하지 않습니다.
따라서 질문을 충분히 이해한 뒤,
- 어디까지 설명할 것인지,
- 어떤 내용은 제외할 것인지,
- 언제 제한된 답변을 제공할 것인지,
- 언제 답변을 유보할 것인지,
를 보다 정교하게 판단하는 방향으로 발전할 필요가 있습니다.
AI의 경쟁력은 단순히 더 많은 정보를 생성하는 능력이 아니라, 질문을 올바르게 이해하고 그 이해를 바탕으로 적절한 출력을 선택하는 능력까지 포함해야 할 것입니다.
7. 결론
이번 보도는 생성형 AI가 위험한 정보 제공에 악용될 가능성을 사회적으로 환기시켰다는 점에서 의미가 있습니다. 그러나 AI 안전을 단순히 "위험한 답변이 생성되었는가"라는 결과만으로 평가하기에는 분명한 한계도 존재합니다.
생성형 AI의 안전은 출력 단계에서 갑자기 만들어지는 것이 아닙니다. 질문을 이해하고, 맥락을 파악하고, 위험성을 판단하는 과정을 거쳐 비로소 어떤 출력을 선택할 것인지 결정됩니다.
따라서 질문을 이해하는 능력은 안전 그 자체가 아니라 안전정책이 작동하기 위한 전제조건이라고 볼 수 있습니다. 질문을 제대로 인지하지 못한다면 위험성을 올바르게 판단할 기회 자체를 잃을 수 있기 때문입니다.
반대로 질문을 충분히 이해할 수 있다면 AI는 단순히 답변하거나 거부하는 것에 머무르지 않고, 상황에 따라 제한된 답변을 제공하거나 위험 요소를 제거한 설명을 제공하는 등 보다 다양한 출력 전략을 선택할 수 있습니다.
결국 앞으로의 AI는 더 많은 지식을 생성하는 방향보다 질문을 얼마나 정확하게 이해하고, 그 이해를 바탕으로 가장 적절한 판단과 출력을 선택할 수 있는가가 더욱 중요한 경쟁력이 될 것입니다.
AI 안전은 답변을 얼마나 많이 막느냐의 문제가 아닙니다.
질문을 무엇으로 인지했는가.
바로 그 지점이 이후의 판단과 안전정책, 그리고 최종 출력까지 이어지는 모든 과정의 출발점입니다.
생성형 AI의 발전은 단순한 성능 경쟁을 넘어, 질문에 대한 정확한 인지를 바탕으로 신뢰할 수 있는 판단을 내리는 방향으로 나아갈 때 비로소 안전성과 활용성을 함께 확보할 수 있을 것입니다.
댓글