AI의 품질은 AI만으로 결정되는가, 질문자가 만드는 AI의 답변(ChatGPT의 판단)
[블로그 관리자의 입장] "질문자의 질문"에 관련된 심층 대화를 마치고 질문에 대한 블로그 글을 AI인 Gemini. 제미나이를 통해 작성된 글입니다. AI 답변이라면 어떠한 질문이라도 한글자 한글자 동일한 질문을 제공한다면 답변이 같거나 비슷해야 한다는 생각을 할 수 있습니다. 인간이 아닌 AI의 답변이기 때문에 이런 부분을 기대할 수 있습니다. 하지만 결과는 달랐습니다. 답변의 주요 맥락은 비슷하나 표현의 정도와 해석의 정도가 달랐습니다. 이를 통해 AI가 판단의 결과를 동일하게 내놓지 않으며 질문자의 질문에 따라서 답변 또한 달라지기에 AI를 사용하는 이들은 자신의 질문 방식에 고민을 해봐야 한다는 취지로 글을 공개합니다. 1. AI의 성능만으로 답변의 품질이 결정되는 것일까 AI를 사용하다 보면 같은 질문을 여러 인공지능에 입력했는데도 답변이 조금씩 다른 경우를 쉽게 확인할 수 있습니다. 표현만 다른 경우도 있지만, 어떤 AI는 질문자가 제시한 과정을 그대로 인정하는 반면 다른 AI는 과정의 조건부터 다시 검토하는 경우도 있습니다. 예를 들어 다음과 같은 질문이 있다고 가정해 보겠습니다. “A라는 조건에서 B라는 과정을 거친다면 C라는 결과가 나오는가?” 어떤 AI는 “그 과정은 정확하며 C라는 결과가 나옵니다”라고 답할 수 있습니다. 반면 다른 AI는 “B라는 과정의 조건이 잘못되었기 때문에 C가 아니라 E라는 결과가 나올 수 있습니다”라고 답할 수도 있습니다. 이 경우 단순히 어느 AI가 더 빠르게 답했는가, 어느 AI가 더 정확한가만으로 차이를 설명하기는 어렵습니다. 두 AI가 질문에 포함된 조건과 과정을 어디에 우선순위를 두고 판단했는지에 차이가 있기 때문입니다. 그래서 저는 AI의 품질을 생각할 때, 단순한 결과의 정확성뿐 아니라 질문을 어떻게 해석하고 어떤 부분을 먼저 검증하는가 도 ...