에이전트 메모리, AI가 기억하는 것보다 중요한 것은?
[테크톡노트] 내 취향 기억하는 AI…'에이전트 메모리'란
최근 AI가 질문에 답하는 수준을 넘어 사용자를 대신해 항공권이나 숙소를 예약하고, 자료를 수집하고, 업무를 수행하는 AI 에이전트로 발전하면서 ‘기억’의 중요성도 함께 커지고 있습니다.
연합뉴스에서는 「[테크톡노트] 내 취향 기억하는 AI…'에이전트 메모리'란」이라는 제목의 기사를 통해 이러한 에이전트 메모리의 개념을 설명했습니다.
보도에서는 사용자의 과거 선호나 서비스 이용 맥락을 저장해 다음 작업에 활용하는 기능을 중심으로 설명하고 있습니다. 예를 들어 과거 여행에서 아침 비행기와 복도 좌석을 선호했다는 정보가 저장되어 있다면 다음 여행에서 별도의 설명 없이 이를 반영할 수 있다는 것입니다.
개념 자체는 어렵지 않습니다.
그런데 저는 이 보도를 보면서 오히려 다른 부분이 궁금해졌습니다.
AI가 과거의 정보를 기억한다고 할 때 도대체 무엇을 기억해야 하는 것일까요?
그리고 AI가 스스로 기억할 내용을 선별한다면 어떤 기준으로 그것을 판단해야 할까요?
과거의 행동이 반복되었다고 해서 그것이 정말 사용자의 선호인지, 아니면 특정 상황에서만 발생한 일인지 어떻게 구분할 수 있을까요?
기억을 만들었다면 언제 다시 확인하고, 잘못되었다면 언제 버려야 할까요?
이번 글에서는 보도 내용을 정리하면서 이러한 부분까지 함께 생각해 보겠습니다.
1. 보도내용 정리
이번 보도는 사용자의 과거 정보와 선호를 저장하고 이후 AI 에이전트의 작업에 다시 활용하는 ‘에이전트 메모리’를 소개하고 있습니다.
일반적인 챗봇은 현재 대화의 맥락을 바탕으로 답변하지만, 여러 작업을 장기간 수행하는 AI 에이전트라면 현재 대화에 들어 있는 정보만으로는 부족할 수 있습니다.
예를 들어 여행 예약을 맡은 AI 에이전트가 사용자의 여행 날짜와 예산을 알고 있다면 그 조건에 맞춰 항공편과 숙소를 찾을 수 있습니다.
여기에 과거 여행에서 사용자가 아침 비행기와 복도 좌석을 선호했다는 정보까지 저장되어 있다면 다음 여행에서는 별도의 설명 없이 이 선호를 반영할 수 있습니다.
보도에서는 이러한 방식으로 여러 대화와 작업에서 얻은 정보 중 앞으로 활용할 정보를 저장하고 다시 사용하는 것을 에이전트 메모리라고 설명합니다.
또한 대화 기록 전체를 그대로 장기간 저장하는 것과 개인화에 필요한 정보를 별도로 선별하는 것도 구분합니다.
중요한 것은 많이 기억하는 것이 아니라 무엇을 기억할 것인지라는 것입니다.
사용자의 항공사 선호가 바뀌었다면 기존 정보를 수정하거나 폐기해야 하고, 기업용 에이전트라면 내부 문서나 업무 기록까지 메모리에 포함될 수 있기 때문에 정보의 최신성, 출처, 접근권한, 개인정보와 보안까지 함께 관리해야 한다고 설명합니다.
보도에서는 이와 함께 ‘컨텍스트 엔지니어링’도 소개합니다.
컨텍스트 엔지니어링이 현재 작업을 수행하기 위해 필요한 정보와 지시사항을 선별하고 구성하는 것이라면, 에이전트 메모리는 여러 작업과 세션에 걸쳐 다시 활용할 정보를 축적하고 관리하는 데 초점이 있다는 설명입니다.
쉽게 말하면 컨텍스트는 “지금 이 일을 하기 위해 무엇을 알려줄 것인가”, 메모리는 “다음에도 활용할 무엇을 기억해둘 것인가”에 가깝다는 것입니다.
결국 보도에서 설명하는 에이전트 메모리는 AI에게 사람과 같은 기억력을 주는 기술이라기보다, 과거의 정보를 현재와 미래의 작업에 연결하기 위한 시스템에 가깝다고 정리할 수 있습니다.
2. 보도에서 언급한 에이전트 메모리란
에이전트 메모리를 조금 더 구체적으로 생각해 보면 단순히 과거 대화를 저장하는 기능과는 차이가 있습니다.
핵심은 과거의 모든 정보를 그대로 보관하는 것이 아니라 미래의 작업에 활용할 가치가 있는 정보를 선별하는 것입니다.
실제 에이전트 메모리 시스템도 과거 실행에서 얻은 사용자 선호, 작업 과정의 교훈, 수정사항, 작업 요약 등을 추려 미래 실행에서 재사용하는 구조를 사용합니다. OpenAI의 Agents SDK에서도 에이전트 메모리를 대화형 세션 기록과 별도로 두고, 과거 실행에서 얻은 교훈을 메모리로 정리해 이후 작업에서 활용하는 구조를 설명합니다. 메모리가 오래될 경우 현재 환경에 맞춰 갱신할 수도 있도록 설계되어 있습니다.
Google의 Memory Bank 역시 모든 상호작용을 무조건 장기 기억으로 남기는 것이 아니라, 미래 상호작용에 가치가 있다고 판단되는 사용자 정보와 선호, 중요한 대화 사건, 명시적인 기억 요청 등을 선별해 저장하는 방식으로 설명합니다.
이것을 단순하게 표현하면 다음과 같습니다.
대화와 작업 발생 → 유용한 정보 추출 → 기억으로 저장 → 다음 작업에서 검색·참조 → 현재 상황에 맞게 활용
그런데 이 과정을 자세히 들여다보면 중요한 문제가 하나 생깁니다.
‘유용하다’는 기준을 누가 정하는가?
그리고 그 기준이 정확해야 합니다.
에이전트 메모리는 단순한 저장장치가 아니라 정보를 선별하고 의미를 부여하는 시스템이기 때문입니다.
그래서 저장 공간을 얼마나 크게 만드는가만으로 문제를 해결할 수는 없습니다.
오히려 어떤 정보를 저장했고, 그것이 어떤 의미이며, 언제까지 유효한지를 관리하는 것이 더 중요합니다.
3. 낯설지 않은 에이전트 메모리
저는 이번 보도를 보면서 에이전트 메모리라는 개념이 아주 낯설지는 않았습니다.
그렇다고 연합뉴스에서 설명한 에이전트 메모리를 이미 사용하고 있었다는 의미는 아닙니다.
제가 익숙하게 느낀 것은 AI가 사용자에 대한 정보나 이전의 맥락을 다음 작업에 다시 반영하는 기능 자체였습니다.
현재 ChatGPT에도 사용자가 직접 제공하는 맞춤 지침과 별도의 메모리 기능이 존재합니다. 맞춤 지침은 사용자가 AI의 응답에 고려되기를 원하는 사항을 직접 입력하는 기능이고, 메모리는 과거 대화에서 유용한 정보를 이후 개인화에 활용하는 별도의 기능입니다.
예를 들어 어떤 작업이 끝난 뒤 사용자가
“이번 작업에서 사용한 절차를 앞으로도 기억해 주세요.”
라고 요구한다면, 이후 AI가 그 절차를 다음 작업에 다시 활용할 수 있습니다.
이것은 보도에서 설명하는 에이전트 메모리와 상당히 비슷한 구조입니다.
과거 작업에서 얻은 정보를 미래 작업에 다시 활용한다는 점이 같기 때문입니다.
다만 차이도 있습니다.
사용자가 직접
“이것은 기억해 주세요.”
라고 지정하는 경우에는 무엇을 기억할지 인간이 결정합니다.
반면 AI가 여러 대화에서 반복되는 패턴을 보고 스스로 메모리를 만든다면 무엇을 기억해야 하는지를 AI가 판단해야 합니다.
저는 바로 여기에서 에이전트 메모리의 진짜 어려움이 시작된다고 생각합니다.
사용자가 직접 입력한 지침이라면 적어도 “왜 이것을 기억하게 했는가”라는 의도를 확인할 수 있습니다.
하지만 AI가 스스로 기억을 만들 경우에는 반복된 행동이 정말 사용자의 장기적인 선호인지, 특정 상황에서만 나타난 행동인지, 아니면 더 높은 수준의 목적을 수행하기 위한 일시적인 수단인지 구분해야 합니다.
즉 에이전트 메모리는 단순한 기억보다 개인화된 맥락을 어떻게 해석하느냐의 문제이기도 합니다.
4. 에이전트 메모리에 저장되는 정보의 한계
에이전트가 스스로 기억할 내용을 선별한다고 생각해 보면 몇 가지 한계가 바로 나타납니다.
가장 먼저 생각할 수 있는 것은 반복되는 행동과 실제 목적이 다를 수 있다는 점입니다.
예를 들어 여러 언론사의 보도를 수집해 정리하는 AI 에이전트를 사용한다고 가정해 보겠습니다.
어떤 작업에서는 국방 관련 외국의 무기 정보를 수집하고, 다른 작업에서는 무역 관련 수출품을 수집하며, 또 다른 작업에서는 외교와 관련된 특정 국가 정치인의 발언을 수집할 수 있습니다.
AI가 반복되는 패턴만 본다면 이렇게 판단할 수도 있습니다.
사용자는 무기에 관심이 있다.
사용자는 수출품에 관심이 있다.
사용자는 외국 정치인의 발언에 관심이 있다.
그런데 사용자의 원래 목적은 전혀 다른 것일 수 있습니다.
자신이 속한 국가와 관련된 해외 사례를 여러 분야에서 지속적으로 수집하는 것
일 수도 있습니다.
이 경우 AI가 저장해야 할 것은 개별 분야 자체가 아니라 그 분야들을 묶어주는 상위 목적입니다.
따라서
무엇을 했는가?
와
왜 그것을 했는가?
를 구분해야 합니다.
또 다른 문제는 여행 사례에서도 나타납니다.
사용자가 과거에 아침 비행기를 반복해서 선택했다고 해서 그것이 영구적인 선호라고 단정할 수 있을까요?
한 번 저녁 비행기를 선택했다고 해서 곧바로 기존 선호를 폐기해야 할까요?
둘 다 문제가 될 수 있습니다.
저녁 비행기를 선택한 이유가 단순히 그날의 일정 때문이었다면 기존의 선호를 폐기하는 것은 잘못된 판단입니다.
반대로 사용자가 실제로 선호를 바꿨는데도 과거 기록을 계속 유지한다면 오래된 기억이 현재 판단을 방해하게 됩니다.
그래서 에이전트 메모리에는 저장 기준뿐 아니라 갱신 기준도 필요합니다.
예를 들어
사용자의 명시적인 변경 → 즉시 갱신
반복되는 새로운 행동 → 변경 후보로 검토
일시적인 예외 가능성 → 기존 기억을 바로 폐기하지 않고 보류
오래 사용되지 않은 정보 → 유효성 재검토
같은 방식이 필요할 수 있습니다.
실제 에이전트 메모리 시스템에서도 메모리가 오래되어 현재 상황과 맞지 않을 수 있다는 점을 고려해, 기억을 단순한 사실이 아니라 참고용 정보로 취급하고 필요하면 갱신하도록 설계하고 있습니다. 또한 너무 많은 원시 메모리가 쌓이면 최신 기억을 중심으로 통합하는 방식도 사용됩니다.
결국 중요한 것은 단순히
저장 → 삭제
가 아닙니다.
저장 → 적용 → 새로운 행동 관찰 → 충돌 확인 → 예외인지 변경인지 판단 → 유지·수정·폐기
라는 기억의 생명주기가 필요합니다.
그리고 저는 이 과정에서 또 하나의 문제가 생긴다고 봅니다.
AI가 저장한 기억 자체가 왜 저장되었는지를 설명할 수 있어야 한다는 것입니다.
예를 들어
“사용자는 이 공항을 선호한다.”
만 저장하는 것보다
“이 공항을 세 차례 이용했지만 모두 현지 관계자를 만나기 위한 일정이었다. 일반적인 공항 선호로 취급하지 말 것.”
이라고 기록하는 것이 훨씬 안전합니다.
기억의 내용뿐 아니라 기억의 이유와 적용 범위가 함께 필요하기 때문입니다.
5. 보도에서 언급된 에이전트 메모리에 보완되어야 할 부분
이번 보도는 에이전트 메모리를 이해하기 쉽게 설명하고 있습니다.
하지만 지금까지 내용을 대입해 보면 몇 가지가 더 설명될 필요가 있다고 생각합니다.
첫 번째는 저장 기준입니다.
무엇을 기억할지를 결정할 때 단순 반복 횟수만으로 판단해서는 안 됩니다.
반복된 행동이 장기적인 선호인지, 특정 상황에서만 발생한 것인지, 더 큰 목적을 수행하기 위한 일시적인 수단인지를 구분해야 합니다.
두 번째는 상위 목적입니다.
사용자가 여러 가지 다른 작업을 반복한다고 해서 그 각각을 별개의 관심사로 저장하는 것보다, 여러 작업을 만들어낸 공통 목적을 파악하는 것이 더 중요할 수 있습니다.
세 번째는 갱신 주기와 조건입니다.
보도에서는 잘못되거나 오래된 정보를 수정하거나 폐기해야 한다고 설명합니다. 하지만 실제로는 “언제 변경된 것으로 판단할 것인가”가 중요합니다.
네 번째는 현재 컨텍스트와 장기 메모리의 구분입니다.
이번 여행의 목적처럼 특정 상황에서만 필요한 정보와 장기적으로 유지할 사용자 선호는 같은 방식으로 저장해서는 안 됩니다.
장기 메모리에 들어간 정보도 실제 작업에서는 현재 상황에 필요한 부분만 다시 컨텍스트로 구성해 사용해야 합니다. 실제 에이전트 시스템에서도 메모리 전체를 한꺼번에 넣기보다 요약과 검색을 통해 필요한 기억을 점진적으로 가져오는 방식이 사용됩니다.
다섯 번째는 외부 행동에 대한 승인입니다.
AI가 과거 기억을 이용해 항공편과 숙소를 찾는 것과 실제로 예약을 확정하는 것은 다른 문제입니다.
예를 들어 사용자가 여행을 간다는 사실만으로 항상 숙소가 필요한 것은 아닙니다. 현지 관계자가 숙소를 마련했을 수도 있고, 일정의 목적에 따라 목적지와 다른 공항을 이용하는 것이 더 적절할 수도 있습니다.
따라서 AI가 기억을 이용해 후보를 만들고 판단을 보조하더라도, 중요한 외부 행동에서는 인간의 확인과 승인이 필요할 수 있습니다.
여기에 앞으로는 상업적 이해관계가 개입될 가능성도 생각할 필요가 있습니다.
예를 들어 AI 에이전트가 항공권과 숙소를 대신 찾아준다고 해서 AI가 인터넷에 공개된 모든 항공사와 숙소를 같은 수준에서 검토한다고 자동으로 볼 수는 없습니다.
현재 AI 기반 여행 서비스 시장에서도 여러 여행 사이트와 항공사·숙박업체의 데이터를 연결하거나 예약 링크를 제공하는 구조가 존재하며, 일부 서비스는 예약에서 발생하는 제휴 수수료 관계를 공개하고 있습니다. Google 역시 AI 검색에서 여러 항공사와 여행 사이트의 정보를 이용해 항공편과 호텔을 비교하고 예약할 수 있는 기능을 제공하고 있습니다.
물론 이러한 제휴가 존재한다는 사실만으로 AI가 특정 업체를 의도적으로 우선 노출한다고 단정할 수는 없습니다.
하지만 향후 AI 에이전트가 실제 예약까지 수행하는 구조라면, 사용자는 AI가 제시한 결과가 무조건 중립적인 검색 결과라고 가정해서는 안 될 가능성도 생각해 볼 필요가 있습니다.
특정 업체와의 제휴, 제휴 수수료, 서비스 노출 정책, 데이터 접근 범위 등에 따라 결과에 영향을 줄 수 있는 설계가 존재할 수 있기 때문입니다.
따라서 AI가 추천한 항공사나 숙소가 실제로 자신의 목적과 조건에 가장 적절한지는 필요에 따라 직접 확인하고 변경할 수 있어야 합니다.
결국 에이전트 메모리는 기억의 정확성뿐 아니라 그 기억이 실제 의사결정과 외부 행동에 어떻게 연결되는지를 함께 관리해야 하는 시스템이라고 보는 것이 더 적절합니다.
6. 앞으로 AI가 발전함에 따라 확산되는 AI 에이전트가 다룰 메모리 관리의 중요성
지금의 AI는 질문에 답하거나 글을 작성하는 기능을 넘어 여러 작업을 연속적으로 수행하는 방향으로 발전하고 있습니다.
그러면 AI가 기억해야 할 정보의 양도 자연스럽게 늘어날 것입니다.
처음에는 사용자의 말투나 선호 정도를 기억하는 수준이었지만, 앞으로는 업무 방식, 과거 작업 결과, 사용자의 수정사항, 프로젝트별 규칙, 반복되는 업무 과정, 외부 서비스 이용 기록 등이 함께 연결될 수 있습니다.
이렇게 되면 메모리는 단순한 편의 기능이 아니라 에이전트의 판단에 영향을 주는 데이터베이스에 가까워질 수 있습니다.
잘못된 기억 하나가 다음 작업의 잘못된 판단으로 이어질 수도 있습니다.
오래된 선호가 계속 적용될 수도 있고, 특정 상황에서만 발생했던 행동이 일반적인 사용자 성향으로 저장될 수도 있습니다.
더 나아가 사용자의 원래 목적을 놓치고 겉으로 드러난 작업 패턴만 기억할 수도 있습니다.
이런 문제는 AI 에이전트가 자율적으로 행동할수록 더 중요해질 것입니다.
따라서 미래의 에이전트는 단순히
“기억할 수 있는 AI”
가 아니라
“무엇을 기억해야 하는지 판단하고, 그 기억이 아직 유효한지 검토하고, 필요하면 버릴 수 있는 AI”
가 되어야 한다고 생각합니다.
그리고 기억 자체의 출처와 근거를 확인할 수 있는 기능도 중요할 것입니다.
사용자 입장에서
“왜 AI는 내가 이것을 선호한다고 판단했는가?”
“이 기억은 언제 만들어졌는가?”
“어떤 작업을 근거로 만들어졌는가?”
“지금도 유효한가?”
를 확인할 수 있다면 AI의 판단을 검토하기가 훨씬 쉬워질 것입니다.
에이전트가 자율적으로 발전할수록 기억 능력보다 기억 관리 능력이 더 중요해질 수 있는 이유입니다.
7. [제안] 에이전트 메모리에 주석을 달아 따로 관리하며 에이전트 작업시 제공
저는 에이전트 메모리가 발전할수록 사용자가 직접 기억을 관리할 수 있는 별도의 방법도 필요하다고 생각합니다.
AI가 자동으로 기억하는 모든 내용을 사용자에게 맡기는 방식만으로는 앞에서 이야기한 문제를 완전히 해결하기 어렵기 때문입니다.
그래서 하나의 방법으로 에이전트가 만든 메모리를 사용자가 별도의 저장장치에 관리하는 방식을 생각해 볼 수 있습니다.
예를 들어 AI가
“사용자는 아침 비행을 선호한다.”
라는 메모리를 만들었다고 하겠습니다.
사용자는 이 내용을 그대로 저장하는 대신 다음처럼 주석을 달 수 있습니다.
아침 비행 선호
- 일반적인 여행에서는 선호
- 출장에서는 일정에 따라 달라짐
- 최근 저녁 비행도 선택함
- 고정 규칙으로 적용하지 말 것
- 마지막 검토일: 2026년 9월
이렇게 하면 단순한 기억이 아니라 조건이 붙은 관리 가능한 기억이 됩니다.
또 다른 예로 정보수집 작업이라면,
상위 목적: 자국과 관련된 해외 사례를 분야 제한 없이 수집
- 국방 → 무기 및 방산 사례
- 무역 → 수출입 관련 사례
- 외교 → 해당 국가 정치인의 발언 및 정책 변화
- 각 분야의 개별 관심이 목적이 아니라 상위 목적을 수행하기 위한 하위 작업임
- 새로운 분야가 생기면 상위 목적과의 관련성을 먼저 판단
처럼 기록할 수 있습니다.
이렇게 하면 AI가 과거의 반복 행동을 단순히 기억하는 것이 아니라 사용자가 직접 확인한 목적과 적용 범위를 함께 제공받을 수 있습니다.
제가 생각하는 구조는 다음과 같습니다.
AI 작업 수행
→ AI가 기억 후보 생성
→ 사용자가 중요한 기억 선별
→ 사용자가 주석으로 목적·조건·예외를 추가
→ 별도의 저장장치에 관리
→ 다음 AI 작업에서 필요한 메모리만 제공
→ 현재 상황과 비교하여 적용
이 방식의 장점은 AI에게 모든 기억을 맡기지 않는다는 것입니다.
AI가 기억 후보를 찾아내는 역할을 하고, 인간은 그 기억이 정확히 무엇을 의미하는지를 확정하는 역할을 맡는 것입니다.
그리고 이러한 별도 저장장치는 단순한 백업용 자료가 아니라, 사용자와 AI 사이에서 공유되는 장기적인 작업 규칙집처럼 활용할 수도 있습니다.
무엇보다 중요한 것은 메모리에 저장된 내용을 단순히 “사실”로 취급하지 않는 것입니다.
어떤 기억은 사용자의 장기적인 선호일 수 있고, 어떤 기억은 특정 상황에서만 유효한 예외일 수 있으며, 또 어떤 기억은 AI가 반복된 행동을 잘못 해석해 만들어낸 것일 수도 있습니다.
따라서 저는 앞으로 에이전트 메모리가 발전할수록 저장 공간의 크기보다 기억의 의미를 사람이 확인하고 관리할 수 있는 구조가 중요해질 것이라고 생각합니다.
AI가 과거를 기억하는 능력은 분명 편리합니다.
하지만 기억한다고 해서 모두 옳은 것은 아닙니다.
중요한 것은
무엇을 기억하는가, 왜 기억하는가, 언제까지 기억하는가, 어떤 상황에서 적용하는가, 그리고 그 기억을 누가 수정하거나 폐기할 수 있는가
일 것입니다.
결국 에이전트 메모리는 단순히 “AI가 나를 기억한다”는 기능으로만 볼 것이 아니라, AI가 앞으로 나를 대신해 판단하고 행동하기 위해 어떤 정보를 가지고 있는지를 관리하는 문제로 보는 것이 더 적절하지 않을까 생각합니다.
마무리하며
보도에서 나온 에이전트 메모리는 결국 사용자에 대한 정보를 기억하고, 이후의 작업에 활용하는 것을 의미합니다. 업무든 개인적인 목적이든 AI가 예약부터 문서 제출과 검토까지 사용자 대신 다양한 일을 수행하려면, 사용자의 선호와 과거의 이용 맥락 등을 AI가 알고 있어야 한다는 공통된 부분이 있습니다.
이 부분은 각각의 AI 서비스 회사에서 제공하는 사용자 가이드라인과도 어느 정도 유사합니다.
다만 둘은 동일한 기능은 아닙니다. 사용자 가이드라인은 사용자가 AI에게 무엇을 지키고 어떻게 행동해야 할지를 직접 지정하는 수단이라면, 에이전트 메모리는 AI가 여러 대화와 작업을 분석하면서 앞으로 활용할 가치가 있다고 판단한 정보를 선별해 저장하고 이후 작업에 활용하는 데 초점이 있습니다. 결국 비슷한 목적을 가진 정보를 다루더라도 누가 무엇을 기억할지 결정하느냐에 차이가 있는 것입니다.
똑똑한 비서라면 애초 지시하는 사람에 대해 많은 것을 알고 그에 맞춰 행동합니다. AI 에이전트도 마찬가지일 것입니다.
하지만 이는 동시에 사용자의 개인정보를 제공해야 한다는 의미이기도 합니다. 다른 시각에서 보면 민감한 정보까지 AI가 알아야 원하는 방식으로 움직이는 에이전트가 될 가능성이 높아진다는 뜻이기도 합니다. 충분한 정보가 없다면 AI 에이전트가 주어진 조건을 바탕으로 사용자의 의도를 추론하고 판단하는 데 한계가 생길 수 있기 때문입니다.
문제는 그 추론이 항상 사용자의 의도와 일치한다고 보장할 수 없다는 것입니다.
사용자가 단순히 아침 비행을 선호한다고 해서 모든 여행에서 아침 비행이 정답인 것은 아닐 수 있습니다. 특정 여행에서는 숙소가 이미 마련되어 있을 수도 있고, 목적지와 가까운 공항보다 다른 공항을 이용하는 것이 전체 일정에는 더 적합할 수도 있습니다. 결국 과거의 반복된 행동과 현재의 목적은 서로 다를 수 있으며, AI가 이를 잘못 일반화하면 에이전트가 수행한 업무의 종류와 특성에 따라 사용자에게 상당한 피해가 발생할 가능성도 있습니다.
따라서 중요한 것은 무엇을 기억하느냐뿐만 아니라 그 기억이 왜 만들어졌는지, 어느 범위까지 적용되는지, 언제 다시 확인하고 갱신해야 하는지라고 생각합니다.
그렇기에 저는 AI가 알아야 할 중요한 정보에 주석을 달아 별도로 관리하고, 필요할 때 에이전트 AI에 다시 제공하는 방식을 제안했습니다.
AI가 스스로 기억할 정보를 모두 결정하도록 맡기기보다, 중요한 정보와 그 정보가 적용되는 조건, 예외 등을 인간이 직접 확인하고 관리하자는 것입니다. 이러한 방식은 별도의 API를 이용해 AI나 AI 에이전트를 사용하는 경우에도 적용할 수 있다고 생각합니다.
즉 에이전트 메모리의 핵심 관리 주체는 결국 인간이어야 한다는 것이 이번 글에서 제가 말하고 싶은 중요한 부분입니다.
또 하나의 주의점도 있습니다.
AI 에이전트가 항공편이나 숙소 같은 상품을 대신 찾아준다고 해서 그 결과가 반드시 완전히 중립적인 판단을 거친 결과라고 단정해서는 안 됩니다. 앞으로 AI 제공업체가 특정 항공사나 숙소 예약업체와 제휴하거나, 특정 상품의 노출 가중치를 높이는 방식으로 서비스를 운영할 가능성도 생각해 볼 필요가 있습니다.
따라서 에이전트가 제시하거나 예약하려는 항공사와 숙소가 정말 사용자의 조건에 가장 적합한 것인지 사용자가 직접 확인할 필요가 있습니다. 필요하다면 항공사나 숙소 업체의 공식 채널을 직접 확인하고, AI가 제시한 결과와 비교한 뒤 최종적으로 변경하거나 승인하는 과정이 필요할 것입니다.
개인정보에 대해서도 마찬가지입니다. AI 에이전트의 편의성을 위해 자신의 개인정보와 민감한 정보를 무조건 제공하는 것은 경계해야 할 것입니다. 필요한 경우에는 주요 정보를 일부 가린 제한된 정보만 제공하고, 꼭 필요한 범위 안에서만 AI가 사용할 수 있도록 하는 방법도 생각해 볼 필요가 있습니다.
앞으로는 에이전트 AI가 사용자가 원하는 일을 상당 부분 알아서 수행하는 시대가 올 것입니다. 하지만 그만큼 AI가 알아야 하는 정보의 범위도 넓어질 것입니다.
결국 그 시대는 편리함이 커지는 동시에, 사용자의 정보가 더 이상 사용자만의 정보로 머물지 않을 수 있다는 사실을 함께 고민해야 하는 시대가 될 수도 있다고 생각합니다.
이러한 상황을 미리 알고 있다면 AI에게 무엇을 시킬 것인지, 무엇을 기억하게 할 것인지, 그리고 어디까지 개인정보를 제공할 것인지를 결정하는 데 도움이 될 것입니다.
에이전트 AI가 똑똑해지는 것만큼 중요한 것은, 그 AI가 무엇을 기억하고 그 기억을 누가 관리할 것인가라고 생각합니다.
댓글