---
title: '[Neurain 개발일지] #1. 내 AI 비서는 매일 아침 기억을 잃는다'
category: ai
tags:
  - ai
  - second brain
published: true
date: 2026-06-15 09:40:00
series: 'Neurain 개발일지'
seriesOrder: 1
description: 'AI를 텔레그램 비서로 부리며 활용의 저변은 넓어졌지만, 대화는 잊히고 세션은 끊기고 모델을 갈아타면 리셋됐다. 병목은 모델의 지능이 아니라 맥락을 유지하는 구조의 부재라는 가설에서 세컨드 브레인 만들기가 시작됐다.'
---

텔레그램 메시지 하나로 하루를 시작하던 때가 있었다. 채팅방에 지시를 던지면 내 컴퓨터에서 그 일이 돌아가고 결과가 답장으로 오는데, 채팅방 반대편에 있는 건 사람이 아니라 오픈클로(OpenClaw)라는 오픈소스 AI 에이전트였다.

**AI 비서가 생겼다는 감각. 그때가 시작이었다.**

이 시리즈는 코드 한 줄 못 쓰는 비개발자가 AI와 함께 '세컨드 브레인'을 만들어 온 기록이다. 지금 내 컴퓨터에는 문서 4,700여 개가 쌓인 뇌가 하나 있고 그 앞단의 AI는 언제든 갈아끼우는 부품이 됐는데, 어떻게 여기까지 왔는지 오늘은 그 출발점부터 풀어 본다.

## TL;DR

> *1) AI를 채팅창 밖으로 꺼내 비서처럼 부리는 순간, 활용의 저변이 달라진다.\
> 2) 그런데 같이 살아 보면 이 비서는 세 번 배신한다. 잊고, 끊기고, 갈아타면 리셋된다.\
> 3) 겪어 보니 문제는 모델의 지능이 아니라 '맥락을 유지하는 구조'의 부재였다.\
> 4) 그래서 결심했다. 내 모든 지식을 폴더 하나에 넣고 AI는 그 폴더에 꽂아 쓰기로.*

## 1. 검은 창을 처음 열던 날

오픈클로는 오픈소스로 풀린 AI 에이전트인데, 특징은 두 가지다. 클라우드 서비스가 아니라 내 컴퓨터(로컬)에서 돌아간다는 것, 그리고 텔레그램 같은 메신저에 물려서 쓸 수 있다는 것.

설치부터가 낯선 경험이었다. 앱스토어에서 받는 물건이 아니라 맥에 기본으로 깔려 있는 터미널이라는 검은 창을 열고 명령어를 붙여 넣어야 하는데, 비개발자에게 그 검은 창은 심리적 장벽이라 뭘 잘못 치면 컴퓨터가 망가질 것 같은 기분이 든다. 결국 안내문을 그대로 따라 복사해서 붙여 넣었고, 알 수 없는 글자들이 주르륵 흘러가더니 봇이 살아났다.

**나중에 돌아보니 이날이 진짜 분기점이었다.** 그전까지 나에게 AI는 웹사이트였는데 이날 이후로는 내 컴퓨터에서 도는 프로그램이 됐고, 두 달 뒤 클로드 코드라는 개발자 도구를 겁 없이 열어 볼 수 있었던 것도 검은 창을 이미 한 번 이겨 봤기 때문이다.

그리고 관계가 뒤집혔는데, 그전까지 AI는 '들어가서 쓰는 것'이라, 브라우저를 열고 사이트에 접속하고 묻고 답을 받고 창을 닫으면 거기까지였다. 그런데 메신저에 물리는 순간 밖에서 폰으로 지시를 던져 놓으면 집에 있는 컴퓨터가 일을 하고 있다. 웹을 뒤져서 정리해 두라거나, 긴 자료를 요약해 두라거나, 받아 둔 파일을 종류별로 분류해 두라거나. 이동 중에 시킨 일이 집에 도착하면 끝나 있으니, 내가 AI에게 찾아가는 게 아니라 AI가 내 일상 안에 상주하는 셈이었다.

**AI를 구경하던 사람에서 AI를 부리는 사람이 됐다.**

여기서부터 재미가 붙었다. 처음에는 검색과 요약 같은 심부름이었는데 시켜 보니 되는 일이 계속 늘어서 자료 조사와 문서 초안과 아이디어 벽치기와 반복 작업까지 넘어갔다. 어느새 하루의 상당 부분을 AI와 붙어서 일하고 있었고, 일하는 방식 자체가 AI를 전제로 재편되고 있었다. 회의 전에 AI에게 배경을 정리시키고, 회의 후에 녹취를 요약시키고, 그 요약으로 보고서 초안을 잡는 식이다. AI 활용의 저변이 채팅창 안에서 생활 전체로 넓어졌다.

그리고 이때 머릿속에 씨앗이 하나 심겼는데, 당시에는 그게 씨앗인 줄 몰랐다. 오픈클로는 로컬에서 돌고 내 컴퓨터의 파일을 직접 읽고 쓴다는 것. 이 사실이 나중에 모든 것을 바꾼다.

## 2. 같이 살아 보니, 세 가지 배신

비서가 생긴 만족감은 오래갔지만 같이 사는 시간이 길어질수록 이상한 점들이 보이기 시작했는데, 오픈클로만의 문제는 아니었다. 챗지피티든 클로드든 어떤 LLM을 쓰든 똑같이 반복되는 패턴이었고, 쓰는 시간이 늘어날수록 그리고 맡기는 일이 무거워질수록 더 아프게 반복됐다.

### 배신 1: 긴 대화는 앞부분부터 잊는다

AI 모델에게는 한 번에 기억할 수 있는 분량의 한계가 있다. 컨텍스트 윈도우라고 부르는데 쉽게 말해 책상 크기라서, 대화가 길어지면 책상이 꽉 차고 새 서류를 올리려면 오래된 서류부터 바닥으로 밀어내야 한다.

요즘 도구들은 그나마 영리해져서 통째로 밀어내는 대신 앞부분을 요약본으로 접어 두는데, 문제는 요약에서 빠진 디테일이 그대로 증발한다는 점이다. 실제로 겪으면 이런 식이다. 전략 하나를 놓고 며칠에 걸쳐 전제를 쌓고 예외를 확인하고 방향을 확정했는데, 어느 순간부터 그 전제와 어긋나는 답이 돌아온다. 왜 어긋났나 따져 보면 그 전제가 요약 과정에서 사라져 있다.

더 나쁜 건 이게 조용히 일어난다는 점이다. AI가 "그 부분은 잊었습니다"라고 말해 주면 다시 알려 주면 그만인데, 잊은 채로 자신 있게 대답하니 어긋난 답을 받아 들고 한참 뒤에야 눈치채는 일이 반복된다. 그러다 보면 결국 중요한 결론은 매번 다시 확인하게 되고, 열심히 쌓은 논의일수록 잃었을 때 타격이 크다.

대화가 깊어질수록 비서는 얕아진다.

### 배신 2: 세션은 서로 남남이다

이건 겪어 본 사람은 바로 알 것이다.

어느새 내 컴퓨터와 폰에는 AI 창이 잔뜩 열려 있었다. 챗지피티 창, 클로드 창, 회사 일을 정리하던 세션, 집안 문서를 만들던 세션, 투자 아이디어를 굴리던 세션. 전부 서로의 존재를 모르니, 어제 A 세션에서 밤늦게까지 정리한 내용을 오늘 B 세션은 하나도 모른다.

개발자들이 쓴다는 클로드 코드(Claude Code)나 코덱스(Codex) 같은 도구도 기웃거려 봤지만 사정은 같았다. 이 도구들은 폴더를 지정해서 그 안에서 일하는 방식인데, 회사 폴더에서 연 세션과 가족 문서 폴더에서 연 세션이 또 남남이다. 폴더별로, 세션별로, 도구별로 기억이 갈라진다. 내 지식은 하나인데 AI 쪽 기억은 수십 조각이었다.

조각난 기억을 이어 붙이는 건 결국 나여서, 새 세션의 첫 메시지가 점점 길어졌다. 프로젝트 배경과 지난 결정과 주의 사항을 적다가 어디서 많이 본 문장이다 싶으면 지난주에 다른 창에 붙여 넣은 내용이었다. 나중에는 이 설명문을 메모장에 따로 모아 두고 새 창을 열 때마다 복사했으니, 비서에게 줄 인수인계서를 사람이 매번 손으로 쓰고 있었던 셈이다. 이걸 몇 달 하다 보면 비서를 부리는 건지 비서를 교육하는 건지 헷갈려서 회의가 든다.

### 배신 3: 모델을 갈아타면 전부 리셋된다

마지막 문제가 가장 컸다.

지금 AI 판은 몇 주 단위로 세대가 바뀐다. 이번 달에 한쪽이 신모델을 내면 다음 달에 다른 쪽이 받아치고 성능 1위 자리는 수시로 주인이 바뀌니, 신모델 발표 영상을 보면서 갈아탈까 말까 재는 게 몇 주마다 돌아오는 행사가 됐다. 그때마다 발목을 잡는 건 성능이 아니라 두고 갈 기억이었다.

같은 회사 안에서 업그레이드하는 건 괜찮아서, 클로드 Opus를 쓰다가 더 좋은 Fable이 나왔을 때는 같은 프로그램에 같은 기억이라 아무 문제가 없었다.

진짜 문제는 옆 동네 모델이 확 좋아졌을 때다. 성능만 보면 갈아타는 게 맞는데, 갈아타는 순간 지금까지 쌓아 온 맥락은 전부 이전 프로그램 안에 남는다. 새 모델은 똑똑한데 나에 대해 아무것도 모르고, 나는 처음부터 다시 가르쳐야 한다. 전 재산을 두고 몸만 이사하는 셈이다.

서비스마다 붙어 있는 '메모리' 기능도 답이 아니었다. 뭘 기억하고 뭘 잊었는지 들여다볼 수 없고 다른 서비스로 가져갈 수도 없으며, 심지어 왜 그걸 기억했는지도 모른다. 내 기억인데 내 것이 아니다.

## 3. 그 시절 내가 매일 하던 말들

나중에 시스템을 만들기 시작하면서 이 시절의 증상들을 문제 정의 문서로 정리해 둔 적이 있는데, 기억을 미화하지 않으려고 그 문서(5월 중순 기록)에서 그대로 가져와 봤다.

| 매일 하던 말 | 증상의 정체 |
|---|---|
| "이거 또 설명해야 해?" | 세션이 바뀌면 업무 맥락이 사라짐 |
| "그건 예전 얘기 아니야?" | 과거 상태와 현재 상태가 뒤섞임 |
| "이 답이 최신이야?" | 어떤 자료가 최종 근거인지 AI가 모름 |
| "일단 잊지 않게 저장만 해줘" | 저장하려면 정리를 너무 많이 해야 함 |
| "왜 이건 기억하고 저건 못 기억하지?" | AI 메모리가 뭘 저장했는지 보이지 않음 |
| "다른 세션에서 한 일은 어디 갔지?" | 세션과 도구끼리 상태 공유가 안 됨 |

여섯 줄을 한 줄로 줄이면 이렇다.

**모델은 갈수록 똑똑해지는데, 내 맥락은 매번 처음부터였다.**

## 4. 그럼 이건 어때? 싶었던 것들

문제를 알았다고 바로 시스템을 만들기 시작한 건 아니고, 그전에 손에 잡히는 해법부터 뒤져 봤다.

| 검토해 본 것 | 왜 안 됐나 |
|---|---|
| 챗 서비스의 메모리 기능 | 뭘 저장했는지 안 보이고, 그 서비스 밖으로 못 가져간다 |
| 노션 같은 문서 앱에 정리 | 사람이 읽기엔 좋은데, AI는 어떤 문서부터 봐야 할지 모른다 |
| 폴더에 파일로 모아 두기 | 쌓이기만 하고, 최신본과 구버전을 AI가 구분하지 못한다 |

노션은 특히 오래 붙잡았다. 페이지를 만들고 데이터베이스를 짜고 태그 체계를 세우고 나니 사람이 보기에는 근사했는데, 정작 AI에게 물어보려면 내가 해당 페이지를 찾아서 복사해 붙여 넣어야 했다. 잘 정리된 서랍은 생겼는데 서랍을 열어 주는 사람은 여전히 나였다.

셋을 겪고 나니 공통점이 보였는데, 저장은 다 되고 안 되는 건 늘 그다음이었다. AI가 알아서 꺼내 보고, 최신 상태를 판단하고, 다음 세션으로 이어받는 것. 저장소는 많은데 뇌는 없었다.

## 5. 원하는 것을 다시 정의했다

여기까지 겪고 나서야 인정했다. 지금 방식으로는 아무리 열심히 해도 세컨드 브레인이 될 수 없고, 기억이 서비스와 세션과 모델에 쪼개져 있는 한 그건 뇌가 아니라 포스트잇 무더기다.

그래서 원하는 것을 문장으로 다시 정의했다.

**내 모든 지식을 폴더 하나에 넣는다. 그 폴더가 뇌다. 앞단의 AI는 어떤 모델이든 갈아끼운다.**

풀어 쓰면 조건은 세 가지다.

세컨드 브레인 = 1) 내 소유의 기억 x 2) 끊기지 않는 맥락 x 3) 갈아끼우는 지능

- 1\) 기억은 특정 서비스가 아니라 내 파일에 있어야 하고, 뭘 기억하는지 내 눈으로 열어볼 수 있어야 한다.
- 2\) 회사 일이든 집안일이든 투자든, 어느 세션에서 물어도 같은 뇌를 봐야 한다.
- 3\) 클로드가 좋아지면 클로드를, 코덱스가 좋아지면 코덱스를 꽂되 뇌는 그대로 둔다.

곱하기로 쓴 이유가 있다. 셋 중 하나라도 0이면 전체가 0이기 때문인데, 기억이 남의 서버에 있으면 나머지가 아무리 좋아도 내 뇌가 아니고, 세션마다 끊기면 쌓아도 이어지지 않고, 모델에 묶여 있으면 다음 세대에 전부 잃는다. 실제로 시중의 해법들은 대부분 하나씩만 만족시키고 있었다.

그리고 이 시점에 가설이 하나 섰다.

**병목은 모델의 지능이 아니다. 맥락을 유지하고 검증할 구조의 부재다.**

나중에 알고 보니 나만의 문제도 아니었다. 이 무렵부터 해외에서는 컨텍스트 엔지니어링(context engineering)이니 에이전트 메모리(agent memory)니 하는 말이 생겨나고 이 문제만 파는 논문과 제품이 쏟아지기 시작했으니, 모델 지능의 다음 병목이 맥락 관리라는 걸 다들 비슷한 시기에 깨닫고 있었던 셈이다.

모델은 이미 충분히 똑똑하고, 나는 매일 아침 기억을 잃는 천재와 일하고 있었을 뿐이다. 그렇다면 필요한 건 더 똑똑한 천재가 아니라 천재에게 쥐여 줄 잘 정리된 서류철이다.

그 서류철을 어떻게 만들어야 할지 막막하던 시기에 글 하나를 만났다. 실리콘밸리에서 가장 유명한 AI 연구자 중 한 명이 남긴 짧은 메모였는데, 거기에는 '위키를 사람이 아니라 LLM이 유지보수하게 하라'는 이상한 문장이 적혀 있었다.