Prime Agent

「AI가 스스로 나아지는 코딩 도구」를 표방하는 물건입니다. 기각했습니다. 그런데 이 편에서 제일 아팠던 건 대상이 아니라, 제가 «1등 수확»이라고 적은 것이 닷새 전 제가 이미 적어 둔 문장이었다는 사실입니다.

이 물건이 다르다고 주장하는 지점

제가 쓰는 AI 코딩 도구와 같은 자리를 노리는 물건입니다. 다만 전제가 하나 다릅니다.

보통은 매번 새 대화를 시작합니다. 어제 뭘 했는지는 파일에 적어 둬야 이어집니다.

이 물건은 세션이 계속 살아 있고, AI가 자기 설정을 스스로 고쳐 나간다고 주장합니다. 「이 방식이 잘 안 됐으니 다음엔 이렇게」를 자기가 적어 둔다는 뜻입니다.

설계에서 제일 좋았던 것 — 「자식을 낳되 기다리지 않는다」

기술적으로 제일 인상적이었던 부분입니다.

AI가 보조 일꾼을 시킬 때, 보통은 일꾼이 답을 가져올 때까지 기다립니다. 그동안 본인은 아무것도 못 합니다.

이 물건은 그걸 아예 금지했습니다. 일꾼을 부르는 명령이 절대로 결과를 돌려주지 않습니다. 접수증만 주고 끝입니다. 결과는 나중에 파일이나 쪽지로 옵니다.

이러면 「기다리다 멈춰 있는 상태」가 구조적으로 불가능해집니다. 기다릴 방법이 없으니까요.

막는 방식이 좋습니다. 「기다리지 마세요」라고 적어 두는 게 아니라 기다릴 수 있는 길 자체를 없앴습니다.

그런데 주장의 근거가 코딩에 없었습니다

「AI가 스스로 나아진다」는 게 이 물건의 간판입니다. 근거로 삼은 자료를 따라가 봤습니다.

근거 자료	무엇으로 검증했나
자기개선 논문	포켓몬 게임
또 다른 자료	작은 모델의 긴 글 읽기·조사 작업
코딩 성능 시험 결과	창고 안에 0건

코딩 도구인데 코딩으로 검증한 자료가 없습니다.

포켓몬으로 잘 되는 게 코딩에서도 잘 된다는 보장은 없습니다. 주장과 증거 사이에 분야가 어긋나 있습니다.

기각한 결정타 둘

하나 — 핵심 기능이 안 돕니다. 이 AI가 쓸 수 있는 도구가 딱 하나인데, 그 하나를 띄우는 부분이 코드에서 깨져 있습니다. 우회해서 깔아도 핵심이 안 돕니다.

둘 — 허락을 구하는 단계가 0입니다. 제 안전 원칙은 「애매하거나 실패하면 안 하는 쪽이 기본」입니다. 그리고 「이건 반드시 사람이 승인해야 한다」로 등급을 매겨 둔 항목들이 있습니다.

이 물건은 그 전부를 묻지 않고 실행합니다. 정면으로 충돌합니다.

그리고 제일 아픈 자리 — 「1등 수확」이 재발견이었습니다

기법 넷을 건졌습니다. 그중 1등으로 올린 문장이 이겁니다.

결과물이 안 바뀌었으면 검증을 다시 돌리지 않는다.

좋은 규칙입니다. 그런데 닷새 전에 같은 대상을 분석한 제 보고서에 이미 있었습니다. 그것도 어디에 적용할지, 언제 다시 볼지까지 적혀 있었습니다.

더 뼈아픈 건 이겁니다. 저는 지난 분석 링크를 전부 모아 검색되게 만들어 뒀습니다. 그런데 안 열어 봤습니다.

즉 찾을 수 있게 만들어 두고, 찾지 않았습니다.

같은 조사에서 제 판정이 두 번 뒤집혔습니다

그리고 이 조사가 진행되면서 제가 저에 대해 내린 판정 두 개가 뒤집혔습니다. 「이건 이미 하고 있다」고 적었던 것이 실제로 열어 보니 아니었습니다.

같은 실수를 다른 편에서도 했습니다 — 써 둔 지침을 «구현된 상태»로 착각하는 것입니다.

가져온 것과 그 조건

무엇	판정
기억에 이력과 되돌리기를 붙인다	가져옴 — 지금은 기억이 잘못 합쳐져도 되돌릴 근거가 없음. ⚠ 다만 자동으로 적용되는 건 제외
상시 로드되는 목차에 크기 상한	보류 — 목차가 일정 크기를 넘을 때 다시 봄
출력 길이를 모델에서 자동 계산	보류 — 긴 입력에서 결과가 잘린 정황이 한 번이라도 관측되면 다시 봄

그래서 남은 규칙

블로그만 읽었을 때, 코드를 읽었을 때, 그리고 내 환경에서 직접 돌려 봤을 때가 각각 다르다.

이 셋이 다른 결론을 냈습니다. 그리고 뒤로 갈수록 맞았습니다.

여기부터는 자세한 기록입니다

도구는 기각, 기법은 넷을 건졌습니다. 그런데 그 넷 중 1등이 재발견이었습니다. 제가 오늘 1순위로 올린 문장이 닷새 전 같은 대상을 분석한 제 리포트에 이미 있었고, 적용처와 재개 조건까지 적혀 있었습니다. 링크를 전부 모아 검색되게 만들어 둔 게 있는데도 안 열어 봤습니다. 그리고 같은 조사에서 제 스스로에 대한 판정 두 개가 뒤집혔습니다.

무엇을 하는 물건인가

Claude Code나 Codex CLI와 같은 자리를 노리는 에이전트 CLI인데, 설계 전제가 하나 다르다.

모델에게 도구 목록을 주지 말고, 파이썬 인터프리터 하나를 주고 나머지를 코드로 짜게 하라.

그래서 모델이 보는 도구가 ipython 하나다. 파일을 읽는 것도, 고치는 것도, 셸을 부르는 것도, 자식 에이전트를 띄우는 것도 전부 그 안에서 파이썬 호출로 한다. 파이썬 상태 — 변수·임포트·함수·파싱 결과 — 가 툴 호출과 컨텍스트 압축을 넘어 살아남는다.

간판 주장이 둘이고 각각 별도 원전이 있다.

	무엇	원전
재귀 언어 모델	컨텍스트를 변수로, 도구·서브에이전트를 함수 호출로 다루는 영속 REPL	자사 블로그
연속 하네스	프롬프트·기억·스킬·서브에이전트 명세를 영속 상태로 두고, 에이전트가 근거 기반의 작은 수정으로 스스로 갱신	논문

규모는 이렇다. 스타 14,647 · 포크 1,528 · 생후 3개월 · MIT. 소스 약 35만 줄에 테스트가 420파일 15.6만 줄로 전체의 45%다. 9일 사이 릴리스가 여덟 번 나왔다.

건강도에 붙는 조건도 있다. 미해결 이슈 545건이고 제목을 훑으면 데몬·워커 수명주기 버그가 압도적으로 군집한다 — 멈춘 데몬, 워커 교체 중 유실, 감독자 재시작 경합, 타임아웃 없는 커널 실행. 그리고 파일 하나가 11,288줄이다. 버스 팩터는 2다(최근 50커밋의 68%가 두 사람).

가장 볼 만한 설계 넷

자식을 낳되 기다리지 않는다. 서브에이전트를 띄우는 호출이 자식의 답을 절대 반환하지 않는다. 접수 즉시 핸들만 돌려주고 끝이고, 결과는 메시지나 파일로만 온다. 부모가 자식을 기다리며 블로킹되는 구조를 아예 금지한 것이다.

기억에 스코프와 버전과 롤백이 있다. 하네스 엔트리마다 version·created_at·source·scope가 붙고, 기본 스코프가 세션 로컬이다. 글로벌 승격은 “세션을 넘는 안정적 교훈”일 때만이고, 로컬 정제 중에 글로벌 엔트리는 읽기 전용이라 수정 제안 자체가 금지된다. 그리고 정제 이력이 파일로 남아 롤백 아이디로 되돌릴 수 있다.

상시 로드되는 개요에 상한이 있다. 하네스 엔트리가 몇 개든 시스템 프롬프트에는 종류당 6개 · 내용 180자 · 이력 5건만 싣고 나머지는 +N more로 존재만 알린다. 프롬프트 문구도 못 박는다 — “이건 요약이지 전체 설명이 아니다. 라우팅 힌트로 쓰고 필요할 때 원본을 봐라.”

출력 예산을 상수가 아니라 모델에서 유도한다. Math.min(model.maxTokens, 32_000). 소스 주석에 이유가 적혀 있고 그게 좋다 — 하네스가 커지면 입력이 커지는데 출력 상한을 상수로 박으면, 정확히 가장 중요한 대규모 다중 편집 제안만 조용히 잘려나간다.

깨본 결과 — 네 군데

① “코딩 에이전트가 스스로 나아진다”는 주장의 근거가 코딩에 없다. 자기개선 쪽 원전 논문은 포켓몬으로 검증됐고, REPL 쪽 블로그는 소형 모델 하나의 롱컨텍스트·리서치 태스크다. 그리고 저장소 안에 코딩 벤치마크가 0건이다. 주장과 증거 사이에 도메인 간극이 있다.

② 독립 프로젝트로 보이지만 다른 레포의 하드 포크다. 내부 패키지 이름이 전부 상류 프로젝트 이름 그대로이고, README도 인정한다. 고유 모듈 32개에 상류에서 떼어낸 것이 15개다.

③ 떼어낸 15개 중에 신뢰·승인 계층이 있다. 저장소 전체에서 승인 관련 식별자를 검색하면 0건이다. 모델이 쓴 파이썬이 승인 절차 없이 즉시 사용자 권한으로 실행된다. 제공되는 샌드박스 예제는 셸 도구만 감싸는데, 위에서 봤듯 기본 런타임의 유일한 도구는 셸이 아니라 IPython이다 — 샌드박스가 실제 실행 경로를 못 덮는다.

④ Windows 커널 부트스트랩이 코드 레벨에서 깨져 있다.

const python = path.join(venv, "bin", "python");   // Windows 는 venv\Scripts\python.exe

같은 파일 위쪽에 플랫폼 분기가 이미 있는데 인터프리터 경로만 POSIX로 하드코딩돼 있다. 공식 설치 스크립트도 운영체제 게이트에서 막힌다.

내 환경에 대봤다 — 도구는 기각

기각의 결정타가 둘이다. 이 에이전트의 유일한 도구가 IPython인데, 그 커널을 띄우는 경로가 코드로 깨져 있다 — 우회 설치를 해도 핵심 기능이 안 돈다. 그리고 승인 게이트가 0인 것이 제 안전 경계 원칙과 정면으로 충돌한다. 제가 “사람 승인 전용”으로 등급을 매겨 둔 항목이 전부 무승인 실행 대상이 된다.

재개 조건도 적어 뒀다 — ① 인터프리터 경로가 수정되고 ② 승인 계층이 복구되거나 실제 실행 경로를 덮는 샌드박스가 기본 제공될 때. 둘 중 하나만으로는 재개하지 않는다.

⚠ 정직하게 적자면 이건 정적 코드 판독이지 실제 설치가 아니다. 다만 안 돌린 이유가 타당하다 — 승인 게이트 0인 에이전트를 붙이는 것 자체가 제 규칙 위반이고, 설치 스크립트가 애초에 막는다.

그래서 뭘 가져왔나 — 그리고 1등이 재발견이었다

1등: 작업물이 안 바뀌었으면 검증을 재실행하지 않는다.

자율 모드에서 품질 게이트가 실패하면 작업 디렉터리 상태를 스냅샷으로 뜬다. 다음 시도 때 스냅샷이 같으면 게이트를 아예 돌리지 않고 실패 카운트만 올린다. 자율 루프의 전형적 낭비 — 아무것도 안 고쳤는데 같은 테스트를 또 돌리는 것 — 를 구조적으로 막고, 재시도 상한이 “실제로 뭔가 바뀐 시도”만 세게 된다.

그리고 이 문장이 닷새 전 제 리포트에 이미 있었다. 같은 대상을 블로그와 스레드로 분석한 글이었고, 적용처를 파이프라인 두 곳으로 특정해 뒀고, 재개 조건까지 적어 뒀다. 오늘 새로 얻은 건 채택 판정이 아니라 “닷새가 지났는데 아직 안 붙였다”는 사실이다.

링크를 전부 모아 검색되게 만들어 둔 게 있는데도 안 열어 봤다. 도구를 만들어 놓고 안 열면 똑같이 반복된다.

나머지 셋은 이렇게 정리됐다.

수확	판정
기억에 이력과 롤백을 붙인다	채택 — 지금은 잘못 병합된 기억을 되돌릴 근거가 파일 어디에도 없다. 단 자동 적용은 제외
상시 로드 개요에 상한을 건다	보류 — 재개 조건은 색인이 특정 크기를 넘을 때
출력 예산을 모델에서 유도한다	보류 — 먼저 확인이 필요하다. 재개 조건은 큰 입력에서 결과가 잘린 정황이 한 번이라도 관측될 때

오늘이 닷새 전을 두 번 고쳤다

정정 하나. 제 스택 대조표에서 어떤 학습 시스템을 “이미 있음”으로 판정해 뒀었다. 실측하니 저장된 항목 0건, 훅 배선 0건 — 껍데기였다. “자기수정이 두 갈래로 돈다”던 전제가 무너졌고, 실제로 도는 건 한 갈래다.

정정 둘. 원문이 자기 개선 루프를 *“임의적이지 않고 근거에 뒷받침된”*이라고 설명한다. 코드를 보니 기록되는 ‘결과’ 필드가 모델이 미리 적어낸 예측이었다. 근거는 남고 결과는 안 남는다 — 절반만 참이다.

그리고 이 둘을 합치면 더 큰 게 나온다. 제 학습 루프와 이 레포의 학습 루프는 결정적 결함이 똑같다 — 고친 것이 효과가 있었는지 아무도 재지 않는다. 구조는 저쪽이 정교하고(스코프·버전·롤백·상한), 대신 저쪽이 그 결함을 더 나쁘게 처리한다. 예측을 결과 칸에 넣으면 루프가 자기가 열려 있다는 것조차 모른다.

남는 규칙

블로그와 스레드만 읽었을 때, 코드를 읽었을 때, 그리고 내 환경을 실측했을 때가 각각 다르다.

세 번째를 건너뛰면 “이미 갖고 있다”는 판정을 껍데기에 대고 내리게 된다. 이 페이지에서 실제로 일어난 일이 그거다.