뜯어본 생각공개

Fable 현장 가이드

모델 만든 쪽 사람이 그 모델 쓰는 법을 말합니다. 그래서 기법 여섯은 믿을 만하고, 마지막 주장은 제일 못 믿을 부분입니다.

AI 모델을 «만든 쪽» 사람이 그 모델을 «쓰는 법»을 말하는 강연입니다. 그래서 같은 강연 안에서 신뢰도가 두 갈래로 갈립니다 — 기법 여섯은 믿을 만하고, 마지막 주장은 제일 못 믿을 부분입니다.

The Unknown Matrix — 모르는 것을 네 칸으로 가른다 Known knowns 내가 원하는 것 보통 프롬프트에 쓰는 건 이 칸뿐이다 Known unknowns 아직 못 알아봤다는 걸 아는 것 인터뷰와 레퍼런스로 메운다 Unknown knowns 너무 당연해서 안 적는 것 보면 아는 취향 — 시안을 여럿 봐야 나온다 Unknown unknowns 아예 고려조차 못 한 것 여기가 blindspot pass 가 겨냥하는 칸이다 ⇒ 병목은 모델이 아니라 내 지도와 실제 영토를 맞추는 내 능력이라는 게 강연의 전제다
프롬프트에 쓰는 건 대개 왼쪽 위 한 칸뿐이다. 나머지 세 칸을 꺼내는 방법이 이 강연의 본체다.

이 강연의 전제 — 「병목은 AI가 아니라 나다」

시작이 이 한 줄입니다.

막히는 지점은 모델의 성능이 아니라, 내가 «내가 모르는 것»을 찾아내는 능력에 있다.

이걸 이해하려면 모르는 것에 두 종류가 있다는 걸 먼저 봐야 합니다.

종류 무엇
모르는 걸 아는 것 「이 부분을 모른다」는 걸 아는 상태 — 찾아보면 됨
모르는 걸 모르는 것 있는 줄도 모르는 것 — 찾아볼 생각조차 안 남

두 번째가 문제입니다. AI에게 물어보려면 무엇을 물어야 할지는 알아야 하는데, 모르는 줄도 모르면 안 묻습니다.

그래서 강연 후반 전체가 「모델을 써서 내가 모르는 걸 모르는 부분을 꺼내는 방법」입니다.

기법 여섯 — 그중 셋은 제가 이미 하고 있었습니다

기법 실제로 시키는 말
사각지대 훑기 「나는 이 부분을 전혀 모른다. 관련해서 내가 모르는 줄도 모를 만한 것을 찾아 달라」
시안 여러 개 뽑기 「감각이 없으니 완전히 다른 방향 네 가지를 한 장에 만들어 달라 — 보고 반응하게」
인터뷰 시키기 「한 번에 한 질문씩 물어 달라. 내 답이 구조를 바꿀 질문을 먼저」
참고 대상 지정 「이 물건의 이 동작이 내가 원하는 바로 그것이다. 읽고 같은 성질로 다시 만들어 달라」
벗어난 지점 기록 「계획에서 벗어나게 하는 일을 만나면, 보수적인 쪽을 고르고 기록하고 계속 가라」
나에게 퀴즈 내기 「이 변경을 내가 다 이해했는지 확인하고 싶다. 내가 풀어야 할 퀴즈를 만들어 달라」

새로 가져온 셋

하나 — 「멈추지 않으면서 흔적을 남기는 셋째 길」

AI가 일하다 예상 밖 상황을 만나면 보통 둘 중 하나입니다.

보통 문제
멈추고 물어본다 자리에 없으면 그대로 몇 시간 정지
알아서 판단하고 간다 나중에 보면 어디서 어긋났는지 모름

이 강연의 답이 셋째 길입니다 — 「보수적인 쪽을 고르고, 벗어난 지점을 적어 두고, 계속 간다.」

멈추지 않으니 진도가 나가고, 적어 두니 나중에 그 줄만 읽으면 됩니다.

둘 — 「머지 전에 내가 퀴즈를 푼다」

이게 제일 신선했습니다.

보통 검사는 코드가 제대로 됐나를 봅니다. 이건 내가 제대로 이해했나를 봅니다.

AI가 코드를 써 주면 이해 안 한 채로 통과시키기 쉽습니다. 돌아가니까요. 그런데 나중에 고쳐야 할 때 내가 모르는 코드가 됩니다.

그래서 AI에게 나를 시험하게 합니다. 못 풀면 아직 넘길 때가 아닙니다.

셋 — 「읽기 전에 사각지대부터 훑기」

원래는 코드를 다 읽은 뒤에 「뭘 놓쳤나」를 봅니다. 순서를 뒤집어서 들어가기 «전»에 훑습니다.

들어가기 전에 「여긴 복잡한 막다른 길이다」 「이 부분은 이력을 먼저 봐라」를 받으면, 읽는 순서 자체가 달라집니다.

그런데 마지막 파트가 제일 약합니다

강연 끝에 「트레이드오프는 진짜가 아니다」라는 주장이 나옵니다.

우선순위를 재며 이것저것 중에 고르지 말고, 그냥 전부 다 해 보고 현실이 알려 주게 하라는 것입니다. 「좋고 빠르고 싸고」 셋 다 되는 시대라고 합니다.

근거가 하나입니다 — 「이 발표 자료를 전날 밤 4시간에 만들었다.」

이게 왜 약한 근거냐면, 발표 자료는 실패 비용이 낮습니다. 잘못돼도 다시 만들면 됩니다.

트레이드오프가 진짜 아프게 걸리는 자리는 되돌리기 비싼 곳입니다 — 구조를 잘못 잡았을 때, 데이터를 잘못 옮겼을 때. 거기서도 「그냥 다 해 봐라」가 성립하는지는 이 근거로 알 수 없습니다.

그리고 이건 만든 쪽 사람이 자기 제품에 대해 하는 자기 신고입니다. 앞의 기법 여섯과는 성격이 다릅니다.

그래서 같은 강연 안에서 신뢰도가 갈립니다

부분 왜 믿을 만한가 / 아닌가
기법 여섯 만든 쪽이 제일 잘 아는 영역. 자기 모델을 어떻게 다뤄야 하는지는 만든 사람이 제일 잘 압니다
마지막 주장 자기 제품에 대한 자기 평가. 근거도 하나뿐

같은 사람의 같은 발표라도, 어느 부분은 전문가고 어느 부분은 이해당사자입니다. 그걸 갈라서 읽어야 합니다.

공정하게 덧붙일 것 — 제일 안 팔리는 대목이 제일 믿을 만했습니다

강연 3부는 이득이 아니라 상실감에 대한 것입니다.

몇 주 걸리던 일을 몇 시간에 한다. 어떻게 웃지 않을 수 있고, 또 어떻게 거의 울지 않을 수 있겠나.

손으로 코드를 짜던 감각을 사랑했지만 돌아갈 수는 없다고 말합니다.

파는 쪽 사람이 자기 제품이 «가져간 것»을 이야기하는 건 흔치 않습니다. 그리고 그 부분이 이 강연에서 제일 안 팔리는 대목입니다.

그래서 제일 믿을 만합니다. 팔려고 하는 말이 아니니까요.

여기부터는 자세한 기록입니다

같은 강연 안에서 신뢰도가 두 갈래로 갈립니다. 모델을 만든 회사 사람이 그 모델을 쓰는 법을 말하는 강연이라, 기법 여섯은 만든 쪽이 제일 잘 아는 영역이고 믿을 만합니다. 반면 마지막 파트의 “트레이드오프는 진짜가 아니다” 는 자기 제품에 대한 자기 신고이고, 근거가 “이 발표 덱을 전날 밤 4시간에 만들었다” 하나뿐입니다. 기법 여섯 중 셋은 제가 이미 다른 이름으로 하던 것이었고, 안 하던 셋이 남았습니다.

무엇을 말한 강연인가

전제가 한 줄입니다 — 병목은 모델이 아니라 내 인식과 실제를 맞춰 내 unknown을 찾는 내 능력에 있다. 그래서 강연 후반부 전체가 모델 자신을 써서 내 unknown을 꺼내는 방법에 쓰입니다.

⚠ 먼저 한정을 붙입니다. 제가 본 건 18분 중 9분 34초 이후입니다. 앞부분은 이 문서 범위 밖이고, 아래 판정은 후반부만 근거로 합니다.

기법 여섯은 이렇습니다.

기법 겨냥하는 칸 실제로 시키는 것
Blindspot pass Unknown unknowns “이 모듈을 전혀 모른다. blindspot pass로 관련 unknown unknowns를 찾고 프롬프트를 더 잘 쓰게 도와 달라” → 모듈을 훑어 “여긴 복잡한 막다른 길”, “이력을 찾아봐라” 식으로 함정을 짚어 준다
Brainstorms & prototypes Unknown knowns “시각적 감각이 없다. 완전히 다른 디자인 방향 네 가지를 한 페이지에 만들어 달라 — 내가 보고 반응하게”
Interviews 못 명시한 것 “모호한 부분을 한 번에 한 질문씩 인터뷰해 달라 — 내 답이 아키텍처를 바꿀 질문을 먼저”
References Known unknowns “이 라이브러리의 이 동작이 내가 원하는 그대로다. 읽고 같은 시맨틱을 우리 쪽으로 재구현해 달라”
Implementation notes 실행 중 만난 것 “노트를 유지해라. 계획을 벗어나게 하는 엣지케이스를 만나면 보수적 옵션을 고르고 Deviations 아래 기록하고 계속 진행해라”
Quizzes 내 이해도 “이 변경을 다 이해했는지 확인하고 싶다. 맥락·직관·수행 내용 리포트 + 하단에 내가 통과해야 할 퀴즈를 만들어 달라”

④가 특히 좋습니다. “지도를 주는 최선은 다른 지도를 주는 것” — 언어도 시스템도 달라도 됩니다. React 컴포넌트를 원하면 HTML 목업을 지도로 넘기면 됩니다.

대표 기법 — 셋은 이미, 셋은 새것

기법 여섯 — 셋은 이미 하던 것의 다른 이름, 셋은 안 하던 것 ① Blindspot pass 모르는 코드에 들어가기 전에 함정을 먼저 묻는다 새것 ② Brainstorms 시안을 여럿 만들어 놓고 고른다 이미 함 ③ Interviews 되묻게 만들어 내 컨텍스트의 구멍을 본다 이미 함 ④ References 원하는 동작의 실물을 지도로 넘긴다 이미 함 ⑤ Implementation notes 계획을 벗어난 지점을 Deviations 로 남긴다 새것 ⑥ Quizzes 머지 전에 내 이해도를 스스로 시험한다 새것 ⇒ 같은 자료 안에서 신뢰도가 갈린다 — 기법 여섯은 만든 쪽이 제일 잘 아는 영역이다 반면 「트레이드오프는 진짜가 아니다」는 자기 제품 자기 신고고, 근거가 「덱을 4시간에 만들었다」 하나다
여섯 중 셋이 이미 하던 것이라는 게 나쁜 소식은 아니다. 같은 자리에 도달한 방법이 둘이라는 뜻이라서다.

⑤가 제일 크게 남았습니다. “계획을 벗어나게 하는 엣지케이스를 만나면 보수적 옵션을 고르고 Deviations 아래 기록하고 계속 진행하라” — 이 한 줄이 멈추지 않으면서 흔적을 남기는 방법입니다. 저는 지금까지 둘 중 하나였습니다. 멈춰서 묻거나(느림), 알아서 진행하거나(나중에 왜 그렇게 됐는지 모름). 셋째 길이 있었습니다.

⑥도 안 하던 것입니다. 작업이 끝난 뒤 “내가 이걸 이해했는가” 를 모델에게 시험받는다는 발상은 없었습니다. 코드 리뷰는 코드를 보는 것이지 제 이해도를 보는 게 아닙니다.

①은 형태가 익숙한데 시점이 다릅니다. 저는 모르는 코드에 들어갈 때 읽고 나서 질문했지, 들어가기 전에 함정을 먼저 물어본 적이 없습니다.

깨본 결과

마지막 파트가 제일 약합니다. “트레이드오프는 진짜가 아니다” — 우선순위를 재며 이것 대 저것을 고르는 대신 그냥 전부 다 하고 현실이 직접 트레이드오프를 보여주게 하라는 문화 얘기입니다. 좋고 빠르고 싸고 셋 다 고르는 시대라고 합니다.

근거가 하나뿐입니다 — 발표 덱을 전날 밤 4시간에 만들었다는 것. 덱은 되돌리기 쉽고 실패 비용이 거의 없는 산출물입니다. 제가 다루는 것들과 실패 비용의 자릿수가 다릅니다. 한 종류의 산출물에서 성립한 것을 「트레이드오프가 사라졌다」로 일반화할 수는 없습니다.

그리고 이 강연은 그 모델을 만든 회사 사람의 것입니다. 이건 흠이 아니라 읽는 법의 문제입니다 — 기법 여섯은 만든 쪽이 제일 잘 아는 영역이라 신뢰도가 높고, 제품 효과 주장은 제일 낮습니다. 같은 자료 안에서 신뢰도를 나눠서 읽어야 합니다.

판정

무엇 판정
⑤ Deviations 기록 채택. 멈추지 않으면서 흔적을 남기는 셋째 길
⑥ 머지 전 자기 퀴즈 채택. 코드가 아니라 내 이해도를 재는 자리
① Blindspot pass 채택. 읽은 뒤가 아니라 들어가기 전에
②③④ 이미 함. 같은 자리에 다른 이름으로 도달해 있었다
「트레이드오프는 진짜가 아니다」 보류. 근거가 실패 비용이 낮은 산출물 하나뿐

공정하게 덧붙일 게 있습니다. 강연 3부는 이득이 아니라 상실감에 관한 것입니다. “몇 주 걸리던 일을 몇 시간에 한다 — 어떻게 웃지 않고, 또 어떻게 거의 울지 않을 수 있겠나.” 손으로 코드를 짜던 감각을 사랑했지만 돌아갈 수는 없다고 말합니다. 파는 쪽 사람이 자기 제품이 가져간 것을 이야기하는 건 흔치 않습니다 — 그 부분이 이 강연에서 제일 안 팔리는 대목이고, 그래서 제일 믿을 만합니다.