QA 인프라 발표

다른 회사 QA 팀의 31분짜리 발표를 본 기록입니다. 그런데 소리가 안 들어와서 화면만 보고 재구성했습니다. 그 사실을 먼저 밝히고 시작해야 하는 편입니다.

먼저 — 이 글은 근거가 얇습니다

보통은 좋은 이야기부터 쓰는데, 여기서는 빠진 것부터 적어야 합니다.

31분짜리 발표인데 자막이 없었습니다. 그래서 화면에 띄운 장표만 보고 내용을 맞췄습니다. 빠진 것이 이렇습니다.

• 발표자가 실제로 한 말 전부
• 장표에 안 적힌 부연 설명
• 질의응답 14분 — 질문은 화면에 떴는데 답은 음성이라 안 들어왔습니다

마지막 줄이 특히 아픕니다. 청중이 뭘 궁금해했는지는 아는데, 발표자가 뭐라고 답했는지는 모릅니다. 31분 중 14분이 통째로 비어 있는 셈입니다.

이걸 안 적고 요약만 쓰면 어떻게 되냐면, 나중에 이 글을 근거로 뭔가 주장할 때 그 구멍이 안 보입니다. 그래서 맨 앞에 적어 둡니다.

발표의 출발점 — 「QA는 테스트다」라는 말이 오히려 가둔다

발표자의 문제의식은 이랬습니다.

「QA가 하는 일이 뭐냐」고 물으면 대부분 「테스트하는 사람」이라고 답합니다. 그런데 그 정의가 좁아서 오히려 할 수 있는 일을 못 하게 막는다는 것입니다.

발표자가 말한 본질은 이겁니다 — 「만들기로 한 대로 만들어졌는가」를 확인하는 것. 그걸 확인하는 수단은 눌러 보는 것일 수도 있고, 데이터를 직접 조회하는 것일 수도 있습니다. 수단이 목적이 되면 안 된다는 이야기입니다.

발표 전체를 지탱하는 사례 하나 — 뽑기 확률

발표에서 제일 좋았던 부분입니다. 그리고 제가 유일하게 가져온 것이기도 합니다.

게임에 「1% 확률로 좋은 물건이 나온다」고 적혀 있다고 해 봅시다. 정말 1%인지 어떻게 확인할까요.

	눌러 보는 방식	원본을 보는 방식
어떻게	수백 번 뽑아 보고 세어 봄	확률 설정값을 직접 조회
걸리는 시간	몇 시간~며칠	5초
나오는 답	「아마 1%인 것 같다」	「1%다」

아래 칸이 핵심입니다. 속도만 빨라진 게 아니라 답의 성격이 바뀌었습니다. 추정이 확정이 됐습니다.

그리고 이 변화를 만든 건 도구가 아니라 볼 수 있는 자리(권한)였습니다. 아무리 좋은 자동화를 만들어도 밖에서 세는 한 영원히 추정입니다.

→ 그래서 발표의 순서가 권한 → 인프라 → AI입니다. 도구를 먼저 들이는 게 아닙니다.

제 것과 대 보니 — 한 가지는 이미 가 있었습니다

발표에서 「버그를 적을 때 증거를 한 번에 같이 모아라」는 이야기가 나왔습니다. 화면 사진, 로그, 기기 정보를 따로따로 챙기면 귀찮아서 빠뜨린다는 것입니다.

저도 같은 결론에 가 있었습니다. 제 자동화는 판정하는 그 순간에 증거를 스스로 남기게 해 뒀고, 사진과 영상은 다시 만들 수 없으니 따로 보관합니다.

문제의식이 똑같습니다 — 귀찮으면 빠뜨린다.

인용하지 않는 것

발표에 숫자가 여럿 나왔는데 하나도 인용하지 않습니다. 전부 장표에 적힌 표현이고, 어떻게 계산한 숫자인지가 없습니다. 계산 방법이 없는 숫자는 옮겨 적어도 확인할 방법이 없습니다.

다시 열어 볼 조건

답변 14분을 복원해도 판정이 바뀔 것 같지는 않습니다. 그래서 지금은 보류입니다.

다시 열 조건은 하나 — 제가 실제로 권한 협상을 하거나 이런 층을 쌓아야 할 일이 생겼을 때. 그때는 남의 순서가 실제 참고가 됩니다.

(2026-09 점검) 예시로 쓰겠다던 뽑기 사례는 실제로 글에 들어갔습니다 — 「아마 맞다」는 판정이 아니다 편에서, 표본을 모아 추정하던 것이 원본을 직접 조회하게 되며 증거 등급이 몇 칸 뛴 예로 쓰였습니다. 다시 열 조건은 아직 안 생겼습니다.

이 편에서 값을 치른 교훈

결손이 있는 자료는, 결손을 먼저 세고 읽어야 합니다.

자료가 부족하다고 안 읽는 게 답은 아닙니다. 다만 뭐가 빠졌는지를 안 적고 요약만 남기면, 나중에 그 요약이 혼자 걸어 다니면서 원래 없던 확신을 갖게 됩니다.

여기부터는 자세한 기록입니다

이 편은 근거가 얇다는 것부터 말하고 시작해야 합니다. 31분짜리 발표인데 자막이 없어서 화면 슬라이드만으로 재구성했습니다. 발표자가 실제로 한 말, 부연 설명, 14분에 걸친 질의응답 답변이 전부 빠져 있습니다. 그 결손을 안고도 남는 게 하나 있었는데, 도구 이야기가 아니라 「무엇을 증거로 칠 것인가」의 이야기였습니다.

무엇을 말한 발표인가

출발이 좁은 정의에 대한 반박입니다. “QA는 테스트다” 라는 인식이 오히려 QA의 역할을 가둔다는 문제의식입니다. 검증의 본질은 “기획 의도대로 구현되었는가” 를 확인하는 것이지, 특정 도구를 보는 게 목적이 아니라고 합니다.

그리고 권한 이야기가 나옵니다. 데이터베이스나 빌드 도구 접근을 요청할 때마다 “QA가 그 정보에 왜 접근해요?” 라는 반문을 들었다고 합니다. 결론은 이렇습니다 — 권한은 주어지는 게 아니라, “이렇게 하면 더 빠르고 정확하고 완전하게 테스트할 수 있다”를 증명해야 얻어지는 것.

인프라를 도구 목록이 아니라 능력으로 정의합니다 — “개발 활동을 관찰·파악·가시화할 수 있게 하는 기반 작업 그 자체.” 그리고 핵심은 개별 도구가 아니라 그렇게 쌓인 것들의 누적이라고 못 박습니다.

돌아간다면 제일 먼저 만들 것으로 「버그 등록 인프라」를 꼽습니다. 이유가 정확합니다 — 테스트 주기(케이스 준비 → 수행 → 버그 등록 → 수정) 중 버그 등록이 외부와 닿는 유일한 접점인데, 숙련자도 로그·재현 스크린샷·중복 확인에 5~10분이 걸리고 귀찮으면 누락됩니다. 해법은 핫키 한 번에 영상·로그·스크린샷을 동시 수집하는 도구입니다.

마무리가 실행 가능합니다 — “돌아오는 월요일, 조회 권한 하나를 요청하세요.”

대표 기법 — 사례 하나가 발표 전체를 지탱한다

뽑기 확률 검증 사례입니다.

예전: 수백 판을 반복해서 뽑고 통계로 확률을 추정했습니다. 이건 “체감 확인” 입니다. 이후: 확률 데이터 원본을 쿼리 한 줄로 5초 만에 조회하게 되자, 검증 방식 자체가 바뀌었습니다.

이게 도구 이야기가 아니라는 게 요점입니다. 같은 질문(“확률이 맞는가”)에 대해 무엇을 증거로 칠 것인가가 바뀐 겁니다. 수백 판의 표본은 “아마 맞는 것 같다” 까지만 갑니다. 원본 조회는 맞거나 틀리거나입니다. 접근 권한 하나가 판정의 성격을 바꿉니다.

깨본 결과 — 결손을 먼저 센다

분석 가능한 것이 절반입니다. 31분 중 발표가 16분, 질의응답이 14분인데 질의응답은 질문 텍스트만 슬라이드에 남고 답변은 음성입니다. 그래서 청중이 무엇을 궁금해했는지는 알지만 발표자가 뭐라고 답했는지는 모릅니다.

질문 목록 자체는 읽을 만합니다 — “권한 필요성을 인정하지 않는 사람은 어떻게 대처하나”, “AI로 절약한 시간을 어디에 재배분하나”, “실무에서는 어떤 레이어부터 구축하나”. 전부 이 발표가 열어 놓고 답을 안 준 자리입니다. 답이 있었을 텐데 제 분석에는 없습니다.

그리고 수치가 하나도 없습니다. “5~10분”, “5초”, “수백 판” — 전부 슬라이드의 표현이고 어떻게 잰 값인지가 없습니다. 이 발표는 애초에 측정 보고가 아니라 경험 공유라서 그게 흠은 아닙니다. 다만 인용할 때 수치를 떼고 논지만 가져와야 합니다.

⚠ 결손을 메우려면 방법이 있습니다 — 음성 전사를 붙여 다시 분석하면 됩니다. 안 한 이유는 단순합니다. 이 발표에서 제가 얻을 것이 논지 하나로 이미 정해졌기 때문입니다. 답변 14분을 복원해도 그 판정이 바뀔 것 같지 않았습니다. ⚠ 이건 추정이고, 틀렸을 수 있습니다.

내 환경에 대봤다

버그 등록 인프라는 제가 이미 그 방향으로 가 있습니다. 자동화 런이 판정 시점에 증거를 스스로 남기게 해 뒀고, 이미지·영상은 재생성이 안 되니 따로 보관합니다. 발표가 말한 “핫키 한 번에 동시 수집” 과 문제의식이 같습니다 — 귀찮으면 누락된다는 것.

「인프라가 없으면 AI에게 줄 컨텍스트가 없다」도 제 경험과 맞습니다. 제가 만든 것들 중 실제로 값을 한 건 모델이 똑똑해서가 아니라 읽을 게 있어서 였습니다.

그런데 제일 크게 남은 건 뽑기 사례입니다. 저는 무엇을 증거로 칠 것인가를 따로 쓰고 있는데, 이 사례가 그 글의 제일 좋은 예시입니다. 같은 질문에 대해 추정으로 답하느냐 확정으로 답하느냐가 도구가 아니라 접근 권한에서 갈립니다.

판정

무엇	판정
증거의 성격이 권한에서 갈린다	채택 — 예시로. 판정을 다루는 글에 그대로 들어갈 사례다 (2026-09 기준 반영 — 「아마 맞다」는 판정이 아니다)
버그 등록 시점 증거 동시 수집	이미 함. 문제의식이 같다
“인프라가 없으면 AI에 줄 컨텍스트가 없다”	동의. 다만 제 경험이 근거지 이 발표가 근거는 아니다
수치 인용	⛔ 금지. 전부 슬라이드 표현이고 산정 방법이 없다
재분석	보류. 답변 14분을 복원해도 판정이 바뀔 것 같지 않다 재개 조건: 권한 협상이나 레이어 구축 순서를 실제로 해야 할 일이 생길 때

이 편에서 값을 치른 교훈은 자료 쪽이 아니라 제 쪽입니다 — 결손이 있는 자료는 결손을 먼저 세고 읽어야 합니다. 31분 중 14분이 안 들어와 있는데 그걸 안 적고 요약만 쓰면, 나중에 이 페이지를 근거로 뭘 주장할 때 그 구멍이 안 보입니다.

그리고 ⚠ “재분석해도 판정이 안 바뀔 것 같다”는 제 추정입니다. 실제로 확인한 게 아닙니다. 여기 적어 두는 이유는, 나중에 이 판정이 틀렸다고 밝혀졌을 때 어디서 틀렸는지가 남아야 하기 때문입니다.