직원이 많은 조직을 조사한 결과는 아닙니다. 사실상 대표 한 사람과 AI가 함께 일하는 김자매주식회사의 기록입니다. 한 사람만 사용하는 환경에서도 만들어 둔 에이전트와 실제로 쓰는 에이전트 사이에는 차이가 있었습니다.
등록한 수와 실제 사용한 수가 달랐습니다
에이전트마다 작성한 설명 파일은 33개였습니다. 이 가운데 업무 분류표에 이름을 올린 것은 17개, 실제 사용 기록이 남은 것은 13개였습니다.
| 구분 | 개수 | 확인 방법 |
|---|---|---|
| 만들어 둔 에이전트 | 33개 | 에이전트 설명 파일 수 |
| 업무 분류표에 등록 | 17개 | 분류표에 적힌 이름 수 |
| 50일 동안 실제 사용 | 13개 | 570건 작업 기록 |
| 한 번도 사용하지 않음 | 20개 | 같은 기간 사용 기록 0회 |
등록
없음
분류표에 등록된 17개 중에서도 9개는 사용 기록이 없었습니다. 반대로 분류표에 없던 16개 가운데 5개는 실제 업무에서 사용됐습니다. 목록에 올려두는 것과 사용하는 것은 같은 일이 아니었습니다.
문제는 앱이 아니라 에이전트를 고르는 기준이었습니다
어느 프로그램에서 일을 시작해야 하는지 몰랐던 것은 아닙니다. 기존에 사용하던 프로그램에서 에이전트를 실행할 수 있었습니다. 다만 문장 다듬기 역할만 13개가 있어, 요청할 때마다 이름과 차이를 떠올려 하나를 골라야 했습니다.
사용자는 문장을 다듬고 싶을 뿐인데 내부에 만든 에이전트의 구성을 알아야 했던 겁니다. 그래서 프로그램을 새로 만들지 않고 요청 방식을 줄였습니다.
- 문장 다듬기 에이전트 13개는 하나씩 고르지 않고 한 곳에 요청하도록 묶었습니다.
- 캠페인 전용 에이전트 3개에는 언제 사용하는지 조건을 적었습니다.
- 각 에이전트에는 어떤 업무가 들어왔을 때 사용하는지 한 문장으로 남겼습니다.
사용은 늘었지만 변경 효과는 증명하지 못했습니다
사용 방식을 바꾼 에이전트 5종은 변경 전 2회에서 변경 후 28회로 늘었습니다. 그런데 아무것도 바꾸지 않은 8종도 같은 기간 3회에서 31회로 늘었습니다.
| 비교 대상 | 변경 전 | 변경 후 |
|---|---|---|
| 사용 방식을 바꾼 5종 | 2회 | 28회 |
| 바꾸지 않은 8종 | 3회 | 31회 |
두 집단의 사용이 함께 증가했기 때문에 요청 방식 변경이 원인이라고 말할 수 없었습니다. 당시 전체 작업량과 AI 사용 빈도도 따로 통제하지 않았습니다.
이번에 남은 것은 성공 사례가 아니라 다음 측정 기준입니다. 변경 전후의 기간과 업무량을 같게 두고, 바꾸지 않은 에이전트와 함께 비교해야 효과를 판단할 수 있습니다.
에이전트를 더 만들기 전에는 어떤 업무에 사용하는지, 비슷한 에이전트 중 무엇을 고를지, 어떤 자료를 넣고 어떤 결과를 받을지를 먼저 적어보는 편이 낫습니다.
사람은 브랜드와 업무에서 필요한 판단 기준을 정리하고, 김자매주식회사는 그 기준을 AI가 반복해서 적용할 수 있는 에이전트와 교육 과정으로 만듭니다.
| ( 이 기록 요약 — 문제 · 한 일 · 달라진 것 ) | |
|---|---|
| 문제 | 만들어 둔 AI 에이전트 33개 중 20개가 50일 동안 사용 기록 0회 |
| 저희가 한 일 | ① 문장 다듬기 에이전트 13개를 한 곳에 요청하도록 묶음 ② 캠페인 전용 3개에 사용 조건을 적음 ③ 에이전트마다 사용 상황을 한 문장으로 남김 |
| 달라진 것 | 재배치 5종 2→28회, 바꾸지 않은 8종도 3→31회로 함께 늘어 변경 효과는 증명 실패. 남은 것은 다음 측정 기준(기간·업무량을 같게 두고 비교) |