새 역할 판을 그림자 · 카나리로 돌려 지금 것보다 나은지 «재고» 나서 올린다
이런 상황입니다
에이전트의 역할 정의(프롬프트 · 권한 · 훅 한 벌)를 고친 새 판은 사람이 «읽어 보고» 살린다. 읽어서 알 수 있는 것은 「말이 되나」 까지이고 「실제로 일을 더 잘 끝내나」 는 돌려 봐야 아는데, 전부를 한 번에 새 판으로 갈아 끼우면 나빠졌을 때 되돌릴 자리가 없다. 그래서 좋아 보이는 판도 못 올리거나, 올리고 나서 실패율이 오른 것을 뒤늦게 안다
고객 인터뷰 전의 추정입니다.
AI 팀이 붙으면 이렇게 흐릅니다
- AI
새 역할 판(`homes/<role>@<version>`) 입력
- AI
그림자: 지금 판 A 가 실제로 일하고 새 판 B 는 같은 프롬프트로 «답만» 낸다(실행 없음 · 위험 0)
- AI
카나리: 일의 일부(`share`, 코드 기본 0.1)만 B 가 «실제로» 하되 배정은 워커 id 해시로 결정론
- AI
A · B 의 점수와 실패율을 같은 잣대로 관찰(B 표본이 코드 기준 `MIN_SAMPLE` 미만이면 판정 보류)
- AI
판정 «제안»(PROMOTE · KEEP · ROLLBACK · PENDING)
- 사람
사람이 판정 카드를 읽고 `apply` 를 명시해야 B 가 ACTIVE 로 오른다, A 를 내리는 것은 제안 줄로만 남긴다
- AI
원장(`canary.jsonl`)에 한 판이 기록된다
사람은 여기서 정합니다
- 사람이 판정 카드를 읽고 `apply` 를 명시해야 B 가 ACTIVE 로 오른다, A 를 내리는 것은 제안 줄로만 남긴다
데모로 보여 줄 흐름
- 0~10초
역할 하나의 새 판 초안이 생기고 지금 판과 나란히 놓인다
- 10~25초
그림자 모드에서 같은 프롬프트에 A · B 두 답이 나란히 뜬다
- 25~40초
카나리 10% 배정표와 A · B 의 점수 · 실패율 표가 채워지고 「표본 부족, 보류」 가 「B 가 앞섬 · 실패율 안 오름」 으로 바뀐다
- 40~55초
PROMOTE «제안» 카드가 사람에게 올라오고 사람이 apply 를 누르자 B 만 ACTIVE 로 오른다
- 55~60초
원장 한 줄과 「사람이 정한 것: 승격 1회」 자막
이 시나리오의 데모 영상은 준비 중입니다.
무엇으로 효과를 재나
- 오류율(새 판 전환 1건당 · %)측정 준비 중
- 사람 개입 횟수(새 판 전환 1건당 · 회)측정 준비 중
- 자동 처리율(월 · %)측정 준비 중
이 일을 맡는 팀
같은 갈래의 다른 시나리오
내 업무와 비슷한가요?
이 시나리오로 상담하기 요금 계산하기