Mixpanel Headless 시연 - AI로 매주 자동 파이썬 스크립트를 만들기

함께 보면 좋은 글, Mixpanel AI 분석자동화 Headless 시리즈

1편. Mixpanel MCP, 자연어로 데이터에 묻기
2편. Mixpanel Headless란? MCP와 무엇이 다르고, 언제 써야 할까
3편. AI분석 자동화의 시작, Mixpanel Headless 설치 완벽 가이드
4편. (이 글) Mixpanel Headless 실측기

앞의 두 글(소개와 설치)에서 Headless가 무엇인지, AI먀어떻게 설치하고 질의하는지까지 다뤘습니다.

이제 직접 업무에 써볼 차례입니다. 질의 한 번이 성공하는 것과, 실제 분석을 끝내고 다음에도 다시 쓰는 것은 다른 문제니까요.

그래서 마켓핏랩 웹 Mixpanel 프로젝트에 직접 돌려봤습니다.

SDK를 동작시키려면 파이썬 코드는 작성해야 합니다.

다만 사람이 쓰지 않았습니다. 사람은 자연어로 요청했고, 코드는 코딩 에이전트인 Claude Code가 작성했습니다.

실행도 대부분 에이전트가 맡았고, 마지막 시나리오에서는 만들어진 스크립트를 사람이 직접 돌렸습니다.

이번에 검증한 대상은 Headless 단독이 아니라 Headless와 코딩 에이전트의 조합입니다.

무엇을 확인하려고 했나

궁금했던 건 작업이 끝난 뒤 무엇이 남느냐였습니다. MCP로 탐색하고 분석하는 것은 이미 가능했습니다.

Headless에서는 그 결과를 다음 주에도 다시 돌릴 수 있는 형태로 남길 수 있는지 확인하고 싶었습니다.

또 하나는 사람이 직접 파이썬 코드를 작성하지 않고도 여기까지 갈 수 있느냐였습니다. 이번 실측에서 사람은 코드를 작성하거나 수정하지 않았습니다.

자연어로 요청하고, 에이전트가 세운 실행 계획을 확인하며 진행했습니다.

실측 조건

• 일시와 대상 : 2026년 8월 3일, 마켓핏랩 웹 Mixpanel 프로젝트
• 버전 : mixpanel-headless 0.2.0 (pre-release, 1.0 이전까지 API 변경 가능)
• 권한 : Service Account(analyst), 전 구간 read-only
• 사용량 : API 호출 7회, 시나리오당 10초 미만

시나리오 세 개

1. 주간 추세 리포트
   • 이벤트 3종의 주간 추세를 뽑아 차트로 산출. 절대수치 대신 인덱스 정규화 차트를 요청했습니다.

1. 퍼널 질의
   • 4단계 퍼널을 저장 퍼널 생성 없이 인라인 질의로 조회. read-only 원칙을 지키는 방식입니다.
2. 재실행 스크립트
   • 주간 리포트 스크립트를 에이전트가 작성하고, 실행은 사람이 직접 했습니다.

에이전트가 돌리는 모드와 사람이 스크립트만 받아 돌리는 모드, 두 사용 방식을 다 확인하기 위해서요.

세 시나리오 모두 완료했고 호출 실패는 0회였습니다. 산출물은 차트 이미지, 조회 표, 그리고 재실행용 파이썬 스크립트. 이 스크립트를 사람이 따로 실행해도 같은 리포트가 나오는 것까지 확인했습니다.

돌리면서 관찰한 것 네 가지

실제로 돌려보니 몇 가지 패턴이 보였습니다.

1. 완전 자동으로 돌아가지는 않았습니다. 단계마다 에이전트가 다음 작업 계획을 보여줬고, 사람이 확인하고 승인한 뒤에 진행됐습니다.
2. 에이전트가 알아서 정한 것과 사람에게 물은 것이 구분됩니다. 쿼리 구성이나 차트 형식은 에이전트가 정했고, 조회 범위와 진행 여부는 사람에게 확인했습니다. 이 구분이 실행 로그에 그대로 남아서, 나중에 판단 과정을 되징어볼 수 있었습니다.
3. API 호출은 생각보다 적었습니다. 자체 리밋을 40회로 잡고 시작했는데, 세 시나리오를 끝내는 데 실제로 쓴 건 7회였습니다. 적어도 이번 세 시나리오에서는 불필요한 재조회가 거의 없었습니다.
4. 요청하지 않은 주의 문구도 들어갔습니다. 볼륨이 작은 이벤트는 변동 해석에 주의하라는 안내가 리포트에 함께 생성됐습니다. 작은 볼륨에서의 변동을 과해석하지 않도록 막아주는 문장이라 그대로 뒀습니다.

채팅 기록이 아닌 실제 자산으로 남는 스크립트와 파일

실측이 끝나고 남은 건 채팅 로그가 아니라 스크립트와 파일입니다.

필터, 기간, 이벤트 구성이 전부 코드 안에 있고, 다음 주에 그대로 다시 돌리면 같은 계산이 실행됩니다.

OS 예약 작업이나 cron에 걸어두면 실행조차 자동이 되고요. 스케줄링 기능이 SDK 안에 들어 있는 건 아니고, 남은 스크립트를 기존 예약 도구에 얹는 방식입니다.

MCP와의 관계는 앞 글에서 정리한 그대로입니다. 탐색은 MCP로 하고, "이건 매주 봐야겠다"는 결론이 난 것만 Headless로 스크립트를 만들어두면 됩니다.

분석하는 방법이 자산화 된다는 것

Mixpanel에서 리포트를 보드에 저장해두면 이벤트, 필터, 계산 조건 같은 분석 정의는 나중에 누구든 다시 열어 확인할 수 있습니다. 이건 이미 잘 남습니다.

문제는 실제 업무가 리포트 하나로 끝나지 않을 때입니다. 여러 리포트를 차례로 조회하고, 조건을 맞춰 검산하고, 결과를 엑셀이나 문서로 가공해 공유하는 과정은 화면 밖에서 사람 손으로 이어집니다.

컨설팅을 진행하면서 어느 조직에서나 반복해서 본 문제가 이 지점입니다. 담당자가 바뀌거나, 심지어 작업한 당사자라 할지라도 몇 달 뒤에는 그 과정을 그대로 재현하기 어렵습니다.

공유된 리포트와 숫자가 다르다는 문의도 비슷합니다. 화면 밖에서 가공해 전달한 숫자일수록, 타임존이나 카운팅 방식 같은 작은 차이가 어느 단계에서 들어갔는지 확인하기 어렵습니다.

스크립트가 남으면 그 과정 전체가 실행 가능한 형태로 남습니다. 어떤 조건으로 조회했고 어떤 계산을 거쳐 결과를 만들었는지가 코드에 있으니, 숫자가 달라졌다면 어느 단계가 달라졌는지 대조할 수 있습니다. 담당자가 바뀌어도 같은 절차를 그대로 다시 돌릴 수 있고요.

자산으로 남은 분석 방법론을 단단하게 만들기 위해 사람이 할 일

이번 실측은 하루짜리 검증입니다. 앞의 두 글이 그린 그림 중에 제가 아직 끝까지 돌려보지 않은 것들이 있습니다.

• 스케줄러에 걸어 몇 주 동안 실제로 운영하기 (설치 편의 예약 실행)
• 리텐션이 기준 아래로 떨어지면 슬랙으로 알리기 (소개 편의 알림 시나리오)
• Mixpanel 밖 사내 데이터, CRM 기록과 결합하기 (소개 편의 연동 사례)
• 대시보드나 코호트를 코드로 만드는 쓰기 작업

다음 글은 이걸 하나씩 실제로 돌려본 기록입니다. 되는 것과 안 되는 것, 도중에 걸린 것까지 그대로 적겠습니다. 그게 Headless 시리즈의 다음 글입니다.

Headless로 분석을 자동화하고 싶다면

Headless를 별도 세션으로 더 깊게 다루기를 원하시면 알려주세요. 수요가 모이면 실측 시나리오 구성과 산출물 형태를 들고 세션으로 정리하겠습니다.

반복 리포트나 데이터 QA를 실제 운영에 붙이고 싶다면 마켓핏랩이 함께 설계합니다. 어떤 작업은 MCP로 두고 어떤 작업을 Headless 스크립트로 돌릴지부터, 검산과 알림 방식까지 같이 정리합니다.

문의: solutions@mfitlab.com, nicky@mfitlab.com