CRM 성과를 높이는 가장 쉬운 방법, A/B 테스트

지난 편에서는 라운지 회원을 매출로 연결하는 캠페인들을 살펴봤습니다. 브랜드데이 알림, 재구매 유도, 쿠폰 리마인드처럼 브랜드가 실제로 돌릴 수 있는 캠페인들이었죠.

그런데 캠페인을 몇 번 돌려보면 금방 이런 질문에 부딪힙니다. "이번 캠페인은 잘 됐는데, 왜 잘 됐을까?" 이미지 덕분인지, 문구 덕분인지, 보낸 시간 덕분인지, 아니면 그날 마침 운이 좋았던 건지 알 수 없습니다. 이유를 모르면 다음에 다시 잘하기도 어렵습니다.

이 질문에 답하는 가장 쉬운 방법이 A/B 테스트입니다. 이번 편에서는 성과를 가르는 세 가지 — 메시지 소재, 발송 시간, 타겟 — 을 실제 데이터로 하나씩 살펴보겠습니다.

잘 된 캠페인과 안 된 캠페인의 차이는 생각보다 큽니다

먼저 캠페인마다 성과가 얼마나 벌어지는지부터 보겠습니다.

마켓탭으로 발송된 캠페인들을 브랜드별로 묶어봤습니다. 같은 브랜드가, 같은 채널로, 같은 회원들에게 보낸 캠페인인데도 클릭률은 캠페인마다 크게 달랐습니다. 브랜드별로 가장 낮은 캠페인과 가장 높은 캠페인을 비교해보면, 그 격차는 평균적으로 4~5배 수준이었습니다. 7배 넘게 벌어지는 브랜드도 적지 않았고요.

같은 회원 명단에 보냈는데 이만큼 차이가 난다면, 그 차이를 만든 건 '누구에게 보냈나'가 아니라 '무엇을, 언제, 어떻게 보냈나'입니다. 그리고 이건 브랜드가 바꿀 수 있는 것들이죠.

문제는 지나고 나서는 어느 것이 효과가 있었는지 알기 어렵다는 점입니다. 지난달 캠페인과 이번 달 캠페인은 소재도 다르고, 보낸 날짜도 다르고, 그날의 상황도 다릅니다. 비교 자체가 성립하지 않습니다. 그래서 필요한 것이 같은 조건에서 한 가지만 바꿔 동시에 보내보는 것, A/B 테스트입니다.

문구 하나 바꿨을 뿐인데

실제 사례를 보겠습니다. 한 건강기능식품 브랜드가 유산균 재구매를 유도하는 문자를 보내면서, 대상 회원을 절반씩 나눠 문구만 다르게 보냈습니다. 혜택도, 링크도, 보낸 시각도 똑같았고 오직 문구만 달랐습니다.

• A안 — 복용 시점을 짚어주는 문구: "지난번에 받으신 30일분, 이맘때면 거의 다 드셨죠?"

• B안 — 혜택을 앞세우는 문구: "지금 재구매하시면 15% 할인, 이번 주까지예요!"

결과는 다음과 같았습니다.

클릭률만 보면 차이가 크지 않아 보입니다. 그런데 실제 구매로 이어진 매출은 거의 두 배 차이가 났습니다. 문구 한 줄의 차이입니다.

여기서 눈여겨볼 점이 하나 있습니다. 클릭률 차이는 20% 남짓인데, 매출 차이는 두 배 가까이 났습니다. 클릭률로는 '어느 쪽이 이겼는지'는 알 수 있어도 '얼마나 이겼는지'는 알 수 없습니다. 클릭은 관심의 신호일 뿐이고, 실제 구매까지는 한 단계가 더 남아 있으니까요. 그래서 A/B 테스트의 결론은 클릭률에서 멈추지 말고 그 메시지가 만든 매출까지 확인해야 합니다.

이미지 한 장, 형식 하나도 결과를 바꿉니다

문구뿐 아니라 메시지의 '형태'도 성과를 바꿉니다.

한 커머스 브랜드는 카카오 브랜드메시지를 보내면서 같은 상품, 같은 할인을 두 가지 형식으로 나눠 보냈습니다.

• A안: 상품을 여러 개 나열하는 캐러셀형

• B안: 대표 이미지를 먼저 보여주고 상품으로 이어지는 커머스형

결과는 B안이 클릭률 6.4% 대 5.4%로 약 18% 높았고, 메시지가 만든 매출도 13% 정도 앞섰습니다.

또 다른 브랜드는 긴 본문에 이미지를 붙인 형식과, 큰 이미지에 짧은 한 줄만 붙인 형식을 비교했습니다. 두 번의 캠페인에서 모두 짧은 한 줄 + 큰 이미지 쪽의 클릭률이 높았습니다. 한 번은 1.4배, 다른 한 번은 3.8배 차이였습니다.

같은 방향의 결과가 두 번 반복됐다는 점이 중요합니다. 한 번은 우연일 수 있지만, 반복되면 그 브랜드의 규칙이 됩니다.

발송 시간도 무시할 수 없습니다

소재만큼 자주 나오는 질문이 '언제 보내야 하나'입니다.

마켓탭으로 발송된 카카오·문자 캠페인을 발송 시간대별로 묶어보면, 가장 높은 시간대와 가장 낮은 시간대의 클릭률이 두 배 가까이 벌어집니다. 오전 10시대와 오후 5시대가 상대적으로 높고, 오전 11시대나 오후 3시대는 낮은 편이었습니다.

다만 이 숫자를 그대로 믿으면 곤란합니다. 시간대마다 보낸 브랜드도, 메시지도, 상품도 다르기 때문입니다. "10시에 보내면 잘 된다"가 아니라, "시간대에 따라 이 정도까지 벌어질 수 있다" 정도로 읽는 것이 맞습니다.

그래서 발송 시간은 브랜드가 직접 확인해야 합니다. 방법은 어렵지 않습니다. 성격이 비슷한 캠페인을 한 주는 오전에, 다음 주는 저녁에 보내고 성과를 비교해보는 것입니다. 몇 번만 반복해도 우리 고객이 언제 반응하는지 감이 잡힙니다. 업종에 따라 답은 꽤 다릅니다. 식품 브랜드는 식사 시간 직전이, 뷰티 브랜드는 퇴근 후 시간대가 더 나을 수 있죠.

같은 메시지도 누구에게 보내느냐에 따라 다릅니다

세 번째 축은 타겟입니다.

같은 메시지라도 최근에 산 고객과 6개월째 잠잠한 고객의 반응은 다릅니다. 신규 회원과 단골도 마찬가지죠. 그래서 캠페인 성과를 볼 때는 전체 평균만 보지 말고, 어떤 고객군에서 성과가 나왔는지를 나눠 보는 것이 좋습니다.

이렇게 나눠 보면 자주 발견되는 것들이 있습니다. 재구매 유도 메시지가 전체 평균으로는 평범했는데 최근 30일 이내 구매 고객만 떼어놓고 보니 성과가 훨씬 높았다든지, 반대로 오래 잠들어 있던 고객에게는 할인 폭을 키워도 반응이 거의 없었다든지 하는 것들이죠.

이걸 알면 다음 캠페인에서는 잘 반응하는 고객군에 집중하고, 반응이 없는 고객군에는 다른 방식으로 접근할 수 있습니다. 같은 예산으로 더 나은 결과를 만드는 가장 조용한 방법입니다.

테스트를 제대로 하는 몇 가지 원칙

A/B 테스트는 어렵지 않지만, 몇 가지만 지키면 훨씬 쓸모 있어집니다.

한 번에 하나만 바꾸세요. 문구와 이미지와 시간을 한꺼번에 바꾸면, 결과가 좋아도 무엇 덕분인지 알 수 없습니다.

대상자는 무작위로, 비슷한 규모로 나누세요. 한쪽에만 단골이 몰리면 그건 소재 비교가 아니라 고객 비교가 됩니다.

너무 작은 차이에 결론을 내리지 마세요. 발송 대상이 적으면 클릭 몇 건 차이로 순위가 뒤집힙니다. 앞의 문자 사례도 배수로는 커 보이지만 전환 건수 자체는 많지 않았습니다. 방향은 분명했지만, 확신하려면 같은 테스트를 한 번 더 돌려보는 편이 좋습니다.

결과는 클릭률이 아니라 매출까지 보세요. 앞서 본 것처럼 클릭률은 조금 앞섰는데 매출은 두 배 가까이 벌어지기도 하고, 반대로 클릭률은 꽤 앞섰는데 매출은 조금밖에 앞서지 않기도 합니다. 클릭률만 보면 얼마나 이겼는지를 놓칩니다.

이긴 소재는 기록해두세요. 한 번의 테스트는 한 번의 정보지만, 열 번이 쌓이면 '우리 브랜드의 문법'이 됩니다.

마켓탭에서는 하나의 캠페인 안에서 대상자를 그룹으로 나누고, 그룹마다 다른 소재를 보낸 뒤 그룹별 클릭률과 매출을 나란히 확인할 수 있습니다. 캠페인을 두 개 따로 만들어 명단을 손으로 쪼갤 필요는 없습니다.

맺으며

A/B 테스트는 거창한 실험이 아닙니다. “이번에는 이 문구로 보내볼까?”라는 궁금증을 감이 아닌 숫자로 확인하는 습관에 가깝습니다.

한 번의 테스트로 매출이 극적으로 달라지지는 않습니다. 결과를 미리 예측할 수도 없습니다. 어떤 문구와 소재가 더 좋은 반응을 얻을지는 실제로 보내보기 전까지 누구도 알 수 없습니다.

다만 한 가지는 분명합니다. 테스트를 꾸준히 반복한 브랜드는 반년 뒤 ‘우리 고객에게 통하는 방식’을 알고 있지만, 테스트하지 않은 브랜드는 여전히 감에 의존해 메시지를 보냅니다.

캠페인 하나만 놓고 보면 그 차이가 작아 보일 수 있습니다. 하지만 이런 작은 차이가 1년 동안 쌓이면 결코 작지 않은 결과로 이어집니다.

A/B 테스트는 매출만을 위한 것도 아닙니다. 고객이 어떤 말투에 반응하는지, 어떤 순간에 메시지를 반갑게 받아들이는지를 알아가는 과정이기도 합니다. 그 과정에서 불필요한 메시지는 줄어들고, 꼭 보내야 할 메시지는 더 정교해집니다. 고객에게도 더 나은 경험을 제공할 수 있게 되는 것입니다.

결국 테스트를 반복한다는 것은 고객을 조금씩 더 깊이 이해해가는 일입니다. 그리고 그것이 오래 사랑받는 브랜드가 일하는 방식입니다.

다음 편에서는 매번 사람이 챙기지 않아도 알아서 돌아가는 알림톡 자동화와 라운지 혜택 활용법을 살펴보겠습니다. 주문·배송·구매확정·리뷰 요청처럼 놓치기 쉬운 순간을 자동으로 채우고, 라운지 회원 전용 혜택과 CTA 버튼으로 자연스럽게 다음 방문까지 이어지게 만드는 방법입니다. 운영 리소스는 줄이고 성과는 높이는, 가장 손이 덜 가는 CRM이죠.