전환 8건에 전환율 4%라고 쓰기 전에: 작은 표본의 범위를 보고서 문장으로 옮기는 법
전환율 4%. 보고서에 이렇게만 적으면 깔끔합니다. 하지만 그 4%가 클릭 200번 중 8번에서 나온 숫자라면 이야기가 달라집니다. 다음 주에 클릭 200번을 더 받으면 8번이 아니라 4번이나 12번이 나와도 이상하지 않습니다. 이 흔들림의 폭을 보고서 문장에 옮기는 방법이 전환율 신뢰구간입니다.
전환율 신뢰구간으로 보면 8건의 4%는 2%에서 7.7% 사이입니다
미국 국립표준기술연구소(NIST)의 통계 핸드북은 비율의 신뢰구간을 구하는 윌슨(Wilson) 방법을 공식으로 소개합니다. 이 문서의 예시는 생산 라인의 불량률이지만 식은 “전체 중 일부”라는 비율 일반에 쓰는 형태입니다. 문서는 이 방법이 표본 크기와 비율 값에 크게 좌우되지 않는다는 점, 그리고 하한이 음수가 되지 않는다는 점을 장점으로 꼽습니다.
식을 직접 외울 필요는 없습니다. 스프레드시트나 간단한 코드로 계산하면 됩니다. 95% 수준에서 클릭 200번, 전환 8건을 넣으면 하한은 약 2.0%, 상한은 약 7.7%입니다. 4%라는 점추정치 옆에 “실제 전환율은 2~8% 어딘가”라는 말이 붙는 셈입니다. 폭이 넓다고 놀랄 필요는 없습니다. 표본이 작으면 원래 그렇습니다.
한 가지 전제가 있습니다. 클릭 하나하나가 서로 영향을 주지 않는 독립적인 시도라고 가정합니다. 광고 트래픽은 요일이나 소재에 따라 성격이 달라서 이 가정이 완벽히 맞지는 않습니다. 그래서 이 구간은 정답이 아니라 “이 정도 흔들림은 우연으로도 생긴다”는 감각을 주는 도구로 쓰는 편이 정직합니다.

표본이 5배 커지면 범위는 절반 아래로 줄어듭니다
전환율은 모두 4%인데 표본만 다른 경우를 비교해 보겠습니다. 숫자는 가상의 예시이고, 구간은 위 방법으로 계산한 95% 값입니다.
| 클릭 | 전환 | 전환율 | 95% 구간 | 폭 |
|---|---|---|---|---|
| 200 | 8 | 4.0% | 2.0% ~ 7.7% | 약 5.7%p |
| 750 | 30 | 4.0% | 2.8% ~ 5.7% | 약 2.8%p |
| 1,000 | 40 | 4.0% | 3.0% ~ 5.4% | 약 2.4%p |
| 1,500 | 60 | 4.0% | 3.1% ~ 5.1% | 약 2.0%p |
전환이 8건에서 40건으로 5배가 되면 폭은 5.7%p에서 2.4%p로 줄어듭니다. 절반 이하입니다. 하지만 1,500클릭까지 가도 폭이 2%p 안팎이라는 점도 눈여겨볼 만합니다. 전환율 4%와 5%의 차이를 가려내려면 생각보다 많은 클릭이 필요합니다.
범위를 위아래 1%p 정도로 좁히려면 얼마나 필요할까요. 대략적인 어림식으로 1.96 × √(0.04 × 0.96 ÷ n)이 0.01이 되는 n을 구하면 약 1,475클릭입니다. 전환율 4% 근처에서 ±1%p 폭으로 말하려면 이만큼 모아야 한다는 뜻입니다. 계산은 스프레드시트에서 p를 전환수 ÷ 클릭수, z를 1.96으로 두고 위 문서의 식을 넣으면 됩니다.
“80% 상승”이라는 문장이 위험한 순간
지난달 100클릭에서 전환 5건(5%), 이번 달 100클릭에서 전환 9건(9%)이 나왔다고 하겠습니다. 상승률은 (9 − 5) ÷ 5 = 80%입니다. “전환율 80% 상승”은 보고서 제목으로 쓰기 좋아 보입니다.
구간을 계산하면 지난달은 약 2.2~11.2%, 이번 달은 약 4.8~16.2%입니다. 두 구간이 크게 겹칩니다. 이번 달이 실제로 더 좋았을 수도 있지만 우연으로도 충분히 나올 수 있는 차이입니다. 80%라는 숫자만 올라가면 다음 달에 4건이 나왔을 때 설명이 어려워집니다.
구간이 겹치지 않는 경우는 어떨까요. 클릭 500번에 전환 20건(4%)과 60건(12%)을 비교하면 구간은 약 2.6~6.1%와 9.4~15.1%입니다. 겹치지 않습니다. 이때는 “개선되었을 가능성이 높다”고 쓸 근거가 생깁니다. 같은 방향의 변화라도 숫자에 따라 쓸 수 있는 문장의 강도가 달라지는 것입니다.

보고서 문장을 이렇게 바꿉니다
고쳐 쓴 문장은 세 가지를 담습니다. 방향, 확신의 정도, 다음 행동입니다.
| 구분 | 문장 |
|---|---|
| 기존 | 이번 달 전환율이 5%에서 9%로 80% 상승했습니다. |
| 수정 | 전환율은 5%에서 9%로 올랐습니다. 다만 각 100클릭 기준이라 구간이 겹쳐(약 2~11% 대 5~16%) 개선으로 단정하기는 이릅니다. 클릭이 1,000을 넘는 시점에 다시 비교하겠습니다. |
수정한 문장이 약해 보일 수 있습니다. 실제로는 반대입니다. 나중에 숫자가 되돌아와도 보고자의 신뢰가 깎이지 않습니다. “확정되면 알려드리겠다”는 약속이 이미 들어 있기 때문입니다.
그리고 전환이 아주 적을 때는 비교 자체를 미루는 것도 방법입니다. 전환이 한 자릿수인 두 구간의 차이는 대부분 구간이 겹칩니다. 이 경우 보고서에는 순위나 증감률 대신 “현재 전환 n건, 비교 보류”라고 쓰는 편이 읽는 사람에게 더 친절합니다.

계산은 어렵지 않습니다. 어려운 쪽은 “확신이 이 정도뿐”이라고 문서에 적는 일입니다. 작은 표본에 범위를 붙여 말하는 습관은 그 어려움을 한 번에 덜어 줍니다.