통계로 세운 가설 28

노출 항목 695,725개를 같은 검색의 같은 스크롤 로드 안에서 짝지어 비교했다. 이미지가 든 컴포넌트는 대체로 더 많이 채택되는데, 학생 계정에서만 방향이 반대다. 공급의 19.3%가 이미지 포함본이다.

두 층위에서 부호가 반대다. 분할이 일어난 검색은 전체적으로 불리하지만(H21), 바로 그 검색 안에서 유저가 실제로 고르는 것은 분할된 결과물이다. 분할 로직이 나쁜 게 아니라 분할이 필요한 입력에 분할본 공급이 모자란 것으로 읽힌다.

공급의 67.5%가 색 대치 가능본이다. 그런데 이 속성은 신뢰할 만하게 측정되지 않는다. color_replacement_available은 같은 항목 안에서 값이 엇갈리는 경우가 5,275건이고, 하필 그 항목들이 비교에 쓰이는 층 1,054개를 지배한다. 그리고 값이 엇갈리는 항목의 채택률은 9.67%로 전체(3.5%)의 3배다. 여러 번 본 항목이라는 뜻이다.

“표/차트가 채택률이 높다”는 이미 알려진 사실이지만, 그것은 대체로 검색 라우트가 다르기 때문이라는 설명이 가능했다. 라우트가 섞여 나오는 검색 안에서만 비교해도 우위가 남는다. 라우트 효과만으로는 설명되지 않는다는 뜻이다.

“표/차트 라우트의 채택률이 높다”는 알려진 사실이다. 새로 확인된 것은 그 이점이 어디에 있느냐다. 내용시각화를 처음 쓰는 계정에서는 14pp 차이가 나고, 6회 이상 쓴 계정에서는 사라진다. 8월·9월 모두 초심자에서 +13pp대로 재현된다.

같은 라우트 효과를 로그인 리텐션 유형으로 갈랐다. 한동안 안 오다 돌아온 계정에서 가장 크고, 신규 계정에서는 유의하지 않다. H5(경험량)와는 다른 축인데 방향이 비슷하다.

줄바꿈은 구조 기반 검색에서 항목 경계 신호다. 3줄 이상 쓴 검색은 채택이 뚜렷하게 높고, 그 이득은 초심자에게 두 배다. 같은 계정 안에서 비교해도 효과가 오히려 커진다(+13.5pp) · 같은 사람이 줄을 나눠 쓴 날이 안 나눈 날보다 낫다.

유저가 실제로 입력한 원문 길이별 결과다. 짧으면 구조를 만들 재료가 없고, 아주 길면 무엇을 찾는지가 흐려진다. 중간 구간(50-1499자)은 46-50%로 평평하다. 1500자 이상에서는 다운로드 도달까지 50.7%로 무너진다(중간 구간 72-75%).

검색은 원문이 아니라 원문을 변환한 summary 의 구조로 이뤄진다. 그래서 원문의 형태는 변환기가 무엇을 만들어내는가를 통해 결과에 닿는다.

줄바꿈 없는 한 덩어리 원문은 평균 87자인데 변환 결과는 384자다. 없던 구조를 지어낸 것이고, 그렇게 지어진 항목 5.9개와 2단 구조(50.8%)로 검색이 돌아간다. 줄바꿈이 있으면 확장은 3.4배로 떨어진다.

유저가 넣은 원문은 서비스 내부에서 구조화된 형태로 변환된 뒤 검색에 쓰인다. 그 변환 결과의 복잡도로 나눠 본 것이다. 항목 수가 8개를 넘으면 채택이 급락하고, 생존은 항목 0개일 때 17.0%에서 16개 이상일 때 4.5%로 떨어진다.

더 뚜렷한 것은 제목의 단계다. 대제목 아래 소제목이 또 있는 2단 구조는 채택 36.3% · 생존 7.8%인데, 1단이면 49.4% · 14.8%다.

전체 평균으로 보면 이 축은 효과가 없다. 검색 전 편집이 많은 검색과 적은 검색의 생존 차이는 대부분 입력 길이로 설명된다. 그런데 유저를 제작 이력으로 나누면 한 층에서만 살아 있다.

무결과·타임아웃이 난 검색은 생존이 0이다(당연하다. 고를 게 없다). 흥미로운 건 잃는 절대량이 숙련자에게 두 배라는 것이다. 숙련자는 그 검색에서 원래 15.4%를 건졌을 텐데 전부 잃는다.

채택 직후 귀속 창 안에서 편집이 5회 미만인 경우를 “방치”로 정의했다. 전체의 10.0%다. 통제를 걸수록 효과가 커진다. 원시 −3.1pp에서 창 길이 통제 −4.3pp, 계정까지 넣으면 −11.3pp다.

방치는 이항 판정이라 처방으로 옮기기 어렵다. 첫 편집까지의 지연을 연속형으로 재니 60초에 꺾인다. 30초 안에 손댄 경우 생존 25.7%, 1-3분이면 19.9%, 3-10분이면 15.9%다.

채택한 다음 그 작업을 얼마나 고쳤는지로 나눈 결과다. 양 끝이 모두 나쁜데 나빠지는 방식이 다르다.

거의 안 고치면(5회 미만) 작업 자체가 중단된다(36.1%). 반대로 많이 고치면(60회 이상) 디자인은 다운로드까지 가지만(83.7%) 우리 컴포넌트는 남지 않는다(생존 18.8%). 고칠 게 너무 많다는 것은 애초에 맞는 것을 주지 못했다는 뜻이다.

채택 직후 손대는 행위를 종류별로 갈라 두 실패를 따로 봤다. 레이아웃 조정과 텍스트 대치 모두 생존을 올리는데, 작업 중단을 막는 효과가 더 크다. 내용시각화가 컴포넌트 공급 기능이 아니라 작업 착수를 돕는 기능으로 작동하고 있다는 해석이 가능하다.

8월 신설 기능이고 현재 도달 계정은 980개뿐이다. 다운로드 이력이 없는 계정에서는 생존을 6.5pp 올리는데, 헤비 유저에서는 부호가 반대다.

드롭다운 안에 들어간 넛지 2종의 노출 합이 18,116회다. 적은 노출이 아니라 죽은 노출이다. 표 넛지 수준(5.6%)으로만 전환해도 클릭 70건이 1,014건이 된다.

넛지 반응을 두 가지 숙련도로 갈랐다. 로그인 빈도가 높을수록 모든 넛지의 CTR이 내려가고, 내용시각화 경험이 많을수록 올라간다. “숙련”을 한 덩어리로 다루면 두 힘이 상쇄돼 아무것도 안 보인다.

채택 결과를 셋으로 갈랐다. 지금까지 “실패”는 한 덩어리였는데, 실패의 74%는 디자인이 다운로드까지 갔는데 그 컴포넌트만 빠진 경우다. 유저를 잃은 게 아니라 경쟁에서 진 것이고, 이탈 대응과 대체 대응은 완전히 다른 예산이다.

전체 실패율은 비슷한데 구성이 갈린다. 학생은 완주 압력이 가장 강하고 요구가 가장 까다롭다. H1에서 이미지 포함본을 유일하게 회피한 그 집단이다. 교육 계정은 반대로 탐색적으로 열어보고 만다.

결과를 더 내려볼수록 채택은 단조롭게 올라간다. 그런데 다운로드 도달은 따라 오르지 않는다. 뒤져서 겨우 찾아낸 채택은 끝까지 가는 힘이 약하다는 뜻으로 읽힌다. 채택률만 보면 "많이 보여줄수록 좋다"로 읽히지만, 한 칸 더 가면 그림이 달라진다.

템플릿에서 출발한 디자인은 7일 내 다운로드 확률이 높은데, 그 이점이 팀 계정에 몰려 있다. “유무료 격차”로 보이던 것의 실체이기도 하다.

가장 밟기 쉬운 함정이다. “많이 보여줬더니 채택이 늘었다”는 관계는 거의 전부 이것으로 설명된다. 결과 목록은 10개 단위 무한 스크롤이고 서버 상한이 50이라, 노출 수는 유저가 얼마나 내렸는지의 함수다. 공급 레버가 아니다.

입력이 길어 시스템이 분할한 검색은 채택률이 낮고, 그 손실이 숙련자에게 가장 크다. 기간과 통제 방식을 바꿔도 반복해서 나오는 가장 안정적인 관계 중 하나다. H2(항목 단위 분할본 우위)와 함께 읽어야 한다.

그 디자인을 처음 건드린 시각부터 검색까지 걸린 시간으로 나눴다. 채택률 차이는 7pp로 완만하지만, 다운로드 도달은 32pp 벌어진다. 열자마자 검색한 사람의 절반은 그 디자인을 끝내지 못한다.

검색 직전에 그 세션에서 무엇을 하고 있었는지로 나눴다. 표나 차트를 만지다 들어온 검색이 모든 지표에서 가장 좋고, 아무 편집 없이 바로 검색한 경우가 가장 나쁘다. 특히 다운로드 도달이 41.0%로 절반 아래다.

유저가 출발점으로 삼은 템플릿의 업종 라벨로 나눴다. 채택률은 37-52%로 비교적 고른데, 생존은 2.8배까지 벌어진다. 가장 많이 쓰이는 것은 업종 범용 기획안/보고서/제안서(12,842건)다.