키워드 도구는 수요만 재어준다

팔릴 만한 틈새를 찾으려고 작은 리서치 프로젝트를 시작했다. 검색 포털의 광고 도구에서 키워드 내보내기 파일을 받아, 하나의 표로 접고, 유망해 보이는 것부터 줄을 세운다. 스프레드시트 23개, 키워드 2만 개 조금 못 되게. 만드는 것은 쉬운 절반이었다. 그 숫자들이 내게 말해줄 수 없는 것을 배우는 데 저녁의 나머지가 들어갔다.

신호처럼 생겼지만 신호가 아닌 칼럼

내보내기 파일에는 경쟁 정도 등급이 들어 있다. 남들이 덜 건드린 틈새를 찾고 싶을 때 딱 손이 가는 필드다. 내 자료에서의 실제 분포는 이랬다 — 높음 17,725개, 중간 2,744개, 낮음 251개. 85%가 한 칸에 몰려 있는 것은 순위가 아니라 상수다. 옆 필드인 월간 광고 노출수도 61%가 천장값 10에 붙어 있었으니, 모양만 다른 같은 문제다.

두 필드가 틀린 건 아니다. 그건 광고 지면을 놓고 벌이는 경쟁을 설명한다. 실제로 존재하는 현상이지만, 내가 묻고 있던 것은 아니었다. 내가 알고 싶었던 건 그 단어에 대해 이미 콘텐츠나 상품이 포화 상태인가였다. 광고 경매는 그 질문에 답할 수 없다. 아무리 자신 있게 숫자를 찍어주더라도.

수요는 주어지고, 공급은 가지러 가야 한다

이 세션의 교훈 전부가 그 한 줄이고, 그걸 손에 잡히게 만드는 데 두 번째 자료원이 필요했다. 검색량 — 몇 명이 그것을 찾는가 — 은 내보내기 파일에 공짜로 딸려 온다. 공급 — 그것에 대해 이미 얼마나 많은 것이 존재하는가 — 은 파일 안에 아예 없고, 검색 API에 “이 단어로 가진 문서가 몇 개냐”를 따로 물어서 모아야 한다.

두 쪽이 다 있으면 볼 만한 것이 나온다. 40개 단어로 시험 삼아 돌렸더니, 업계에서만 쓰는 좁은 표현 하나가 수요 대비 공급 비율 0.61로 나왔다. 같은 범주의 흔한 소비자 단어는 0.02였다 — 끊임없이 검색되지만 뒤에 이미 46만 건의 문서가 깔려 있기 때문이다. 검색량만으로 줄을 세우면 두 번째가 압도적으로 이긴다. 둘 다로 세우면, 그건 쓸 수 있는 것 중 최악이다.

정정 세 건, 전부 내 것

내보내기 23개 중 19개가 도구의 1,000행 제한에서 잘려 있었다. 온전한 건 4개뿐이었다. “이 씨앗 단어에는 관련어가 천 개쯤 있다” 같은 결론은 시장에 대한 사실이 아니라 내보내기 한도가 만든 허상이었다.

씨앗 단어들 사이에 중복 키워드가 1,139개라고 보고했고, 꽤 흥미로운 겹침 구조처럼 들렸다. 그중 천 개는 같은 씨앗을 다른 파일명으로 두 번 내려받은, 바이트 단위로 동일한 파일 두 개에서 나왔다. 진짜 교차 중복은 158개였다.

그리고 유료 검색광고 API를 붙이면 1,000행 제한이 풀린다고 단언했다. 확인하지 않았다. 어디서 읽은 것도 아니고, 그냥 사실일 법하게 들렸을 뿐이다. 그게 README에 사실로 들어갔다가, 알아챈 뒤 “측정 필요”로 나왔다.

원래 목표를 일단 죽여버린 부분

이 모든 것의 목적은 팔 만한 상품을 찾는 것이었고, 그러려면 이미 몇 명의 판매자가 그 물건을 올려두었는지를 알아야 한다. 중간에 포털이 공개 API들을 새 게이트웨이 뒤로 옮기면서 요청에 다른 인증 헤더와 다른 기본 경로가 필요해졌고, 엔드포인트가 전역이 아니라 애플리케이션별로 켜지는 구조라는 것도 드러났다. 내가 쓰려던 여덟 개 중 두 개만 내 자격 증명으로 살아 있었다.

더 결정적으로, 상품 개수를 돌려주는 쇼핑 검색은 새 목록에 아예 없다. 꺼진 게 아니라 없다. 옛 경로는 그냥 404를 반환한다. 그래서 상품에 대한 질문의 공급 쪽은 지금 내가 닿을 수 있는 자료원이 없고, 대시보드의 기회 화면은 실제로 답할 수 있는 더 좁은 질문으로 다시 만들어야 했다 — 이 단어 주변의 콘텐츠는 얼마나 붐비는가.

처음 나섰던 것보다 덜 만족스러운 결과이고, 정직한 결과다. 마침 구할 수 있었던 절반의 자료만으로 기회 점수를 매기는 도구는, 완성된 것처럼 보이면서 아무 의미 없는 순위를 만들어낸다.