[Yammer/Mode] 검색 기능 개선방향 분석(Understanding Search...

Understanding Search Functionality

(검색 기능 개선방향 분석) https://mode.com/sql-tutorial/understanding-search-functionality https://inf.run/T4EM

문제 상황 :

야머의 웹사이트 상단에 항상 존재하는 검색 박스의 기능을 개선하고자 함.

결과를 보여주는 방식, 분류법 등 어떤 점에 집중해 개선해야 할지

사용자가 검색과 상호 작용하는 방식에 대한 가설 세우기.

검색의 목적은 무엇인가? 그 목적을 달성하고 있는지 어떻게 알 수 있을까?

각 유저들의 검색 경험에 대한 퀄리티를 어떻게 정량적으로 이해할 수 있을까?

전사적으로 봤을 때 현시점에서 검색 기능을 개선할 필요가 있나? 건드릴 필요가 있나?

있다면 구체적으로 어떤 부분을 개선해야할까?

개선한 뒤에 어떤 부분에서 얼마큼 개선이 되었는지 어떻게 측정할 것인가?

search_autocomplete = 유저가 자동 완성 목록 중에 한 가지를 클릭할 때

search_run = 유저가 검색어를 입력하고 엔터를 누른 뒤 검색 결과 페이지를 볼 때

search_click_result_X = 검색 결과 페이지의 1~10개 결과 중 X번째 결과를 클릭할 때

체크해봐야 할 부분 :

검색 기능을 사용하는 유저가 어느 정도 있는가? 쓰긴 쓰는 기능인가? 주목할 필요가 있나?

검색 빈도 (짧은 시간-session- 내에 검색을 반복하는 건 검색 결과 퀄리티가 별로라는 뜻일 수 있음)

검색어 유사성을 측정하거나, 결과 페이지에서의 클릭 수 등을 체크할 수도 있지만 검색 빈도가 더 용이한 방법.

(결과 페이지에서 여러 번의 클릭이 이루어지는 건 검색 결과 퀄리티가 별로라는 뜻인데, 반대의 경우가 반드시 좋은 결과라고 할 수는 없음)

자동완성 결과물을 클릭하는 로그

세션 정의 :

For the following solution, a session is defined as a string of events logged by a user without a 10 minute break between any two events.

So if a user goes 10 minutes without logging an event, the session is ended and her next engagement will be considered a new session.

1. 검색 기능을 사용하는 유저가 어느 정도 있는가? 쓰긴 쓰는 기능인가? 주목할 필요가 있나?

=> 세션 내에서 search_autocomplete(자동완성)과 search_run(풀서치)의 사용 정도 비교

https://app.mode.com/benn/reports/c1039e799f77/runs/21a44c0d302d/embed

https://app.mode.com/benn/reports/c1039e799f77/embed

해당 기능을 사용한 세션의 수를 의미. 즉 한 세션 내에서 여러 번 자동완성 기능을 썼더라도 한 번으로 카운트.

전체 세션 중 25%가 자동완성 기능을, 8% 정도가 풀서치를 사용하고 있다는 것을 확인할 수 있다.

2. 한 세션에서 자동완성, 풀서치가 얼마나 거듭 사용되는지 알아보자

https://app.mode.com/benn/reports/83610ace1078/runs/10f5c4fa2c0d/embed

x축 = 한 세션 내에서 자동완성을 사용한 횟수

https://app.mode.com/benn/reports/5e26ef62a86a/runs/6961dbe427ea/embed

x축 = 한 세션 내에서 풀서치를 사용한 횟수

자동완성 기능을 사용한 세션 중 한 번만 사용한 세션은 58.6%.

반면, 풀서치 기능을 사용한 세션 중 한 번만 사용한 경우는 11.4% 이므로 풀서치 기능이 비교적 떨어진다고 판단할 수 있다.

+) 자동완성과 풀서치를 구분해 비교하는 것이 적절한가?

자동완성으로 원하는 결과가 나오지 않아서 풀서치를 하게 되기도..

따라서 이 데이터만 가지고 풀서치의 기능이 떨어진다고 하기 어려움.

3. 한 세션 내에서 풀서치 한 뒤에 검색 결과를 클릭한 횟수를 알아보자

https://app.mode.com/benn/reports/6bee31ccfa53/runs/7854d26dd339/embed

풀서치를 하고도 결과를 클릭하지 않은 세션이 엄청 많음(50% 이상).

풀서치 기능이 떨어진다고 판단할 수 있다.

+) 50% 이상인 해당 비율이 타사 검색 기능과 비교해서 어떤지 비교군이 있으면 좋음!

4. 검색 결과 페이지에서 어떤 위치(순서)에 있는 결과물을 클릭하는지 알아보자

https://app.mode.com/benn/reports/12aeb5489382/runs/62a6c94929f2/embed

유저가 원하는 검색 결과가 상위에 노출되고 이에 따라 더 많이 클릭되는 게 바람직한데,

고르게 클릭되고 있음. 검색 결과의 노출 순서가 바람직하지 않다는 것.

+) 한 명의 유저가 만족스러운 결과를 얻기 위해 검색 결과 페이지의 여러 결과물들을 클릭해보고 있다면?

이런 경우에도 클릭 수가 고르게 분포될 것이다.

5. 풀서치 검색 기능을 사용했던 유저가 추후에 이를 다시 사용하는가? => Feature Retention

https://app.mode.com/benn/reports/f5a390533fd3/runs/d2939fc46864/embed

한달 이내에 다시 사용하는가?

https://app.mode.com/benn/reports/74e69cfb70fb/runs/bbbd4ddcd902/embed

자동완성에 비해서 풀서치 기능을 거듭 사용하는 정도가 낮다고 볼 수 있지만,

애초에 두 기능의 사용률 자체가 다르므로 절대적인 수만 보고는 판단하기 어려움.

유저의 숫자보다 재사용 비율로 나타내는 게 더 좋을 것으로 보임.

결론.

자동 완성 기능에 비해 풀서치 기능이 부족하다는 맥락에서 자료들을 언급했고,

풀서치 검색 결과의 순서 알고리즘 변경 등의 결론이 제시되었음.

하지만 위에서 언급한 것처럼 근거 자체가 논리에 맞지 않는 경우가 있어서 다른 방향으로 분석해 볼 필요가 있음.

로그가 남는 시점과 세션 정의를 파악하는 것은 물론이고

UX 흐름에 대한 이해도 매우 중요하다는 걸 느꼈다.

그래프만 볼 것이 아니라, 그래프의 기반이 되는 데이터 개수 파악도 필수라는 점.

* 세션 내 풀서치 횟수가 많으면 많을수록 검색 결과 클릭도 여러 번 일어나는가? 를 집계할 때 이와 같은 데이터의 개수 부족 문제가 있음.

정말 요리조리 다 뜯어보고 씹어먹어야 하는 데이터..^~^!

'이 문제가 정말 풀어야 할 '문제'인가? 우선되는 문제인가?' 단계부터 시작한다는 점이 새로웠고,

그런 면에서 내가 경험한 것 중 가장 실무에 가까운 프로젝트가 아닐까 생각했다.

이런 탐색적인 분석 과정은 거의 처음 접해서 낯설었지만... 재미있었다!

토스 블로그에서 흥미롭게 읽었던 UX리서처 업무도 떠오르고..

더 많이 해보고 싶다...!! :D

다음 포스팅은 해당 프로젝트의 SQL 코드 리뷰가 될 예정.

from http://hjryu09.tistory.com/19 by ccl(A) rewrite - 2021-12-27 18:00:20