Reliv
반복되는 테스트 과정 줄이기
릴리브는 코드 없이 웹 제품 테스트를 자동화하는 툴입니다. 원하는 사이트를 띄우고 테스트를 하면 동작들을 자동으로 기록합니다. 반복되는 행동을 줄여 테스트 시간을 단축한 사례를 소개합니다.
회사
릴리브 AI
역할
파운딩 디자이너
분야
Dev Tool, SaaS
작업 시기
2023 - 2024
Reliv
반복되는 테스트 과정 줄이기
릴리브는 코드 없이 웹 제품 테스트를 자동화하는 툴입니다. 원하는 사이트를 띄우고 테스트를 하면 동작들을 자동으로 기록합니다. 반복되는 행동을 줄여 테스트 시간을 단축한 사례를 소개합니다.
회사
릴리브 AI
역할
파운딩 디자이너
분야
Dev Tool, SaaS
작업 시기
2023 - 2024
Reliv
반복되는 테스트 과정 줄이기
릴리브는 코드 없이 웹 제품 테스트를 자동화하는 툴입니다. 원하는 사이트를 띄우고 테스트를 하면 동작들을 자동으로 기록합니다. 반복되는 행동을 줄여 테스트 시간을 단축한 사례를 소개합니다.
회사
릴리브 AI
역할
파운딩 디자이너
분야
Dev Tool, SaaS
작업 시기
2023 - 2024
왜 테스트 자동화인가요?
90%가 수동으로 테스트
소프트웨어 테스트에 들어가는 비용은 2022년 기준으로 약 58조 원 규모로, 그 중 무려 90%가 수동 테스트를 위한 인건비로 지출 되었습니다. 다시 말해 대부분의 경우 사람이 직접 제품을 클릭하며 테스트를 하고 있었습니다.
왜 테스트 자동화인가요?
90%가 수동으로 테스트
소프트웨어 테스트에 들어가는 비용은 2022년 기준으로 약 58조 원 규모로, 그 중 무려 90%가 수동 테스트를 위한 인건비로 지출 되었습니다. 다시 말해 대부분의 경우 사람이 직접 제품을 클릭하며 테스트를 하고 있었습니다.
왜 테스트 자동화인가요?
90%가 수동으로 테스트
소프트웨어 테스트에 들어가는 비용은 2022년 기준으로 약 58조 원 규모로, 그 중 무려 90%가 수동 테스트를 위한 인건비로 지출 되었습니다. 다시 말해 대부분의 경우 사람이 직접 제품을 클릭하며 테스트를 하고 있었습니다.
인건비
90.0%
기타
10.0%
배경
부족한 개발 인력
20개의 팀 인터뷰를 통해 테스트를 작성하면서 어떤 어려움이 있는지를 파악했습니다. 인터뷰를 통해 많은 팀이 개발 리소스가 부족해 테스트 자동화가 충분히 이뤄지지 못하고 있음을 확인했습니다. 자동화에 많은 시간을 투자한 팀조차 전체 개발 중 40% 정도만을 자동화했고, 나머지 60%의 테스트를 위해 PM과 같은 비개발자 인력이 한번 수동 테스트를 하기 위해 8시간 이상을 쓰고 있음을 확인할 수 있었습니다.
왜 테스트 자동화인가요?
90%가 수동으로 테스트
소프트웨어 테스트에 들어가는 비용은 2022년 기준으로 약 58조 원 규모로, 그 중 무려 90%가 수동 테스트를 위한 인건비로 지출 되었습니다. 다시 말해 대부분의 경우 사람이 직접 제품을 클릭하며 테스트를 하고 있었습니다.
왜 테스트 자동화인가요?
90%가 수동으로 테스트
소프트웨어 테스트에 들어가는 비용은 2022년 기준으로 약 58조 원 규모로, 그 중 무려 90%가 수동 테스트를 위한 인건비로 지출 되었습니다. 다시 말해 대부분의 경우 사람이 직접 제품을 클릭하며 테스트를 하고 있었습니다.
메뉴얼 테스트 한번 돌때마다 8시간은 걸리는 것 같아요. 권한 별로 테스트하는 건 너무 오래 걸려서 포기하고 있어요.
목표
비개발자의 테스트 시간을 줄여주자
테스트 과정을 분석해 본 결과, 반복적인 로그인 과정이 가장 큰 비효율 요소로 드러났습니다. 특히 관리자·뷰어 등 권한별로 다른 동작을 확인해야 하는 점, 데브 서버와 실제 서버 등 여러 테스트 환경에서의 검증이 필요하다는 점에서 가장 큰 비효율이 발생했습니다. 이 문제를 해결해주는 기능을 붙여 비개발자의 테스트 시간을 단축시키고자 했습니다.
목표
비개발자의 테스트 시간을 줄여주자
테스트 과정을 분석해 본 결과, 반복적인 로그인 과정이 가장 큰 비효율 요소로 드러났습니다. 특히 관리자·뷰어 등 권한별로 다른 동작을 확인해야 하는 점, 데브 서버와 실제 서버 등 여러 테스트 환경에서의 검증이 필요하다는 점에서 가장 큰 비효율이 발생했습니다. 이 문제를 해결해주는 기능을 붙여 비개발자의 테스트 시간을 단축시키고자 했습니다.
Problem
녹음과 재생을 한 화면에서 할 수 없다
이에 노코드 기반의 테스팅 툴을 만들고 있는 경쟁사들을 리서치 했습니다. 리서치를 통해 경쟁 제품들에서 테스트를 만드는 것이 상당히 어렵고 비효율적인 것을 발견할 수 있었습니다. 특히 한 제품에서는 수정 페이지와 플레이 페이지가 나뉘어져 수정한 내용을 확인하기 위해 플레이 페이지로 반복적으로 이동해야만 했습니다.
권한별로 반복적인 테스트 수행
권한별로 반복적인 테스트 수행
환경별로 반복적인 테스트 수행
환경별로 반복적인 테스트 수행
문제
권한별 테스트의 비효율을 줄일 수 있을까?
테스트를 하다 보면 매번 동일하게 발생하는 시나리오가 있습니다. 로그인이 대표적인 예시입니다. 기존에는 테스트를 할 때마다 반복적으로 아이디와 패스워드를 입력해 로그인을 해야만 했습니다. 또, 만약 같은 기능에서 다른 권한을 가진 계정이 각각 의도한 대로 작동 하는지 확인 하려면 같은 동작임에도 불구하고 테스트를 여러번 반복해야 합니다.
문제
권한별 테스트의 비효율을 줄일 수 있을까?
테스트를 하다 보면 매번 동일하게 발생하는 시나리오가 있습니다. 로그인이 대표적인 예시입니다. 기존에는 테스트를 할 때마다 반복적으로 아이디와 패스워드를 입력해 로그인을 해야만 했습니다. 또, 만약 같은 기능에서 다른 권한을 가진 계정이 각각 의도한 대로 작동 하는지 확인 하려면 같은 동작임에도 불구하고 테스트를 여러번 반복해야 합니다.
Problem
어떻게 하면 반복적인 녹음을 줄일 수 있을까?
테스트를 하다보면 반복적으로 발생하는 시나리오가 있습니다. 대표적으로 로그인이 그 예시입니다. 하지만 기존에는 테스터들이 시나리오들을 새로 테스트할 때마다 반복적으로 로그인을 해야만 했습니다. 만약, 로그인을 할 때 권한 별로 다르게 로그인을 한다고 하면 이 문제는 더 커지게 됩니다.
관리자 시나리오
관리자 시나리오
로그인
로그인
관리자 ID 입력
관리자 ID 입력
관리자 패스워드 입력
관리자 패스워드 입력
파일 조회
파일 조회
파일 수정
파일 수정
편집자 시나리오
편집자 시나리오
로그인
로그인
편집자 ID 입력
편집자 ID 입력
편집자 패스워드 입력
편집자 패스워드 입력
파일 조회
파일 조회
파일 수정
파일 수정
조회자 시나리오
로그인
조회자 ID 입력
조회자 패스워드 입력
파일 조회
파일 편집 (X)
외부인 시나리오
로그인
외부인 ID 입력
외부인 패스워드 입력
파일 조회 (X)
파일 편집 (X)
해결
기존 기록을 재활용하는 액션 블록
액션 블록은 마치 노션의 블록 기능처럼 기존의 기록을 불러와 다시 사용 할 수 있는 기능입니다. 예를 들어 로그인 기능을 액션 블록으로 만들어 두면 매번 로그인을 하지 않고 테스트를 진행할 수 있습니다. 또한 Variable 기능을 사용하면 액션 블록별로 로그인 이메일과 비밀번호를 다르게 설정할 수 있어 여러 시나리오를 편리하게 테스트 할 수 있습니다.
해결
기존 기록을 재활용하는 액션 블록
액션 블록은 마치 노션의 블록 기능처럼 기존의 기록을 불러와 다시 사용 할 수 있는 기능입니다. 예를 들어 로그인 기능을 액션 블록으로 만들어 두면 매번 로그인을 하지 않고 테스트를 진행할 수 있습니다. 또한 Variable 기능을 사용하면 액션 블록별로 로그인 이메일과 비밀번호를 다르게 설정할 수 있어 여러 시나리오를 편리하게 테스트 할 수 있습니다.
해결
기존 기록을 재활용하는 액션 블록
액션 블록은 마치 노션의 블록 기능처럼 기존의 기록을 불러와 다시 사용 할 수 있는 기능입니다. 예를 들어 로그인 기능을 액션 블록으로 만들어 두면 매번 로그인을 하지 않고 테스트를 진행할 수 있습니다. 또한 Variable 기능을 사용하면 액션 블록별로 로그인 이메일과 비밀번호를 다르게 설정할 수 있어 여러 시나리오를 편리하게 테스트 할 수 있습니다.
문제
각 환경에서 반복되는 테스트를 줄일 수 있을까?
마찬가지로 테스트를 하다보면 대표적으로 반복되는 행동이 있습니다. Prod, Dev 등 여러 환경에서 동일한 테스트를 수행하여 실제 환경에서도 문제가 없는지 확인해야 한다는 것입니다. 이때 동일한 행동을 반복함으로써 비효율이 발생하게 됩니다. 이 반복 행동에서 차이점은 id, password 등과 같은 환경 변수의 차이 밖에 존재하지 않습니다.
문제
각 환경에서 반복되는 테스트를 줄일 수 있을까?
마찬가지로 테스트를 하다보면 대표적으로 반복되는 행동이 있습니다. Prod, Dev 등 여러 환경에서 동일한 테스트를 수행하여 실제 환경에서도 문제가 없는지 확인해야 한다는 것입니다. 이때 동일한 행동을 반복함으로써 비효율이 발생하게 됩니다. 이 반복 행동에서 차이점은 id, password 등과 같은 환경 변수의 차이 밖에 존재하지 않습니다.
Problem
어떻게 하면 반복적인 녹음을 줄일 수 있을까?
테스트를 하다보면 반복적으로 발생하는 시나리오가 있습니다. 대표적으로 로그인이 그 예시입니다. 하지만 기존에는 테스터들이 시나리오들을 새로 테스트할 때마다 반복적으로 로그인을 해야만 했습니다. 만약, 로그인을 할 때 권한 별로 다르게 로그인을 한다고 하면 이 문제는 더 커지게 됩니다.
Dev
Dev
Id: dev@reliv.ai
Id: dev@reliv.ai
Password: ****
Password: ****
Prod
Prod
Id: prod@reliv.ai
Id: prod@reliv.ai
Password: ****
Password: ****
해결
환경 변수 기능 지원
환경별로 다른 변수를 설정할 수 있게하여 환경별로 동일한 테스트를 반복하지 않을 수 있습니다. 설정 페이지에서 확인할 수 있으며, 에디터에서도 확인 및 변경이 가능하게 해 편리하게 해당 기능을 사용할 수 있게 했습니다.
해결
환경 변수 기능 지원
환경별로 다른 변수를 설정할 수 있게하여 환경별로 동일한 테스트를 반복하지 않을 수 있습니다. 설정 페이지에서 확인할 수 있으며, 에디터에서도 확인 및 변경이 가능하게 해 편리하게 해당 기능을 사용할 수 있게 했습니다.
해결
환경 변수 기능 지원
환경별로 다른 변수를 설정할 수 있게하여 환경별로 동일한 테스트를 반복하지 않을 수 있습니다. 설정 페이지에서 확인할 수 있으며, 에디터에서도 확인 및 변경이 가능하게 해 편리하게 해당 기능을 사용할 수 있게 했습니다.
결과
수동 테스트 대비 테스트 시간 60% 단축
위와 같은 기능들을 제안한 결과 수동 테스트 대비 약 60% 시간과 비용을 절감되는 것을 확인할 수 있었습니다. 예를 들어, 테스트 시나리오 수가 10개 존재, 환경과 권한이 각각 2개씩 존재한다고 했을때 40번의 테스트를 수행해야 합니다. 블록 기능과 환경 변수 기능을 활용하면 이와 같은 반복 과정을 자동화 할 수 있어 시간을 현저히 단축할 수 있습니다.
결과
수동 테스트 대비 테스트 시간 60% 단축
위와 같은 기능들을 제안한 결과 수동 테스트 대비 약 60% 시간과 비용을 절감되는 것을 확인할 수 있었습니다. 예를 들어, 테스트 시나리오 수가 10개 존재, 환경과 권한이 각각 2개씩 존재한다고 했을때 40번의 테스트를 수행해야 합니다. 블록 기능과 환경 변수 기능을 활용하면 이와 같은 반복 과정을 자동화 할 수 있어 시간을 현저히 단축할 수 있습니다.
결과
수동 테스트 대비 테스트 시간 60% 단축
위와 같은 기능들을 제안한 결과 수동 테스트 대비 약 60% 시간과 비용을 절감되는 것을 확인할 수 있었습니다. 예를 들어, 테스트 시나리오 수가 10개 존재, 환경과 권한이 각각 2개씩 존재한다고 했을때 40번의 테스트를 수행해야 합니다. 블록 기능과 환경 변수 기능을 활용하면 이와 같은 반복 과정을 자동화 할 수 있어 시간을 현저히 단축할 수 있습니다.
성과
프로덕트헌트 일간 2위, 359명의 유저 및 5개 기업 고객 확보
릴리브를 프로덕트 헌트에 런칭한 후 많은 사람들의 관심을 받아 일간 2위 제품에 선정되었습니다. 여기에서 유입된 다양한 국가의 사용자들이 생겼고, 런칭 3개월 만에 359명의 유저와 5개의 기업 고객을 확보 하였습니다.
성과
프로덕트헌트 일간 2위, 359명의 유저 및 5개 기업 고객 확보
릴리브를 프로덕트 헌트에 런칭한 후 많은 사람들의 관심을 받아 일간 2위 제품에 선정되었습니다. 여기에서 유입된 다양한 국가의 사용자들이 생겼고, 런칭 3개월 만에 359명의 유저와 5개의 기업 고객을 확보 하였습니다.
성과
프로덕트헌트 일간 2위, 359명의 유저 및 5개 기업 고객 확보
릴리브를 프로덕트 헌트에 런칭한 후 많은 사람들의 관심을 받아 일간 2위 제품에 선정되었습니다. 여기에서 유입된 다양한 국가의 사용자들이 생겼고, 런칭 3개월 만에 359명의 유저와 5개의 기업 고객을 확보 하였습니다.