Offcanvas

개발자 / 애플리케이션

'실사용자들이 전하는' SW 테스트 관리 도구 6종의 장단점

2016.11.25 IT Central Station  |  CIO
개발자(업체)들은 대개 소프트웨어 QA(quality-assurance) 프로그램을 위해 ‘테스트 관리 도구’를 이용한다. 업계에서 널리 활용되는 6종의 소프트웨어 테스트 관리 도구에 대한 실사용자들의 평가를 정리했다.

소프트웨어 팀은 QA(Quality Assurance) 프로그램 과정에서 테스트 관리 도구를 이용한다. 이후 테스트로 드러난 소프트웨어 결함을 제거한다.

IT 센트럴 스테이션(IT Central Station) 커뮤니티의 엔터프라이즈 사용자들이 가장 많이 사용하는 테스트 관리 솔루션 6종은 HPE ALM(Application Lifecycle Management), Tosca Testsuite, SmartBear TestComplete, 마이크로소프트 TFS(Team Foundation Server), HPE QC(Quality Center), IBM Rational Performance Tester이었다. 엔터프라이즈 사용자는 이들 도구를 어떻게 평가하고 있을까? 사용자들이 응답한 선호 기능과 특징, 단점을 정리했다.

HPE ALM
가치 있는 기능
무엇보다 본연의 업무를 제대로 해낸다. ALM은 전통적인 워터폴(Waterfall) 애플리케이션에 가깝다. 하지만 요구 사항, 테스트 케이스를 수집하고, 자동으로 테스트 케이스를 실행시킬 수 있다. 요즘은 누구나 디봅스(DevOps)나 애자일(Agile)을 지향한다. 그런 점에서 좋은 제품이다.
— QATestMgr417, IT QA Test Manager/ 관광 업종

QA 부서에서 ALM을 이용하고 있다. 우리 업무 결과물을 보여주는 역할을 수행한다. 매일 우리가 한 일을 확인할 수 있다. 간편하게 이용할 수 있고, 우리 업무에도 잘 맞는다.
— Stephanie B., QA Software Management/ 헬스케어(의료 관련) 회사

테스트 스크립트와 테스트 데이터, 프로젝트 등 모든 것을 중앙화해 유지할 수 있는 방안을 제시한다. 프로젝트 생성자가 아니라도 모든 사람이 접근할 수 있다. 각기 다른 장소에 위치한 오프쇼어 팀과 내부 팀 모두 이 솔루션의 도움을 받고 있다.
— SaMahmud, Senior Performance Engineer, IT Quality Center of Excellence/ 글로벌 항공사

개선의 여지가 있는 부분
프로젝트 추적이 다소 복잡하다. 탐색에 시간이 소요된다. 마스터 플랜(Master Plan) 등 생성된 보고서를 내보내는 기능이 있다면 더 좋을 것이다.
— Caroline G., QA 지역 책임자/ Tezza Business Solutions Ltd.

보고 기능을 중심으로 ALM과 UFT(Unified Functional Testing)의 통합성을 높일 필요가 있다. 현재 보고 측면에서 문제에 봉착해 있다.
— Gordon H., QA Technical Lead/ 소비재 회사

프리미엄(유료) 지원이 좋다. 그러나 그전에 일반 지원은 문제가 있다. 지원 티켓과 관련해 전화를 받기까지 어려움을 겪었고, 소요 시간이 오래 걸렸다.
— Bruce C., Senior Systems Engineer/ 금융 서비스 회사

토스카 테스트스윗(Tosca Testsuite)
가치 있는 기능
다른 경쟁 도구보다 유지관리가 쉽고, 소요 시간이 짧다. 또 써드파티 도구와 쉽게 통합할 수 있다.
— Manish K., Test Analyst/ 보험 회사

토스카 테스트스윗은 모델 기반 자동화 도구다. 다른 자동화 도구와 달리 프레임워크가 필요하지 않다.
— Bhavana R., Software Engineer Associate/ 기술 벤더

100% 자동화된 프레임워크를 생성, 한 장소에서 모든 것을 쉽게 관리할 수 있다. 자동으로 테스트를 할 수 있다. 시간을 많이 절약할 수 있는 기능이다.
— Amy J., QA Manager/ 보험 회사

개선의 여지가 있는 부분
한 가지 단점은 라이선스 관리가 쉽지 않다는 것이다. 직장은 물론 집에서도 라이선스를 이용해야 하는 경우가 있다. 이를 쉽게 관리할 수 없다.
— Megan M., QA Manager/ 금융 서비스 회사

가격이 조금 비싸다고 생각한다.
— Raghuram R., Associate Project Manager/ 기술 벤더

벤더 지원 웹사이트에 비디오 튜토리올이 더 많았으면 좋겠다. 가장 많이 사용하는 기능 정도는 학습할 수 있어야 한다.
— Vaibhav., IT Analyst/ 기술 컨설팅 회사

스마트베어 테스트컴플리트(SmartBear TestComplete)
가치 있는 기능

자동화로 처리할 수 있는 테스트 영역이 많다. 또 자동화와 관련된 문제점을 해결할 수 있는 고유의 방식을 제공한다. 이미지 비교가 대표적이다.
— Deva V., Test Automation Lead/Consultant/ 기술 서비스 회사

테스트 결과 로그를 이용, 테스트를 통과 못한 문제점을 정확히 찾을 수 있다. 테스트를 키워드 또는 화면 캡처로 기록할 수 있다.
— Sudha G., Systems Engineer/ 기술 서비스 회사

‘Object Spy’는 지금까지 사용한 가장 강력한 스파이 도구이다. 비주얼베이직 스크립트를 쓰지 않고도 파라미터를 입력할 수 있다. 검색 기능을 이용해 ‘Object Tree’를 상세히 확인할 수 있다.
— Ryan W., QA Automation Development Engineer/ 제조업체

개선의 여지가 있는 부분
라이선서(Licenser)문제가 가장 시급히 개선되어야 할 부분이다. 애플리케이션 설치에 문제가 있다. 수동 방식, 명령 줄 수정이 요구되는 문제이다. 모든 설치에서 이런 문제가 발생하는 것은 아니다. 그러나 아주 자주 발생한다.
— Shawn C., QA Automation Engineer/ 소프트웨어 R&D 회사

안정성을 높여야 한다. 10개 이상의 로그를 삭제하려 할 때 작동을 멈추는 때가 있다. 또 최신 ‘DevExpress’ 버전 지원 기능도 개선되어야 한다. 더 간편한 XML 에디터(Notepad++ 등)도 필요하다.
— Alexander S., QA Automation Engineer/ 소프트웨어 R&D 회사

실버라이트와 시트릭스 같은 도메인/플랫폼에 기반을 둔 애플리케이션에 대한 ‘Objects Mapping’을 개선할 필요가 있다.
— Azeddin M., Systems Test Manager/ 운송 회사

마이크로소프트 TFS
가치 있는 기능

우리 회사는 소프트웨어 애플리케이션 개발사다. TFS라는 한 제품으로 전체 애플리케이션을 관리할 수 있으며, 모든 팀원이 이를 확인할 수 있다.
— Raúl A., Department Projects 책임자/ 기술 서비스 회사

자동화가 소프트웨어 적용 및 테스트 프로세스 비용을 줄여준다. 소프트웨어 개발 프로세스를 단순화, 단기간에 고품질의 소프트웨어를 시장화 할 수 있다.
— Chaminda C., Software Architect/ 기술 서비스 회사

개선의 여지가 있는 부분
사용자가 편집 내용을 간략히 확인할 수 있는 히스토리 뷰 기능이 유용하다.
— Roger C., Lead SharePoint Developer/ 법무 회사

더 쉽게 효과적으로 관리할 수 있는 관리 도구가 되어야 한다.
— Ali F., Technical Manager/ 기술 서비스 회사

HPE QC
가치 있는 기능

생성한 테스트 케이스를 추적할 수 있다. 테스트 한 모든 애플리케이션에 대해 테스트 케이스를 생성하고, 이를 ‘Quality Center’로 불러오고, ‘Quality Center’에서 결함을 추적 관리할 수 있다. 테스트 한 애플리케이션을 토대로 매트릭스를 수집할 수 있다.
— Wanda M., Senior QA Analyst/ 커뮤니케이션 서비스 제공업체

QC는 테스트 프로세스 모니터링 및 생산성 향상에 도움을 줬다. QC의 테스트 실행 및 모니터링 기능은 동종 업계에서 가장 발전된 기능 중 하나이다.
— Amit S., Manager/ 아웃소싱 회사

수동 테스트 케이스의 경우, 매번 테스트 케이스를 작성해야 한다. 업데이트나 변경을 요청 받으면, 각 테스트 케이스를 조사해 업데이트를 한다. 아주 많은 시간이 낭비된다. BPT(Business Process Testing)의 경우 훨씬 짧은 시간에 테스트를 할 수 있다. 리프레시를 하면, 자동으로 전체 테스트 세트가 업데이트된다(100여 테스트 케이스).
— Gourav D., Senior Consultant/ 기술 서비스 회사

개선의 여지가 있는 부분
아주 좋은 테스트 관리 도구이지만 너무 비싼 것이 단점이다. 가격을 합당한 수준으로 인하할 필요가 있다. 유사한 기능을 갖춘 다른 테스트 관리 도구보다 비싸기 때문이다.
— Sudha G., Systems Engineer/ 기술 서비스 회사

애플 장치를 지원하지 않는다. 또 브라우저는 IE만 지원한다. 많은 결함 해결 개발 팀이 애플 장치를 사용하고 있다는 점을 감안하면, 아주 큰 문제점이다.
— Amira B., Test Manager/ 기술 서비스 회사

필요 사항을 적절히 충족하는 스탠드얼론(독립형) QA 도구이다. 그러나 최고의 라이프사이클 솔루션이 되기 위해서는 ‘Agile Manager’ 등 다른 솔루션을 제대로 지원할 필요가 있다.
— Derek W., Technical Test Analyst/ 보험 회사

IBM 래쇼널 퍼포먼스 테스터(Rational Performance Tester)
가치 있는 기능

성능 병목 문제의 존재 유무와 원인을 식별할 수 있는 다양한 보고서를 제공한다. ‘Method’ 수준에서 응답 시간 문제를 알려준다. 이를 통해 속도가 느린 클래스, ‘Method’, 애플리케이션 소스 코드 줄을 파악, 병목 문제의 원인을 찾을 수 있다.
— Shruti S., Projects Associate/ 기술 서비스 회사

테스트 담당자가 빨리 효율적으로 테스트를 기록하고, 스케줄을 수립하도록 돕는다. 어댑터를 이용해, ‘Rational Quality Manager’에서 관리하고, 스케줄을 수립해 실행할 수 있다.
— Mike R., Rational Tools Administrator/ 기술 서비스 회사

개선의 여지가 있는 부분
특정 스크립트가 기록한대로 기능하지 않는 이유를 더 효과적으로 정확히 파악할 수 있었으면 좋겠다. 또 고수준에서 문제점을 알려주는 앱도 필요하다.
— QATestLead904, QA Software Testing Lead/ 정부 기관

고객 서비스가 나쁜 것은 아니다. 그러나 문제를 말하면, '정상 기능입니다'고 대답하는 때가 많다. 솔직히 틀린 대답이라고 생각한다.
— Amaury Q., Solutions Architect/ 기술 서비스 회사
ciokr@idg.co.kr
 
추천 테크라이브러리

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.