Offcanvas

AI / BI / 리더십|조직관리 / 머신러닝|딥러닝 / 비즈니스|경제 / 빅데이터 | 애널리틱스 / 인문학|교양

"머신러닝이 데이터 공학의 역할 바꾼다" 테라데이타 CTO 스티븐 브롭스트

2017.08.22 Matthew Finnegan  |  Computerworld UK
테라데이타의 CTO 스티븐 브롭스트에 따르면, 기업이 머신러닝 기법을 점화 확대해서 사용하면서 데이터 공학의 역할이 바뀌게 될 전망이다.



‘AI’ 접근방식 이면의 여러 원칙이 기존의 것들이긴 하지만 기업 환경 내에서의 관심이 최근 급증했다. 브롭스트는 점차 더욱 널리 정교하게 활용하게 되면서 데이터 공학자들의 역할도 발전하게 될 것으로 전망했다.

그는 데이터 공학자들이 일반적으로 데이터를 “처리하게 예측 모델에 적용하는데 시간의 상당 부분을 할애했다고 설명했다. 미래에는 더 많은 부분이 자동화되고 데이터 공학자들은 대신에 특정 과업에 사용할 머신러닝 또는 딥 툴을 선택하는 데 더욱 집중할 것이다.

그는 “데이터 공학자들은 대부분 시간을 데이터 자체를 처리하는데 소요하는 대신에 대부분 시간을 알고리즘에 할애하게 될 것이다. 따라서 신경망 네트워크 등에서 알고리즘과 기술을 훨씬 정교하게 선택해야 한다”고 설명했다.

“여전히 데이터가 알고리즘 선택에 끼치는 영향의 속성을 파악해야 하지만 데이터 준비에 더 적은 시간을 소요하게 될 것이다. 왜냐하면 오늘날의 데이터 공학자들은 시간의 60% 이상을 데이터 준비, 데이터 수집, 분석, 적용 등에 할애하고 있기 때문이며 이런 일이 더 이상은 필요 없게 될 것이기 때문이다.”

그는 이미 최근에 머신러닝용으로 사용되는 고급 알고리즘에서 이런 현상이 목격되고 있지만 머신러닝의 일종인 딥러닝이 더욱 널리 활용되면서 데이터 공학자들의 우선순위가 더욱 변화하리라 전망했다.

브롭스트는 “딥러닝에서는 메인 지식에 대한 요건이 더 적고 보유하고 있는 데이터의 유형에 기초한 알고리즘 선택을 위한 요건이 더욱 증가할 것이기 때문에 이런 기술 변화가 매우 흥미롭다”고 이야기했다.

데이터 공학 기술 공백
하지만 많은 기업의 경우 우선 적절한 데이터 공학 전문지식을 찾는 것이 급선무이다. 기술 기업들이 과정과 자원을 제공하기 위해 노력하고 있지만 여전히 기술을 평가하기가 쉽지 않다.

브롭스트는 “현재 자격을 갖춘 데이터 공학자 대비 수요가 큰 차이를 보이고 있기 때문에 엄청난 [기술] 공백이 존재하며 영국에서는 더욱 그렇다”고 설명했다. 브롭스트에 따르면, 기술 공백의 이유 중 하나는 영국이 데이터 공학의 중요성을 상대적으로 더욱 적극적으로 이해하고 있어 [UK기관들이] 이를 선도하고 있기 때문이다.

비단 영국만이 이런 문제에 직면한 것은 아니다. 그는 “전 세계적으로 [데이터 공학자가] 부족하다”며 “전 세계적으로 좋은 데이터 공학자를 찾고 있다”고 지적했다.

훈련과 교육을 강화하는 것이 하나의 해결책이 될 수 있다. 브롭스트는 “제로섬 게임이 될 수 없기 때문에 다른 곳에서 그냥 [데이터 공학 전문가를] 데려올 수 없으며 전문지식을 구축하고 교육 시스템도 투자해야 한다”며 다음과 같이 설명을 이었다.

“미국에서는 STEM(과학, 기술, 엔지니어링, 수학)에 엄청난 자금이 투자되고 있으며 특히 공학과 수학에 대한 여아들의 관심을 고조시키기 위해 노력하고 있다. 우리는 여성을 제대로 활용하지 못하고 있다. 왜냐하면 젊은 여성들이 남성보다 수학에 더욱 뛰어난 경우가 많기 때문이다. 하지만 우리는 사회적인 압박과 다른 나쁜 영향 때문에 수학은 여성이 아닌 남성을 위한 학문이라는 인식을 심어주고 있다. 그리고 이것은 정말 말도 안 되는 이야기다.

우리는 사회가 여성뿐만이 아니라 기술 투자에 관한 사고방식을 바꿔야 하지만 아이들조차도 ‘수학은 괴짜들을 위한 것일 뿐 좋지 않아’라고 말하고 있다. 최소한 실리콘밸리에서는 반발이 있었고 지금은 괴짜들이 멋있지만 우리는 교육 시스템에 투자하여 공학 기술과 엔지니어링 및 수학을 발전시켜야 한다.”


창의성이 핵심이다
브롭스트는 STEM 과목 교육에 치중하면서 창의적인 사고 능력 같은 데이터 공학 역할 등 직업의 중요한 측면을 놓치고 있다고 지적했다.

그는 “STEAM보다는 STEM을 더 좋아한다”고 말했다.

브롭스트는 “창의성을 가르쳐야 한다. 왜냐하면 순수하게 수학적인 경우 정말로 흥미로운 돌파구를 찾지 못할 것이기 때문이다”고 설명했다. 지속적인 발전은 있겠지만 예술적이어야 하며 위험을 감수하고 사고의 틀을 벗어나 수학과 과학에 대해서도 고민해야 한다. 사람들은 수학과 과학의 핵심이 기계적인 사고라고 생각하지만 그렇지가 않다.

그는 “최고의 수학자와 과학자들은 사고의 틀을 벗어날 줄 알았다. 사고의 틀을 타파했던 앨런 튜링도 수학자였다. 하지만 그가 수학의 기계적인 부분만 다루었다면 지금처럼 우리의 삶에 영향을 끼치지는 못했을 것이다”고 전했다.

마지막으로 브롭스트는 “사람들이 창의적으로 생각하도록 교육할 수 있다. 특히 엔지니어링과 수학 분야에서 그런 경우를 많이 보았으며 완전히 합리적인 단계별 과정이 아니라면 규칙을 따르지 않고 있다. 따라서 수학과 과학의 핵심은 단순한 규칙이 아니며 정말로 혁신적이라면 새로운 규칙을 창조해야 한다”고 당부했다. ciokr@idg.co.kr
 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.