2019.02.13

낙제할 것 같은 학생 찾아내는 'AI 스앵님'··· 맥그로힐 사례

Thor Olavsrud | CIO
미국 교육출판회사인 맥그로힐 에듀케이션은 AI 기반 평가학습 시스템의 데이터를 활용해 학습 성과가 부진하거나 낙제할 가능성이 있는 학생들을 파악하는 데 도움이 되는 인사이트(Insights)라는 프로젝트를 개발하고 있다.
 
ⓒCredit: Pixabay/Varun Kulkarni

맥그로힐 에듀케이션(McGraw-Hill Education)의 이용자 연구 부서는 회사의 알렉스(Assessment and Learning in Knowledge Spaces, ALEKS) 상품의 한 가지 문제를 지난 몇 년 동안 보고하였다. 이 웹 기반 인공지능 평가 및 학습 시스템은 학생을 평가하고 학생의 개별 요구 사항에 따라 맞춤형 학습 과정을 설정하는 데는 탁월했지만, 교사들은 너무 많은 데이터 때문에 몸살을 앓았다. 

맥그로힐 에듀케이션의 기술 제품 관리 부사장인 로리 앤더슨(사진)은 “분기별 교사 설문조사에서, 지난 2년 동안 거듭해서 교사들이 매우 가시적이고 진정으로 견고한 우리 보고서를 좋아하지만, 데이터가 너무 많아 버거워한다는 사실을 알게 되었다”고 말했다. 

미국의 K12(초중고 12년 과정) 환경에서 교사가 교실에서 수업하지 않을 때는 학습 계획을 짜고 학생 활동을 모니터링 하는 일을 한다. 그 때문에 각 학생의 알렉스(ALEKS) 평가를 깊이 있게 살펴볼 시간이 없었다. 앤더슨에 따르면, 고등 교육에서 교사는 수업 외의 의무가 그만큼 많지는 않지만 흔히 수백 명의 학생을 관리한다. 

앤더슨은 “이들은 ‘보고서가 마음에 들지만, 너무 시간 소모적이다. 그냥 어떤 학생이 낙제할 가능성이 있는지 그것만 말해주었으면 한다. 어떤 학생이 예를 들어 커닝 같은 이상한 짓을 하는지 말해달라. 방대한 보고서에서 내가 신경 써야 할 부분만 읽고 싶다’고 했다”고 설명했다. 

그래서 알렉스의 응용 연구 소장인 에릭 커사인은 인사이트의 개발을 시작했다. 이는 어디서 어떻게 학생이 어려움을 겪는지, 어떻게 정상적인 경로로 되돌릴 수 있는지 파악하는데 필요한 정보를 교사에게 제공할 목적으로 생성된 알렉스의 부속물이다. 인사이트에 의해 맥그로힐 에듀케이션은 디지털 혁신 부문에서 2019년 디지털 엣지 50 어워드를 수상했다.  

알렉스와 인사이트  
미 국립과학재단(National Science Foundation, NSF)의 지원 아래에 1994년 UC 어바인에서 개발된 알렉스는 2013년 맥그로힐 에듀케이션에 인수되었다. 알렉스는 수학, 화학 등 수량적 학문 분야를 전문으로 하고, 알렉스 팀은 한 지식 구조 내의 강좌 내용을 상세히 작성한다. 알렉스는 먼저 학생의 지식을 평가한 후 강점과 약점을 파악해 학생에 맞춘 특별 학습 노선을 설정한다. 

앤더슨은 “학생이 무엇을 알고 있고 무엇을 알지 못하지 정확히 식별할 수 있다. 나아가 정말 중요하게도 학생에게 가장 적합한 강좌가 무엇인지 알 수 있다”고 강조했다. 

이 데이터와 더불어, 알렉스와 상호작용했던 학생들로부터 얻은 수십억 데이터 포인트에 관한 머신러닝을 이용해, AI는 학생이 다음에 배워야 할 가장 적절한 지식이 무엇인지 추론해낸다. 아울러 알렉스는 학생을 정기적으로 재평가해 지식 유지를 확인한다. 과거에 학습한 내용을 잊어버리는 일이 흔하기 때문이다. 

앤더슨은 “알렉스를 진정으로 특별하게 만드는 것은 데이터이다. 이를 이용해 추론을 도출할 수 있기 때문이다”고 말했다. 

알렉스 내의 보고 기능은 학생의 학습 진도가 어떠하고, 학생이 어떤 내용을 이미 알고 있으며, 어떤 내용에서 어려움을 겪는지를 교사에게 보여주고자 개발됐다. 맥그로힐의 이용자 연구에 따르면 교사들은 엄청난 양의 데이터 때문에 애를 먹는 것으로 것이 나타났다. 교사들은 찾고 있는 것이 무엇인지를 알아야 했고, 학생별로 문제를 찾는 데 시간을 소비해야 했으며, 보고를 이해하도록 숙련되어야 했다. 

앤더슨은 “고객의 요구에 맞춰 데이터를 가공하는 에릭 커사인의 알고리즘이 준비되자 스토리-매핑 세션을 가졌다”고 설명했다. 이 스토리-매핑 세션에서는 인사이트의 실험적 개념(Blue-Sky concept–기초 연구)을 생성하였고, 이에 의해 최종적으로 최소기능제품(Minimum Viable Product, MVP)이 도출되었다. 

고객 요구 충족 
인사이트의 최초 버전은 몇 주 동안 한정적 이용자 집단에서 전개하기 위해 의도되었고, 아래의 4가지 핵심 영역에 집중한다. 

• 학습 주제 낙제. 학생이 알렉스에서 여러 차례 시도했지만 성공하지 못한 내용
• 학습 성취 감소. 알렉스에서 시간을 계속 보냈지만 학습 성취에서 상당한 하락을 보여준 학생
• 비정상적 학습. 이전 학습에 비해 급상승을 보이는 학생. 학습을 게을리 했을 지도 모른다는 징후임. 
• 알렉스에서 소비하는 시간이 불규칙적이거나, 오랜 시간의 비활동 후 갑작스러운 활동을 보이거나, 생산적 활동의 징후 없이 알렉스에서 시간만 소비한 학생 

앤더슨은 “인사이트는 전체 보고서 데이터의 요약이고, 이는 교사가 손쉽게 소화할 수 있는 방식으로 요약돼 있으며, 교사들이 정말 중요하다고 계속해서 말해온 4개 범주로 나뉜다”고 말했다. 

인사이트는 이들 4개 범주를 이용해 학생이 탈선하고 있는지 판단하고, 교사에게 이메일 경고를 발송한다. 교사는 인사이트 페이지로부터 직접 학생에게 메시지를 보내거나, 아니라면 문제를 보다 잘 이해하고 적절한 조치를 결정하기 위해 전체 알렉스 보고서를 검토한다. 

인사이트의 초기 실험적 개념은 문자 경고를 포함했다. 고등 교육 교사들이 요구한 기능이었다. 그러나 선호하는 경고 형식과 빈도가 교사마다 각자 달랐다. 그래서 최소기능제품(MVP)으로부터 문자 경고를 떼어내고, 이후 다듬는 것으로 결정이 났다. 인사이트를 더 빨리 출시하기 위함이었다. 
 
후원자들 
앤더슨은 알렉스 팀이 인사이트 프로젝트를 즉각적으로 지지했다고 밝혔다. 효과가 명확했기 때문이다. 그러나 이는 여전히 더 큰 조직의 지지를 필요로 했다. 맥그로힐 에듀케이션에서는 기술 프로젝트가 진행되려면 사업 부문의 지원이 필수적이었다. 

앤더슨은 “이는 기술팀과 사업 부서 사이의 직접적 협력이었다”고 전했다. 

알렉스에서 UX팀 역시 지휘하는 앤더슨은 사업 부서들과 공유할 수 있는 저-충실도 실물 모형 및 프로토타입을 제작하도록 UX디자이너들에게 주문했다. 앤더슨은 “UX와 시작하여 추상적인 것을 시각적 표현물로 변화시켜 사람들을 결집했다. 관념적인 것이 아니라 구체적인 무언가를 보여주어야 한다”고 말했다. 

결론적으로, 이는 지지를 결집하는데 기여했을 뿐 아니라 6개월 만에 최소기능제품(MVP)을 만드는 데에도 유용했다. 

고등 교육 사업부는 인사이트의 최초의 후원자였고, 앤더슨은 “이들이 많은 수의 학생을 관리하는 바쁜 교사들에게 직관적이고 행동 지향적 통찰을 제시해 주는 혜택을 즉각적으로 인식하였다”면서 “고객 요구를 한층 우월하게 충족할 수 있는 경쟁우위와 기회를 본 것이다”고 말했다. 

초중고 교육시장에 집중하는 맥그로힐 스쿨 사업부 역시 교사가 어려움을 겪는 학생을 더욱 원활하게 파악하고 도움을 줄 수 있게 하려는 차원에서 인사이트를 후원하는 데 동참했다.

앤더슨은 “현재까지 가장 큰 어려움은 최소기능제품(MVP)을 정확히 한정하는 것이었다. 이해관계자가 15곳이 넘어 수많은 의견과 지식이 있다. 수많은 의견이 있었고, 현장의 목소리도 있었다”고 덧붙였다. ciokr@idg.co.kr



2019.02.13

낙제할 것 같은 학생 찾아내는 'AI 스앵님'··· 맥그로힐 사례

Thor Olavsrud | CIO
미국 교육출판회사인 맥그로힐 에듀케이션은 AI 기반 평가학습 시스템의 데이터를 활용해 학습 성과가 부진하거나 낙제할 가능성이 있는 학생들을 파악하는 데 도움이 되는 인사이트(Insights)라는 프로젝트를 개발하고 있다.
 
ⓒCredit: Pixabay/Varun Kulkarni

맥그로힐 에듀케이션(McGraw-Hill Education)의 이용자 연구 부서는 회사의 알렉스(Assessment and Learning in Knowledge Spaces, ALEKS) 상품의 한 가지 문제를 지난 몇 년 동안 보고하였다. 이 웹 기반 인공지능 평가 및 학습 시스템은 학생을 평가하고 학생의 개별 요구 사항에 따라 맞춤형 학습 과정을 설정하는 데는 탁월했지만, 교사들은 너무 많은 데이터 때문에 몸살을 앓았다. 

맥그로힐 에듀케이션의 기술 제품 관리 부사장인 로리 앤더슨(사진)은 “분기별 교사 설문조사에서, 지난 2년 동안 거듭해서 교사들이 매우 가시적이고 진정으로 견고한 우리 보고서를 좋아하지만, 데이터가 너무 많아 버거워한다는 사실을 알게 되었다”고 말했다. 

미국의 K12(초중고 12년 과정) 환경에서 교사가 교실에서 수업하지 않을 때는 학습 계획을 짜고 학생 활동을 모니터링 하는 일을 한다. 그 때문에 각 학생의 알렉스(ALEKS) 평가를 깊이 있게 살펴볼 시간이 없었다. 앤더슨에 따르면, 고등 교육에서 교사는 수업 외의 의무가 그만큼 많지는 않지만 흔히 수백 명의 학생을 관리한다. 

앤더슨은 “이들은 ‘보고서가 마음에 들지만, 너무 시간 소모적이다. 그냥 어떤 학생이 낙제할 가능성이 있는지 그것만 말해주었으면 한다. 어떤 학생이 예를 들어 커닝 같은 이상한 짓을 하는지 말해달라. 방대한 보고서에서 내가 신경 써야 할 부분만 읽고 싶다’고 했다”고 설명했다. 

그래서 알렉스의 응용 연구 소장인 에릭 커사인은 인사이트의 개발을 시작했다. 이는 어디서 어떻게 학생이 어려움을 겪는지, 어떻게 정상적인 경로로 되돌릴 수 있는지 파악하는데 필요한 정보를 교사에게 제공할 목적으로 생성된 알렉스의 부속물이다. 인사이트에 의해 맥그로힐 에듀케이션은 디지털 혁신 부문에서 2019년 디지털 엣지 50 어워드를 수상했다.  

알렉스와 인사이트  
미 국립과학재단(National Science Foundation, NSF)의 지원 아래에 1994년 UC 어바인에서 개발된 알렉스는 2013년 맥그로힐 에듀케이션에 인수되었다. 알렉스는 수학, 화학 등 수량적 학문 분야를 전문으로 하고, 알렉스 팀은 한 지식 구조 내의 강좌 내용을 상세히 작성한다. 알렉스는 먼저 학생의 지식을 평가한 후 강점과 약점을 파악해 학생에 맞춘 특별 학습 노선을 설정한다. 

앤더슨은 “학생이 무엇을 알고 있고 무엇을 알지 못하지 정확히 식별할 수 있다. 나아가 정말 중요하게도 학생에게 가장 적합한 강좌가 무엇인지 알 수 있다”고 강조했다. 

이 데이터와 더불어, 알렉스와 상호작용했던 학생들로부터 얻은 수십억 데이터 포인트에 관한 머신러닝을 이용해, AI는 학생이 다음에 배워야 할 가장 적절한 지식이 무엇인지 추론해낸다. 아울러 알렉스는 학생을 정기적으로 재평가해 지식 유지를 확인한다. 과거에 학습한 내용을 잊어버리는 일이 흔하기 때문이다. 

앤더슨은 “알렉스를 진정으로 특별하게 만드는 것은 데이터이다. 이를 이용해 추론을 도출할 수 있기 때문이다”고 말했다. 

알렉스 내의 보고 기능은 학생의 학습 진도가 어떠하고, 학생이 어떤 내용을 이미 알고 있으며, 어떤 내용에서 어려움을 겪는지를 교사에게 보여주고자 개발됐다. 맥그로힐의 이용자 연구에 따르면 교사들은 엄청난 양의 데이터 때문에 애를 먹는 것으로 것이 나타났다. 교사들은 찾고 있는 것이 무엇인지를 알아야 했고, 학생별로 문제를 찾는 데 시간을 소비해야 했으며, 보고를 이해하도록 숙련되어야 했다. 

앤더슨은 “고객의 요구에 맞춰 데이터를 가공하는 에릭 커사인의 알고리즘이 준비되자 스토리-매핑 세션을 가졌다”고 설명했다. 이 스토리-매핑 세션에서는 인사이트의 실험적 개념(Blue-Sky concept–기초 연구)을 생성하였고, 이에 의해 최종적으로 최소기능제품(Minimum Viable Product, MVP)이 도출되었다. 

고객 요구 충족 
인사이트의 최초 버전은 몇 주 동안 한정적 이용자 집단에서 전개하기 위해 의도되었고, 아래의 4가지 핵심 영역에 집중한다. 

• 학습 주제 낙제. 학생이 알렉스에서 여러 차례 시도했지만 성공하지 못한 내용
• 학습 성취 감소. 알렉스에서 시간을 계속 보냈지만 학습 성취에서 상당한 하락을 보여준 학생
• 비정상적 학습. 이전 학습에 비해 급상승을 보이는 학생. 학습을 게을리 했을 지도 모른다는 징후임. 
• 알렉스에서 소비하는 시간이 불규칙적이거나, 오랜 시간의 비활동 후 갑작스러운 활동을 보이거나, 생산적 활동의 징후 없이 알렉스에서 시간만 소비한 학생 

앤더슨은 “인사이트는 전체 보고서 데이터의 요약이고, 이는 교사가 손쉽게 소화할 수 있는 방식으로 요약돼 있으며, 교사들이 정말 중요하다고 계속해서 말해온 4개 범주로 나뉜다”고 말했다. 

인사이트는 이들 4개 범주를 이용해 학생이 탈선하고 있는지 판단하고, 교사에게 이메일 경고를 발송한다. 교사는 인사이트 페이지로부터 직접 학생에게 메시지를 보내거나, 아니라면 문제를 보다 잘 이해하고 적절한 조치를 결정하기 위해 전체 알렉스 보고서를 검토한다. 

인사이트의 초기 실험적 개념은 문자 경고를 포함했다. 고등 교육 교사들이 요구한 기능이었다. 그러나 선호하는 경고 형식과 빈도가 교사마다 각자 달랐다. 그래서 최소기능제품(MVP)으로부터 문자 경고를 떼어내고, 이후 다듬는 것으로 결정이 났다. 인사이트를 더 빨리 출시하기 위함이었다. 
 
후원자들 
앤더슨은 알렉스 팀이 인사이트 프로젝트를 즉각적으로 지지했다고 밝혔다. 효과가 명확했기 때문이다. 그러나 이는 여전히 더 큰 조직의 지지를 필요로 했다. 맥그로힐 에듀케이션에서는 기술 프로젝트가 진행되려면 사업 부문의 지원이 필수적이었다. 

앤더슨은 “이는 기술팀과 사업 부서 사이의 직접적 협력이었다”고 전했다. 

알렉스에서 UX팀 역시 지휘하는 앤더슨은 사업 부서들과 공유할 수 있는 저-충실도 실물 모형 및 프로토타입을 제작하도록 UX디자이너들에게 주문했다. 앤더슨은 “UX와 시작하여 추상적인 것을 시각적 표현물로 변화시켜 사람들을 결집했다. 관념적인 것이 아니라 구체적인 무언가를 보여주어야 한다”고 말했다. 

결론적으로, 이는 지지를 결집하는데 기여했을 뿐 아니라 6개월 만에 최소기능제품(MVP)을 만드는 데에도 유용했다. 

고등 교육 사업부는 인사이트의 최초의 후원자였고, 앤더슨은 “이들이 많은 수의 학생을 관리하는 바쁜 교사들에게 직관적이고 행동 지향적 통찰을 제시해 주는 혜택을 즉각적으로 인식하였다”면서 “고객 요구를 한층 우월하게 충족할 수 있는 경쟁우위와 기회를 본 것이다”고 말했다. 

초중고 교육시장에 집중하는 맥그로힐 스쿨 사업부 역시 교사가 어려움을 겪는 학생을 더욱 원활하게 파악하고 도움을 줄 수 있게 하려는 차원에서 인사이트를 후원하는 데 동참했다.

앤더슨은 “현재까지 가장 큰 어려움은 최소기능제품(MVP)을 정확히 한정하는 것이었다. 이해관계자가 15곳이 넘어 수많은 의견과 지식이 있다. 수많은 의견이 있었고, 현장의 목소리도 있었다”고 덧붙였다. ciokr@idg.co.kr

X