2016.08.30

MS, '캐터펄트' 서버 설계 개선··· FPGA 속도 높여 AI에 최적화

Agam Shah | IDG News Service
지난 수년 동안 빠르고 정확하게 빙(Bing) 검색 결과를 제공하는 데 사용된 마이크로소프트 '캐터펄트(Catapult)' 프로젝트가 아키텍처를 업그레이드했다.


Image Credit: TACC

캐터펄트 서버에는 FPGAs(Field Programmable Gate Arrays)라고 불리는 재프로그래밍 가능한 칩이 들어가 있다. FPGA는 더 좋은 빙 검색결과를 제공하는 핵심 기술로, 여기서 스코어링하고 필터링하고 순위를 매긴 후 빙에서 들어오는 텍스트, 이미지 쿼리와의 연관성을 연산한다.

마이크로소프트는 최근 기존 캐터펄트 서버 설계를 새롭게 바꿨다. 서버의 속도를 높이는 데 주안점을 맞춰 FPGA의 역할을 개선했다. 새로운 캐터펄트 설계 v2는 전통적인 데이터센터 구조에서 더 유연하게 머신러닝을 수행하고 FPGA를 일종의 가속기로 확장할 수 있다. 마이크로소프트는 이달 초 미국 캘리포니아에서 열린 스케일드 머신러닝 컨퍼런스에서 캐터펄트 설계 v2를 처음 발표했다.

마이크로소프트의 데이터센터는 코타나와 스카이프 번역기 같은 서비스를 처리한다. 업체는 이를 위해 지속적으로 서버 성능을 개선해 왔다. 또한, 마이크로소프트는 실리콘 포노닉스(silicon photonics)를 적용하기 위해 인텔과 협업하고 있다. 이 광섬유는 기존 구리선을 대체해 데이터센터 내 서버 간 통신을 더 빠르게 할 것으로 기대하고 있다.

캐터펄트 v2는 방대한 컴퓨팅 리소스에 접속할 수 있도록 해 FPGA의 가용성도 확장한다. FPGA는 D램, CPU, 네트워크 스위치 등과 연결된다. FPGA는 로컬 애플리케이션을 가속하거나 대규모 딥러닝 모델에서 프로세싱 리소스가 될 수도 있다. 빙에서처럼 FPGA는 검색 결과를 스코어링하고 딥러닝 모델을 훈련하는 데도 참여할 수 있다.

이 새로운 모델은 기존 캐터펄트 모델과 비교해 상당히 발전한 것이다. 기존 모델에서는 FPGA가 서버 내 더 작은 네트워크에 한정됐다. 반면 캐터펄트 설계 v2는 클라우드 기반 이미지 인식, 자연어 처리를 비롯해 일반적으로 머신러닝과 연관된 작업에도 사용될 수 있다. 또한, 캐터펄트 v2는 FPGA를 머신러닝 기기에 사용하는 것에 대한 청사진도 제공할 수 있다. 많은 머신러닝 모델이 GPU를 이용하고 FPGA의 역할은 뚜렷하지 않았다. 그러나 마이크로소프트를 비롯해 바이두도 데이터센터에서 딥러닝을 위해 FPGA를 사용하고 있다.

FPGA는 딥러닝 결과를 빠르게 제공하지만 프로그래밍이 정확하지 않으면 상당한 전력을 소모하는 것으로 악명 높다. 특정 작업을 처리하도록 재프로그래밍이 가능하며 단순하게 사용할 수도 있다. GPU는 더 유연하고 여러 개의 연산을 처리할 수 있다. 그러나 FPGA는 특정 작업에서 더 빠를 수 있다. 많은 대기업이 FPGA에 관심을 보이고 있다. 인텔은 올해 초 FPGA 업체 알테라(Altera)를 167억 달러에 인수했다. 인텔은 알테라 FPGA를 자동차와 서버, 로봇, 드론 외에 다양한 기기에 이식할 예정이다.

마이크로소프트 외에 캐터펄트 서버를 머신러닝에 사용하는 곳은 미국 오스틴 텍사스 대학 내 TACC(Texas Advanced Computing Center)가 있다. 이 시스템은 32 2소켓 인텔 제온 서버를 사용하며 64GB 메모리를 탑재했다. 자체 8GB DDR3 메모리 캐시를 가진 알테라 스트라틱스 V D5 FPGA를 사용한다. ciokr@idg.co.kr



2016.08.30

MS, '캐터펄트' 서버 설계 개선··· FPGA 속도 높여 AI에 최적화

Agam Shah | IDG News Service
지난 수년 동안 빠르고 정확하게 빙(Bing) 검색 결과를 제공하는 데 사용된 마이크로소프트 '캐터펄트(Catapult)' 프로젝트가 아키텍처를 업그레이드했다.


Image Credit: TACC

캐터펄트 서버에는 FPGAs(Field Programmable Gate Arrays)라고 불리는 재프로그래밍 가능한 칩이 들어가 있다. FPGA는 더 좋은 빙 검색결과를 제공하는 핵심 기술로, 여기서 스코어링하고 필터링하고 순위를 매긴 후 빙에서 들어오는 텍스트, 이미지 쿼리와의 연관성을 연산한다.

마이크로소프트는 최근 기존 캐터펄트 서버 설계를 새롭게 바꿨다. 서버의 속도를 높이는 데 주안점을 맞춰 FPGA의 역할을 개선했다. 새로운 캐터펄트 설계 v2는 전통적인 데이터센터 구조에서 더 유연하게 머신러닝을 수행하고 FPGA를 일종의 가속기로 확장할 수 있다. 마이크로소프트는 이달 초 미국 캘리포니아에서 열린 스케일드 머신러닝 컨퍼런스에서 캐터펄트 설계 v2를 처음 발표했다.

마이크로소프트의 데이터센터는 코타나와 스카이프 번역기 같은 서비스를 처리한다. 업체는 이를 위해 지속적으로 서버 성능을 개선해 왔다. 또한, 마이크로소프트는 실리콘 포노닉스(silicon photonics)를 적용하기 위해 인텔과 협업하고 있다. 이 광섬유는 기존 구리선을 대체해 데이터센터 내 서버 간 통신을 더 빠르게 할 것으로 기대하고 있다.

캐터펄트 v2는 방대한 컴퓨팅 리소스에 접속할 수 있도록 해 FPGA의 가용성도 확장한다. FPGA는 D램, CPU, 네트워크 스위치 등과 연결된다. FPGA는 로컬 애플리케이션을 가속하거나 대규모 딥러닝 모델에서 프로세싱 리소스가 될 수도 있다. 빙에서처럼 FPGA는 검색 결과를 스코어링하고 딥러닝 모델을 훈련하는 데도 참여할 수 있다.

이 새로운 모델은 기존 캐터펄트 모델과 비교해 상당히 발전한 것이다. 기존 모델에서는 FPGA가 서버 내 더 작은 네트워크에 한정됐다. 반면 캐터펄트 설계 v2는 클라우드 기반 이미지 인식, 자연어 처리를 비롯해 일반적으로 머신러닝과 연관된 작업에도 사용될 수 있다. 또한, 캐터펄트 v2는 FPGA를 머신러닝 기기에 사용하는 것에 대한 청사진도 제공할 수 있다. 많은 머신러닝 모델이 GPU를 이용하고 FPGA의 역할은 뚜렷하지 않았다. 그러나 마이크로소프트를 비롯해 바이두도 데이터센터에서 딥러닝을 위해 FPGA를 사용하고 있다.

FPGA는 딥러닝 결과를 빠르게 제공하지만 프로그래밍이 정확하지 않으면 상당한 전력을 소모하는 것으로 악명 높다. 특정 작업을 처리하도록 재프로그래밍이 가능하며 단순하게 사용할 수도 있다. GPU는 더 유연하고 여러 개의 연산을 처리할 수 있다. 그러나 FPGA는 특정 작업에서 더 빠를 수 있다. 많은 대기업이 FPGA에 관심을 보이고 있다. 인텔은 올해 초 FPGA 업체 알테라(Altera)를 167억 달러에 인수했다. 인텔은 알테라 FPGA를 자동차와 서버, 로봇, 드론 외에 다양한 기기에 이식할 예정이다.

마이크로소프트 외에 캐터펄트 서버를 머신러닝에 사용하는 곳은 미국 오스틴 텍사스 대학 내 TACC(Texas Advanced Computing Center)가 있다. 이 시스템은 32 2소켓 인텔 제온 서버를 사용하며 64GB 메모리를 탑재했다. 자체 8GB DDR3 메모리 캐시를 가진 알테라 스트라틱스 V D5 FPGA를 사용한다. ciokr@idg.co.kr

X