Offcanvas

AI / 머신러닝|딥러닝 / 비즈니스|경제

김진철의 How-to-Big Data | 빅데이터의 미래 (10)

2020.08.26 김진철  |  CIO KR


최근 딥러닝 기반 인공지능 기술의 붐을 일으킨 회사 중 하나인 엔비디아(Nvidia)의 GP-GPU는 GP-GPU내부에서의 연산 성능은 언제나 인정받았지만, GP-GPU내부 메모리 용량 제한과 다른 GP-GPU와 통신과정의 병목(bottleneck)때문에 언제나 계산 확장성(scalability)이 좋지 않다는 지적을 받아왔다.

최근 NVLink와 같은 고대역폭 버스 아키텍처와 NCCL과 같은 노드 확장성을 제공하는 소프트웨어를 통해 확장성을 많이 개선하기는 했지만, GP-GPU를 사용한 멀티 GPU 컴퓨팅에서는 언제나 확장성이 여전히 문제가 된다. 이런 특성때문에 모델 병렬 작업이 필요한 대형 인공지능 기술을 개발하기 어려운 단점이 있었다.

그림 7. 그래프코어 IPU 아키텍처에서 딥러닝 연산의 병렬 처리 방법. 데이터 병렬(data-parallel) 작업과 모델 병렬(model-parallel) 작업 모두를 지원한다. (그림 출처: [19])​​​​

콜로수스 마크 II 확장 보드의 IPU 게이트웨이 및 IPU 버스의 대역폭, 토폴로지와 델(Dell)의 DSS 8440 서버의 PCIe 버스 아키텍처덕에 IPU는 GP-GPU와 비교했을 때 모델 병렬 작업을 이용한 대형 인공지능 모델 개발에 더 유용하게 쓰일 수 있다. 모델 병렬 작업 형태의 인공지능 모델 개발에 꼭 필요한, 다른 프로세서에서 실행되고 있는 모델 컴포넌트와 하위 모델간 데이터 통신을 원활하게 할 수 있는 고대역폭 버스와 대칭적인 패브릭 토폴로지를 제공하기 때문이다.

이와 같은 IPU 패브릭 아키텍처 및 토폴로지 때문에 그림 7과 같이 IPU로 구성된 고성능 컴퓨팅 시스템에서는 데이터 병렬(data parallel) 형태의 기계 학습 모델과 모델 병렬(model parallel) 형태의 기계 학습 모델 학습과 추론 실행 모두가 효과적으로 실행될 수 있다. 이 때문에 단일 모델을 많은 데이터를 이용해 추론의 정확도를 높이는 데이터 병렬 작업 형태의 기계 학습 훈련(training) 실행 속도를 높일 수 있다. 

뿐만 아니라, 여러 IPU에 걸쳐 모델 컴포넌트 및 하위 모델을 배치하고, 이 모델 컴포넌트 및 하위 모델 연산간의 데이터 교환은 패브릭과 네트워크를 통해 이루어지도록 해서 모델의 크기를 근본적으로 키우는 모델 병렬(model parallel)형태의 기계 학습 훈련(training)을 구현하는 데에도 효과적이다. 이런 모델 병렬 형태의 인공지능 연산을 지원하기 용이한 IPU 패브릭 아키텍처는 BERT나 GPT-3와 같은 대형 인공지능 모델을 개발하고 실행하는데 큰 도움이 된다.

지금까지 꽤 많은 지면을 할애하여 최근 인공지능을 위한 하드웨어 기술의 대표적인 제품인 그래프코어(Graphcore)의 IPU프로세서 기술에 대해서 간단하게 살펴보았다. 이제 그래프코어(Graphcore)의 IPU 프로세서와 함께 인공지능 하드웨어 기술의 미래를 보여주고 있는 또 하나의 고성능 컴퓨팅 프로세서 기술로서, “세리브라스 시스템즈(Cerebras Systems, Inc.)”의 “웨이퍼 스케일 엔진(Wafer-Scale Engine)” 프로세서 기술을 살펴보도록 하자.

그림 8은 “세리브라스 시스템즈(Cerebras Systems, Inc.)”의 “웨이퍼 스케일 엔진(Wafer Scale Engine)”의 외양을 보여주고 있다. 세리브라스 시스템즈의 기술은 크게 세 가지로 요약될 수 있는데, 첫번째는 한 변이 21.5센티미터가 되는 매우 큰 사이즈의 딥러닝 계산용 프로세서를 만들었다는 것이고, 두번째는 이 대형 딥러닝 계산용 프로세서에 무려 400,000코어의 계산 코어와 이들 코어 사이의 통신을 위한 패브릭을 집적했다는 것이다. 세번째로, 이 거대한 단일 웨이퍼 프로세서를 기반으로 딥러닝 계산을 할 수 있는 서버 시스템을 단지 15 랙 유닛의 서버 샤시에 집적하여 통합했다는 것이다.

“웨이퍼 스케일 엔진(Wafer Scale Engine)”을 보면 이렇게 큰 프로세서를 만든 거 빼고 뭐가 더 좋은거지라는 생각이 들 수 있다. 그런데, 조금만 다르게 뒤집어 생각해보자. 지금까지 반도체 기술은 가능하면 작은 면적에 많은 회로를 집적시켜 최대한 프로세서의 크기는 줄이면서 연산 성능은 향상시키는 쪽으로 발전해왔다. “웨이퍼 스케일 엔진(Wafer Scale Engine)”은 이런 반도체 기술 발전 방향과 전혀 반대되는 방향으로 발상을 전환했다는 것이 다르다.

보통 프로세서를 만들 때 크기가 문제가 되는 이유 첫번째는 컴퓨터에 CPU나 GPU와 같은 프로세서만 있어서는 컴퓨터의 온전한 기능을 만들 수 없고, 이 프로세서외에 DRAM과 같은 메모리나 SSD나 HDD와 같은 영구 저장 장치, 전력 공급을 위한 전원 박스, 네트워크 연결을 위한 네트워크 인터페이스 카드와 같이 다른 다양한 하드웨어 컴포넌트도 같이 통합되어야 하기 때문이다. 이들 다른 컴포넌트들이 같이 통합되어 온전하게 작동하는 컴퓨터로 만들기 위해 현재 기술로 경제적으로 만들 수 있는 컴퓨터 샤시의 크기에 제한이 있기 때문에 무한정 프로세서의 크기를 키울 수가 없는 것이다.
 
그림 8. 세리브라스 시스템즈(Cerebras Systems)의 대형 딥러닝 전용 연산 프로세서와 이를 장착한 고성능 컴퓨터. (그림 출처: https://www.cerebras.net/)

두번째로, 보통 프로세서의 크기가 문제가 되는 것은 반도체 공정과 관련이 있는데, 우리가 사용하는 반도체 칩이나 프로세서를 개발할 수 있을 정도로 충분히 큰 크기의 웨이퍼를 만들기가 생각보다 쉽지 않다는 것이다. 컴퓨터 프로세서나 특정한 목적을 위한 칩을 만들기 위해서는 우선 순도가 매우 높은 실리콘 웨이퍼를 성장시켜 만들 수 있어야 하는데, 이렇게 순도가 높은 실리콘 웨이퍼를 만드는 것이 쉽지 않은 일이다. 뿐만 아니라 이런 웨이퍼에 많은 미세 회로를 불량 없이 집적시키는 것은 더 어려운 일이다.

현재 우리가 쓰는 CPU나 GPU를 만들 때 보통 사용하는 웨이퍼의 크기는 최근까지 직경이 150mm(6인치)에서 200mm(8인치)였으나, 최근에는 300mm(10인치) 웨이퍼로 공정이 많이 옮겨가고 있는 추세다. 실리콘 웨이퍼 공정 기술이 발전하여 300mm(10인치) 직경의 대형 실리콘 웨이퍼를 반도체 제조에 활용하게 된 것은 2000년경 부터다. 300mm(10인치) 직경의 실리콘 웨이퍼에서 약 1,100여개의 칩을 제조할 수 있다고 한다.

반도체 제조에 쓸 정도로 순도가 높으면서 300mm 크기를 가지는 웨이퍼를 현재 반도체 수요에 맞게 대량 생산하기가 쉽지 않고, 아직 150mm(6인치) 및 200mm(8인치) 공정을 대체할 만큼 많이 생산하기가 어렵기 때문에 300mm(10인치)가 많이 활용되기 시작한 것은 그렇게 얼마되지 않았으며, 최근에 들어서야 많은 실리콘 웨이퍼 팹들이 300mm(10인치) 직경 웨이퍼 중심으로 공정으로 돌아서고 있는 추세이다.

“웨이퍼 스케일 엔진(Wafer Scale Engine)”은 바로 이렇게 보통 1,100여개의 프로세서를 만들 수 있는 300mm(10인치) 웨이퍼 하나를 통째로 써서 하나의 거대한 프로세서를 만든 것이다. 이와 함께, 1,100여개의 프로세서를 만들 수 있는 크기의 웨이퍼로 훨씬 더 많은 수의 트랜지스터가 집적되는 하나의 거대한 프로세서를 만드는 과정에서, 보통 반도체 프로세서 각각에 요구되는 신뢰성과 낮은 불량율을 만족시킬 수 있도록 반도체 생산 공정을 만들어야 하기 때문에 더 쉽지 않은 일이다. 
 
그림 9. “세리브라스 시스템즈(Cerebras Systems)”의 “웨이퍼 스케일 엔진(Wafer Scale Engine)”과 일반 GP-GPU와의 성능 비교.  (그림 출처: [22])

반도체 하나에 들어가는 트랜지스터의 수가 많아질수록 불량율을 낮추고 신뢰성을 높이는 것이 더 어려워지는데, 보통 반도체 프로세서보다 1,000배이상 큰 “웨이퍼 스케일 엔진(Wafer Scale Engine)”은 적어도 보통 프로세서에 비해 최소 1,000배이상으로 더 어렵고 복잡한 프로세서인 셈이다.

세번째로, 이렇게 거대한 프로세서를 구동시키기 위해 머더보드부터 주변 회로와 전원 장치 모두를 완전히 새로 설계해야 했는데, 이런 수준의 새로운 컴퓨터 시스템 개발을 시도하는 것은 비용과 인력, 프로젝트 위험 관리 측면에서 보통의 자금력과 기술력을 가진 회사가 할 수 있는 일이 아니다. 

이런 수준의 컴퓨터 아키텍처와 시스템의 전면적인 변화가 필요한 컴퓨터 시스템 설계와 개발은 지금까지는 인텔과 IBM과 같이 자금력과 인력을 가진 대기업에서나 가능한 일이었다. 최근 일반 x86 서버 하드웨어의 단가가 많이 낮아지고, 델(Dell)이나 HP와 같은 서버 제조 회사들이 정말 박한 마진으로 치열하게 비즈니스를 하고 있는 현실을 생각하면, 이렇게 컴퓨터 시스템 전반을 새로이 설계하고 상용화하는 일은 어지간한 기술력과 고급 인력을 보유한 회사가 아니라면 쉽지 않은 일이다.
 
그림 10. 웨이퍼 스케일 엔진과 GP-GPU와의 크기 비교. (그림 출처: (위) [23], (아래) https://www.cerebras.net/product/#cluster)​​​​​

위와 같은 측면에서, “웨이퍼 스케일 엔진(Wafer Scale Engine)”은 정말 기술적으로 난이도가 높고 개발이 쉽지 않은 제품이었음에도 상용화된 것이다. 더군다나, 인텔과 IBM, 그리고 델(Dell)과 같이 서버 및 컴퓨팅 장비 분야에서 오랜 시간 비즈니스를 해오면서 장비의 생산과 유통 전반의 인프라를 최적화하여 가지고 있는 회사가 아닌, 스타트업이 순수한 기술력과 전문 역량만으로 이렇게 새로운 종류의 프로세서와 컴퓨터 하드웨어를 만들어 낸 것에 우리는 주목해야 한다. 

“웨이퍼 스케일 엔진(Wafer Scale Engine)”은 단일 GPU 프로세서에 비교해서 56.7배의 크기를 가지고 있어 더 많은 컴퓨팅 코어를 집적할 수 있다. 그림 9의 표에서 비교한 것과 같이 단일 GPU보다 무려 78배의 컴퓨팅 코어를 더 가지고 있으며, 프로세서내 메모리도 18기가바이트로 엔비디아의 GPU보다 3,000배 이상의 용량을 가지고 있어 빅데이터 처리 및 대형 딥러닝 모델의 학습과 같은 컴퓨팅 작업에 효과적이다. 

빅데이터 처리와 대형 딥러닝 모델의 학습에서 가장 필요하고 아쉬운 자원인 컴퓨팅 코어 사이의 통신 대역폭과 컴퓨팅 코어와 메모리 사이의 데이터 버스 대역폭도 각각100Pbps, 9PB/s로 GPU에 비해 33,000배, 10,000배 이상 향상되어 빅데이터와 대형 딥러닝 모델의 학습에 적합한 사양을 가지고 있다.

지금까지 최근 인공지능 기술과 관련된 하드웨어 가운데 가장 혁신적이면서 주목받고 있는 두 가지 하드웨어에 대해서 알아보았다. 그래프코어(Graphcore)의 IPU는 인공지능 분야에서 많이 쓰이는 데이터 집중 연산과 그래프 연산의 성능 향상에 초점을 맞추어 프로세서 아키텍처를 근본적으로 개선한 반도체 기술이다. 

컴퓨팅 코어가 메모리 타일 위에 함께 배치되도록 하는 디자인을 통해 빅데이터 및 딥러닝과 같은 기계 학습 작업에서 가장 병목이 되어 왔던 프로세서간 데이터 통신, 프로세서와 메모리간 데이터 교환 과정의 성능을 높여 빅데이터와 인공지능 연산의 성능을 크게 높일 수 있는 하드웨어다.

세리브라스 시스템즈(Cerebras Systems, Inc.)의 “웨이퍼 스케일 엔진(Wafer Scale Engine)”은 최근 많이 쓰이기 시작한 300mm 웨이퍼 하나를 통째로 사용하여, 회로의 선 폭을 줄이면서 소형화되어가는 최근 반도체 제조 경향과는 반대로 반도체 하나의 크기를 대폭 키워 집적되는 회로의 수를 늘려 프로세서의 양과 메모리 용량, 데이터 교환을 위한 패브릭의 대역폭을 향상한 하드웨어이다. “웨이퍼 스케일 엔진(Wafer Scale Engine)” 또한 빅데이터와 딥러닝 같은 많은 컴퓨팅 자원과 데이터가 필요한 계산 작업의 성능 향상에 크게 도움을 줄 것으로 기대된다.

위 두 하드웨어 제품이 시장에 등장한지 얼마 되지 않아 아직까지는 널리 쓰이고 있지는 않지만, 주요 기술 기업과 연구소를 중심으로 실제 딥러닝 및 그래프 빅데이터 컴퓨팅 등에 응용이 확산되고 있는 추세이다. 인공지능 분야에서 이들 하드웨어를 사용한 새로운 혁신적인 기술 개발 성과가 나타날 수 있을지 조금 더 지켜봐야 할 것으로 보인다.

그래프코어(Graphcore)의 IPU와 세리브라스 시스템즈(Cerebras Systems, Inc.)의 “웨이퍼 스케일 엔진(Wafer Scale Engine)”은 두 가지 관점에서 미래 인공지능 기술의 발전 방향을 엿볼 수 있게 해주는 중요한 기술이다. 첫번째로, 과거의 소프트웨어는 하드웨어 아키텍처에 의존해 개발되는 경향이 강했고, 소프트웨어는 하드웨어의 부속품과 같이 취급되는 경우가 많았다. 그런데, 두 기술 모두 이 경향이 반전되는 최근의 경향을 보여준다. 하드웨어가 소프트웨어 기술의 발전에 영향을 받아 새롭게 변화하는 경향이다.

두 기술 모두 최근 딥러닝과 같은 기계 학습을 위한 고성능 컴퓨팅과 그래프 빅데이터 처리 기술의 발전에 영향을 받아 하드웨어 설계가 근본적으로 바뀐 경우이다. 지금까지는 인텔과 IBM, 엔비디아와 같은 대기업들이 자체적인 반도체 기술 발전의 로드맵을 그리고 제품을 출시하면, 이들 반도체의 아키텍처와 발전 내용에 맞게 새로운 응용 분야를 찾고, 이들 응용 분야를 위한 소프트웨어가 해당 반도체와 하드웨어의 아키텍처에 맞게 프로그램돼 성능을 높이는 식이었다.

IPU와 웨이퍼 스케일 엔진(Wafer Scale Engine)은 아예 그래프 컴퓨팅과 딥러닝 계산의 향상을 우선적으로 고려해서 만들어진 반도체들이라는 점이 다르다. 이는 반도체 기술이 인공지능과 딥러닝, 그래프 컴퓨팅이라는 특정한 응용 분야의 발전과 요구 사항에 따라 발전하는 경우로, 중앙처리장치(CPU)로 대표되는 일반 컴퓨터 아키텍처의 반도체 기술의 발전과는 다른 양상으로 발전하는 경우임을 분명하게 알아 둘 필요가 있다. 

이런 경향은 최근 딥러닝 분야에서 주목을 받은 구글의 “텐서 프로세싱 유닛(Tensor Processing Unit; TPU)”에서도 볼 수 있으며, 하드웨어가 소프트웨어 발전을 주도하는 경향보다는 소프트웨어 기술이 하드웨어 기술의 발전을 견인하는 최근 경향을 분명하게 보여준다.

지난 번 글에서 필자가 정부의 인공지능 기술 육성 계획 중에 PIM 아키텍처 방식의 인공지능 반도체 기술 개발을 차세대 인공지능 산업의 핵심 과제로 정하고 추진하는 것에 대해서, 반도체 기술의 세계적인 기업들과 역량을 갖춘 우리나라의 입장에서 적절한 정책이고 환영한다고 얘기하면서 미래 연구를 통해 좀더 신중하게 재검토하는 것이 좋겠다는 의견을 표현한 것은 이렇게 소프트웨어의 발전이 하드웨어의 발전을 견인하는 최근 경향 때문이다. 

반도체와 컴퓨터 아키텍처 전문가들이야 최근 주목받는 최신의 반도체 설계 기술과 하드웨어 아키텍처를 도입, 적용하는 최신의 하드웨어를 만들어보고 이를 통해 산업 발전에 기여하고 싶겠지만, PIM 프로세서 자체가 인공지능 기술의 발전을 견인하는 것은 아니라는 것을 다시 한번 환기할 필요가 있다는 것이다. 인공지능 반도체 및 하드웨어 기술은 인공지능을 위한 그릇 기술, 도구 기술이지, 인공지능 기술 자체를 견인하는 기술이 아닌 까닭이다.

두 번째로, 소프트웨어 기술 발전을 위해 하드웨어 기술을 도구로 사용하는 경향이 심화되는 요즘 상황에서, 하드웨어가 소프트웨어 발전의 도구, 좀더 궁극적으로는 재구성 가능한 프로그래머블 하드웨어(reconfigurable hardware)로서 발전하는 경향을 실현시키기 위해 컴퓨터 하드웨어 및 반도체 설계, 제조 시스템과 인프라가 점점 더 자동화, 지능화되고 소프트웨어 중심 체계로 바뀌고 있는 경향이다.

필자는 우리나라 인공지능 하드웨어 엔지니어들과 사업가들이 IPU와 웨이퍼 스케일 엔진(Wafer Scale Engine)과 같은 특정한 기술과 상품을 보기 보다는, 이런 인공지능 반도체 기술이 짧은 시간안에 상품화될 수 있었던 인프라와 시스템, 그리고 산업 생태계를 주목하여 보았으면 하는 바램이다.

우리나라가 강점을 가지고 있기는 하지만, 여전히 비메모리 반도체 분야에서 약점을 가지고 있는 반도체 산업이 인공지능 시대가 우리에게 주는 기회를 통해 다시 한번 크게 성장, 발전할 수 있게끔 할 수 있는 지능형 공정 체계 인프라와 시스템, 산업 생태계를 갖추는데 이번 정부의 인공지능 프로세서 프로젝트를 활용했으면 하는 바램이다.

“프로세서-인-메모리(Processor-In-Memory)”와 같은 특정한 아키텍처의 반도체를 만드는 것에 초점을 맞추기 보다는, 인공지능 소프트웨어 기술과 학문의 발전에 맞추어 반도체 및 하드웨어가 인공지능 소프트웨어와 학문 발전의 도구로서 손쉽게 설계, 개발되고 인공지능 구현의 아이디어를 테스트, 수정, 변경할 수 있는 인프라 및 공정 체계, 공정 자동화 및 지능화, 산업 생태계를 구축하는 데에 초점을 맞추는 것이 4차 산업혁명과 인공지능 시대를 대비하여 산업과 기술 경쟁력을 높이려는 정부의 의도에 더 잘 맞을 것이라고 생각한다.

“프로세서-인-메모리(Processor-In-Memory)” 방식의 인공지능 기술을 설계, 개발하고 상품화하는 과정에서, 이런 인공지능 발전의 도구로서 활용될 수 있고, 인공지능 소프트웨어를 담기 위한 프로그래머블 하드웨어, 그릇으로서 반도체 기술이 기능하며, 이를 위한 시행 착오를 최소화하면서 신속한 프로토타이핑(rapid prototyping)과 상품화를 지원할 수 있는 반도체 설계, 제조 인프라와 공정 체계, 공정 자동화 및 지능화 체계를 확보하는 것이 더 중요할 것이라고 본다.

지난 글에서도 언급했듯이 “프로세서-인-메모리(Processor-In-Memory)” 방식의 반도체 기술이 10년 뒤에도 여전히 주목받는 인공지능 반도체 기술이 될지는 현재 인공지능 기술과 학문의 발전 양상을 보았을 때 예측하기가 매우 힘들기 때문이다.

빅데이터와 빅데이터 기술의 미래로서 필자가 계속 설명하고 있는 사이버 물리 시스템(Cyber-Physical System; CPS) 기술은 사실 인공지능 기술의 미래이기도 하다. 인공지능 기술이 물리적인 세계에서 우리들에게 실질적인 가치와 효용을 제공하게 하는 기술이 바로 사이버 물리 시스템(Cyber-Physical System; CPS) 기술이기 때문이다. 

우리의 지능과 두뇌의 정보 처리 방식에 대한 이해와 지식이 쌓여갈수록 인공지능 기술이 더 발전하게 될 것이며, 인공지능 소프트웨어 기술의 발전은 새로운 방식의 하드웨어와 반도체 기술의 발전도 견인하게 될 것이다. 인공지능 소프트웨어 기술은 또한 인공지능에 활용할 수 있는 빅데이터를 손쉽게 얻고 가공하는 기술과, 사이버 물리 시스템을 통한 지능형 시스템의 발전을 통해 다시 선순환돼 발전되면서 인공지능 하드웨어 기술의 발전을 가속화하게 될 것이다.

이런 관점에서 PIM 방식의 인공지능 반도체 기술 그 자체를 확보하고 구현하는 것도 중요하지만, 이 반도체 기술을 확보하게 되는 과정에서 얻게 되는, 또는 이런 PIM 방식의 인공지능 반도체를 포함해 다양한 시행 착오를 최소화하여 짧은 시간안에 아이디어를 테스트하고 새로운 반도체 및 하드웨어를 만들어낼 수 있는 시스템과 생태계를 갖추는 것에 더 중점을 두면 좋을 것 같다.

이렇게 인공지능 반도체의 빠른 프로토타이핑(rapid prototyping) 및 양산(production)이 가능한 시스템과 산업 생태계를 이번 PIM 인공지능 프로세서 프로젝트를 통해 우리나라가 얻을 수 있다면, 앞으로의 인공지능 기술 발전에 따라 지속적으로 변화할 인공지능용 하드웨어 기술을 시장의 요구에 맞게 신속하게 만들어 출시할 수 있는 기반을 갖추어 기술 혁신과 비즈니스 성장이 가속화될 것이다. 이렇게 갖춘 인공지능 반도체 산업 기반은 인공지능 하드웨어 및 서비스 시장과 산업의 성장과 함께, 다양한 스타트업의 창업도 촉진하여 경제에 주는 긍정적인 영향도 커질 것이다.

인공지능용 반도체 및 하드웨어 기술은 그 자체로 인공지능 기술인 것이 아니라, 인공지능을 담는 그릇에 해당하는 도구 기술이다. 인공지능 기술은 기본적으로 소프트웨어 기술이며, 인공지능 기술로 인한 4차 산업혁명 및 경제 성장을 촉진하기 위해서는 인공지능 관련 기초 과학과 인접 학문들의 발전이 같이 수반되어야 하고, 인공지능의 구현 및 실용화를 위한 다양한 도구 기술의 발전이 같이 동반되어야 한다는 점에서 인공지능용 반도체 및 하드웨어 기술이 중요한 것이다. 

인공지능 기술을 이용한 비즈니스와 상품을 기획하는 의사 결정권자와 실무자들은 인공지능 기술과 인공지능 도구 기술의 위치와 역할을 혼동하지 않도록 조심하여야 할 필요가 있다.

[참고문헌]
[1] 김진철, “LHC에서 배우는 빅데이터와 machine learning 활용 방안”, 2016년 9월 28일, A CIO Conversation for Technology Leadership – Breakfast Roundtable 발표 자료
[2] Jincheol Kim, “Towards Singularity: Computing Technology Advances for Artificial Intelligence 
- Trends in H/W, S/W and TensorFlow,” Global Mobile Vision 2017, KINTEX, September 13, 2017.
[3] DANIEL TERDIMAN, “IBM's TrueNorth processor mimics the human brain,” CNet.com, 11:00 AM PDT AUGUST 7, 2014. (https://www.cnet.com/news/ibms-truenorth-processor-mimics-the-human-brain/)
[4] Brian Wang, “Neuromorphic and Neurosynaptic Chips,” NextBigFuture.com, October 7, 2011. (https://goo.gl/9NKTgt),
[5] Yu-Hsin Chen, Tushar Krishna, Joel Emer, Vivienne Sze, “Eyeriss - An Energy-Efficient Reconfigurable Accelerator for Deep Convolutional Neural Networks,” The MIT Eyeriss Project Website. (http://eyeriss.mit.edu/)
[6] Ryan Smith, “16GB NVIDIA Tesla V100 Gets Reprieve; Remains in Production,” anandtech.com, 8:00 PM EST, May 24, 2018. (https://www.anandtech.com/show/12809/16gb-nvidia-tesla-v100-gets-reprieve-remains-in-production)
[7] Anshel Sag, “Qualcomm's Zeroth SDK Brings Machine Intelligence To More Than Smartphones,” Forbes.com, 09:00am, May 6, 2016. (https://goo.gl/hjhZhc)
[8] Stacey Higginbotham, “Google Takes Unconventional Route with Homegrown Machine Learning Chips,” TheNextPlatform.com, May 19, 2016. (https://goo.gl/k7vi1B)
[9] VICTORIA WOOLLASTON, “Google tries to save the world: Internet giant explains how its move into quantum computing could solve global warming,” MailOnline.com, 16:32 BST, 15 October 2013. (https://www.dailymail.co.uk/sciencetech/article-2461133/Google-D-Wave-quantum-computing-solve-global-warming.html)
[10] Tiffany Trade, “Requiem for a Phi: Knights Landing Discontinued,” HPCWire.com, July 25, 2018. (https://www.hpcwire.com/2018/07/25/end-of-the-road-for-knights-landing-phi/)
[11] Nick Heath, “Quantum leap: D-Wave's next quantum computing chip offers a 1,000x speed-up,” TechRepublic.com, 2:15 AM PST, September 16, 2016. (http://www.techrepublic.com/article/quantum-leap-d-waves-next-quantum-computing-chip-offers-a-1000x-speed-up/)
[12] Nick Heath, “D-Wave quantum computers: Cheat sheet,” TechRepublic.com, 7:52 AM PST, July 3, 2018. (https://www.techrepublic.com/article/d-wave-quantum-computers-the-smart-persons-guide/)
[13] Rebecca Carney, “Instrumentation for silicon tracking at the HL-LHC,” Licentiate thesis, Stockholm University, May 2017. (https://cds.cern.ch/record/2268992/files/CERN-THESIS-2017-065.pdf)
[14] Rebecca Carney, “Kalman Filter on IBM's TrueNorth,” Connecting The Dots / Intelligent Trackers 2017, LAL-Orsay, Paris, Mar 6 ~ 9, 2017.
[15] 唐杉,“AI芯片初创公司Graphcore的IPU架构有哪些有趣设计?” EE Times – China, December 23, 2019. (https://www.eet-china.com/news/201912231024.html)
[16] Zhe Jia, Blake Tillman, Marco Maggioni, Daniele Paolo Scarpazza, “Dissecting the Graphcore IPU Architecture via Microbenchmarking”, Technical Report, Citadel, December 7, 2019. (https://arxiv.org/abs/1912.03413)
[17] Ryota Tomioka, “Programming the Graphcore IPU”, MLSys: Workshop on Systems for ML 4, NeurIPS 2019, December 13, 2019. (https://slideslive.com/38921983/mlsys-workshop-on-systems-for-ml-4)
[18] Tom Wilson, “Graphcore at NeurIPS - New Approaches to NLP and State of the Art Performance on BERT-BASE”, NeurIPS 2019 – EXPO Industry Session, December 17, 2019.(https://youtu.be/58QR5gCgEl8)
[19] Victoria Rege, “OUR IPU LETS INNOVATORS CREATE THE NEXT BREAKTHROUGHS IN MACHINE INTELLIGENCE”, AI HARDWARESUMMIT2019,(https://www.kisacoresearch.com/presentations/1463 (https://www.kisacoresearch.comhttp://files.ciokorea.com/archive/presentations/14.10_-_graphcore_-_victoria_rege.pdf)
[20] Graphcore, “DELL DSS8440 GRAPHCORE IPU SERVER - White Paper”, Graphcore.io, February 2020. (https://www.graphcore.ai/hubfs/Lead%20gen%20assets/DSS8440%20IPU%20Server%20 White%20Paper_2020.pdf)
[21] 콜럼버스, “[인터뷰] AI 반도체 IPU 개발한 나이젤 툰 그래프코어 대표”, 시리즈 - 콜럼버스's 스타트업네이션, April 6, 2020. (https://post.naver.com/viewer/postView.nhn?volumeNo=27923484&memberNo=2708007&searchKeyword=%EB%8F%85%EB%A6%BD%EA%B8%B0%EC%88%A0&searchRank=477)
[22] Cerebras Systems, “Cerebras Systems: Achieving Industry Best AI Performance Through A Systems Approach”, White paper. (https://www.cerebras.net/product/)
[23] Sean Lie, “Wafer Scale Deep Learning”, Hot Chips: A Symposium on High Performance Chips, August 19, 2019. (https://www.hotchips.org/hc31/HC31_1.13_Cerebras.SeanLie.v02.pdf
[24] Samuel K. Moore, “Cerebras’s Giant Chip Will Smash Deep Learning’s Speed Barrier Computers using Cerebras’s chip will train these AI systems in hours instead of weeks”, IEEE Spectrum Magazine, 01 Jan 2020. (https://spectrum.ieee.org/semiconductors/processors/cerebrass-giant-chip-will-smash-deep-learnings-speed-barrier)
[25] Dylan Martin, “AI Chip Startup Cerebras Reveals 'World's Fastest AI Supercomputer'”, CRN.com, November 27, 2019. (https://www.crn.com/news/components-peripherals/ai-chip-startup-cerebras-systems-raises-88-million-series-d-round)
[26] Dean Takahashi, “Cerebras Systems deploys the ‘world’s fastest AI computer’ at Argonne National Lab”, VentureBeat.com, November 19, 2019. (https://venturebeat.com/2019/11/19/cerebras-systems-deploys-the-worlds-fastest-ai-computer-at-argonne-national-lab/)
[27] Danny Crichton, “The Cerebras CS-1 computes deep learning AI problems by being bigger, bigger, and bigger than any other chip”, TechCrunch.com, November 19, 2019. (https://techcrunch.com/2019/11/19/the-cerebras-cs-1-computes-deep-learning-ai-problems-by-being-bigger-bigger-and-bigger-than-any-other-chip/)
[28] Tiernan Ray, “Cerebras teases second-generation wafer-scale AI chip”, ZDNet.com, August 18, 2020 (https://www.zdnet.com/article/cerebras-teases-second-generation-wafer-scale-ai-chip/)



김진철 박사는 1997년 한국과학기술원에서 물리학 학사, 1999년 포항공과대학교에서 인공신경망 연구로 석사 학위를, 2005년 레이저-플라즈마 가속기 연구로 박사 학위를 받았다. 2005년부터 유럽입자물리학연구소(CERN)의 LHC 데이터 그리드 구축, 개발에 참여, LHC 빅데이터 인프라를 위한 미들웨어 및 데이터 분석 기술을 연구했다. 이후 한국과학기술정보연구원(KISTI), 포항공과대학교, 삼성SDS를 거쳐 2013년부터 SK텔레콤에서 클라우드 컴퓨팅과 인공지능 기술을 연구하고 있다. 빅데이터와 인공지능 기술의 기업 활용 방안에 대해 최근 다수의 초청 강연 및 컨설팅을 수행했다. ciokr@idg.co.kr
 
CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.