Offcanvas

���������������

딥러닝 프레임워크 ‘3파전’··· '텐서플로우 vs 파이토치 vs JAX' 비교

오늘날 딥러닝 연구 및 개발을 주도하는 3가지 프레임워크가 있다. 각각 (1) 사용 편의성, (2) 기능 및 성숙도, (3) 엄청난 확장성으로 유명하다. 어떤 프레임워크를 사용해야 할까?  음성에 반응하는 시리나 알렉사, 스마트폰의 실시간 번역 앱, 스마트 트랙터, 창고 로봇, 자율주행차 등에 들어가는 컴퓨터 비전 기술 등 ‘딥러닝’은 크고 작은 방식으로 삶을 매일 변화시키고 있다. 그리고 거의 모든 딥러닝 애플리케이션은 3가지 프레임워크 (1) 텐서플로우, (2) 파이토치, (3) JAM 중 하나로 작성된다. 그렇다면 이 중에서 어떤 딥러닝 프레임워크를 사용해야 할까?    ‘텐서플로우’를 사용해야 할까? 1970년대와 1980년대에는 ‘IBM 제품을 샀다고 해고된 사람은 아무도 없다(Nobody ever got fired forbuying an IBM)’라는 말이 진리로 통했다. 2010년대에는 이를 ‘딥러닝에 텐서플로우를 사용했다고 해고된 사람은 아무도 없다’라고 바꿔 말할 수 있겠다. 하지만 주지하다시피 IBM은 1990년대에 접어들면서 도태됐다. 그렇다면 텐서플로우는 2015년 처음 공개된 지 7년이 지난 지금에도 여전히 경쟁력이 있을까? 확실히 그렇다. 텐서플로우가 그동안 가만히 있지 않았다. 텐서플로우 1.x는 파이썬과 매우 다른 방식으로 정적 그래프를 작성하는 게 전부였지만 텐서플로우 2.x는 ‘즉시 실행’ 모드를 사용한 모델 빌드가 가능해지면서 좀 더 파이토치 같은 느낌이 났다. 아울러 하이 레벨(high level)에서 텐서플로우는 더 쉬운 개발을 위해 케라스(Keras)를 제공하고, 로우 레벨에서는 속도를 위해 컴파일러를 최적화하는 XLA(Accelerated Linear Algebra)를 제공한다. XLA는 GPU 성능을 향상시키며, 대규모 모델 학습에 뛰어난 성능을 제공하는 구글의 TPU(Tensor Processing Units)를 활용하는 방법이기도 하다. 그리고 텐서플로우가 수년간 잘해...

딥러닝 머신러닝 인공지능 개발 라이브러리 개발 프레임워크 소프트웨어 개발 파이썬 텐서플로우 파이토치 JAX 케라스 넘파이

2022.08.31

오늘날 딥러닝 연구 및 개발을 주도하는 3가지 프레임워크가 있다. 각각 (1) 사용 편의성, (2) 기능 및 성숙도, (3) 엄청난 확장성으로 유명하다. 어떤 프레임워크를 사용해야 할까?  음성에 반응하는 시리나 알렉사, 스마트폰의 실시간 번역 앱, 스마트 트랙터, 창고 로봇, 자율주행차 등에 들어가는 컴퓨터 비전 기술 등 ‘딥러닝’은 크고 작은 방식으로 삶을 매일 변화시키고 있다. 그리고 거의 모든 딥러닝 애플리케이션은 3가지 프레임워크 (1) 텐서플로우, (2) 파이토치, (3) JAM 중 하나로 작성된다. 그렇다면 이 중에서 어떤 딥러닝 프레임워크를 사용해야 할까?    ‘텐서플로우’를 사용해야 할까? 1970년대와 1980년대에는 ‘IBM 제품을 샀다고 해고된 사람은 아무도 없다(Nobody ever got fired forbuying an IBM)’라는 말이 진리로 통했다. 2010년대에는 이를 ‘딥러닝에 텐서플로우를 사용했다고 해고된 사람은 아무도 없다’라고 바꿔 말할 수 있겠다. 하지만 주지하다시피 IBM은 1990년대에 접어들면서 도태됐다. 그렇다면 텐서플로우는 2015년 처음 공개된 지 7년이 지난 지금에도 여전히 경쟁력이 있을까? 확실히 그렇다. 텐서플로우가 그동안 가만히 있지 않았다. 텐서플로우 1.x는 파이썬과 매우 다른 방식으로 정적 그래프를 작성하는 게 전부였지만 텐서플로우 2.x는 ‘즉시 실행’ 모드를 사용한 모델 빌드가 가능해지면서 좀 더 파이토치 같은 느낌이 났다. 아울러 하이 레벨(high level)에서 텐서플로우는 더 쉬운 개발을 위해 케라스(Keras)를 제공하고, 로우 레벨에서는 속도를 위해 컴파일러를 최적화하는 XLA(Accelerated Linear Algebra)를 제공한다. XLA는 GPU 성능을 향상시키며, 대규모 모델 학습에 뛰어난 성능을 제공하는 구글의 TPU(Tensor Processing Units)를 활용하는 방법이기도 하다. 그리고 텐서플로우가 수년간 잘해...

2022.08.31

블로그 | 구글이 따분해졌다

구글은 언제나 클라우드 컴퓨팅을 상당히 다르게 서비스하곤 했다. 프로펠러 머리의 엔지니어로 가득 찬 구글 클라우드는 때로는 자신들처럼 기술광을 위한 서비스를 구축하는 것처럼 보이기도 했다. 구글 클라우드의 초기 고객인 스냅과 스포티파이는 훌륭한 회사이지만, 연금을 모으려고 한 해 만 더 일하려는 오라클 DBA로는 운영하기 힘든 곳이었다. 2017년까지만 해도 필자는 구글이 이런 첨단 기술 기업 고객을 자사의 이점으로 삼아서 전통적인 기업들도 “마치 구글처럼 운영”하도록 할지도 모른다고 생각했다.   4년이 지난 지금, 구글 클라우드는 “두렵고 멋진 것”과 “아주 따분한 것” 사이의 편안한 중간 지대를 찾은 것 같다. Protocol.com은 구글 넥스트 행사의 발표 내용을 설명하면서 “차세대 킬러 클라우드 서비스를 원한다면, 이번 행사는 아닌 것 같다. 구글이 실제로 출시를 준비하고 있는 기대작이라는 관점에서 이번은 가벼운 행사였다”라고 평가했다. 구글이 아무것도 발표하지 않은 것은 아니다. 오히려 그 반대다. 이번 구글 넥스트 행사의 진정한 의미는 구글이 마침내 따분한 엔터프라이즈 소프트웨어 회사의 중요성을 이해한 것처럼 보인다는 것이다. 요즈음 클라우드에 관한 이야기는 다양한 클라우드 서비스를 누가 가장 잘 통합하느냐에 관한 것이다. 클라우드는 훨씬 더 따분해지면서 훨씬 더 흥미로워졌다.   멋진 것을 따분하게 만들기 첫째, 기업이 “마치 구글처럼 운영”할 수 있도록 돕기 위해 구글이 얼마나 많은 노력을 했는지 알아야 한다. 쿠버네티스를 생각해 보자. 최근 쿠버네티스 다큐멘터리에서 보여준 것처럼, “구글은 클라우드 분야에서 장기적인 승자가 되기 위해 대담한 시도를 했다.” 시장 점유율에서 알 수 있듯이 구글은 ‘오늘’의 클라우드 시장에서는 승자가 아니다. 하지만 IT 투자의 6% 정도를 차지하는 ‘오늘’의 클라우드 시장이 아주 중요하지는 않다. 쿠버네티스를 오픈소스로 공개하고 활력 넘치는 커뮤니티 형성을 촉진하면서 구글은 스스로 빅...

구글 넥스트 통합 AWS 쿠버네티스 텐서플로우

2021.10.25

구글은 언제나 클라우드 컴퓨팅을 상당히 다르게 서비스하곤 했다. 프로펠러 머리의 엔지니어로 가득 찬 구글 클라우드는 때로는 자신들처럼 기술광을 위한 서비스를 구축하는 것처럼 보이기도 했다. 구글 클라우드의 초기 고객인 스냅과 스포티파이는 훌륭한 회사이지만, 연금을 모으려고 한 해 만 더 일하려는 오라클 DBA로는 운영하기 힘든 곳이었다. 2017년까지만 해도 필자는 구글이 이런 첨단 기술 기업 고객을 자사의 이점으로 삼아서 전통적인 기업들도 “마치 구글처럼 운영”하도록 할지도 모른다고 생각했다.   4년이 지난 지금, 구글 클라우드는 “두렵고 멋진 것”과 “아주 따분한 것” 사이의 편안한 중간 지대를 찾은 것 같다. Protocol.com은 구글 넥스트 행사의 발표 내용을 설명하면서 “차세대 킬러 클라우드 서비스를 원한다면, 이번 행사는 아닌 것 같다. 구글이 실제로 출시를 준비하고 있는 기대작이라는 관점에서 이번은 가벼운 행사였다”라고 평가했다. 구글이 아무것도 발표하지 않은 것은 아니다. 오히려 그 반대다. 이번 구글 넥스트 행사의 진정한 의미는 구글이 마침내 따분한 엔터프라이즈 소프트웨어 회사의 중요성을 이해한 것처럼 보인다는 것이다. 요즈음 클라우드에 관한 이야기는 다양한 클라우드 서비스를 누가 가장 잘 통합하느냐에 관한 것이다. 클라우드는 훨씬 더 따분해지면서 훨씬 더 흥미로워졌다.   멋진 것을 따분하게 만들기 첫째, 기업이 “마치 구글처럼 운영”할 수 있도록 돕기 위해 구글이 얼마나 많은 노력을 했는지 알아야 한다. 쿠버네티스를 생각해 보자. 최근 쿠버네티스 다큐멘터리에서 보여준 것처럼, “구글은 클라우드 분야에서 장기적인 승자가 되기 위해 대담한 시도를 했다.” 시장 점유율에서 알 수 있듯이 구글은 ‘오늘’의 클라우드 시장에서는 승자가 아니다. 하지만 IT 투자의 6% 정도를 차지하는 ‘오늘’의 클라우드 시장이 아주 중요하지는 않다. 쿠버네티스를 오픈소스로 공개하고 활력 넘치는 커뮤니티 형성을 촉진하면서 구글은 스스로 빅...

2021.10.25

구글, 구글 플레이에 텐서플로우 라이트 통합 계획 발표

구글이 자사의 엣지용 머신러닝 프레임워크인 ‘텐서플로우 라이트’(TensorFlow Lite)를 구글 플레이 서비스에 통합하기로 했다고 9일(현지시간) 개발자 블로그를 통해 밝혔다.  구글에 따르면 오늘날 온디바이스 머신러닝을 사용하는 대부분의 애플리케이션은 텐서플로우 라이트의 라이브러리를 안드로이드 응용 프로그램 패키지(APK)에 통합한다. 이로 인해 앱의 크기가 늘어나 관리와 비용상의 비효율이 발생한다는 설명이다.    이에 구글은 구글 플레이 서비스를 지원하는 모든 안드로이드 기기에서 텐서플로우 라이트를 사용할 수 있도록 할 계획이라고 전했다. 이 경우 개발자들이 앱에 더 이상 런타임을 포함시킬 필요가 사라져 앱의 사이즈가 줄어든다고 구글은 전했다.  이어 구글은 이번 통합으로 일부 안드로이드 기기에서 텐서플로우 라이트의 새로운 기능인 자동 가속화(Automatic Acceleration)를 이용할 수 있게 된다고 설명했다. 이로써 기기의 하드웨어 가속이 가능할 때 머신러닝을 활성화해 작업 처리 속도를 높일 수 있다고 전했다.  이번 통합 작업은 올해 말로 계획돼 있다. 구글은 위 기능을 사전 체험하고 싶은 개발자들을 위해 조기 액세스 프로그램도 제공할 계획이라고 덧붙였다. ciokr@idg.co.kr

안드로이드 머신러닝 플랫폼 텐서플로우 안드로이드

2021.07.12

구글이 자사의 엣지용 머신러닝 프레임워크인 ‘텐서플로우 라이트’(TensorFlow Lite)를 구글 플레이 서비스에 통합하기로 했다고 9일(현지시간) 개발자 블로그를 통해 밝혔다.  구글에 따르면 오늘날 온디바이스 머신러닝을 사용하는 대부분의 애플리케이션은 텐서플로우 라이트의 라이브러리를 안드로이드 응용 프로그램 패키지(APK)에 통합한다. 이로 인해 앱의 크기가 늘어나 관리와 비용상의 비효율이 발생한다는 설명이다.    이에 구글은 구글 플레이 서비스를 지원하는 모든 안드로이드 기기에서 텐서플로우 라이트를 사용할 수 있도록 할 계획이라고 전했다. 이 경우 개발자들이 앱에 더 이상 런타임을 포함시킬 필요가 사라져 앱의 사이즈가 줄어든다고 구글은 전했다.  이어 구글은 이번 통합으로 일부 안드로이드 기기에서 텐서플로우 라이트의 새로운 기능인 자동 가속화(Automatic Acceleration)를 이용할 수 있게 된다고 설명했다. 이로써 기기의 하드웨어 가속이 가능할 때 머신러닝을 활성화해 작업 처리 속도를 높일 수 있다고 전했다.  이번 통합 작업은 올해 말로 계획돼 있다. 구글은 위 기능을 사전 체험하고 싶은 개발자들을 위해 조기 액세스 프로그램도 제공할 계획이라고 덧붙였다. ciokr@idg.co.kr

2021.07.12

칼럼ㅣ파이썬의 궁극적 목표는 엑셀을 대체하는 것이다

아주 흔한 스프레드시트 프로그램이 데이터 과학의 관문이라면 파이썬은 그다음 단계를 목표로 한다.    데이터 과학의 세계에는 파이토치, 텐서플로우, 파이썬, R 언어 등 오픈소스 도구가 넘쳐난다. 하지만 데이터 과학에서 가장 널리 사용되는 도구는 오픈소스가 아니다. 이는 심지어 일반적으론 데이터 과학 도구로 간주되지도 않는다.  이는 바로 당신의 노트북에서 작동 중인 ‘엑셀(Excel)’이다.    파이썬 기반 데이터 과학 플랫폼 ‘아나콘다(Anaconda)’의 CEO 피터 왕은 인터뷰를 통해 “엑셀은 호모 사피엔스 역사상 가장 성공적인 프로그래밍 시스템”이라면서, “머글(편집자 주: 해리포터 시리즈에서 처음 나온 말로, ‘일반인’이라는 의미로 쓰인다)도 이 도구를 사용할 수 있기 때문이다. 데이터를 집어넣고, 질문하며, (그리고) 모델링을 한다”라고 말했다. 간단히 말해, 엑셀을 사용하면 생산적이기 쉽다는 이야기다.  이러한 관점에서 파이썬 프로그래밍 언어에 대해 왕이 구상하는 미래는 다음과 같다. 탁월한 사용 편의성과 생산성이다. 그는 “엑셀은 오픈소스 없이 성공했지만 파이썬은 정확히 오픈소스 덕분에 성공할 것”이라고 내다봤다.  ‘빌더’에 관한 것  우리는 수년 동안 소프트웨어를 일부 회사에서 유료로 제공하는 ‘제품’으로 취급해왔다. 적어도 엔터프라이즈 세계에선 이는 결코 현실을 반영하지 않는다. 왜 그럴까? 아무리 좋은 제품이라 하더라도 고객들의 니즈를 완전히 만족시키지 못하기 때문이다. 따라서 고객들은 소프트웨어에 지불하는 비용 외에도 통합, 커스텀 등을 위한 추가 비용을 지불하게 된다. 즉, 소프트웨어는 항상 프로세스일 뿐 실제 제품이 아니다.  오픈소스에는 이 사실을 알려주는 단서가 일찌감치 있었다. 왕은 “오픈소스가 하는 일은 문을 여는 것이다. 이를테면 수리할 권리, 확장할 권리 등에 대한 문을 여는 것이다. 다시 말해, 오픈소스는 서비스형 소프트웨어(...

데이터 과학 파이썬 엑셀 스프레드시트 파이토치 텐서플로우 오픈소스 서비스형 소프트웨어 SaaS 루비 커미터 파이데이터 스택 오버플로우 사이킷런 데이터 분석

2021.06.15

아주 흔한 스프레드시트 프로그램이 데이터 과학의 관문이라면 파이썬은 그다음 단계를 목표로 한다.    데이터 과학의 세계에는 파이토치, 텐서플로우, 파이썬, R 언어 등 오픈소스 도구가 넘쳐난다. 하지만 데이터 과학에서 가장 널리 사용되는 도구는 오픈소스가 아니다. 이는 심지어 일반적으론 데이터 과학 도구로 간주되지도 않는다.  이는 바로 당신의 노트북에서 작동 중인 ‘엑셀(Excel)’이다.    파이썬 기반 데이터 과학 플랫폼 ‘아나콘다(Anaconda)’의 CEO 피터 왕은 인터뷰를 통해 “엑셀은 호모 사피엔스 역사상 가장 성공적인 프로그래밍 시스템”이라면서, “머글(편집자 주: 해리포터 시리즈에서 처음 나온 말로, ‘일반인’이라는 의미로 쓰인다)도 이 도구를 사용할 수 있기 때문이다. 데이터를 집어넣고, 질문하며, (그리고) 모델링을 한다”라고 말했다. 간단히 말해, 엑셀을 사용하면 생산적이기 쉽다는 이야기다.  이러한 관점에서 파이썬 프로그래밍 언어에 대해 왕이 구상하는 미래는 다음과 같다. 탁월한 사용 편의성과 생산성이다. 그는 “엑셀은 오픈소스 없이 성공했지만 파이썬은 정확히 오픈소스 덕분에 성공할 것”이라고 내다봤다.  ‘빌더’에 관한 것  우리는 수년 동안 소프트웨어를 일부 회사에서 유료로 제공하는 ‘제품’으로 취급해왔다. 적어도 엔터프라이즈 세계에선 이는 결코 현실을 반영하지 않는다. 왜 그럴까? 아무리 좋은 제품이라 하더라도 고객들의 니즈를 완전히 만족시키지 못하기 때문이다. 따라서 고객들은 소프트웨어에 지불하는 비용 외에도 통합, 커스텀 등을 위한 추가 비용을 지불하게 된다. 즉, 소프트웨어는 항상 프로세스일 뿐 실제 제품이 아니다.  오픈소스에는 이 사실을 알려주는 단서가 일찌감치 있었다. 왕은 “오픈소스가 하는 일은 문을 여는 것이다. 이를테면 수리할 권리, 확장할 권리 등에 대한 문을 여는 것이다. 다시 말해, 오픈소스는 서비스형 소프트웨어(...

2021.06.15

블로그ㅣ‘파이썬’이 데이터 과학을 집어삼키고 있다

데이터 과학에서 파이썬의 우세가 갈수록 R 언어로 기울어지리라 예상했다. 하지만 그 예측은 빗나갔다.    지난 2015년 필자는 한 칼럼'(In data science, the R language is swallowing Python)'을 기고했다. 그리고 “데이터 과학에서 파이썬의 우세가 갈수록 R 언어로 기울어질 것”이라고 예상한 바 있다. 예측은 빗나갔다.  최근 데이터 과학자 겸 애널리스트 테렌스 신이 1만 5,000개 이상의 데이터 과학자 채용 공고를 분석한 결과에서 볼 수 있듯이, 실제로는 R 언어 채택 비율이 감소하고 있는 반면에 파이썬을 쓰는 비율은 계속해서 증가하고 있다. 물론 이게 데이터 과학자들이 조만간 R을 사용하지 않을 것이란 의미는 아니다. 아마도 각각의 장점에 따라 파이썬과 R을 모두 사용하게 될 가능성이 크다.  그렇긴 하지만 만약 인포월드(InfoWorld) 기자 닉 엘프린의 예측이 맞고 (그의 말처럼) ‘2021년은 데이터 과학이 모든 업무 및 부서에 영향을 미치는 전사적인 역량이 될 한 해’라면 지배적인 위치를 차지할 언어는 기업 내에서 가장 많은 사람이 접근할 수 있는 언어일 것이다.  ‘파이썬’의 압승이다.  데이터 과학 붐의 동력 다음의 ‘2021년 가장 필요한 데이터 과학 기술 톱 10’ 차트를 보면 뭔가 익숙하게 느껴질 것이다. 데이터 과학자 제프 헤일이 지난 2019년에 공개했던 분석 결과와 상당히 유사하기 때문이다. 좀 더 자세히 살펴보면 몇 가지 동향을 파악할 수 있다. 아래와 같다.       • 클라우드 관련 기술의 중요성이 많이 증가하고 있다.  • 마찬가지로 파이썬 및 텐서플로우 등의 딥러닝 관련 기술의 중요성도 크게 증가하고 있다.  • SQL과 파이썬의 중요성은 계속 증가하고 있지만 R은 정체 상태다.  • 하둡(Hadoop), 하이브(Hive), 스파크(Spark) 등...

데이터 과학 파이썬 R 언어 텐서플로우 파이토치

2021.04.21

데이터 과학에서 파이썬의 우세가 갈수록 R 언어로 기울어지리라 예상했다. 하지만 그 예측은 빗나갔다.    지난 2015년 필자는 한 칼럼'(In data science, the R language is swallowing Python)'을 기고했다. 그리고 “데이터 과학에서 파이썬의 우세가 갈수록 R 언어로 기울어질 것”이라고 예상한 바 있다. 예측은 빗나갔다.  최근 데이터 과학자 겸 애널리스트 테렌스 신이 1만 5,000개 이상의 데이터 과학자 채용 공고를 분석한 결과에서 볼 수 있듯이, 실제로는 R 언어 채택 비율이 감소하고 있는 반면에 파이썬을 쓰는 비율은 계속해서 증가하고 있다. 물론 이게 데이터 과학자들이 조만간 R을 사용하지 않을 것이란 의미는 아니다. 아마도 각각의 장점에 따라 파이썬과 R을 모두 사용하게 될 가능성이 크다.  그렇긴 하지만 만약 인포월드(InfoWorld) 기자 닉 엘프린의 예측이 맞고 (그의 말처럼) ‘2021년은 데이터 과학이 모든 업무 및 부서에 영향을 미치는 전사적인 역량이 될 한 해’라면 지배적인 위치를 차지할 언어는 기업 내에서 가장 많은 사람이 접근할 수 있는 언어일 것이다.  ‘파이썬’의 압승이다.  데이터 과학 붐의 동력 다음의 ‘2021년 가장 필요한 데이터 과학 기술 톱 10’ 차트를 보면 뭔가 익숙하게 느껴질 것이다. 데이터 과학자 제프 헤일이 지난 2019년에 공개했던 분석 결과와 상당히 유사하기 때문이다. 좀 더 자세히 살펴보면 몇 가지 동향을 파악할 수 있다. 아래와 같다.       • 클라우드 관련 기술의 중요성이 많이 증가하고 있다.  • 마찬가지로 파이썬 및 텐서플로우 등의 딥러닝 관련 기술의 중요성도 크게 증가하고 있다.  • SQL과 파이썬의 중요성은 계속 증가하고 있지만 R은 정체 상태다.  • 하둡(Hadoop), 하이브(Hive), 스파크(Spark) 등...

2021.04.21

구글 클라우드, 파이썬 프로젝트에 35만 달러 후원

구글 클라우드(Google Cloud)가 C파이썬(CPython) 개발 지원, 기본 파이썬 도구 개선, 파이썬 패키지 에코시스템 보안 강화를 목표로 파이썬 소프트웨어 재단(Python Software Foundation, PSF)에 미화 35만 달러를 기부했다.    지난 2월 12일 구글 클라우드는 이번 후원을 통해 다음의 세 가지 프로젝트를 지원할 계획이라고 밝혔다.  • PyPI(Python Package Index) 저장소를 위한 프로덕션화된 멀웨어 탐지(구글 클라우드는 이 인덱스를 사용하여 텐서플로우(TensorFlow) 오픈소스 머신러닝 라이브러리를 포함한 수많은 클라이언트 라이브러리 및 개발자 도구를 배포한다).  • 파이썬 기본 서비스 및 도구 개선  • C파이썬 프로젝트의 유지 관리 우선순위를 지정하고 백로그를 해결하기 위해 풀타임으로 일할 C파이썬 전속 개발자(C파이썬은 파이썬 프로그래밍 언어의 참조 구현체다).  또한 회사에 따르면 구글 클라우드 퍼블릭 데이터세트(Google Cloud Public Datasets) 프로그램은 이제 거의 실시간으로 업데이트되는 PyPI 다운로드 통계 및 프로젝트 메타데이터의 새로운 퍼블릭 데이터세트를 제공한다. 구글 클라우드 계정 소유자는 빅쿼리(BigQuery) 데이터 웨어하우스 또는 빅쿼리 샌드박스(BigQuery Sandbox)를 사용하여 이러한 데이터세트를 쿼리할 수 있다.  구글 클라우드는 공식 블로그에서 “파이썬은 구글 클라우드와 고객 모두에게 매우 중요하다”라면서, “10년 전에 출시된 구글 앱 엔진(Google App Engine)과 같은 서비스형 플랫폼부터 구글 클라우드 펑션(Google Cloud Functions)을 포함한 최신 서버리스 제품에 이르기까지 많은 호스팅 서비스에서 인기 있는 런타임으로 사용되고 있기 때문이다”라고 말했다. ciokr@idg.co.kr  

구글 구글 클라우드 파이썬 C파이썬 PyPI 멀웨어 텐서플로우 빅쿼리 빅쿼리 샌드박스

2021.02.17

구글 클라우드(Google Cloud)가 C파이썬(CPython) 개발 지원, 기본 파이썬 도구 개선, 파이썬 패키지 에코시스템 보안 강화를 목표로 파이썬 소프트웨어 재단(Python Software Foundation, PSF)에 미화 35만 달러를 기부했다.    지난 2월 12일 구글 클라우드는 이번 후원을 통해 다음의 세 가지 프로젝트를 지원할 계획이라고 밝혔다.  • PyPI(Python Package Index) 저장소를 위한 프로덕션화된 멀웨어 탐지(구글 클라우드는 이 인덱스를 사용하여 텐서플로우(TensorFlow) 오픈소스 머신러닝 라이브러리를 포함한 수많은 클라이언트 라이브러리 및 개발자 도구를 배포한다).  • 파이썬 기본 서비스 및 도구 개선  • C파이썬 프로젝트의 유지 관리 우선순위를 지정하고 백로그를 해결하기 위해 풀타임으로 일할 C파이썬 전속 개발자(C파이썬은 파이썬 프로그래밍 언어의 참조 구현체다).  또한 회사에 따르면 구글 클라우드 퍼블릭 데이터세트(Google Cloud Public Datasets) 프로그램은 이제 거의 실시간으로 업데이트되는 PyPI 다운로드 통계 및 프로젝트 메타데이터의 새로운 퍼블릭 데이터세트를 제공한다. 구글 클라우드 계정 소유자는 빅쿼리(BigQuery) 데이터 웨어하우스 또는 빅쿼리 샌드박스(BigQuery Sandbox)를 사용하여 이러한 데이터세트를 쿼리할 수 있다.  구글 클라우드는 공식 블로그에서 “파이썬은 구글 클라우드와 고객 모두에게 매우 중요하다”라면서, “10년 전에 출시된 구글 앱 엔진(Google App Engine)과 같은 서비스형 플랫폼부터 구글 클라우드 펑션(Google Cloud Functions)을 포함한 최신 서버리스 제품에 이르기까지 많은 호스팅 서비스에서 인기 있는 런타임으로 사용되고 있기 때문이다”라고 말했다. ciokr@idg.co.kr  

2021.02.17

텐서플로우에서 파이토치로··· 기업 3곳의 이유 있는 전환

머신러닝의 하위 범주인 딥 러닝은 다중 계층 신경망을 사용해서 이미지 인식, 자연어 처리(NLP), 기계 번역 같이 전통적으로 어려운 기계 작업을 대규모로 자동화한다.   2015년에 구글에서 탄생한 텐서플로우는 학계와 기업 양쪽 모두에서 가장 인기 있는 오픈소스 딥 러닝 프레임워크다. 그러나 2016년 2월에 등장한 파이토치(PyTorch)가 커뮤니티의 주도로 다양한 사용 사례에 대한 사용 및 배포 편의성을 개선하면서 빠른 속도로 따라잡고 있다.       파이토치는 특히 자동차 업계에서 활발하게 도입되어 테슬라, 리프트 레벨 5(Lyft Level 5)와 같은 자율 운전 시스템 파일럿에 적용되고 있다. 또한 미디어 기업에서 콘텐츠 분류와 추천에 사용되고 산업 애플리케이션에서 로봇을 지원하는 용도로도 사용된다.     페이스북 AI의 인공지능 부문 제품 책임자인 조 스피삭은 인포월드와의 인터뷰에서 기업의 파이토치 도입 증가는 반가운 일이지만 더 폭넓은 업계 도입을 이끌기 위해서는 해야 할 일이 여전히 많다고 말했다.   스피삭은 “라이프사이클 관리, ML옵스, 쿠브플로우(Kubeflow) 파이프라인과 이를 중심으로 한 커뮤니티가 활성화되어야 도입 범위를 한층 더 넓힐 수 있다”면서 “여정의 초기에 있는 기업에는 좋은 툴이다. 관리형 서비스와 오픈소스, 그리고 애저 ML이나 AWS에서 세이지메이커(SageMaker at AWS) 등을 사용해 시작할 수 있다”고 말했다.   디즈니의 애니메이션 내 얼굴 식별 사례 미디어 공룡 디즈니의 엔지니어와 데이터 과학자는 2012년부터 콘텐트 지놈(Content Genome)을 구축하고 있다. 콘텐츠 지놈은 디즈니의 방대한 콘텐트 라이브러리 전반에서 콘텐츠 메타데이터를 조합해 머신러닝 기반 검색과 개인화 애플리케이션을 실행하는 지식 그래프다.   디즈니 개발자 미구엘 앙겔 파레, 앤서니 아카르도, 마크 주니엔트, 모니카 알파로와 세스...

텐서플로우 파이토치

2020.12.07

머신러닝의 하위 범주인 딥 러닝은 다중 계층 신경망을 사용해서 이미지 인식, 자연어 처리(NLP), 기계 번역 같이 전통적으로 어려운 기계 작업을 대규모로 자동화한다.   2015년에 구글에서 탄생한 텐서플로우는 학계와 기업 양쪽 모두에서 가장 인기 있는 오픈소스 딥 러닝 프레임워크다. 그러나 2016년 2월에 등장한 파이토치(PyTorch)가 커뮤니티의 주도로 다양한 사용 사례에 대한 사용 및 배포 편의성을 개선하면서 빠른 속도로 따라잡고 있다.       파이토치는 특히 자동차 업계에서 활발하게 도입되어 테슬라, 리프트 레벨 5(Lyft Level 5)와 같은 자율 운전 시스템 파일럿에 적용되고 있다. 또한 미디어 기업에서 콘텐츠 분류와 추천에 사용되고 산업 애플리케이션에서 로봇을 지원하는 용도로도 사용된다.     페이스북 AI의 인공지능 부문 제품 책임자인 조 스피삭은 인포월드와의 인터뷰에서 기업의 파이토치 도입 증가는 반가운 일이지만 더 폭넓은 업계 도입을 이끌기 위해서는 해야 할 일이 여전히 많다고 말했다.   스피삭은 “라이프사이클 관리, ML옵스, 쿠브플로우(Kubeflow) 파이프라인과 이를 중심으로 한 커뮤니티가 활성화되어야 도입 범위를 한층 더 넓힐 수 있다”면서 “여정의 초기에 있는 기업에는 좋은 툴이다. 관리형 서비스와 오픈소스, 그리고 애저 ML이나 AWS에서 세이지메이커(SageMaker at AWS) 등을 사용해 시작할 수 있다”고 말했다.   디즈니의 애니메이션 내 얼굴 식별 사례 미디어 공룡 디즈니의 엔지니어와 데이터 과학자는 2012년부터 콘텐트 지놈(Content Genome)을 구축하고 있다. 콘텐츠 지놈은 디즈니의 방대한 콘텐트 라이브러리 전반에서 콘텐츠 메타데이터를 조합해 머신러닝 기반 검색과 개인화 애플리케이션을 실행하는 지식 그래프다.   디즈니 개발자 미구엘 앙겔 파레, 앤서니 아카르도, 마크 주니엔트, 모니카 알파로와 세스...

2020.12.07

10년 후, 데이터 과학자 사라진다?··· ‘오토ML’로 싹 달라진다!

‘오토ML(AutoML)’은 개발자를 데이터 과학자로 바꿀 준비가 돼 있다. 반대 경우도 마찬가지다. 오토ML이 데이터 과학을 어떻게 더 나은 방향으로 변화시키는 걸까? 앞으로 10년 후에는, 현재 우리가 알고 있는 데이터 과학자가 없어질 것이다. 일자리가 사라질 걱정은 할 필요 없다. 데이터 과학자들도 걱정할 필요는 없다. 하는 일이 달라지는 것이기 때문이다. 오히려 미국 노동부(Bureau of Labor) 통계에 따르면 데이터 과학자의 역할은 2029년까지 평균보다 더 높은 속도로 확대될 전망이다.    설명하자면, 기술 발전으로 인해 데이터 과학자의 업무와 기업이 애널리틱스에 접근하는 방식에 큰 변화가 초래될 것으로 예상된다. 원시 데이터부터 모델까지 머신러닝 파이프라인을 자동화하는 오토ML 도구가 이러한 혁신적인 변화를 견인한다.  이에 따라 데이터 과학자들은 10년 후 완전히 다른 기술과 도구를 갖게 될 가능성이 크다. 그러나 복잡한 데이터를 활용해 비즈니스 문제를 해결할 수 있도록 지원하는 전문 가이드라는 점은 여전할 것이다. 데이터 과학을 ‘민주화’ 하는 오토ML 최근까지도 머신러닝 알고리즘과 프로세스는 거의 전적으로 전통적인 데이터 과학자, 즉 전문 교육을 받고 고급 학위를 취득했거나 또는 대규모 기술 기업에서 일하는 사람들만 다룰 수 있는 영역이었다. 데이터 과학자들은 머신러닝 개발 스펙트럼의 모든 부분에서 매우 중요한 일들을 해왔다.  하지만 머지않아 데이터 과학자들은 더욱더 협력적이고 전략적인 역할로 변화할 전망이다. 오토ML과 같은 도구를 사용해 학문적인 이론 및 기술을 자동화함으로써, 기업이 데이터를 통해 비즈니스 문제를 해결할 수 있도록 솔루션을 ‘가이드’하는 데 집중할 수 있다는 뜻이다.  이는 오토ML이 머신러닝 모델 구축을 ‘민주화’하기 때문에 가능한 부분이다. 이미 시장에서는 스타트업부터 클라우드 하이퍼 스케일러까지 여러 업체가 개발자를 대상으로 전문 교육이나 경험 측면...

데이터 과학 데이터 과학자 오토ML 개발자 시민 데이터 과학자 머신러닝 애널리틱스 AWS 마이크로소프트 애저 데이터 사이킷런 텐서플로우 파이토치

2020.11.20

‘오토ML(AutoML)’은 개발자를 데이터 과학자로 바꿀 준비가 돼 있다. 반대 경우도 마찬가지다. 오토ML이 데이터 과학을 어떻게 더 나은 방향으로 변화시키는 걸까? 앞으로 10년 후에는, 현재 우리가 알고 있는 데이터 과학자가 없어질 것이다. 일자리가 사라질 걱정은 할 필요 없다. 데이터 과학자들도 걱정할 필요는 없다. 하는 일이 달라지는 것이기 때문이다. 오히려 미국 노동부(Bureau of Labor) 통계에 따르면 데이터 과학자의 역할은 2029년까지 평균보다 더 높은 속도로 확대될 전망이다.    설명하자면, 기술 발전으로 인해 데이터 과학자의 업무와 기업이 애널리틱스에 접근하는 방식에 큰 변화가 초래될 것으로 예상된다. 원시 데이터부터 모델까지 머신러닝 파이프라인을 자동화하는 오토ML 도구가 이러한 혁신적인 변화를 견인한다.  이에 따라 데이터 과학자들은 10년 후 완전히 다른 기술과 도구를 갖게 될 가능성이 크다. 그러나 복잡한 데이터를 활용해 비즈니스 문제를 해결할 수 있도록 지원하는 전문 가이드라는 점은 여전할 것이다. 데이터 과학을 ‘민주화’ 하는 오토ML 최근까지도 머신러닝 알고리즘과 프로세스는 거의 전적으로 전통적인 데이터 과학자, 즉 전문 교육을 받고 고급 학위를 취득했거나 또는 대규모 기술 기업에서 일하는 사람들만 다룰 수 있는 영역이었다. 데이터 과학자들은 머신러닝 개발 스펙트럼의 모든 부분에서 매우 중요한 일들을 해왔다.  하지만 머지않아 데이터 과학자들은 더욱더 협력적이고 전략적인 역할로 변화할 전망이다. 오토ML과 같은 도구를 사용해 학문적인 이론 및 기술을 자동화함으로써, 기업이 데이터를 통해 비즈니스 문제를 해결할 수 있도록 솔루션을 ‘가이드’하는 데 집중할 수 있다는 뜻이다.  이는 오토ML이 머신러닝 모델 구축을 ‘민주화’하기 때문에 가능한 부분이다. 이미 시장에서는 스타트업부터 클라우드 하이퍼 스케일러까지 여러 업체가 개발자를 대상으로 전문 교육이나 경험 측면...

2020.11.20

애플, ‘M1 맥’에 최적화된 ‘텐서플로우 포크 버전’ 공개

애플에 따르면 M1-컴파일 버전의 텐서플로우(TensorFlow)가 기존 텐서플로우 스크립트를 그대로 실행하면서 여러 벤치마크 결과에서 몇 배 빠른 성능을 제공하는 것으로 나타났다.    18일(현지 시각) 애플이 텐서플로우 2.4 머신러닝 프레임워크의 포크 버전을 공개했다. 새롭게 발표한 M1 프로세서에 최적화된 포크 버전을 통해 한층 더 가속화된 모델 학습을 할 수 있다는 게 회사 측 설명이다.  애플의 내부 벤치마크에 따르면 동일한 2020년형 맥북 프로 13인치 모델로 같은 작업을 실행해 테스트한 결과 M1-컴파일 버전의 텐서플로우는 인텔 맥보다 M1 맥에서 몇 배 더 빠른 성능을 보여줬다. 기트허브를 통해 오픈소스로 제공되는 텐서플로우 포크 버전은 맥OS 11.0 또는 상위 버전이 설치돼 있어야 사용할 수 있으며, 특히 새로운 M1 프로세서를 실행하는 맥에서 빠른 속도를 지원한다.    또 기존 텐서플로우 스크립트는 포크 버전과 함께 그대로 실행되므로 성능을 향상하기 위해 다시 작업할 필요가 없다. 美 매체 벤처비트(Venturebeat)에 의하면 애플은 주요 텐서플로우 프로젝트에 이번 변경사항을 기여할 계획이다.  애플의 텐서플로우 포크 버전은 M1 맥이 어떻게 개발자들을 맥 플랫폼으로 끌어들이고자 하는지 그 의도를 보여주는 첫 사례다. 새로운 M1 칩은 인텔 x86 프로세서를 대체하지만 애플의 로제타2(Rosetta2) 바이너리 전환 기술을 통해 x86용으로 컴파일된 기존 소프트웨어를 실행할 순 있다.  그러나 로제타2로 변환된 앱은 성능이 저하되고, 일부 벤치마크 결과에서 네이티브 속도보다 59% 느리게 실행되는 것으로 나타났다. 성능에 민감한 애플리케이션이라면 M1에서 네이티브로 실행되도록 컴파일하는 게 좋다. ciokr@idg.co.kr 

애플 M1 애플 실리콘 맥북 텐서플로우 머신러닝

2020.11.19

애플에 따르면 M1-컴파일 버전의 텐서플로우(TensorFlow)가 기존 텐서플로우 스크립트를 그대로 실행하면서 여러 벤치마크 결과에서 몇 배 빠른 성능을 제공하는 것으로 나타났다.    18일(현지 시각) 애플이 텐서플로우 2.4 머신러닝 프레임워크의 포크 버전을 공개했다. 새롭게 발표한 M1 프로세서에 최적화된 포크 버전을 통해 한층 더 가속화된 모델 학습을 할 수 있다는 게 회사 측 설명이다.  애플의 내부 벤치마크에 따르면 동일한 2020년형 맥북 프로 13인치 모델로 같은 작업을 실행해 테스트한 결과 M1-컴파일 버전의 텐서플로우는 인텔 맥보다 M1 맥에서 몇 배 더 빠른 성능을 보여줬다. 기트허브를 통해 오픈소스로 제공되는 텐서플로우 포크 버전은 맥OS 11.0 또는 상위 버전이 설치돼 있어야 사용할 수 있으며, 특히 새로운 M1 프로세서를 실행하는 맥에서 빠른 속도를 지원한다.    또 기존 텐서플로우 스크립트는 포크 버전과 함께 그대로 실행되므로 성능을 향상하기 위해 다시 작업할 필요가 없다. 美 매체 벤처비트(Venturebeat)에 의하면 애플은 주요 텐서플로우 프로젝트에 이번 변경사항을 기여할 계획이다.  애플의 텐서플로우 포크 버전은 M1 맥이 어떻게 개발자들을 맥 플랫폼으로 끌어들이고자 하는지 그 의도를 보여주는 첫 사례다. 새로운 M1 칩은 인텔 x86 프로세서를 대체하지만 애플의 로제타2(Rosetta2) 바이너리 전환 기술을 통해 x86용으로 컴파일된 기존 소프트웨어를 실행할 순 있다.  그러나 로제타2로 변환된 앱은 성능이 저하되고, 일부 벤치마크 결과에서 네이티브 속도보다 59% 느리게 실행되는 것으로 나타났다. 성능에 민감한 애플리케이션이라면 M1에서 네이티브로 실행되도록 컴파일하는 게 좋다. ciokr@idg.co.kr 

2020.11.19

김진철의 How-to-Big Data | 빅데이터의 미래 (12)

빅데이터 비즈니스 트렌드의 미래로서 사이버 물리 시스템 기반의 지능형 서비스 비즈니스를 꽤 오랜 지면을 할애해서 지난 1년간 살펴보고 있다. 이번 글은 인공지능 기술과 사이버 물리 시스템 사이의 관계, 미래를 살펴보는 마지막 글로, 지난 6월 13일 자 “이코노미스트(The Economist)”지에 실린 “계간 기술(Technology Quarterly)” 특집 기사의 내용을 같이 살펴보면서 앞으로 인공지능 기술이 어떤 양상으로 발전하게 될지 같이 엿보려고 한다. 지난 6월 13일 자 “이코노미스트(The Economist)”지의 “계간 기술(Technology Quarterly)”은 아직도 그 열기가 가시지 않고 있는 인공지능 기술에 대한 특집 기사로 채워졌다. 권위 있는 경제 매체인 “이코노미스트(The Economist)”지는 매 분기별로 글로벌 경제에 영향을 미치는 기술 이슈들을 주제별로 선정해 심도 있게 조사, 분석하여 소개하는 “계간 기술(Technology Quarterly)” 특집 기사를 정기적으로 싣고 있다.   “이코노미스트(The Economist)”지는 “네이처(Nature)”나 “사이언스(Science)”와 같은 전문 과학기술 학술 저널, “MIT 기술 리뷰(MIT Technology Review)”나 “와이어드(Wired)”와 같은 전문 기술 매체가 아닌 경제 전문 매체임에도 불구하고, 정확하고 균형 있는 조사와 분석을 통해 최근 기술의 발전 동향이 경제에 미치는 영향과 효과를 현실적이고 정확하게 소개해왔다. 이번 6월 13일 자의 “계간 기술(Technology Quarterly)” 특집 기사는 지난 5년간 전 지구를 뜨겁게 달구어 왔던 인공지능 기술을 주제로 하였다. 이번 6월 13일 자 “계간 기술(Technology Quarterly)” 특집 기사의 핵심 주제는 “인공지능 기술의 가을이 오고 있다(AI’s autumn is coming)”라는 한 문장으로 요약될 수 있다. 지금까지 주목받고 많은 이슈를 몰고 온 ...

빅데이터 사이버 물리 시스템 인공지능 AI 머신러닝 딥러닝 이코노미스트 가트너 알파고 엔비디아 마이크로소프트 구글 페이스북 챗봇 가상 비서 지능형 서비스 GM 하둡 스파크 텐서플로우 파이토치 디지털 전환 디지털 트랜스포메이션 4차 산업혁명 데이터 댐 아마존 해석가능한 인공지능 XAI

2020.10.30

빅데이터 비즈니스 트렌드의 미래로서 사이버 물리 시스템 기반의 지능형 서비스 비즈니스를 꽤 오랜 지면을 할애해서 지난 1년간 살펴보고 있다. 이번 글은 인공지능 기술과 사이버 물리 시스템 사이의 관계, 미래를 살펴보는 마지막 글로, 지난 6월 13일 자 “이코노미스트(The Economist)”지에 실린 “계간 기술(Technology Quarterly)” 특집 기사의 내용을 같이 살펴보면서 앞으로 인공지능 기술이 어떤 양상으로 발전하게 될지 같이 엿보려고 한다. 지난 6월 13일 자 “이코노미스트(The Economist)”지의 “계간 기술(Technology Quarterly)”은 아직도 그 열기가 가시지 않고 있는 인공지능 기술에 대한 특집 기사로 채워졌다. 권위 있는 경제 매체인 “이코노미스트(The Economist)”지는 매 분기별로 글로벌 경제에 영향을 미치는 기술 이슈들을 주제별로 선정해 심도 있게 조사, 분석하여 소개하는 “계간 기술(Technology Quarterly)” 특집 기사를 정기적으로 싣고 있다.   “이코노미스트(The Economist)”지는 “네이처(Nature)”나 “사이언스(Science)”와 같은 전문 과학기술 학술 저널, “MIT 기술 리뷰(MIT Technology Review)”나 “와이어드(Wired)”와 같은 전문 기술 매체가 아닌 경제 전문 매체임에도 불구하고, 정확하고 균형 있는 조사와 분석을 통해 최근 기술의 발전 동향이 경제에 미치는 영향과 효과를 현실적이고 정확하게 소개해왔다. 이번 6월 13일 자의 “계간 기술(Technology Quarterly)” 특집 기사는 지난 5년간 전 지구를 뜨겁게 달구어 왔던 인공지능 기술을 주제로 하였다. 이번 6월 13일 자 “계간 기술(Technology Quarterly)” 특집 기사의 핵심 주제는 “인공지능 기술의 가을이 오고 있다(AI’s autumn is coming)”라는 한 문장으로 요약될 수 있다. 지금까지 주목받고 많은 이슈를 몰고 온 ...

2020.10.30

김진철의 How-to-Big Data | 빅데이터의 미래 (11)

지난 글에서는 정부가 1조 94억 원의 대규모 예산을 투입해서 앞으로 10년간 개발한다고 하는 PIM 방식의 인공지능 반도체 기술이 어떤 것인지, 왜 이 인공지능 반도체 기술이 중요한지 기술적인 측면에서 같이 살펴보았다. 지난 글에서도 언급했듯이, PIM 방식의 인공지능 반도체 기술은 그 자체로는 인공지능 기술이 아니며, 현재 인공지능 모델에서 가장 많이 사용되는 연산인 그래프 연산과 텐서 연산의 성능 향상과 가속에 효과적인 프로세서라고 소개했다. 대규모 그래프 연산과 텐서 연산에 효과적인 아키텍처로서 채택된 “프로세서-인-메모리(Processor-In-Memory)” 아키텍처는 실제 연산을 수행하는 프로세서 코어들을 하나의 프로세서에 가능한 한 많이 집적하면서도, 딥러닝 같은 기계 학습 알고리즘의 학습(training)과 추론(inference)을 수행할 때 대용량 데이터들이 프로세서 코어 사이에서 원활하게 교환될 수 있도록 메모리 타일 위에 프로세서 코어를 배치한다. 이렇게 배치된 이 프로세서-메모리 타일 간에 격자 형태로 고대역폭 데이터 교환 패브릭을 배치하여 어떤 프로세서 코어 사이에도 프로세서 코어 간 대칭적으로 데이터 교환이 가능하게끔 만든 아키텍처이다.   이 PIM 방식의 인공지능 프로세서로 최근 가장 유망하게 떠오르고 있는 두 가지의 인공지능 프로세서 제품을 살펴보았다. 그래프코어(Graphcore)사의 IPU(Intelligence Processing Unit; IPU)는 그래프 형태로 기술된 연산을 병렬로 처리하기에 최적화된 아키텍처를 가지고 있으며, 인공지능뿐만 아닌 그래프 빅데이터의 처리에도 적합한 아키텍처를 가지고 있다. 그래프코어사의 IPU와 이를 탑재하는 서버인 델(Dell)의 DSS8440 서버, 포플라(Poplar) 그래프 컴퓨팅 소프트웨어 스택이 한데 어우러져 인공지능과 빅데이터 연산에 최적화된 솔루션을 제공할 수 있도록 기술이 구성되어 있다고 소개했다. 그래프코어(Graphcore)사의 IPU와 함께 ...

김진철 빅데이터 인공지능 머신러닝 딥러닝 파이토치 텐서플로우 요슈아 벤지오 신견망 페이스북 구글

2020.09.28

지난 글에서는 정부가 1조 94억 원의 대규모 예산을 투입해서 앞으로 10년간 개발한다고 하는 PIM 방식의 인공지능 반도체 기술이 어떤 것인지, 왜 이 인공지능 반도체 기술이 중요한지 기술적인 측면에서 같이 살펴보았다. 지난 글에서도 언급했듯이, PIM 방식의 인공지능 반도체 기술은 그 자체로는 인공지능 기술이 아니며, 현재 인공지능 모델에서 가장 많이 사용되는 연산인 그래프 연산과 텐서 연산의 성능 향상과 가속에 효과적인 프로세서라고 소개했다. 대규모 그래프 연산과 텐서 연산에 효과적인 아키텍처로서 채택된 “프로세서-인-메모리(Processor-In-Memory)” 아키텍처는 실제 연산을 수행하는 프로세서 코어들을 하나의 프로세서에 가능한 한 많이 집적하면서도, 딥러닝 같은 기계 학습 알고리즘의 학습(training)과 추론(inference)을 수행할 때 대용량 데이터들이 프로세서 코어 사이에서 원활하게 교환될 수 있도록 메모리 타일 위에 프로세서 코어를 배치한다. 이렇게 배치된 이 프로세서-메모리 타일 간에 격자 형태로 고대역폭 데이터 교환 패브릭을 배치하여 어떤 프로세서 코어 사이에도 프로세서 코어 간 대칭적으로 데이터 교환이 가능하게끔 만든 아키텍처이다.   이 PIM 방식의 인공지능 프로세서로 최근 가장 유망하게 떠오르고 있는 두 가지의 인공지능 프로세서 제품을 살펴보았다. 그래프코어(Graphcore)사의 IPU(Intelligence Processing Unit; IPU)는 그래프 형태로 기술된 연산을 병렬로 처리하기에 최적화된 아키텍처를 가지고 있으며, 인공지능뿐만 아닌 그래프 빅데이터의 처리에도 적합한 아키텍처를 가지고 있다. 그래프코어사의 IPU와 이를 탑재하는 서버인 델(Dell)의 DSS8440 서버, 포플라(Poplar) 그래프 컴퓨팅 소프트웨어 스택이 한데 어우러져 인공지능과 빅데이터 연산에 최적화된 솔루션을 제공할 수 있도록 기술이 구성되어 있다고 소개했다. 그래프코어(Graphcore)사의 IPU와 함께 ...

2020.09.28

오라클, 자바 머신러닝 라이브러리 ‘트리뷰오’ 오픈소스로 공개

‘트리뷰오(Tribuo)’는 텐서플로우(TensorFlow), 엑스지부스트(XGBoost), ONNX(Open Neural Network Exchange)를 위한 인터페이스와 함께 자바로 분류, 클러스터링, 회귀 모델을 구축하고 배포하는 툴을 제공한다.  15일(현지 시각) 오라클이 자바 머신러닝 라이브러리 ‘트리뷰오(Tribuo)’를 오픈소스 라이선스로 무료 제공한다고 발표했다. 머신러닝과 관련한 기업들의 니즈를 충족시키기 위해서다.     오라클의 목표는 트리뷰오를 통해 자바에서 머신러닝 모델을 더욱더 쉽게 구축하고 배포하도록 하는 것이다. 아파치 2.0(Apache 2.0) 라이선스 기반 오픈소스이며, 오라클 랩스(Oracle Labs)가 개발한 트리뷰오는 현재 기트허브(GitHub) 및 메이븐 센트럴(Maven Central)에서 액세스할 수 있다.  트리뷰오는 분류, 클러스터링, 이상 탐지, 회귀 알고리즘 등의 표준 머신러닝 기능들을 제공한다. 데이터 로딩 및 전환용 파이프라인도 포함돼 있으며, 지원되는 예측 작업에 관한 일련의 평가 기능도 제공한다.  트리뷰오는 입력 관련 통계를 수집한다. 이에 따라 각 입력의 범위 등을 설명할 수 있다. 또 기능의 이름을 지정해 내부의 기능 및 출력 ID 관리함으로써 모델 연결(chaining models), 데이터 로딩(loading data) 등의 작업에서 ID 충돌과 혼동을 방지한다. 트리뷰오 모델은 기능을 처음부터 알 수 있다. 다시 말해, 이 모델은 출력 타입을 바꿀 수 없는 강타입(Strongly typed)이므로 무엇이 출력되는지 알 수 있다. 개발자는 플로트(float)가 확률인지, 회귀된 값인지 또는 클러스터 ID인지에 관해 의문을 가질 필요가 없다. 트리뷰오에서는 이들 각각이 별도의 타입이다. 이 모델은 타입과 범위를 설명할 수 있다. 이는 특히 자연어 처리(NLP) 작업에서 유용하다. 강타입의 입력 및 출력을 사용한다는 것은 트리뷰오가 학습...

오라클 트리뷰오 텐서플로우 엑스지부스트 ONNX 자바 오픈소스 머신러닝 머신러닝 라이브러리 아파치 2.0 기트허브 메이븐 센트럴 오라클 랩스 머신러닝 모델 강타입 자연어 처리 파이토치

2020.09.16

‘트리뷰오(Tribuo)’는 텐서플로우(TensorFlow), 엑스지부스트(XGBoost), ONNX(Open Neural Network Exchange)를 위한 인터페이스와 함께 자바로 분류, 클러스터링, 회귀 모델을 구축하고 배포하는 툴을 제공한다.  15일(현지 시각) 오라클이 자바 머신러닝 라이브러리 ‘트리뷰오(Tribuo)’를 오픈소스 라이선스로 무료 제공한다고 발표했다. 머신러닝과 관련한 기업들의 니즈를 충족시키기 위해서다.     오라클의 목표는 트리뷰오를 통해 자바에서 머신러닝 모델을 더욱더 쉽게 구축하고 배포하도록 하는 것이다. 아파치 2.0(Apache 2.0) 라이선스 기반 오픈소스이며, 오라클 랩스(Oracle Labs)가 개발한 트리뷰오는 현재 기트허브(GitHub) 및 메이븐 센트럴(Maven Central)에서 액세스할 수 있다.  트리뷰오는 분류, 클러스터링, 이상 탐지, 회귀 알고리즘 등의 표준 머신러닝 기능들을 제공한다. 데이터 로딩 및 전환용 파이프라인도 포함돼 있으며, 지원되는 예측 작업에 관한 일련의 평가 기능도 제공한다.  트리뷰오는 입력 관련 통계를 수집한다. 이에 따라 각 입력의 범위 등을 설명할 수 있다. 또 기능의 이름을 지정해 내부의 기능 및 출력 ID 관리함으로써 모델 연결(chaining models), 데이터 로딩(loading data) 등의 작업에서 ID 충돌과 혼동을 방지한다. 트리뷰오 모델은 기능을 처음부터 알 수 있다. 다시 말해, 이 모델은 출력 타입을 바꿀 수 없는 강타입(Strongly typed)이므로 무엇이 출력되는지 알 수 있다. 개발자는 플로트(float)가 확률인지, 회귀된 값인지 또는 클러스터 ID인지에 관해 의문을 가질 필요가 없다. 트리뷰오에서는 이들 각각이 별도의 타입이다. 이 모델은 타입과 범위를 설명할 수 있다. 이는 특히 자연어 처리(NLP) 작업에서 유용하다. 강타입의 입력 및 출력을 사용한다는 것은 트리뷰오가 학습...

2020.09.16

김진철의 How-to-Big Data | 빅데이터의 미래 (10)

최근 인공지능 관련 기술에서 가장 많이 주목을 받는 동시에 단일 품목으로 큰 시장이 열릴 것이라 기대되는 기술이 있다. 바로 인공지능 구현에 필요한 연산을 가속해주거나, 이런 연산에 최적화된 고성능 반도체 프로세서 기술이다.  잘 알려진 인텔의 Xeon CPU, AMD의 Opteron CPU, ARM 코어 CPU는 일반 컴퓨터 작업을 위한 범용 프로세서고, 인공지능 구현에서 많이 쓰이는 행렬, 텐서 연산, 그리고 최적화(optimization) 연산의 성능 향상에 집중하여 프로세서를 설계, 양산한 제품이 인공지능 프로세서 반도체다. 인공지능 연산에 최적화된 프로세서들은 범용 CPU와는 다르게 일반적인 작업을 실행하지는 못하고, 인공지능 학습과 추론에 필요한 계산 성능을 향상하기 위한 목적으로 많이 쓰인다. 이 때문에 보통 일반 CPU와 함께 컴퓨터에 부가적으로 탑재되어 딥러닝 같은 인공지능 구현에 관련된 계산을 수행할 때만 해당 작업을 이런 인공지능 프로세서쪽으로 옮겨(off-load) 실행한 후, 그 결과를 CPU로 전달하여 다른 작업과 같이 수행하는 식으로 연산이 처리된다. 일종의 보조 프로세서(co-processor)인 셈이다.   지난 스물 한 번째 글에서 최근 딥러닝 연산을 가속하기 위한 엔비디아(Nvidia)의 GPGPU(General Purpose Graphic Processing Unit; GP-GPU)인 테슬라(TESLA), 퀄컴(Qualcomm)의 신경 프로세싱 유닛(Neural Processing Unit; NPU), 구글의 텐서 프로세싱 유닛(Tensor Processing Unit; TPU)과 같은 고성능 딥러닝 프로세서 기술과 IBM의 트루노스(TrueNorth), MIT의 아이리스(Eyeriss)와 같은 신경모방(뉴로모픽 프로세서; neuromorphic processor)들을 잠시 살펴본 바 있다.  반도체 설계 및 제조 기술이 발전함에 따라 이렇게 인공지능과 기계 학습에 많이 쓰이는 연산을 가속...

인공지능 반도체 프로세서 인공지능 프로세서 반도체 인텔 CPU 딥러닝 엔비디아 테슬라 퀄컴 구글 IBM MIT 프로세서-인-메모리 AP 메모리반도체 그래프코어 포플라 텐서플로우 쿠버네티스 슬럼 레드피쉬 세리브라스 시스템즈 웨어퍼 스케일 엔진 빅데이터

2020.08.26

최근 인공지능 관련 기술에서 가장 많이 주목을 받는 동시에 단일 품목으로 큰 시장이 열릴 것이라 기대되는 기술이 있다. 바로 인공지능 구현에 필요한 연산을 가속해주거나, 이런 연산에 최적화된 고성능 반도체 프로세서 기술이다.  잘 알려진 인텔의 Xeon CPU, AMD의 Opteron CPU, ARM 코어 CPU는 일반 컴퓨터 작업을 위한 범용 프로세서고, 인공지능 구현에서 많이 쓰이는 행렬, 텐서 연산, 그리고 최적화(optimization) 연산의 성능 향상에 집중하여 프로세서를 설계, 양산한 제품이 인공지능 프로세서 반도체다. 인공지능 연산에 최적화된 프로세서들은 범용 CPU와는 다르게 일반적인 작업을 실행하지는 못하고, 인공지능 학습과 추론에 필요한 계산 성능을 향상하기 위한 목적으로 많이 쓰인다. 이 때문에 보통 일반 CPU와 함께 컴퓨터에 부가적으로 탑재되어 딥러닝 같은 인공지능 구현에 관련된 계산을 수행할 때만 해당 작업을 이런 인공지능 프로세서쪽으로 옮겨(off-load) 실행한 후, 그 결과를 CPU로 전달하여 다른 작업과 같이 수행하는 식으로 연산이 처리된다. 일종의 보조 프로세서(co-processor)인 셈이다.   지난 스물 한 번째 글에서 최근 딥러닝 연산을 가속하기 위한 엔비디아(Nvidia)의 GPGPU(General Purpose Graphic Processing Unit; GP-GPU)인 테슬라(TESLA), 퀄컴(Qualcomm)의 신경 프로세싱 유닛(Neural Processing Unit; NPU), 구글의 텐서 프로세싱 유닛(Tensor Processing Unit; TPU)과 같은 고성능 딥러닝 프로세서 기술과 IBM의 트루노스(TrueNorth), MIT의 아이리스(Eyeriss)와 같은 신경모방(뉴로모픽 프로세서; neuromorphic processor)들을 잠시 살펴본 바 있다.  반도체 설계 및 제조 기술이 발전함에 따라 이렇게 인공지능과 기계 학습에 많이 쓰이는 연산을 가속...

2020.08.26

김진철의 How-to-Big Data | 빅데이터의 미래 (9)

지난 서른다섯 번째 글부터는 빅데이터 비즈니스와 기술의 미래를 현재 기술들의 동향과 전망을 가지고 같이 엿보고 있다. 빅데이터 비즈니스와 기술의 미래로서, 사이버 물리 시스템(CPS)으로 발전해가는 미래 정보통신 기술과 지능형 서비스의 미래를 소개하였고, 앞으로의 빅데이터 비즈니스와 기술의 발전은 이 사이버 물리 시스템(CPS)으로 구현되는 다양한 지능형 서비스들을 중심으로 이루어질 것이라고 설명하였다. 이와 함께, 이 사이버 물리 시스템(CPS)의 기반이 되는 다양한 기술들의 현재와 미래, 이들의 사이버 물리 시스템과의 관련성에 대해서 살펴보고 있다. 지금까지 클라우드 컴퓨팅 기술, 5G 이동통신과 모바일 에지 컴퓨팅으로 대표되는 미래 통신 기술, 사물인터넷(IoT)과 에지 컴퓨팅 기술들이 어떻게 사이버 물리 시스템(CPS) 기반의 지능형 서비스와 관련이 있는지 같이 살펴보았다.   인공지능 기술에 대한 우리들의 오해 (1) – 지나친 낙관론과 과대평가 이번 글부터 두, 세 편의 글에서는 사이버 물리 시스템(CPS) 기반 지능형 서비스의 가장 핵심이 될 것으로 보이는 인공지능 기술의 현재와 미래, 전망에 대해서 같이 살펴보고자 한다. 우리나라 대기업들이 앞다투어 인공지능 기술에 대한 대규모 투자 계획을 발표하고 있고, 우리나라 정부를 포함한 세계 각국 정부들도 인공지능 기술 경쟁에서 앞서 나가기 위해 다양한 계획들을 발표하고 있는 현 상황에서 과연 이런 인공지능 기술에 대한 열기가 기대하는 만큼의 물질적인 번영과 부를 가져다줄 수 있을지, 그렇다면 어느 정도로 광범위하고 다양하게 우리 사회에 영향을 끼칠지 같이 생각해보는 시간을 가지려고 한다. 2016년 1월 “알파고(AlphaGo)”가 이세돌 9단을 이긴 사건을 계기로 최근 5년간은 IT 기술 매체의 많은 지면과 영역을 인공지능 관련 기술들에 관한 내용이 채워왔다. “알파고”를 만든 구글의 “딥마인드(DeepMind)”는 여전히 수익을 내지 못하고 2019년 8월 기준으로 1조 5천억 원이 ...

김진철 빅데이터 빅데이터 비즈니스 인공지능 사이버 물리 시스템 지능형 서비스 텐서플로우 파이토치 딥러닝 머신러닝 기계학습 알파고 딥마인드 이세돌 우버 튜링테스트 시냅스 신경망 에어플로우 쿠브플로우 폰 노이만 반도체 4차 산업혁명

2020.07.27

지난 서른다섯 번째 글부터는 빅데이터 비즈니스와 기술의 미래를 현재 기술들의 동향과 전망을 가지고 같이 엿보고 있다. 빅데이터 비즈니스와 기술의 미래로서, 사이버 물리 시스템(CPS)으로 발전해가는 미래 정보통신 기술과 지능형 서비스의 미래를 소개하였고, 앞으로의 빅데이터 비즈니스와 기술의 발전은 이 사이버 물리 시스템(CPS)으로 구현되는 다양한 지능형 서비스들을 중심으로 이루어질 것이라고 설명하였다. 이와 함께, 이 사이버 물리 시스템(CPS)의 기반이 되는 다양한 기술들의 현재와 미래, 이들의 사이버 물리 시스템과의 관련성에 대해서 살펴보고 있다. 지금까지 클라우드 컴퓨팅 기술, 5G 이동통신과 모바일 에지 컴퓨팅으로 대표되는 미래 통신 기술, 사물인터넷(IoT)과 에지 컴퓨팅 기술들이 어떻게 사이버 물리 시스템(CPS) 기반의 지능형 서비스와 관련이 있는지 같이 살펴보았다.   인공지능 기술에 대한 우리들의 오해 (1) – 지나친 낙관론과 과대평가 이번 글부터 두, 세 편의 글에서는 사이버 물리 시스템(CPS) 기반 지능형 서비스의 가장 핵심이 될 것으로 보이는 인공지능 기술의 현재와 미래, 전망에 대해서 같이 살펴보고자 한다. 우리나라 대기업들이 앞다투어 인공지능 기술에 대한 대규모 투자 계획을 발표하고 있고, 우리나라 정부를 포함한 세계 각국 정부들도 인공지능 기술 경쟁에서 앞서 나가기 위해 다양한 계획들을 발표하고 있는 현 상황에서 과연 이런 인공지능 기술에 대한 열기가 기대하는 만큼의 물질적인 번영과 부를 가져다줄 수 있을지, 그렇다면 어느 정도로 광범위하고 다양하게 우리 사회에 영향을 끼칠지 같이 생각해보는 시간을 가지려고 한다. 2016년 1월 “알파고(AlphaGo)”가 이세돌 9단을 이긴 사건을 계기로 최근 5년간은 IT 기술 매체의 많은 지면과 영역을 인공지능 관련 기술들에 관한 내용이 채워왔다. “알파고”를 만든 구글의 “딥마인드(DeepMind)”는 여전히 수익을 내지 못하고 2019년 8월 기준으로 1조 5천억 원이 ...

2020.07.27

파이토치, 어떻게 시작할까?··· 알짜배기 학습 정보 5가지 

딥 러닝이 계속해서 '핫'할 것으로 전망되는 가운데 딥 러닝 프레임워크, 즉 텐서플로우와 파이토치를 놓고 저울질하는 이들이 많다. 절대적인 숫자로 보면 구글 텐서플로우가 단연 강세를 보이고 있다. 하지만 페이스북 파이토치의 성장세도 만만치 않다. 쉽고 빠르게 배우고 사용할 수 있다는 점에서 파이토치가 큰 인기를 끌고 있다.  파이토치가 딥 러닝 연구 분야를 강타했다고 해도 과언은 아닐 것이다. 지난 2년간 AI 컨퍼런스에 제출된 논문들을 보면 텐서플로우를 제치고 파이토치로 딥러닝을 구현한 경우가 많았다. 파이토치는 최근 최적화된 모델 생성과 이를 프로덕션 단계로 배포하는 과정에서 엄청난 개선이 이뤄졌다. R&D 연구소를 비롯해 업계에서도 사용할 수 있는 딥 러닝 프레임워크가 된 것이다.  파이토치를 어떻게 공부해야 할까? 이를 배울 수 있는 책과 유료 강좌 등이 아주 많다. 하지만 인터넷에는 이 프레임워크를 무료로 배울 수 있는 리소스들이 아주 많다. 심지어 유료 리소스보다 더 품질이 좋은 무료 리소스도 있다. 파이토치를 배우기에 좋은 무료 온라인 강좌와 튜토리얼을 살펴본다.   파이토치 공식 사이트의 튜토리얼  아마도 ‘공식 웹사이트’에서 파이토치를 시작하는 경우가 많을 것이다. 공식 웹사이트에는 API 레퍼런스부터 이해하기 쉬운 학습 영상(60분 분량), 문서 자료까지 여러 유용한 리소스가 많다. 프레임워크의 기본 및 고급 기능에 관한 안내서도 지원한다.  또한 모델 양자화(quantization)나 프루닝(Pruning)과 같은 중요한 기능이 새롭게 추가되는 경우 이를 사용자의 애플리케이션에 구현하는 방법을 알려주는 퀵 튜토리얼을 제공하기도 한다. 단점도 있다. 다양한 튜토리얼의 코드가 상당히 다르다는 것이다. 때론 파이토치 코드 생성보다 튜토리얼에서 소개하려는 기능들을 보여주고자 표준 단계를 생략해버리는 경우도 있다.  지난 몇 년간 튜토리얼 코드가 개선된 것은 분명하다. 하지만 ...

딥 러닝 파이토치 텐서플로우 구글 페이스북 인공지능 유다시티 에드엑스 패스트에이아이

2020.07.08

딥 러닝이 계속해서 '핫'할 것으로 전망되는 가운데 딥 러닝 프레임워크, 즉 텐서플로우와 파이토치를 놓고 저울질하는 이들이 많다. 절대적인 숫자로 보면 구글 텐서플로우가 단연 강세를 보이고 있다. 하지만 페이스북 파이토치의 성장세도 만만치 않다. 쉽고 빠르게 배우고 사용할 수 있다는 점에서 파이토치가 큰 인기를 끌고 있다.  파이토치가 딥 러닝 연구 분야를 강타했다고 해도 과언은 아닐 것이다. 지난 2년간 AI 컨퍼런스에 제출된 논문들을 보면 텐서플로우를 제치고 파이토치로 딥러닝을 구현한 경우가 많았다. 파이토치는 최근 최적화된 모델 생성과 이를 프로덕션 단계로 배포하는 과정에서 엄청난 개선이 이뤄졌다. R&D 연구소를 비롯해 업계에서도 사용할 수 있는 딥 러닝 프레임워크가 된 것이다.  파이토치를 어떻게 공부해야 할까? 이를 배울 수 있는 책과 유료 강좌 등이 아주 많다. 하지만 인터넷에는 이 프레임워크를 무료로 배울 수 있는 리소스들이 아주 많다. 심지어 유료 리소스보다 더 품질이 좋은 무료 리소스도 있다. 파이토치를 배우기에 좋은 무료 온라인 강좌와 튜토리얼을 살펴본다.   파이토치 공식 사이트의 튜토리얼  아마도 ‘공식 웹사이트’에서 파이토치를 시작하는 경우가 많을 것이다. 공식 웹사이트에는 API 레퍼런스부터 이해하기 쉬운 학습 영상(60분 분량), 문서 자료까지 여러 유용한 리소스가 많다. 프레임워크의 기본 및 고급 기능에 관한 안내서도 지원한다.  또한 모델 양자화(quantization)나 프루닝(Pruning)과 같은 중요한 기능이 새롭게 추가되는 경우 이를 사용자의 애플리케이션에 구현하는 방법을 알려주는 퀵 튜토리얼을 제공하기도 한다. 단점도 있다. 다양한 튜토리얼의 코드가 상당히 다르다는 것이다. 때론 파이토치 코드 생성보다 튜토리얼에서 소개하려는 기능들을 보여주고자 표준 단계를 생략해버리는 경우도 있다.  지난 몇 년간 튜토리얼 코드가 개선된 것은 분명하다. 하지만 ...

2020.07.08

기고 | AWS 람다를 최대로 이용하는 법

클라우드 네이티브 애플리케이션 및 서비스를 구현하기 위한 여러 옵션이 있다. 서로 다른 플랫폼에서 많은 수의 애플리케이션과 서비스를 개발하고 다양한 컴플라이언스 요구사항을 가진 조직은 컨테이너와 CaaS를 고려할 가능성이 높다. 단순한 운영 경로를 찾는 개발 스택과 운영상의 제약이 거의 없는 다른 조직에서는 구성 및 기술상 전문 지식이 덜 필요하기 때문에 PaaS 옵션을 선택하는 경우가 많다. 그다음, 기본 인프라 설정과 구성을 추상화하고 코드를 배치하고 실행할 수 있는 간단한 메커니즘을 제공하는 FaaS, 즉 서비스로서의 기능(Functions as a Service)이 있다. 기능은 이벤트에 대응하여 코드를 실행하는 데 이상적으로 적합하며, 경량 마이크로서비스를 위한 인프라로 사용될 수 있다.   PaaS, CaaS, FaaS를 살펴본 이전 기사에서 필자는 클라우드 아키텍처를 선택할 때 고려해야 할 몇 가지 사항에 대해 아키텍트와 클라우드 전문가의 가이드라인을 공유했다. 이번 기사에서는 서버리스 기능을 사용하기 위한 보다 구체적인 요구 사항을 공유하고 몇 가지 사용 사례를 제시하겠다. 여기서 필자는 AWS 람다에 초점을 맞추고 있지만, 마이크로소프트 애저 펑션, 구글 클라우드 펑션, IBM 클라우드 펑션, 오라클 펑션 및 기타 FaaS 플랫폼을 사용하는 데에도 동일한 일반 원칙이 적용될 것이다. AWS 람다 함수에 관한 기술 요건  AWS 람다는 퍼블릭 클라우드에 서버리스 기능을 배치하기 위한 한 가지 옵션이다. 이러한 서비스를 구현하기 전에 주요 기술 요건을 고려하는 것이 중요하다. AMS 람다 함수는 자바, 고(Go), 파워셸, 노드.js(Node.js), C#, 파이썬, 루비에서 개발할 수 있다. AWS는 아마존 API 게이트웨이를 통해 API 호출로 트리거 된 가장 간단한 함수들로 람다 함수를 트리거 할 수 있는 이벤트 리스트를 갖고 있다. 이벤트는 또한 코드 커밋, CI/CD 파이프라인, 키네시스 데이터 스트림, 클라우...

퍼블릭 클라우드 서버리스 AWS 아마존웹서비스 람다 서비스로서의 기능 Functions as a Service FaaS 마이크로소프트 애저 구글 클라우드 IBM 클라우드 오라클 알렉사 스킬 카트리지 파이썬 노드.js 텐서플로우 깃허브

2020.06.24

클라우드 네이티브 애플리케이션 및 서비스를 구현하기 위한 여러 옵션이 있다. 서로 다른 플랫폼에서 많은 수의 애플리케이션과 서비스를 개발하고 다양한 컴플라이언스 요구사항을 가진 조직은 컨테이너와 CaaS를 고려할 가능성이 높다. 단순한 운영 경로를 찾는 개발 스택과 운영상의 제약이 거의 없는 다른 조직에서는 구성 및 기술상 전문 지식이 덜 필요하기 때문에 PaaS 옵션을 선택하는 경우가 많다. 그다음, 기본 인프라 설정과 구성을 추상화하고 코드를 배치하고 실행할 수 있는 간단한 메커니즘을 제공하는 FaaS, 즉 서비스로서의 기능(Functions as a Service)이 있다. 기능은 이벤트에 대응하여 코드를 실행하는 데 이상적으로 적합하며, 경량 마이크로서비스를 위한 인프라로 사용될 수 있다.   PaaS, CaaS, FaaS를 살펴본 이전 기사에서 필자는 클라우드 아키텍처를 선택할 때 고려해야 할 몇 가지 사항에 대해 아키텍트와 클라우드 전문가의 가이드라인을 공유했다. 이번 기사에서는 서버리스 기능을 사용하기 위한 보다 구체적인 요구 사항을 공유하고 몇 가지 사용 사례를 제시하겠다. 여기서 필자는 AWS 람다에 초점을 맞추고 있지만, 마이크로소프트 애저 펑션, 구글 클라우드 펑션, IBM 클라우드 펑션, 오라클 펑션 및 기타 FaaS 플랫폼을 사용하는 데에도 동일한 일반 원칙이 적용될 것이다. AWS 람다 함수에 관한 기술 요건  AWS 람다는 퍼블릭 클라우드에 서버리스 기능을 배치하기 위한 한 가지 옵션이다. 이러한 서비스를 구현하기 전에 주요 기술 요건을 고려하는 것이 중요하다. AMS 람다 함수는 자바, 고(Go), 파워셸, 노드.js(Node.js), C#, 파이썬, 루비에서 개발할 수 있다. AWS는 아마존 API 게이트웨이를 통해 API 호출로 트리거 된 가장 간단한 함수들로 람다 함수를 트리거 할 수 있는 이벤트 리스트를 갖고 있다. 이벤트는 또한 코드 커밋, CI/CD 파이프라인, 키네시스 데이터 스트림, 클라우...

2020.06.24

"설치 단순화 및 GPU 연산 지원"··· 마이크로소프트, WSL2 개선사항 발표

마이크로소프트가 윈도우 10 프리뷰 빌드에서 윈도우 서브시스템 포 리눅스 2(WSL2)의 개선 사항을 공개했다. 이번 업데이트로 이제 WSL2는 엔비디아의 쿠다(CUDA) 기술을 이용하는 등의 GPU 연산 기능을 수행할 수 있다. 초보자와 개발자 모두에게 의미 있는 업데이트다.  이 추가 기능은 지난 5월에 열린 빌드 2020(Build 2020) 컨퍼런스에서 마이크로소프트가 약속한 바이기도 하다. 당시 마이크로소프트는 윈도우 서브시스템 포 리눅스(WSL)용 그래픽 UI에 대한 정보를 일부 공개하기도 했다.  이번 WSL 개선사항은 윈도우 10 빌드 20150의 일환으로 등장했다. 현재 이 윈도우 버전은 인사이더 빌드의 데브 채널(Dev Channel)에서 찾아볼 수 있다. 과거 패스트 링(Fast Ring)으로 알려졌던 데브 채널은 윈도우 10 기능 릴리즈와 무관한 신기능을 테스트하는 데 이용되는 공간이다.    설치과정 단순화 이름에서 알 수 있는 것처럼 WSL2를 이용하면 윈도우 내에서 리눅스 커널을 실행할 수 있게 된다. 하드웨어 상에서 네이티브로 실행되는 리눅스 배포판만큼은 아니지만 그에 근접하는 성능을 보여준다.  WSL2가 윈도우에 네이티브로 통합돼 있지도 않다. 이는 사용자가 제어판을 통해 활성화 여부를 선택할 수 있는 옵션 기능이다. 활성화하면 필요한 파일을 다운로드하고 PC를 재부팅하게 된다.  빌드 20150의 신기능 중 하나는 이 과정을 좀더 단순화한 것이다. ‘wsl.exe —install’ 명령을 입력하면 윈도우가 모든 구성을 진행한다. (해당 명령이 명령 줄 앱에서 실행될 수 있는지, 또는 파워셸 인터페이스를 필요로 하는지는 아직 불확실하다.) 윈도우 프로그램 매니저 크레이그 로웬이 게재한 블로그 포스트에 따르면 마이크로소프트는 향후 WSL 내에서 리눅스 배포판이 자동 설치되도록 한다는 구상도 가지고 있다.  리눅스 커널 업데이트도 유사한 방식으로 진행할 수 ...

마이크로소프트 윈도우 리눅스 WSL2 GPU 엔비디아 쿠다 윈도우 10 AI 머신러닝 파이토치 텐서플로우

2020.06.18

마이크로소프트가 윈도우 10 프리뷰 빌드에서 윈도우 서브시스템 포 리눅스 2(WSL2)의 개선 사항을 공개했다. 이번 업데이트로 이제 WSL2는 엔비디아의 쿠다(CUDA) 기술을 이용하는 등의 GPU 연산 기능을 수행할 수 있다. 초보자와 개발자 모두에게 의미 있는 업데이트다.  이 추가 기능은 지난 5월에 열린 빌드 2020(Build 2020) 컨퍼런스에서 마이크로소프트가 약속한 바이기도 하다. 당시 마이크로소프트는 윈도우 서브시스템 포 리눅스(WSL)용 그래픽 UI에 대한 정보를 일부 공개하기도 했다.  이번 WSL 개선사항은 윈도우 10 빌드 20150의 일환으로 등장했다. 현재 이 윈도우 버전은 인사이더 빌드의 데브 채널(Dev Channel)에서 찾아볼 수 있다. 과거 패스트 링(Fast Ring)으로 알려졌던 데브 채널은 윈도우 10 기능 릴리즈와 무관한 신기능을 테스트하는 데 이용되는 공간이다.    설치과정 단순화 이름에서 알 수 있는 것처럼 WSL2를 이용하면 윈도우 내에서 리눅스 커널을 실행할 수 있게 된다. 하드웨어 상에서 네이티브로 실행되는 리눅스 배포판만큼은 아니지만 그에 근접하는 성능을 보여준다.  WSL2가 윈도우에 네이티브로 통합돼 있지도 않다. 이는 사용자가 제어판을 통해 활성화 여부를 선택할 수 있는 옵션 기능이다. 활성화하면 필요한 파일을 다운로드하고 PC를 재부팅하게 된다.  빌드 20150의 신기능 중 하나는 이 과정을 좀더 단순화한 것이다. ‘wsl.exe —install’ 명령을 입력하면 윈도우가 모든 구성을 진행한다. (해당 명령이 명령 줄 앱에서 실행될 수 있는지, 또는 파워셸 인터페이스를 필요로 하는지는 아직 불확실하다.) 윈도우 프로그램 매니저 크레이그 로웬이 게재한 블로그 포스트에 따르면 마이크로소프트는 향후 WSL 내에서 리눅스 배포판이 자동 설치되도록 한다는 구상도 가지고 있다.  리눅스 커널 업데이트도 유사한 방식으로 진행할 수 ...

2020.06.18

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.4.0.13