지난 서른다섯 번째 글에서 빅데이터 현상이 왜 일어나는지 같이 생각해본 바 있다. 빅데이터 현상은 사실 컴퓨터의 컴퓨팅 능력의 한계가 데이터 처리의 수요와 요구사항을 따라잡지 못하기 때문에 나타나는 현상이며, 결국 컴퓨터 기술 발전의 역사는 빅데이터 ...
김진철 빅데이터 아파치 하둡 사이버 물리 시스템 지능형 인프라 사물인터넷 인공지능 아파치 스파크 메모리 클라우드 네이티브 프로그래밍 양자 컴퓨팅 데이터 과학 함수형 프로그래밍
2020.11.27
지난 서른다섯 번째 글에서 빅데이터 현상이 왜 일어나는지 같이 생각해본 바 있다. 빅데이터 현상은 사실 컴퓨터의 컴퓨팅 능력의 한계가 데이터 처리의 수요와 요구사항을 따라잡지 못하기 때문에 나타나는 현상이며, 결국 컴퓨터 기술 발전의 역사는 빅데이터 ...
2020.11.27
마이크로소프트가 애저 데이터브릭스 클라우드 애널리틱스 및 AI 서비스용 벡터화된 쿼리 엔진, ‘포톤 기반 델타 엔진(Photon powered Delta Engine)’ 프리뷰를 공개했다. 애저 데이터브릭스(Azure Databricks)는 아파치 스...
2020.09.29
IT 리더들이 비즈니스 인사이트를 창출하고자 인공지능과 머신러닝을 어떻게 활용하고 있는지 알아본다. ‘인공지능(AI)’과 ‘머신러닝(ML)’이 기업에 상당한 영향력을 미치고 있다. AI 및 ML 기술을 활용해 고객 선호도를 예측하고 비즈니...
2020.08.12
한때 비밀 실험실이나 공상과학으로 조롱을 받았던 인공지능(AI)과 머신러닝(ML) 기술이 이제는 주류가 됐다. 더 많은 기업이 고객을 유입시키고 비즈니스 운영을 개선하기 위해 인간의 정신 작용을 모방하는 소프트웨어를 활용하고 있다. ...
CIO 아마존웹서비스 고객경험 가상 비서 아파치 스파크 챗봇 자연어처리 NLP ML 가디어 다트머스대학교 오피스디포 줄릴리 기계 주니퍼 네트웍스 세일즈포스 IBM 마이크로소프트 AWS 왓슨 마스터카드 오피스 365 신용카드 패션 인공지능 보험 CX 허니웰
2020.03.19
한때 비밀 실험실이나 공상과학으로 조롱을 받았던 인공지능(AI)과 머신러닝(ML) 기술이 이제는 주류가 됐다. 더 많은 기업이 고객을 유입시키고 비즈니스 운영을 개선하기 위해 인간의 정신 작용을 모방하는 소프트웨어를 활용하고 있다. ...
2020.03.19
인공지능과 머신러닝은 수많은 산업에 큰 변화를 가져올 수 있다. 그러나 심각한 위험들을 초래할 수도 있다. 이제 막 도입되기 시작한 기술이기 때문에 아직은 알려지지 않은 위험들이 많다. 인공지능에서 불량 데이터는 큰 문제며, 기업이 AI를 더 많이 채...
구글 CDO 트롤 최고 데이터 책임자 451리서치 아파치 스파크 테이 인종차별 NTT그룹 봇넷 프라이스워터하우스쿠퍼스 IDC 마이크로소프트 트위터 데이터 과학자 포레스터 리서치 인포시스 PwC 인공지능 데이터 편향
2018.02.19
인공지능과 머신러닝은 수많은 산업에 큰 변화를 가져올 수 있다. 그러나 심각한 위험들을 초래할 수도 있다. 이제 막 도입되기 시작한 기술이기 때문에 아직은 알려지지 않은 위험들이 많다. 인공지능에서 불량 데이터는 큰 문제며, 기업이 AI를 더 많이 채...
2018.02.19
마이크로소프트가 개발자 및 데이터 애널리스트들이 이용하는 여러 타사의 인기 플랫폼을 애저 클라우드에 도입했다. 새로운 애저 기능으로는 다음과 같은 것들이 있다. - 애저 데이터브릭스(Azure Databricks), 개발자가 엔터프라이즈 데이터를...
2017.11.16
지멘스는 1879년 최초의 승객용 전기 기관차를 포함하여 약 150년 동안 열차를 개발했다. 하지만 최근의 트랙(Track) 혁신은 데이터 분석에 의한 것이었다. 열차와 트랙에 대한 정보를 분석하기 위해 센서를 사용하여 대응적인 철도 유지 방법에서 선...
2017.10.27
검정색 화면에 오렌지 색 글자, 색상으로 구분된 키보드를 갖춘 블룸버그 서비스 전용 단말기는 그냥 ‘터미널’로 통하며 80년대 초 출범 이래 크게 변한 것이 없어 보인다. 하지만 터미널 뒤에서 데이터를 취합하고 분석하는 과정은 크...
2017.10.26
아파치 스파크는 단순히 빅데이터 작업을 빠르게 해줄 뿐 아니라 간편하고 편리하며 강력하게 할 수 있도록 해준다. 아파치 스파크는 다양한 툴로 구성돼 있다. 이들 아파치 스파크 툴은 새로운 기능이 추가되거나 성능이 개선되는 등 지속적으로 업데이트되고 있...
2016.03.18
맵알테크놀로지스가 차세대 빅데이터 애플리케이션을 지원하도록 개발한 통합 클러스터에서 스파크, 웹-스케일 스토리지, NoSQL, 스트리밍 기능과 함께 하둡을 사용할 수 있는 CDP(Converged Data Platform)를 출시했다. 맵...
2016.03.10
머신러닝(기계학습)은 이제 새로운 주류로 자리잡았다. 이 트렌드가 최근 1년 동안 급부상한 이유에는 저렴한 클라우드 환경과 강력한 GPU 하드웨어만 있지 않다. 기계학습에 활용할 수 있는 프레임워크의 폭발적인 증가도 한 몫 했다. 모두 오픈소스인...
2016.02.01
개방성이 하둡 생태계를 주도하고 있다고 한 빅데이터 업체 CEO가 밝혔다. 탈렌드 CEO 마이크 투첸은 “오픈소스가 빅데이터 세계를 움직이고 있다”라고 말했다. 이미지 출처 : IDGNS 하둡과 아파치 스파...
2016.01.25
소셜, 모바일, 클라우드와 함께 분석 및 관련된 데이터 기술이 디지털 시대의 주요 혁신자로 자리 매김했다. 2015년에는 빅데이터 계획이 시험 단계에서 생산 단계로 옮겨갔으며 비즈니스 인텔리전스(Business Intelligence)를 강화하기 위해...
2016.01.22
종종 하둡과 아파치 스파크가 빅데이터 영역에서 경쟁관계 있는 것처럼 보이기도 했지만 최근 들어 이 둘이 서로 조화를 이룬다는 생각이 점점 더 확산되고 있다. 하둡과 아파치 스파크 둘 다 빅데이터 프레임워크다. 이미지 출처 : IDGNS ...
빅데이터 데이터 과학자 맵리듀스 하둡 HDFS 아파치 스파크 빅데이터 프레임워크
2015.12.15
종종 하둡과 아파치 스파크가 빅데이터 영역에서 경쟁관계 있는 것처럼 보이기도 했지만 최근 들어 이 둘이 서로 조화를 이룬다는 생각이 점점 더 확산되고 있다. 하둡과 아파치 스파크 둘 다 빅데이터 프레임워크다. 이미지 출처 : IDGNS ...
2015.12.15
필자는 이번 주 미국 라스베가스에서 열린 IBM 인사이트 컨퍼런스에 참석했다. 인포월드의 편집장인 스튜어트 앨솝은 지난 1996년 당시 최신형 메인프레임 모델이 미래에 사라질 것이라고 예고한 바 있다. 막강했던 메인프레임의 영광은 결국 사그라지고 있지...
2015.10.30