Offcanvas

AI / CIO / How To / 빅데이터 | 애널리틱스 / 애플리케이션 / 오픈소스 / 클라우드

김진철의 How-to-Big Data | 빅데이터의 미래 (5)

2020.03.26 김진철  |  CIO KR


지난 열 번째 글에서 잠시 소개한 바와 같이 인텔의 랙스케일 아키텍처는 컴퓨팅 자원을 랙(rack) 단위로 필요에 맞게 조직하고, 프로세서, 메모리, 스토리지, 네트워크 자원을 랙 단위의 자원 구성과 관리를 수행하고 RESTful API 인터페이스를 제공하는 팟 매니저(pod manager)가 필요에 따라 조합하여 하나의 서버와 같은 노드로 구성할 수 있는 컴퓨팅 시스템이다[27-32].

랙스케일 디자인은 데이터센터의 컴퓨팅 자원을 하드웨어 수준에서 클라우드 컴퓨팅을 지원할 수 있도록 만들어 클라우드 컴퓨팅의 성능과 데이터센터에 상면된 컴퓨팅 자원 활용의 효율성을 높이기 위한 기술이다. 랙스케일 디자인이 그 목표했던 기능을 모두 갖추게 되면, 가상 머신과 같은 하드웨어 가상화 기술이 없어도 하드웨어 수준에서 컴퓨팅 자원 분할과 재조직이 가능하게 되고, 사용자가 원하는 만큼의 컴퓨팅 자원을 묶어 테넌트를 부여하고 조직할 수 있게 된다.



기존 서버 노드 단위로 구성되던 랙 때문에 한 노드를 구성하는 서버 섀시의 하드웨어 제약으로 전체적인 성능에 제약을 받은 과거 분산 컴퓨팅 시스템보다 랙스케일 디자인을 기반으로 조직된 하드웨어는 프로세서, 메모리, 스토리지, 네트워크 수준에서 자원을 쉽게 확장할 수 있어 현재의 클라우드 컴퓨팅 기술보다 훨씬 더 유연하고 확장성 있게 자원을 활용할 수 있다.

랙스케일 디자인의 프로그래머빌리티를 제공할 수 있도록 하는 특징은 바로 “팟 매니저(Pod Manager)”이다. “팟 매니저(Pod Manager)”는 랙스케일 디자인의 하드웨어 자원의 관리 및 프로비저닝을 할 수 있도록 하는 프로그래밍 인터페이스를 갖춘 소프트웨어로, 랙스케일 디자인 규격에 포함된 표준 소프트웨어이다. 오픈스택과 같은 클라우드 컴퓨팅 소프트웨어나 네트워크 기능 가상화(NFV)에 사용되는 MANO(Management And Network Orchestration)와 같은 오케스트레이터(orchestrator)에서 랙스케일 디자인 규격을 준수하는 랙에 있는 CPU, 메모리, 저장 장치 및 네트워크 자원을 프로비저닝하고 관리할 수 있도록 하는 소프트웨어 구성요소가 “팟 매니저(Pod Manager)”이다.

“팟 매니저(Pod Manager)”는 RESTful API 형태로 접근할 수 있도록 되어 있어서, 랙스케일 디자인을 준수하는 랙이 네트워크에만 연결되어 있으면 네트워크를 통해 RESTful API에 접근할 수 있는 소프트웨어가 얼마든지 “팟 매니저(Pod Manager)”를 통해 컴퓨팅 자원을 프로비저닝하고 제어, 관리할 수 있다. 이 “팟 매니저(Pod Manager)”를 통해서 랙 내부의 컴퓨팅 자원을 사용자가 원하는 대로 조직, 구성하여 응용 프로그램에 맞는 컴퓨팅 자원을 구성할 수 있도록 하는 것이다.

랙스케일 디자인이 상징적으로 표현하는 것과 같이, 앞으로 데이터센터의 IT자원은 노드 단위 계층이 파괴되고, 100Gbps 이더넷과 같이 네트워크의 성능이 저지연, 고대역폭을 지원할 수 있도록 향상되면서 자원 통합의 경계가 데이터센터 스케일로 확장되며, “팟 매니저(Pod Manager)”와 같이 원격 API로 IT자원을 통합, 제어, 관리할 수 있도록 IT자원의 프로그래머빌리티가 개선된다. 이를 통해, 클라우드 컴퓨팅에서 지능형 사이버 물리 시스템을 위해 제공할 수 있는 자원 규모가 기하급수적으로 확장된다. 

이렇게 자원 통합, 관리의 스케일이 향상된 클라우드 컴퓨팅 기술은 사이버 물리 시스템의 지능을 크게 높일 수 있게 해주며, 이렇게 필요한 컴퓨팅 자원이 더 풍부하게 공급되면서 사이버 물리 시스템은 더 많은 빅데이터를 활용할 수 있게 된다. 

서른일곱 번째 글부터 지금까지 세 편의 글에서 살펴본 것 같이, 데이터센터 하드웨어 기술부터 시작해서, 프로그래밍 언어의 발전과 클라우드 컴퓨팅을 위한 분산 컴퓨팅 시스템 기술에 이르기까지 다양한 수준에서 일어나고 있는 클라우드 컴퓨팅 기술의 발전을 통해 사이버 물리 시스템으로 상징되는 미래 지능형 인프라의 지능이 크게 높아지게 될 것을 짐작해볼 수 있다.

클라우드 컴퓨팅 소프트웨어 기술의 발전이 인텔 랙스케일 디자인과 같은 하드웨어 아키텍처와 기술을 발전으로 이어지고, 이런 하드웨어 아키텍처와 기술의 발전으로 향상되는 데이터센터 스케일의 자원 확장성이 다시 클라우드 컴퓨팅 소프트웨어와 서비스를 향상시키는 선순환이 지능형 사이버 물리 시스템이 사회 인프라로서 실현되고 자리 잡는데 튼튼한 기반이 될 것이다.

클라우드 컴퓨팅 기술의 발전이 사이버 물리 시스템에 필요한 빅데이터를 더 쉽고 빠르게 다룰 수 있도록 하면서 빅데이터 기술의 발전도 가속화되고, 데이터 과학과 이를 위한 데이터 처리, 분석을 자동화하기 위한 인공지능 기술의 발전을 가속하게 될 것이다. 이런 측면에서 클라우드 컴퓨팅의 발전이 지능형 사이버 물리 시스템의 발전과 실현, 이를 위한 빅데이터 기술과 데이터 과학에 깊게 관련되어 있으며, 앞으로 우리가 클라우드 컴퓨팅 기술의 발전을 주의 깊게 지켜보아야 하는 이유이다.

[참고문헌]
[1] 김진철, “LHC에서 배우는 빅데이터와 machine learning 활용 방안”, 2016년 9월 28일, A CIO Conversation for Technology Leadership – Breakfast Roundtable 발표 자료
[2] 김진철, “김진철의 How-to-Big Data (9) – 빅데이터와 클라우드 기술 (1)”, CIO Korea, 2017년 9월 28일자. (http://www.ciokorea.com/column/35688)
[3] 김진철, “김진철의 How-to-Big Data (10) – 빅데이터와 클라우드 기술 (2)”, CIO Korea, 2017년 9월 28일자. (http://www.ciokorea.com/column/36179)
[4] 김진철, “김진철의 How-to-Big Data (11) – 빅데이터와 클라우드 기술 (3)”, CIO Korea, 2017년 9월 28일자. (http://www.ciokorea.com/column/36540)
[5] 김진철, “김진철의 How-to-Big Data (12) – 빅데이터와 클라우드 기술 (4)”, CIO Korea, 2017년 9월 28일자. (http://www.ciokorea.com/column/36748)
[6] 김진철, “김진철의 How-to-Big Data (13) – 빅데이터와 클라우드 기술 (5)”, CIO Korea, 2017년 9월 28일자. (http://www.ciokorea.com/column/37099)
[7] 김진철, “김진철의 How-to-Big Data (14) – 빅데이터와 클라우드 기술 (6)”, CIO Korea, 2017년 9월 28일자. (http://www.ciokorea.com/column/37380)
[8] Larry Peterson, “CORD: Central Office Re-architected as a Datacenter,” presentation at OpenStack Summit 2015, Tokyo, 2015. (https://www.openstack.org/videos/summits/tokyo-2015/cord-central-office-re-architected-as-a-datacenter)
[9] Alan A. A. Donovan, Brian W. Kernighan, The Go Programming Language, Addison-Wesley, 2016.
[10] Documentation – The Go Programming Language, https://golang.org/doc/
[11] Go (programming language) – Wikipedia, https://en.wikipedia.org/wiki/Go_(programming_language)).
[12] Go(프로그래밍 언어) – 나무위키, https://namu.wiki/w/Go(프로그래밍%20언어).
[13] Dmitry Jemerov and Svetlana Isakova, Kotlin in Action, Manning Publications, 2017. (https://www.manning.com/books/kotlin-in-action)
[14] Language Guide – The Kotlin Programming Language, https://kotlinlang.org/docs/reference/.
[15] Kotlin (programming language) - Wikipedia, https://en.wikipedia.org/wiki/Kotlin_(programming_language)
[16] Kotlin – 나무위키, https://namu.wiki/w/Kotlin.
[17] Hazealign, “Android 개발을 수주해서 Kotlin을 제대로 써봤더니 최고였다.”, https://gist.github.com/Hazealign/1bbc586ded1649a8f08f. (원문: 오모치 메타루(omochimetaru), “Android開発を受注したからKotlinをガッツリ使ってみたら最高だった”, https://qiita.com/omochimetaru/items/98e015b0b694dd97f323.)
[18] 심재석, “카카오가 메시징 서버에 자바 대신 코틀린 써본 경험담”, Byline Network, 2018년 9월 5일. (https://byline.network/2018/09/5-20/
[19] Steve Klabnik and Carol Nichols, with contributions from the Rust Community, The Rust Programming Language, The Mozilla Foundation, 2018. (https://doc.rust-lang.org/book/)
[20] The Mozilla Foundation, The Rust Reference, https://doc.rust-lang.org/reference/index.html
[21] Wikipedia, “Rust (programming language),” https://en.wikipedia.org/wiki/Rust_(programming_language)
[22] Jim Blandy, Jason Orendorff, Programming Rust - Fast, Safe Systems Development, O'Reilly Media, December 2017. (http://shop.oreilly.com/product/0636920040385.do)
[23] Tim McNamara, Rust in Action, Manning Publications, July 2017. (https://www.manning.com/books/rust-in-action)
[24] Rahul Sharma, Vesa Kaihlavirta, Claus Matzinger, The Complete Rust Programming Reference Guide: Design, develop, and deploy effective software systems using the advanced constructs of Rust, Packt Publishing, May 22, 2019. (https://www.packtpub.com/application-development/complete-rust-programming-reference-guide
[25] Rahul Sharma, Vesa Kaihlavirta, Mastering Rust - Second Edition, Packt Publishing, January 31, 2019. (https://www.packtpub.com/application-development/mastering-rust-second-edition)
[26] Claus Matzinger, Rust Programming Cookbook, Packt Publishing, October 18, 2019. (https://www.packtpub.com/programming/rust-programming-cookbook)
[27] Jean-Louis Lezaun, “What Future for the Data Center,” presentational material at OpenStack in Action 4! organized by eNovance, October 10, 2013. (http://www.slideshare.net/enovance/intel-clouddatacenterdec5th2013)
[28] Ryousei Takano, “From Rack scale computers to Warehouse scale computers,” July 31, 2014. (http://www.slideshare.net/oraccha/rack-scale-computers-to-warehouse-scale-computers)
[29] Figen Ulgen, Intel® Rack Scale Design Gaining Momentum, Intel IT Peer Network, January 10, 2018. (https://itpeernetwork.intel.com/rack-scale-design-momentum/#gs.12y7pv)
[30] Intel, “Standardizing the Hyperscale Data Center.” (https://www.intel.co.kr/content/www/kr/ko/architecture-and-technology/rack-scale-design/standardizing-the-hyperscale-data-center-infographic.html)
[31] Intel, “Meeting the Challenges of Data Center Digital Transformation.” (https://www.intel.co.kr/content/www/kr/ko/architecture-and-technology/rack-scale-design/rack-scale-design-dc-transformation-brief.html)
[32] Intel, “Intel® Rack Scale Design (Intel® RSD) Architecture,” White Paper. (https://www.intel.co.kr/content/www/kr/ko/architecture-and-technology/rack-scale-design/rack-scale-design-architecture-white-paper.html)
[33] Intel, “Intel Rack Scale Design (Intel RSD) – Getting Started Guide, Software v.2.5,” Revision 001, July 2019. (https://www.intel.co.kr/content/dam/www/public/us/en/documents/guides/getting-started-guide-v2-5.pdf)
[34] Intel, “Intel Rack Scale Design (Intel RSD) – Architecture Specification, Software v.2.5,” Revision 001, July 2019. (https://www.intel.co.kr/content/dam/www/public/us/en/documents/guides/architecture-spec-v2.5.pdf)
[35] Intel, “Intel Rack Scale Design (Intel RSD) – Pod Manager (PODM) User Guide, Software v.2.5,” Revision 001, July 2019. (https://www.intel.co.kr/content/dam/www/public/us/en/documents/guides/podm-user-guide-v2-5.pdf)
[36] Intel, “Intel Rack Scale Design (Intel RSD) – Pod Manager (PODM) Representational State Transfer (REST) API Specification, Software v.2.5,” Revision 001, July 2019. (https://www.intel.co.kr/content/dam/www/public/us/en/documents/guides/podm-api-spec-v2.5.pdf)
[37] Intel, “Intel Rack Scale Design (Intel RSD) – Pooled System Management Engine (PSME) User Guide, Software v.2.5,” Revision 001, July 2019. (https://www.intel.co.kr/content/dam/www/public/us/en/documents/guides/psme-release-notes-v2-5.pdf)
[38] Intel, “Intel Rack Scale Design (Intel RSD) – Pooled System Management Engine (PSME) Representational State Transfer (REST) API Specification, Software v.2.5,” Revision 001, July 2019. (https://www.intel.co.kr/content/dam/www/public/us/en/documents/guides/psme-user-guide-v2-5.pdf)
[39] Intel, “Intel Rack Scale Design (Intel RSD) – Storage Services API Specification, Software v.2.5,” Revision 001, July 2019. (https://www.intel.co.kr/content/dam/www/public/us/en/documents/guides/storage-services-api-spec-v2-5.pdf)
[40] Intel, “Intel Rack Scale Design (Intel RSD) – Rack Management Module (RMM) Representational State Transfer (REST) API Specification, Software v.2.5,” Revision 001, July 2019. (https://www.intel.co.kr/content/dam/www/public/us/en/documents/guides/rmm-api-spec-v2-5.pdf)
[41] Intel, “Intel Rack Scale Design (Intel RSD) – Generic Assets Management Interface (GAMI) Representational State Transfer (REST) API Specification, Software v.2.5,” Revision 001, July 2019. (https://www.intel.co.kr/content/dam/www/public/us/en/documents/guides/gami-api-spec-v2-5.pdf)
[42] Mohan J. Kumar, “Look Inside Intel Rack Scale Architecture,” a contributed talk in the 9th Extremely Large Databases Conference, May 24-26, 2016. (https://www-conf.slac.stanford.edu/xldb2016/talks/published/Tues_6_Mohan-Kumar-Rack-Scale-XLDB-Updated.pdf)
[43] Scott Fulton III, “Intel Finally Releases Its Rack Scale Design to Open Source,” DataCenter Knowledge, July 29, 2016. (https://www.datacenterknowledge.com/archives/2016/07/29/intel-finally-releases-rack-scale-design-open-source)
[44] Sabina Jeschke, “Everything 4.0? – Drivers and Challenges of Cyber Physical Systems,” Forschungsdialog Rehinland – Invited Talk, Wuppertal, December 4, 2013.
[45] Helen Gill, “From Vision to Reality: Cyber-Physical Systems,” Presentation at the HCSS National Workshop on New Research Directions for High Confidence Transportation CPS: Automotive, Aviation, and Rail, November 18-20, 2008.
[46] Insup Lee, “Cyber Physical Systems – The Next Computing Revolution,” Lecture – CIS 480, Department of Computer and Information Science, University of Pennsylvania, 2009.
[47] Insup Lee, “Cyber Physical Systems – The Next Computing Revolution,” Adream Lecture, LAAS-CNRS, June 15, 2010.
[48] Raj Rajkumar, Dionisio de Niz, Mark Klein, Cyber-Physical Systems, in the SEI Series in Software Engineering, Addison-Wesley, 2017.
[49] Rajeev Alur, Principles of Cyber-Physical Systems, The MIT Press, 2015.
[50] Edward Ashford Lee, Sanjit Arunkumar Seshia, Introduction to Embedded Systems – a Cyber-Physical Systems Approach, 2nd Edition, The MIT Press, 2017.
[51] 진회승, 서영희, 김원태, “CPS의 기능, 비기능적 소프트웨어 요구사항 분석”, 연구보고서 2017-008, 소프트웨어정책연구소(SPRi), 2018년 4월.
[52] Francesca Palumbo, “Introduction on Cyber-Physical Systems,” Lecture at CPS Summer School – From Concepts to Implementation, Alghero(IT), September 17 ~ 21, 2018.
[53] Wolfgang Wahlster, “Industrie4.0: Cyber-Physical Production Systems for Mass Customization,” German-Czech Workshop on Industrie4.0/Průmysl4.0 Prague, April 11, 2016.
[54] Teodora Sanislav, Sherali Zeadally, George Dan Mois, “A Cloud-Integrated, Multilayered, Agent-Based Cyber-Physical System Architecture,” Computer, April, 2017.
[55] Kartikey Joshi, Dhivya Sampath Kumar, Rahul Mehta, Shiva Muthuraj, “Autonomous Vehicles (AVs) - Technology, Economics, and Opportunities,” (https://www.slideshare.net/Funk98/autonomous-vehicles-60845449)
[56] Edward A. Lee, “The Past, Present and Future of Cyber-Physical Systems: A Focus on Models,” Sensors Vol. 15, pp. 4837-4869, 2015. doi:10.3390/s150304837
[57] Kyoung-Dae Kim and P. R. Kumar, “Cyber-Physical Systems: A Perspective at the Centennial,” Proceedings of the IEEE, Vol. 100, p. 1287 ~ 1308, May 13th, 2012.
[58] Kyoung-Dae Kim and P. R. Kumar, “An Overview and Some Challenges in Cyber-Physical Systems,” Journal of the Indian Institute of Science, Vol. 93(3), p. 341 ~ 351, Jul.–Sep. 2013. (http://journal.library.iisc.ernet.in/index.php/iisc/article/view/1693)
[59] Alessandro D’Innocenzo, Henry Muccini, “Introduction to CPS,” 1ST DISIM WORKSHOP ON ENGINEERING CYBER-PHYSICAL SYSTEMS, TUESDAY 26, JANUARY 2016.
[60] Urban Sedlar, Mitja Rakar, Andrej Kos, “Big Data Analysis and Cyber-Physical Systems,” in Cyber-Physical Systems – A Computational Perspective, edited by Gaddadevara Matt Siddesh, Ganesh Chandra Deka, Krishnarajanagar GopalaIyengar Srinivasa, Lalit Mohan Patnaik, CRC Press, 2016.
[61] Krishnarajanagar GopalaIyengar Srinivasa, Gaddadevara Matt Siddesh and Kushagra Mishra, “Influence of Big Data on Cyber-Physical Systems,” in Cyber-Physical Systems – A Computational Perspective, edited by Gaddadevara Matt Siddesh, Ganesh Chandra Deka, Krishnarajanagar GopalaIyengar Srinivasa, Lalit Mohan Patnaik, CRC Press, 2016.
[62] Houbing Song, Qinghe Du, Pinyi Ren, Wenjia Li, and Amjad Mehmood, “Cloud Computing for Transportation Cyber-Physical Systems,” in Cyber-Physical Systems – A Computational Perspective, edited by Gaddadevara Matt Siddesh, Ganesh Chandra Deka, Krishnarajanagar GopalaIyengar Srinivasa, Lalit Mohan Patnaik, CRC Press, 2016.

*김진철 박사는 1997년 한국과학기술원에서 물리학 학사, 1999년 포항공과대학교에서 인공신경망에 대한 연구로 석사 학위를, 2005년 레이저-플라즈마 가속기에 대한 연구로 박사 학위를 받았다. 2005년부터 유럽입자물리학연구소(CERN)의 LHC 데이터 그리드 구축, 개발에 참여, LHC 빅데이터 인프라를 위한 미들웨어 및 데이터 분석 기술을 연구하였다. 이후 한국과학기술정보연구원(KISTI), 포항공과대학교, 삼성SDS를 거쳐 2013년부터 SK텔레콤에서 클라우드 컴퓨팅과 인공지능 기술을 연구하고 있다. 빅데이터와 인공지능 기술의 기업 활용 방안에 대해 최근 다수의 초청 강연 및 컨설팅을 수행하였다. ciokr@idg.co.kr

CIO Korea 뉴스레터 및 IT 트랜드 보고서 무료 구독하기
추천 테크라이브러리

회사명:한국IDG 제호: CIO Korea 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아01641 등록발행일자 : 2011년 05월 27일

발행인 : 박형미 편집인 : 천신응 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.