Offcanvas

Gensim

정의, 원리, 사례, SW, 교육과정으로 알아보는 '자연어처리(NLP)'

마치 사람이 하는 것처럼 컴퓨터가 사람의 언어를 이해하고 처리하며 생성할 수 있는 인공지능(AI)의 한 갈래인 자연어처리의 비즈니스 적용이 최근 급격하게 늘고 있다. NLP의 정의, 원리, 비즈니스 사례, 관련 소프트웨어 등을 알아보자.    정의 자연어처리(NLP)는 의사소통을 담당하는 인공지능(AI)의 한 갈래다. 어떻게 컴퓨터가 사람처럼 언어를 이해하고 처리하며 생성하도록 프로그래밍할 수 있을까? 이 용어는 본래 시스템이 읽을 수 있는 능력을 언급하기 위해 사용되었으나 모든 컴퓨터 언어를 이르는 구어적 표현이 되었다. 하위 카테고리에는 컴퓨터가 스스로 의사소통을 생성하는 능력인 자연어생성(NLG: natural language generation)과 속어, 잘못된 발음, 틀린 철자, 기타 언어의 변형을 이해하는 능력인 자연어이해(NLU: natural language understanding)가 포함된다. 작동 원리 NLP는 머신러닝을 통해 작동한다. 머신러닝 시스템은 단어 그리고 다른 형태의 데이터와 마찬가지로 단어가 합쳐지는 방식을 저장한다. 문구, 문장 그리고 때로는 책 전체가 머신러닝 엔진에 입력되고 문법 규칙, 사람들의 실제 언어 습관 등에 기초하여 처리된다. 그러면 컴퓨터가 이 데이터를 이용해 패턴을 찾고 그다음을 추론한다. 번역 소프트웨어를 예로 들어보자. 프랑스어로 ‘나는 공원에 가고 있다’는 ‘Je vais au parc’이기 때문에 머신러닝은 ‘나는 상점에 가고 있다’도 ‘Je vais au’로 시작하리라 예측한다. 그러면 컴퓨터는 ‘상점’이라는 단어만 있으면 된다. 적용 기계 번역은 개선된 NLP 적용 중 하나지만 가장 보편적으로 사용되지는 않는다. 검색이 보편적으로 사용된다. 구글이나 빙에서 무엇인가를 검색하면 데이터를 시스템에 입력하게 된다. 검색 결과를 클릭하면 시스템이 발견한 결과가 옳은 것이라는 확인으로 인식하고 이 정보를 추후 더 나은 검색을 위해 활용한다. 챗봇도 같은 방식으로 작동한다. 슬랙,...

CIO natural language generation natural language understanding NLTK SpaCy 구글 클라우드 트랜슬레이션 스페이시 아마존 컴프리렌드 자연어생성 자연어이해 젠심 IBM 왓슨 톤 애널라이저 Gensim 시리 인공지능 알렉사 챗봇 자연어처리 NLP NLG NLU 정서 분석 기계 번역 플레시먼힐러드

2020.03.18

마치 사람이 하는 것처럼 컴퓨터가 사람의 언어를 이해하고 처리하며 생성할 수 있는 인공지능(AI)의 한 갈래인 자연어처리의 비즈니스 적용이 최근 급격하게 늘고 있다. NLP의 정의, 원리, 비즈니스 사례, 관련 소프트웨어 등을 알아보자.    정의 자연어처리(NLP)는 의사소통을 담당하는 인공지능(AI)의 한 갈래다. 어떻게 컴퓨터가 사람처럼 언어를 이해하고 처리하며 생성하도록 프로그래밍할 수 있을까? 이 용어는 본래 시스템이 읽을 수 있는 능력을 언급하기 위해 사용되었으나 모든 컴퓨터 언어를 이르는 구어적 표현이 되었다. 하위 카테고리에는 컴퓨터가 스스로 의사소통을 생성하는 능력인 자연어생성(NLG: natural language generation)과 속어, 잘못된 발음, 틀린 철자, 기타 언어의 변형을 이해하는 능력인 자연어이해(NLU: natural language understanding)가 포함된다. 작동 원리 NLP는 머신러닝을 통해 작동한다. 머신러닝 시스템은 단어 그리고 다른 형태의 데이터와 마찬가지로 단어가 합쳐지는 방식을 저장한다. 문구, 문장 그리고 때로는 책 전체가 머신러닝 엔진에 입력되고 문법 규칙, 사람들의 실제 언어 습관 등에 기초하여 처리된다. 그러면 컴퓨터가 이 데이터를 이용해 패턴을 찾고 그다음을 추론한다. 번역 소프트웨어를 예로 들어보자. 프랑스어로 ‘나는 공원에 가고 있다’는 ‘Je vais au parc’이기 때문에 머신러닝은 ‘나는 상점에 가고 있다’도 ‘Je vais au’로 시작하리라 예측한다. 그러면 컴퓨터는 ‘상점’이라는 단어만 있으면 된다. 적용 기계 번역은 개선된 NLP 적용 중 하나지만 가장 보편적으로 사용되지는 않는다. 검색이 보편적으로 사용된다. 구글이나 빙에서 무엇인가를 검색하면 데이터를 시스템에 입력하게 된다. 검색 결과를 클릭하면 시스템이 발견한 결과가 옳은 것이라는 확인으로 인식하고 이 정보를 추후 더 나은 검색을 위해 활용한다. 챗봇도 같은 방식으로 작동한다. 슬랙,...

2020.03.18

회사명:한국IDG 제호: ITWorld 주소 : 서울시 중구 세종대로 23, 4층 우)04512
등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 편집인 : 박재곤 청소년보호책임자 : 한정규
사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.

10.5.0.9