Do it! BERT와 GPT로 배우는 자연어 처리 커버 이미지

Do it! BERT와 GPT로 배우는 자연어 처리

  • 저자
    이기창 저
  • 출판
    이지스퍼블리싱 (주)
  • 출판일
    2021-12-01
  • 등록일
    2021-12-01
평점 0.0점
1점 2점 3점 4점 5점
1점 2점 3점 4점 5점
보유 5 대출 0/5 예약 0/4
Do it! BERT와 GPT로 배우는 자연어 처리 커버 이미지

도서정보

도서소개

‘사람 말을 알아듣는 AI’를 만들어 보자!
트랜스포머 핵심 원리부터 문서 분류, 기계 독해, 문장 생성 실습까지!
사람 말을 알아듣고 처리하는 인공지능은 어떻게 만들까? 이 책은 딥러닝 기반 자연어 처리 기술을 체계적이고 쉽게 배울 수 있는 입문서다. 이 책은 네이버 영화평, 뉴스 댓글, 질의응답 등 한국어 말뭉치로 실습해 국내 자연어 처리 연구가에게 더욱 효과적이며, 트랜스포머의 핵심 원리와 허깅페이스 패키지 활용법 등 최신 자연어 처리 기술의 진수를 담았다. 국내 대표 포털에서 자연어 처리를 연구하는 저자의 오랜 공력을 엿볼 수 있다.
1~3장에서는 트랜스포머와 전이 학습, BERT와 GPT의 핵심 동작 원리를 이해하고, 이를 바탕으로 4~8장에서는 감성 분석, 자연어 추론, 개체명 인식, 질의응답, 문장 생성 등 5가지 과제를 직접 수행해 본다. 실습 코드는 pytorch-lightning, 허깅페이스의 transformers 등 최신 오픈소스 라이브러리를 사용했다.

목차

=======================
1장 처음 만나는 자연어 처리
=======================
1-1 딥러닝 기반 자연어 처리 모델
1-2 트랜스퍼 러닝
1-3 학습 파이프라인 소개
1-4 개발 환경 설정

=========================
2장 문장을 작은 단위로 쪼개기
=========================
2-1 토큰화란?
2-2 바이트 페어 인코딩이란?
2-3 어휘 집합 구축하기
2-4 토큰화하기

=======================
3장 숫자 세계로 떠난 자연어
=======================
3-1 미리 학습된 언어 모델
3-2 트랜스포머 살펴보기
3-3 셀프 어텐션 동작 원리
3-4 트랜스포머에 적용된 기술들
3-5 BERT와 GPT 비교
3-6 단어/문장을 벡터로 변환하기

=======================
4장 문서에 꼬리표 달기
=======================
4-1 문서 분류 모델 훑어보기
4-2 문서 분류 모델 학습하기
4-3 학습 마친 모델을 실전 투입하기

=======================
5장 문장 쌍 분류하기
=======================
5-1 문장 쌍 분류 모델 훑어보기
5-2 문장 쌍 분류 모델 학습하기
5-3 학습 마친 모델을 실전 투입하기

=======================
6장 단어에 꼬리표 달기
=======================
6-1 개체명 인식 모델 훑어보기
6-2 개체명 인식 모델 학습하기
6-3 학습 마친 모델을 실전 투입하기

=======================
7장 질문에 답하기
=======================
7-1 질의응답 모델 훑어보기
7-2 질의응답 모델 학습하기
7-3 학습 마친 모델을 실전 투입하기

=======================
8장 문장 생성하기
=======================
8-1 문장 생성 모델 훑어보기
8-2 문장 생성 모델 파인튜닝하기
8-3 프리트레인 마친 모델로 문장 생성하기
8-4 파인튜닝 마친 모델로 문장 생성하기
찾아보기

저자소개

서울대학교 국어국문학과를 졸업하고 고려대학교 대학원에서 공학 석사 학위(산업경영공학)를 취득했다. 문장 범주 분류에 큰 영향을 미치는 단어들에 높은 점수를 주는 기법에 대한 논문(SCI 저널 게재)에 1저자로 참여했다. 현재 네이버에서 대화 모델을 개발하고 있다. 주요 업무는 임베딩 학습 및 구축이다. 문장 생성(text generation)에 관심이 많다. 자연어 처리를 주제로 블로그(http://ratsgo.github.io)를 운영하고 있다. 딥러닝과 자연어 처리의 무궁무진한 가능성을 믿는다.

도서 한줄평

평점 5점
1점 2점 3점 4점 5점
1점 2점 3점 4점 5점