전체도서

❖ 책 소개

딥러닝 기반 자연어 처리 기술 BERT를

쉽고 컴팩트하게 익혀보자!

 

이 책의 특징

•파이토치와 구글 코랩을 사용해 BERT를 컴팩트하고 효율적으로 학습할 수 있다.

•어텐션(Attenttion), 트랜스포머로부터 BERT로 이어지는 자연어 기술을 기초부터 체험 학습한다.

•자연어 처리 기술 구현을 순서대로 따라서 습득하고, BERT 구현까지 수행한다.

•한국어 모델 추가

 

❖ 출판사 서평

BERT와 GPT 등 딥러닝을 사용한 자연어 처리 기술은 오늘날 세계에 큰 영향을 계속해서 미치고 있습니다.

BERT는 트랜스포머(Transformer) 기반으로 다양한 자연어 처리 태스크에 맞춰 조정할 수 있는 범용성이 매력입니다. 다양한 업무를 더 효율적으로, 더 창의적으로 처리할 수 있는 기술로 어떤 분야에서 일하더라도 딥러닝 기술을 배워두면 쓸모가 있을 것입니다.

 

문의 사항 가이드라인

이 책의 예제 파일에 관하여

옮긴이의 말

 

CHAPTER 0 도입

0.1 이 책의 특징

0.1.1 파이썬 기초를 학습하자

0.1.2 이 책의 구성

0.1.3 이 책을 읽으면 할 수 있게 되는 것들

0.1.4 이 책을 읽을 때 주의할 점

0.1.5 이 책의 대상 독자

0.1.6 이 책의 사고 방식

 

CHAPTER 1 BERT 개요

1.1 딥러닝이란

1.1.1 인공 지능과 머신러닝, 딥러닝

1.1.2 신경망의 구조

1.1.3 딥러닝

1.2 자연어 처리 개요

1.2.1 자연어 처리란?

1.2.2 자연어 처리 응용

1.2.3 형태소 분석

1.2.4 단어의 벡터화

1.2.5 RNN(순환 신경망)

1.2.6 Seq2Seq를 사용한 계열 변환

1.2.7 자연어 처리에 관해 더 학습하고 싶다면

1.3 트랜스포머 개요

1.3.1 트랜스포머란?

1.3.2 트랜스포머의 구조

1.4 BERT 개요

1.4.1 BERT란?

1.4.2 BERT의 학습 개요

1.4.3 BERT의 사전 학습

1.4.4 BERT의 성능

1.5 정리

 

CHAPTER 2 개발 환경

2.1 구글 코랩 시작 방법

2.1.1 구글 코랩 준비

2.1.2 노트북 사용 방법

2.1.3 다운로드 파일 취급 방법

2.2 세션과 인스턴스

2.2.1 세션, 인스턴스란?

2.2.2 90분 규칙

2.2.3 12시간 규칙

2.2.4 세션 관리

2.3 CPU와 GPU

2.3.1 CPU, GPU, TPU란?

2.3.2 GPU 사용 방법

2.3.3 성능 비교

2.4 구글 코랩의 다양한 기능

2.4.1 텍스트 셀

2.4.2 스크래치 코드 셀

2.4.3 코드 스니펫

2.4.4 코드 실행 이력

2.4.5 깃허브와의 연동

2.5 연습

2.5.1 코드 셀 조작

2.5.2 텍스트 셀 조작

2.5.3 셀 위치 변경과 삭제

2.6 정리

 

CHAPTER 3 파이토치로 구현하는 간단한 딥러닝

3.1 구현 개요

3.1.1 학습하는 매개변수와 하이퍼파라미터

3.1.2 순전파와 역전파

3.1.3 구현 순서

3.2 텐서

3.2.1 패키지 확인

3.2.2 텐서 생성

3.2.3 넘파이 배열과 텐서의 상호 변환

3.2.4 범위를 지정해서 텐서의 일부에 접근

3.2.5 텐서의 연산

3.2.6 텐서의 형태 변환

3.2.7 다양한 통곗값 계산

3.2.8 연습: 텐서끼리의 연산

3.2.9 해답 예

3.3 활성화 함수

3.3.1 시그모이드 함수

3.3.2 tanh

3.3.3 ReLU

3.3.4 항등 함수

3.3.5 소프트맥스 함수

3.4 손실 함수

3.4.1 평균 제곱 오차

3.4.2 교차 엔트로피 오차

3.5 최적화 알고리즘

3.5.1 기울기와 경사 하강 알고리즘

3.5.2 최적화 알고리즘 개요

3.5.3 SGD

3.5.4 모멘텀

3.5.5 AdaGrad

3.5.6 RMSProp

3.5.7 Adam

3.6 에포크와 배치

3.6.1 에포크과 배치

3.6.2 배치 학습

3.6.3 온라인 학습

3.6.4 미니 배치 학습

3.6.5 학습 예

3.7 간단한 딥러닝 구현

3.7.1 손으로 쓴 문자 이미지 인식

3.7.2 데이터를 훈련용과 테스트용으로 분할

3.7.3 모델 구축

3.7.4 학습

3.7.5 오차 추이

3.7.6 정답률

3.7.7 훈련 완료 모델을 사용한 예측

저자