Background

• 김기현 자연어생성 강의를 참고하여 작성함
• 실제 파일을 받아서 터미널에서 리눅스 명령어를 통해 전처리 하는 과정을 작성함

Preprocessing workflow

1. 데이터(코퍼스) 수집

• 구입, 외주
• 크롤링을 통한 수집

2. 정제

• Task에 따른 노이즈 제거
• 인코딩 변환

3. 레이블링(Optional)

• 문장마다 또는 단어마다 labeling 수행

4. Tokenization

• 형태소 분석기를 활용하여 분절 수행; ex) Mecab

  <aside> 💡 한국어의 경우

  1. 접사를 분리하여 희소성을 낮추고,
  2. 띄어쓰기를 통일하기 위해 tokenization을 수행

  </aside>

5. Subword Segmentation(Optional)

• 단어보다 더 작은 의미 단위 추가 분절 수행

• BPE 압축 알고리즘을 통해 통계적으로 더 작은 의미 단위(subword)로 분절 수행

• BPE를 통해 OoV(Out of Voca)를 없앨 수 있으며, 이는 성능상 매우 큰 이점으로 작용 ⇒ 특히, 자연어 생성에서 중요

  <aside> 💡 - 영어권에서는 Tokenization없이 subword segmentation만 쓰는 경우도 있음

  • 영어권에서는 띄어쓰기를 잘하기에
  • But 한국어는 띄어쓰기가 잘 되어있지 않아서 Tokenization을 해야 하는 경우가 많음

  </aside>

6. Batchify

• 사전 생성 및 word2index 맵핑 수행
• 효율화를 위한 전/후처리
• torchText 활용

Data Source

• AI 허브의 ‘한국어-영어 번역(병렬) 말뭉치’

[<https://aihub.or.kr/aidata/87>](<https://aihub.or.kr/aidata/87>)

• 다운 받은 파일 중에서 xlsx 만 가져와서 전처리

Preprocessing 수행

1. tsv 파일로 바꾸기

• 자연어 처리를 위해 데이터를 전처리 할 경우에는 ‘,’도 하나의 문자로 취급이 됨 ⇒ 따라서 csv가 아닌 tsv(탭을 기준으로 데이터를 나눔)로 전처리