문장을 토큰 시퀀스로 나누는 과정
tokenizer: 토큰화를 수행하는 프로그램
- 예: mecab, kkma(꼬꼬마)
품사 부착(Part-of-Speech tagging)가지 수행하기에, 넓은 의미에서 토큰 나누기에 품사 부착까지 함께 말하는 경우도 있음
단어(어절) 단위 토큰화
- 어휘 집합의 크기가 너무 커짐
문자 단위 토큰화
- 의미있는 단위가 되기 어려움
서브워드 단위 토큰화
- 단어와 문자 단위 토큰화 중간에 있음
Byte Pair Encoding: BPE
- 정보를 압축하는 알고리즘으로 제안, 자연어 처리 모델에 널리 쓰이는 토큰화 기법
- 사전 크기 증가를 억제하면서도 정보를 효율적으로 압축할 수 있는 알고리즘
- GPT에서 주로 쓰임, BERT는 wordpiece를 주로 사용
- 분석 대상 언어에 대한 지식이 필요없음 → 말뭉치에서 자주 나타나는 문자열(서브워드)를 토큰으로 분석하기 때문임
Wordpiece
- Wordpiece는 우도를 가장 높이는 글자 쌍을 병합함

실습코드