핵심 요약: NLP 파이프라인에서 '토크나이저'는 주어진 텍스트 데이터를 처리 가능한 작은 단위인 ‘토큰’으로 나누는 역할을 하며, '임베딩'은 그 분리된 부분들을 컴퓨터가 이해하고 처리할 수 있는 형태인 벡터로 변환하는 역할을 함.
토크나이저는 텍스트 데이터를 처리 가능한 작은 단위인 '토큰'으로 나누는 것을 의미함. 주로 NLP 파이프라인에서 가장 첫 단계에서 수행되며, 문장을 단어 또는 구(phrase) 등으로 분리함. 예를 들어 "I love ice cream" 이라는 문장을 토크나이징하면 ["I", "love", "ice", "cream"]처럼 단어별로 나눌 수 있음.
임베딩은 단어나 문장을 고차원 벡터로 변환하는 과정을 의미함. 예를 들어 'cat'과 'dog'라는 단어가 있다고 할 때, 각각 [0.1, 0.2]와 [0.3, 0.4]와 같은 실수 벡터로 바꿔주게 됨.
스칼라(Scala): 0.9, 1, -3처럼 크기만 있고, 방향은 없는 단일값을 의미함벡터(Vector): [1,2], [0.9, 1, -3]처럼 크기와 방향이 모두 있는 배열을 의미함매트릭스(Matrix): [1, 2]처럼 크기와 방향(XYZ)이 모두 있는 행렬을 의미함
[3, 4]
[5, 6]