6.1. 텍스트 데이터 다루기

• 텍스트 벡터화

  • 텍스트를 단어로 나누고 각 단어를 하나의 벡터로
  • 텍스트를 문자로 나누고 각 문자를 하나의 벡터로
  • 텍스트에서 n-gram을 추출해 n-gram을 하나의 ㅂ벡터로
    • 연속된 단어나 문자의 그룹으로, 텍스트에서 단어/문자를 하나씩 이동하면서 추출

• 이때, 하나의 단위를 ‘토큰’이라고 함

• 모든 텍스트 벡터화 과정은 특정한 종류의 토큰화를 적용하고, 생성된 토큰에 수치형 벡터를 연결

• 이렇게 연결된 벡터는 시퀀스 텐서로 묶여서 심층 신경망에 주입

• 연결의 방식은 여러가지

  • 원핫인코딩
  • 토큰임베딩(단어임베딩)