<aside> 💡 4월 11일(월) 20:00~21:30 모두연의 딥랩 세미나(황중원님)의 내용을 정리한 글입니다.

</aside>

Background

• META의 연구원들이 작성

• 원문 파일 https://ai.facebook.com/research/data2vec-a-general-framework-for-self-supervised-learning-in-speech-vision-and-language/

  2202.03555.pdf

Abstract

• Core idea is to predict latent representations of the full input data based on a masked view of the input in a self distillation setup using a standard Transformet architecture
• 각각의 데이터를 따로 학습시켰다고 함

Background

• Self-Supervised Learning을 활용해서 통합해서 학습하려 함
• (참고) 실제 서빙 단계에서는 C++ 베이스로 작업을 하기도 함(테슬라)

Self-supervised learning

• If there are unlabeled datasets, we can do..
• ex) BERT, 레이블이 없음에도 학습 가능

Introduction