[[분류:자연어 처리 모델]]
[include(틀:토막글)]
[목차]
== 개요 ==
BERT는 구글에서 개발한 [[자연 언어 처리]] 모델이다. Transformer 구조에 Encoder를 여러 층 더한 모델이다.
학습은 다음 문장 예측(NSP)과 문장의 가려진 단어 예측(MLP)으로 학습된다.

[[GPT-3]]와 함께 대표적인 [[트랜스포머(인공신경망)|트랜스포머]] 활용 구조로 알려져 있다.

[[https://arxiv.org/abs/1810.04805|논문]], 저자 Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova