이 문서는 토막글입니다.토막글 규정을 유의하시기 바랍니다.
BERT는 구글에서 개발한
자연 언어 처리 모델이다. Transformer 구조에 Encoder를 여러 층 더한 모델이다.
학습은 다음 문장 예측(NSP)과 문장의 가려진 단어 예측(MLP)으로 학습된다.
GPT-3와 함께 대표적인
트랜스포머 활용 구조로 알려져 있다.
논문, 저자 Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
![파일:CC-white.svg](//obj-sg.the1.wiki/svgs/d/c0/0a/1564a7f2c6092961f7613ec2e1ccf9ea3baaac30d0ed4ab23c5c490fdbe2d204.svg)
이 문서의 내용 중 전체 또는 일부는 2023-10-20 22:51:11에 나무위키
BERT 문서에서 가져왔습니다.