[include(틀:챗봇)] ||<-2>
'''{{{+1 LLaMA}}}'''[br]Large Language Model Meta AI || || '''공개일''' ||[[2023년]] [[2월 24일]]|| || '''제작사''' ||[[메타(기업)|메타]]|| || '''기능''' ||[[언어모델]]|| || '''인프라''' ||[[NVIDIA/GPU|NVIDIA GPU]], MTIA 등|| || '''링크''' ||[[https://ai.meta.com/blog/large-language-model-llama-meta-ai/|[[파일:홈페이지 아이콘.svg|width=20]]]]|| [목차] [clearfix] == 개요 == LLaMA는 [[메타(기업)|메타]]의 [[오픈소스]] [[언어모델]]이다. == 제품 == === LLaMA-1 === 2023년 2월 24일에 공개했다. [[매개변수]]는 70억부터 650억 개 버전까지 존재한다. 학계를 대상으로 오픈소스로 공개하면서 알파카, 비쿠냐 등 수 많은 파생형 모델들의 탄생에 기여했다. === LLaMA-2 === [[파일:CF9DBE77-45D7-4900-BA68-4F8A4B1C21F7.jpg]] 2023년 7월 18일에 공개되었다. 매개변수는 70억부터 시작하지만, 상당한 고성능인 700억 개 짜리 모델까지 학계뿐만 아니라 기업 등 상용으로도 공개하여 큰 주목을 받고 있다. 특히 [[마이크로소프트]]와 우선 계약을 체결하여 큰 화재를 모았는데, 메타와 마이크로소프트 둘 다 2010년대 중반까지만 해도 상당히 폐쇄적인 운영을 해왔기에 [[개발자]]들은 놀라움을 자아내고 있는 상황이다.[* 마이크로소프트는 [[스티브 발머]] 시절에 모바일 시장에서 쓴 맛을 보며 둔화기를 맞았는데, [[사티아 나델라]] 재임 이후 주력 사업을 [[클라우드 컴퓨팅]]으로 전환하면서 [[깃허브]]를 인수하는 등 직면한 위기를 타개하기 위한 목적으로 오픈소스로서의 전환을 선택한다. 2020년대에도 직접적인 연구개발보다는 [[OpenAI]], [[Inflection AI]] 등에 투자하는 방식을 통해 자사 제품을 결합시키고 있다.][* 메타도 [[생성형 인공지능]] 분야에서 [[OpenAI]], [[구글]]에게 뒤쳐지면서 라마의 오픈소스화를 전략적으로 선택한 것이다. 후발주자인 만큼, 오픈소스를 통해 빠른 생태계 확장을 추구한다.] === 파생형 모델 === [[파일:634CE7C6-949F-4C56-8761-96A172702207.jpg]] == 인프라 == 원래 [[엔비디아]]의 [[GPGPU]] 자원을 통해 인프라를 구축했으나, 생산 차질로 인한 공급 이슈와 높은 가격, 비효율적인 전력 소모를 이유로 2023년 5월에 자사 첫 [[인공지능 가속기]]인 MTIAv1을 공개하면서 [[ASIC]] 방식 개발에 열을 올리고 있다. 연산 칩을 [[RISC-V]] 기반으로 커스텀 설계하여 64개의 각 그리드별로 다른 연산을 동시에 수행할 수 있다. 또한 SRAM을 캐시처럼 활용하는 방식을 택했고, 오프칩은 LPDDR5 DRAM을 탑재했다. [[소프트웨어]]도 [[CUDA]]를 벗어나, 자사 [[라이브러리]]인 [[PyTorch]]를 통해 [[컴파일러]], [[커널]], [[API|스트리밍API]], [[드라이버]]까지 독자 생태계 구축을 가속화시키고 있다. == 학습 데이터 == 1조 4,000억 개의 [[토큰]]으로 학습되었다고 한다. [[페이스북]], [[인스타그램]] 등 자사 패밀리앱 외에도 웹스크래핑/크롤링, [[깃허브]] 코드, [[위키피디아]] 텍스트, 퍼블릭 도메인 서적, [[LaTeX]] 코드로 작성된 논문, 질문질답 텍스트 등으로 학습되었다고 한다. [[분류:메타]][[분류:자연어 처리 모델]][[분류:2023년 출시]]