LLM을 활용한 실전 AI 애플리케이션 개발 (3) 썸네일형 리스트형 03 트랜스포머 모델을 다루기 위한 허깅페이스 트랜스포머 라이브러리 목차3.1 허깅페이스 트랜스포머란3.2 허깅페이스 허브 탐색하기 3.2.1 모델 허브 3.2.2 데이터셋 허브 3.2.3 모델 데모를 공개하고 사용할 수 있는 스페이스3.3 허깅페이스 라이브러리 사용법 익히기 3.3.1 모델 활용하기3.4 모델 학습하기3.5 모델 추론하기3.6 정리- 허깅페이스(Huggingface) 팀이 개발한 트랜스포머(Transformers) 라이브러리는 공통된 인터페이스로 트랜스포머 모델을 활용할 수 있도록 지원함으로써 딥러닝 분야의 핵심 라이브러리가 됐다.- 허깅페이스 허브: 다양한 모델, 데이터셋, 모델 데모를 쉽게 공유하고 사용할 수 있도록 제공.# 허깅페이스 트랜스포머 활용에 필요한 라이브러리 설치!pip install transformers==.. 02. LLM의 중추, 트랜스포머 아키텍처 살펴보기 목차2.1 트랜스포머 아키텍처란2.2 텍스트를 임베딩으로 변환하기2.3 어텐션 이해하기2.4 정규화와 피드 포워드 층2.5 인코더2.6 디코더2.7 BERT, GPT, T5 등 트랜스포머를 활용한 아키텍처2.8 주요 사전 학습 매커니즘2.9 정리 2.1 트랜스포머 아키텍처란[RNN]𝒙: 텍스트 토큰- 모든 자연어 처리 연산의 기본 단위이고, 보통 단어보다 짧은 텍스트 단위이다(2.2절 참조).- 지금은 단어와 같은 의미라고 생각하자. h: 입력 토큰을 RNN 모델에 입력했을 때의 출력- 입력을 병렬적으로 처리하지 못하는 구조- 학습 속도가 느리고, 입력이 길어지면 먼저 입력한 토큰의 정보가 희석되면서 성능이 떨어진다는 문제.- 성능을 높이기 위해 층을 깊이 쌓으면 그레이디언트 소실(gradient va.. 01 LLM 지도 멀티모달AI 모델이 텍스트뿐만 아니라 이미지, 음성, 동영상 등 다양한 형식의 데이터를 처리하는 것에이전트AI 모델이 장기 기억을 가지고 인터넷 검색, 코드 실행 등 다양한 도구를 활용해 사용자의 문제를 해결하는 더 발전된 시스템온디바이스AIAI 모델이 클라우드나 고성능의 서버에서 실행되는 것이 아니라 사용자의 장비에서 직접 실행되는 것 1.1 딥러닝과 언어 모델링LLM은 기술적으로는 딥러닝에 기반을 두고 있다.더보기딥러닝이란 인간의 두뇌에 영감을 받아 만들어진 신경망으로서, 데이터의 패턴을 학습하는 머신러닝의 한 분야다.딥러닝은 표 형태의 정형 데이터뿐만 아니라 텍스트와 이미지 같은 비정형 데이터에서도 뛰어난 패턴 인식 성능을 보여 2010년대 중반 이후 AI 분야의 주류 모델로 자리잡았다.LLM은 사.. 이전 1 다음
