4월 7일 발표한 transformer 관련 내용을 녹화하여 lilys ai(영상 자동요약 ai)로 요약한 내용입니다.오탈자나 오류로 잘못 요약된 부분이 있을 수 있습니다.

강화학습(Reinforcement Learning)은 기계학습의 한 분야로, 에이전트(Agent)가 환경(Environment)과 상호작용하면서 시행착오를 통해 최적의 행동 전략을 학습하는 방법이다. supervised learning처럼 정답 레이블에 의존하지 않고, 에이전트가 보상(Reward)을 최대화하는 방향으로 스스로 학습한다는 점이 특징이다. 이번 글에서는 강화학습의 기본 개념들을 정리하고, 정책 경사 방법의 일종인 REINFORCE 알고리즘을 정리한다.강화학습의 Key componentsAgent는 시점 $t$에서 관측 $O_t$을 받아 행동 $A_t$를 취하고, 환경은 다음 시점 $t+1$의 관측 $O_{t+1}$과 보상 $R_{t|t+1}$을 반환한다. 에이전트 내부의 정책(policy)..

최근 발표된 DeepSeek-R1을 로컬 환경에서 실행한다면, Open WebUI 기반의 웹 인터페이스를 사용하면 더욱 편리하게 활용 가능하다. 이 글에서는 Ubuntu에서 Docker를 활용하여 Open WebUI를 설치하고, DeepSeek-R1 모델을 실행하는 방법을 정리한다. 들어가기 앞서,DeepSeek-R1은 크게 두 가지 버전으로 제공된다.원본 모델(DeepSeek-R1 671B): 671B(6,710억) 개의 파라미터를 가진 대형 모델로, 실행하려면 최소 400GB 이상의 VRAM이 필요하며, 현실적으로 로컬 환경에서 실행하는 것은 어렵다.Distilled Models: 원본 모델의 학습된 추론 능력을 비교적으로 파라미터가 적은 Qwen, Llama 모델에 전이시켜 성능을 최적화한 버전이다..

딥러닝 모델을 학습할 때 가장 현실적인 문제는 vram 부족이다. 필요한 vram이 물리적인 크기를 초과할 경우 OOM 오류가 뜨거나 블루스크린(MEMORY MANAGEMENT ERROR)가 뜨기도 한다. 이런 상황에서, vram 사용량에 크게 영향을 주는 배치사이즈를 직접적으로 늘리지 않더라도 메모리 사용량을 최적화하여 모델을 학습하는 방법에 대해 공부하고 정리한다. 문제인식현재 오픈소스 LLM을 LoRA 파인튜닝 하여 수능과 같은 수리논술문제 풀이에 최적화된 모델을 만드는 프로젝트를 진행하고 있다. 프로젝트와 데이터에 따라 크게 차이가 나지만 현재 진행중인 프로젝트에서 RTX 3090으로 파라미터 7~8B의 모델을 돌리면 vram 24GB 이상을 요구한다. 4비트로 양자화 하여 모델을 학습시켜도 파라..

팀 기능과 함께 모델 버전 관리, 협업 및 배포 지원을 제공해 팀 단위로 머신러닝 모델을 관리하는 데 유용한 Hugging Face 사용법을 정리한다.Organization 생성Organization을 만들면, 여러 팀원이 하나의 허깅페이스 계정에서 협업할 수 있게 된다. 팀 단위로 모델과 데이터셋을 관리하여, 모든 멤버가 동일한 리소스에 접근하고 업데이트할 수 있고, 각 멤버에게 관리자, 편집자, 읽기 전용 등의 권한을 부여할 수 있어, 팀 내에서 역할에 맞게 접근 권한을 설정할 수 있다. 그러기 위해서1. 허깅페이스에 로그인한 후, 프로필 메뉴에서 "Create an Organization"을 선택2. Organization 이름과 설명을 입력하고 생성- 이때 Organization Username ..

자연어 처리의 이해자연어처리는 다양한 Task로 나뉘어질 수 있다.이러한 Task에 따라 어떤 형태의 모델을 사용할지도 달라진다.입출력 패턴에 따라 Task를 분류하여 봄으로써, 자연어처리 Task와 모델별 입출력패턴 특징을 알아본다.모델의 종류1. Encoder Only Model입력 토큰 벡터를 Encoder Block이 학습하여 고정된 크기의 출력 토큰 벡터를 생성하는 모델이다.대표 모델로는 BERT, RoBERTa, ALBERT와 같은 BERT계열 모델이 있다.고정크기의 출력을 생성하므로, N21형태와 N2N형태의 입출력 패턴 Task에 적합하다. 2. Encoder-Decoder Model입력 토큰 벡터 를 인코딩한 후, 그 인코딩된 정보를 바탕으로 디코더가 출력 토큰 벡터를 생성하는 구조이다...

RNN 계열의 논문1. RNN : Recurrent neural network based language model (2010) 2. LSTM : Long Short Term Memory Recurrent Neural Network Architectures for Large Scale Acoustic Modeling (2014)cell state 도입으로 vanilla RNN의 기울기 소실등의 문제 해결 시도 3. GRU :  Learning Phrase Representation using RNN Encoder-Decoder for Stistical Machine Translation (2014)LSTM에 비해 계산량을 줄이고 간소화 시킴 4. Seq2Seq : Sequence to Sequence L..

torch.matmultorch.matmul은 가장 일반적인 행렬 곱셈 함수이다.다양한 차원의 텐서 간 곱셈을 지원한다.브로드캐스팅으로 인해 의도치 않은 결과가 나올 수 있다. 입력 텐서의 차원에 따라 다르게 동작한다.1D x 1D: 내적(dot product)2D x 2D: 일반적인 행렬 곱셈1D x 2D 또는 2D x 1D: 벡터-행렬 곱셈ND x ND (N > 2): 배치 행렬 곱셈import torch# 2D x 2Da = torch.randn(3, 4)b = torch.randn(4, 2)c = torch.matmul(a, b)print("2D x 2D:")print("a shape:", a.shape) # torch.Size([3, 4])print("b shape:", b.shape) # ..

A. Understanding Data Characteristics데이터 분석을 시작하기전, 다루고 있는 데이터를 철저히 이해해야 한다. 다루는 데이터에 대한 철저한 이해는 분석 방법을 선택하고 적용하는 것의 기반이 된다. 고려해야할 특성들은 아래와 같다.데이터 타입 : 데이터의 타입이 이산적인지, 비율인지, 명목형 등등 중에서 어떤 것인지 아는것은 올바른 분석법을 선택하는 데에 핵심이다.데이터의 분산 : 분산의 범위와 모양은 어떤 분석이 적절한지 선택하는 데에 큰 영향을 미친다.변수들간의 관계 : 변수들간의 상관관계 역시 올바른 분석법을 선택하는데 가이드의 역할을 한다.B. Data Types데이터의 타입은 크게 Univariate Data(단변량 데이터)와 Multivariate Data(다변량 데이..