questionet

두 가지 방향을 놓고 고민하고 있었습니다. Single Machine(Single Device) 에서 LLM을 학습시키고 추론해낼 수 있는 PEFT(Parameter Efficient Fine-Tuning) 기법 내지 경량화 기법들을 파고들까 e.g. LoRA, QLoRA, Accelerate Multi Machine(Multiple GPUs)에서 데이터와 모델을 분산(Distributed), 병렬(Parallel) 학습시키는 기법들을 파고들까 e.g. DDP, FairScale, DeepSpeed 이런 류의 고민은 대개 그렇듯 둘다 해야지로 귀결되는 것 같습니다. 이름이 예쁜 LoRA 부터 시작해보겠습니다. 일단 Medium 에서 LoRA 관련 글들을 싹다 긁어 모아 읽어보는 걸로 출발해볼까 합니다. ..