내 컴퓨터에 달린 GPU로 LLM 모델 돌릴 수 있을지 계산해보는 사이트

https://huggingface.co/spaces/Vokturz/can-it-run-llm

Can You Run It? LLM version - a Hugging Face Space by Vokturz

huggingface의 can it run llm 사이트에서 내 컴퓨터에 달린 GPU로 LLM 모델을 돌릴 수 있을 지 계산이 가능하다.

게임용으로 산 NVIDIA GeForce RTX 4060으로는 NousResearch/Meta-Llama-3-8B-Instruct 라는 llama3 8b 모델을 돌릴 수 있는지 확인해봤다

NVIDIA GeForce RTX 4060 llama3 70B

70B는 어림도 없어서 8B로 바꿔봄

NVIDIA GeForce RTX 4060 llama3 8b

full training 은 어려워도 inference와 fine-tuning은 가능하다고 함

돌리지 못하는 경우, 같은 종류의 GPU가 몇 장 있어야 돌릴 수 있는지 나옴

회사 컴퓨터에 P5000 달려있던 게 생각나서 이것도 찾아봄

p5000 llama3 70B 8B

P5000도 70B는 어렵고 8B는 full training 까지 가능하다고 함