huggingface1 내 컴퓨터에 달린 GPU로 LLM 모델 돌릴 수 있을지 계산해보는 사이트 https://huggingface.co/spaces/Vokturz/can-it-run-llm Can You Run It? LLM version - a Hugging Face Space by Vokturz huggingface.cohuggingface의 can it run llm 사이트에서 내 컴퓨터에 달린 GPU로 LLM 모델을 돌릴 수 있을 지 계산이 가능하다.게임용으로 산 NVIDIA GeForce RTX 4060으로는 NousResearch/Meta-Llama-3-8B-Instruct 라는 llama3 8b 모델을 돌릴 수 있는지 확인해봤다70B는 어림도 없어서 8B로 바꿔봄full training 은 어려워도 inference와 fine-tuning은 가능하다고 함돌리지 못하는 경우, 같은 종류.. 2025. 1. 22. 이전 1 다음
