본문 바로가기

IT19

spark-operator 설치, prometheus 연동해서 metric 수집 spark-operator helm chart 설치# spark-operator helm repository 추가❯ helm repo add spark-operator https://kubeflow.github.io/spark-operator# spark-operator helm chart 설치❯ helm install spark-operator spark-operator/spark-operator \ --namespace spark-operator \ --create-namespace \ --set webhook.enable=true \ --set spark.jobNamespaces={spark-jobs}# 설치 확인❯ kubectl get all -n spark-operatorN.. 2025. 4. 11.
쿠버네티스 클러스터에 프로메테우스 설치 환경macOSminikube# 사용한 minikube 리소스❯ minikube config view- memory: 10GB- cpus: 4- disk-size: 60GB프로메테우스(Prometheus) 설치사전 작업: minikube, kubectl, helm 설치 (brew install)Prometheus Community Kubernetes Helm Charts 설치# helm repository 추가❯ helm repo add prometheus-community https://prometheus-community.github.io/helm-charts# helm chart 설치❯ helm install kube-prometheus-stack kube-prometheus-stack -f over.. 2025. 4. 10.
옵시디언으로 무료 디지털 가든 만들기 Obsidian으로 digital garden이라는 것을 만들어보았다. 디지털 가든은 블로그보다 정제되지 않은 조금 더 날것의 아이디어 모음이라고 한다. 간단한 메모나 노트 모음 정도는 많이들 가지고 있을 테니, 글쓰기가 부담스러운 사람들도 도전해 볼 만한 것 같다. Obsidian PublishObsidian Publish is the easiest way to publish your wiki, knowledge base, documentation, or digital garden.obsidian.mdObsidian의 publish 기능으로 digital garden을 만들 수 있다고 하지만 매달 8달러를 지출하고 싶지는 않다. 같은 생각을 하는 사람들이 만들어둔 플러그인과 가이드가 있어서 따라서 만.. 2025. 2. 10.
내 컴퓨터에 달린 GPU로 LLM 모델 돌릴 수 있을지 계산해보는 사이트 https://huggingface.co/spaces/Vokturz/can-it-run-llm Can You Run It? LLM version - a Hugging Face Space by Vokturz huggingface.cohuggingface의 can it run llm 사이트에서 내 컴퓨터에 달린 GPU로 LLM 모델을 돌릴 수 있을 지 계산이 가능하다.게임용으로 산 NVIDIA GeForce RTX 4060으로는 NousResearch/Meta-Llama-3-8B-Instruct 라는 llama3 8b 모델을 돌릴 수 있는지 확인해봤다70B는 어림도 없어서 8B로 바꿔봄full training 은 어려워도 inference와 fine-tuning은 가능하다고 함돌리지 못하는 경우, 같은 종류.. 2025. 1. 22.