최근글
-
Databricks Data Intelligence Day 2025 후기 1편 – MLflow × Unity Catalog로 구현한 중고나라의 자동화된 모델 서빙 환경
Databricks Data Intelligence Day 2025 후기 1편 – MLflow × Unity Catalog로 구현한 중고나라의 자동화된 모델 서빙 환경이 글은 Databricks Data Intelligence Day 발표 중‘중고나라의 더 간편하고 자동화된 모델 서빙 환경을 위한 MLOps 구축기 with Databricks’ 세션을 바탕으로 작성되었습니다.작성한 내용에 문제가 있을 경우 알려주시면 즉시 수정 또는 삭제하겠습니다.중고나라 ML팀이 어떻게 MLflow와 Unity Catalog를 활용해모델 서빙 환경을 자동화하고 효율성을 높였는지에 대한 실전 사례가 소개되었습니다.특히, 기존 AWS 기반 환경에서 Databricks 플랫폼으로의 전환 과정을 중심으로데이터 관리, 모델 실험..
2025.04.29
-
spark-operator 설치, prometheus 연동해서 metric 수집
spark-operator helm chart 설치# spark-operator helm repository 추가❯ helm repo add spark-operator https://kubeflow.github.io/spark-operator# spark-operator helm chart 설치❯ helm install spark-operator spark-operator/spark-operator \ --namespace spark-operator \ --create-namespace \ --set webhook.enable=true \ --set spark.jobNamespaces={spark-jobs}# 설치 확인❯ kubectl get all -n spark-operatorN..
2025.04.11
-
쿠버네티스 클러스터에 프로메테우스 설치
환경macOSminikube# 사용한 minikube 리소스❯ minikube config view- memory: 10GB- cpus: 4- disk-size: 60GB프로메테우스(Prometheus) 설치사전 작업: minikube, kubectl, helm 설치 (brew install)Prometheus Community Kubernetes Helm Charts 설치# helm repository 추가❯ helm repo add prometheus-community https://prometheus-community.github.io/helm-charts# helm chart 설치❯ helm install kube-prometheus-stack kube-prometheus-stack -f over..
2025.04.10
-
옵시디언으로 무료 디지털 가든 만들기
Obsidian으로 digital garden이라는 것을 만들어보았다. 디지털 가든은 블로그보다 정제되지 않은 조금 더 날것의 아이디어 모음이라고 한다. 간단한 메모나 노트 모음 정도는 많이들 가지고 있을 테니, 글쓰기가 부담스러운 사람들도 도전해 볼 만한 것 같다. Obsidian PublishObsidian Publish is the easiest way to publish your wiki, knowledge base, documentation, or digital garden.obsidian.mdObsidian의 publish 기능으로 digital garden을 만들 수 있다고 하지만 매달 8달러를 지출하고 싶지는 않다. 같은 생각을 하는 사람들이 만들어둔 플러그인과 가이드가 있어서 따라서 만..
2025.02.10
-
내 컴퓨터에 달린 GPU로 LLM 모델 돌릴 수 있을지 계산해보는 사이트
https://huggingface.co/spaces/Vokturz/can-it-run-llm Can You Run It? LLM version - a Hugging Face Space by Vokturz huggingface.cohuggingface의 can it run llm 사이트에서 내 컴퓨터에 달린 GPU로 LLM 모델을 돌릴 수 있을 지 계산이 가능하다.게임용으로 산 NVIDIA GeForce RTX 4060으로는 NousResearch/Meta-Llama-3-8B-Instruct 라는 llama3 8b 모델을 돌릴 수 있는지 확인해봤다70B는 어림도 없어서 8B로 바꿔봄full training 은 어려워도 inference와 fine-tuning은 가능하다고 함돌리지 못하는 경우, 같은 종류..
2025.01.22
