Ollama

개요

Ollama는 로컬 환경에서 LLM 모델을 손쉽게 관리하고 실행할 수 있게 해주는 오픈소스 프로젝트.
적당한 하드웨어만 있으면, 공개된 다양한 LLM을 실행해볼 수 있다.

• Windows, macOS, Linux에 간편하게 설치 가능
• 다양한 LLM 모델 지원
• OpenWebUI , CodeGPT 등 다른 제품의 backend LLM 서비스로 연동 가능

CLI 사용법

여러 LLM 모델 중 llama3.2라는 모델을 다운로드하는 예:

❯ ollama pull llama3.2
pulling manifest
pulling dde5aa3fc5ff... 100%
.....
verifying sha256 digest
writing manifest
success

llama3.2를 실행한 예:

❯ ollama run llama3.2
>>> hi llama
Hi there! It's nice to meet you. I hope you're having a great day! Is there anything I can help you with, or would you like to chat for a bit?

>>> Send a message (/? for help)

Model update

ollama list | tail -n +2 | awk '{print $1}' | while read -r name; do
    echo "$name"
    ollama pull "$name"
    echo
done

또는 oneliner

ollama list | awk 'NR>1 {print $1}' | xargs -I {} sh -c 'echo {}; ollama pull {}'