1. 로컬 AI가 뭔가, 왜 쓰는가
ChatGPT나 Claude를 쓸 때마다 드는 생각이 있다. "내가 입력한 데이터가 어디로 가는 거지?" 그리고 매달 빠져나가는 구독료. 로컬 AI는 이 두 가지 문제를 한 번에 해결한다. AI 모델을 내 컴퓨터에 통째로 내려받아서, 인터넷 연결 없이 내 하드웨어로 돌리는 방식이다.
클라우드 AI vs 로컬 AI
| 비교 항목 | 클라우드 AI (ChatGPT, Claude 등) | 로컬 AI (Ollama) |
|---|---|---|
| 비용 | 월 $20~$200+ | 완전 무료 (전기세만) |
| 개인정보 | 서버에 데이터 전송됨 | 내 기기 안에서만 처리 |
| 인터넷 연결 | 필수 | 불필요 |
| 사용량 제한 | 요금제에 따라 제한 | 무제한 |
| 성능 (최상위) | GPT-4o, Claude Opus — 압도적 | GPT-3.5~4o mini 수준 |
| 설정 난이도 | 바로 사용 가능 | 설치 필요 (30분 이내) |
| 응답 속도 | 빠름 (GPU 서버 사용) | 내 하드웨어 성능에 의존 |
로컬 AI의 3가지 핵심 장점
한 번 모델을 받으면 끝이다. 매달 구독료가 없다. 질문 1,000개를 해도, 하루 종일 돌려도 추가 비용이 없다. 단, 모델 파일 자체가 4GB~70GB에 달하기 때문에 저장공간과 다운로드 시간은 필요하다.
회사 내부 문서, 계약서, 의료 기록, 소스 코드 — 클라우드 AI에 넣기 꺼려지는 모든 것을 로컬 AI에서는 자유롭게 처리할 수 있다. 네트워크 패킷 캡처로 확인해도, 로컬 AI를 쓰는 동안 AI 관련 외부 트래픽은 전혀 없다.
비행기 안에서, 인터넷이 없는 현장에서, 서버 장애 상황에서도 그냥 쓴다. 한 번 내려받은 모델은 인터넷 없이 영구적으로 사용 가능하다.
단점도 솔직하게
2026년 현재 최고 로컬 모델(70B 수준)이 GPT-4o와 비슷하거나 일부 작업에서 추월하는 경우도 있지만, 일반적인 4~8GB VRAM 환경에서 돌리는 7B 모델은 GPT-4o mini 수준이다. 복잡한 추론, 고급 창의적 글쓰기에서는 클라우드 최상위 모델이 여전히 낫다.
로컬 AI가 맞는 사람
- 회사 내부 데이터를 AI로 처리하고 싶은데 보안이 걱정되는 사람
- 매달 AI 구독료가 부담스러운 사람
- 개발자 또는 연구자 — API 호출 비용 없이 실험하고 싶은 사람
- 오프라인 환경에서 AI가 필요한 사람 (현장 기술자, 여행자 등)
- AI에 입력하는 내용이 외부로 나가는 게 싫은 사람
2. Ollama 설치 가이드 (Windows/Mac/Linux)
Ollama는 로컬 AI 실행 도구 중 압도적으로 쉽다. 경쟁 도구인 LM Studio도 있지만, Ollama는 터미널 한 줄로 모델을 받고 실행할 수 있어 개발자와 비개발자 모두에게 추천한다. 설치 시간은 10분이면 충분하다.
ollama.com에서 다운로드
ollama.com에 접속하면 운영체제를 자동 감지해 맞는 버전을 보여준다. Windows, macOS(Intel/Apple Silicon 모두 지원), Linux 전부 지원한다. 파일 크기는 설치 파일 자체가 100MB 미만이다. 모델은 나중에 따로 받는다.
설치 후 첫 모델 실행
설치가 끝나면 터미널(Windows는 PowerShell 또는 CMD, Mac은 터미널 앱)을 열고 다음 명령어를 입력한다. ollama run llama3.2 — 엔터를 누르면 자동으로 모델을 다운로드하고 바로 대화를 시작할 수 있다. 처음 실행 시 모델 파일 다운로드에 따라 수 분이 걸린다 (Llama 3.2 3B 기준 약 2GB).
API 서버 자동 실행 확인
Ollama는 설치와 동시에 로컬 API 서버를 localhost:11434에서 자동으로 실행한다. 브라우저에서 http://localhost:11434에 접속하면 Ollama is running 메시지가 뜨면 정상이다. 이 API 서버를 통해 Open WebUI나 커스텀 앱에서 로컬 AI를 사용할 수 있다.
유용한 기본 명령어
모델 목록 확인: ollama list / 모델 삭제: ollama rm 모델명 / 다운로드만 하기: ollama pull 모델명 / 실행 중인 모델 확인: ollama ps
pulling manifest...
pulling 966de95ca8a6... 100% ████████████████ 2.0 GB
verifying sha256 digest
writing manifest
>>> 안녕하세요! 오늘 도와드릴 일이 있나요?
안녕하세요! 저는 로컬에서 실행되는 Llama 3.2입니다.
인터넷 없이, 비용 없이 대화할 수 있습니다. 무엇이 궁금하신가요?
>>> _
3. 2026년 추천 로컬 모델 TOP 5
2026년 현재 Ollama 라이브러리에는 수백 개의 모델이 있다. 쓸모없는 것까지 고를 필요 없다. 실제로 돌려보고 실용성을 검증한 5가지만 추린다. 각 모델의 명령어, 필요 VRAM, 강점을 함께 정리했다.
7B 모델은 보통 4~5GB, 14B는 8~10GB, 70B는 40GB+ 디스크를 차지한다. SSD에 설치하면 모델 로딩 속도가 훨씬 빠르다. ollama list로 설치된 모델 목록과 크기를 확인할 수 있다.
4. 내 PC 사양으로 어떤 모델 돌릴 수 있나?
가장 많이 받는 질문이다. "내 PC로 뭘 돌릴 수 있어요?" 결론부터 말하면, GPU VRAM이 핵심 지표다. VRAM이 모자라면 CPU로 넘어가서 돌리는데, 속도가 10배 이상 느려진다. CPU 실행은 "가능은 하지만 실용적이지 않은" 수준이다.
| GPU VRAM | 추천 모델 | 성능 수준 | 속도 (토큰/초) |
|---|---|---|---|
| 4GB | Llama 3.2 3B, Mistral 7B (Q4) | GPT-3.5 수준 | 15~30 tok/s |
| 8GB | DeepSeek R1 7B, Qwen 2.5 7B, Llama 3.2 11B | GPT-4o mini 수준 | 20~50 tok/s |
| 12GB | Qwen 2.5 14B, Gemma 3 12B | GPT-4o mini~4o 사이 | 25~55 tok/s |
| 16GB | DeepSeek R1 14B, Qwen 2.5 14B | GPT-4o 수준 (코딩·수학) | 30~60 tok/s |
| 24GB+ | Llama 3.3 70B, Qwen 2.5 32B | GPT-4o 동급 이상 | 40~80 tok/s |
| CPU만 | Llama 3.2 1B~3B, Gemma 3 1B | 기본 대화 가능 (느림) | 2~8 tok/s |
GPU 브랜드별 지원 현황
- NVIDIA (CUDA): 가장 잘 지원된다. RTX 3060 이상이면 실용적인 로컬 AI 경험이 가능하다.
- AMD (ROCm): 2026년에는 지원이 크게 개선되었다. RX 7800 XT 이상 추천. 일부 모델에서 CUDA 대비 10~20% 성능 차이.
- Apple Silicon (Metal): M2 이상은 통합 메모리(Unified Memory)를 VRAM처럼 사용하므로 M2 Pro(16GB)면 14B 모델을 쾌적하게 돌린다. Mac에서의 로컬 AI 경험은 생각보다 훨씬 좋다.
- 인텔 내장 그래픽: 모델 실행은 되지만 속도가 너무 느려 실용적이지 않다.
모델 이름에 붙는 Q4, Q8 같은 표기가 양자화 수준을 의미한다. Q4는 모델 크기를 줄인 것으로 메모리 사용량이 작지만 품질이 약간 낮고, Q8은 원본에 가깝다. Ollama에서 기본으로 내려받는 버전은 Q4_K_M 수준으로, 크기 대비 품질이 잘 균형 잡혀 있다. 대부분 기본값을 그냥 쓰면 된다.
5. Open WebUI로 ChatGPT처럼 쓰기
터미널에서 명령어로 AI와 대화하는 건 개발자한테나 재미있는 일이다. 일반적인 사용에는 ChatGPT와 똑같은 인터페이스가 필요하다. Open WebUI가 그 해답이다. 브라우저에서 깔끔한 채팅 인터페이스로 Ollama의 모든 모델을 사용할 수 있게 해준다.
Open WebUI 설치 (Docker 방식)
Docker가 설치되어 있다면 명령어 한 줄이면 끝이다. Docker가 없다면 docker.com에서 먼저 설치한다. 설치 시간 5분.
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:main
설치 후 브라우저에서 http://localhost:3000에 접속하면 계정 생성 화면이 나온다. 처음 생성하는 계정이 관리자 계정이 된다. 로그인 후 Ollama에 설치된 모든 모델이 드롭다운에서 자동으로 나타난다.
Open WebUI에서 할 수 있는 것들
- 파일 업로드 및 분석: PDF, 워드, 텍스트 파일을 업로드하고 내용에 대해 질문할 수 있다. 회사 문서를 클라우드에 올리지 않고 분석하는 완벽한 방법.
- 대화 기록 저장: ChatGPT처럼 왼쪽 사이드바에 대화 목록이 저장된다. 검색도 된다.
- 멀티 모델 전환: 같은 대화에서 Llama로 물어보고, 다음 질문은 DeepSeek으로 전환해서 비교할 수 있다.
- RAG (문서 기반 AI): 내 문서를 벡터 DB에 저장해두고 "이 문서들을 참고해서 답해줘" 방식의 검색 강화 생성이 가능하다.
- 시스템 프롬프트 설정: "너는 항상 한국어로 답해야 해", "너는 코드를 출력할 때 항상 주석을 달아야 해" 같은 규칙을 영구 저장.
- 이미지 분석: LLaVA 같은 멀티모달 모델과 연동하면 이미지를 업로드해서 질문할 수 있다.
Python이 설치되어 있다면 pip install open-webui로도 설치할 수 있다. 이후 open-webui serve 명령어로 실행. Docker보다 설정이 간단할 수 있다. Windows 사용자에게 추천하는 방법이다.
6. 실전 활용법
로컬 AI를 어떻게 쓸지 막연하다면, 실제로 가장 효과가 큰 시나리오 4가지를 정리했다. 각각 왜 클라우드 AI보다 로컬이 나은지 이유도 함께.
활용 1 — 회사 내부 문서 분석 (보안 필수)
계약서, 내부 정책 문서, 재무 자료, 고객 데이터 — 이런 파일을 ChatGPT에 올리는 순간 외부 서버로 전송된다. 보안 정책상 금지된 회사도 많고, 금지는 아니더라도 찜찜하다. 로컬 AI에서는 파일이 내 컴퓨터 밖을 나가지 않는다. Open WebUI에 PDF를 올려두고 "이 계약서에서 위약금 조항을 모두 찾아줘" 같은 질문을 마음 놓고 할 수 있다.
활용 2 — 코드 자동완성 (Continue 플러그인 + VS Code)
GitHub Copilot은 월 $10을 내야 하고, 코드가 외부로 전송된다. Continue(continuedev.org) 플러그인을 VS Code에 설치하고, Ollama와 연동하면 로컬 AI 기반 코드 자동완성을 무료로 쓸 수 있다. DeepSeek R1 7B를 백엔드로 설정하면 일반 코딩 작업에서 Copilot과 체감 차이가 거의 없다. 독점 코드를 다루는 회사 프로젝트에서 특히 유용하다.
활용 3 — 개인 AI 어시스턴트 구축
Open WebUI의 시스템 프롬프트 기능으로 나만의 페르소나를 설정할 수 있다. "너는 내 글을 항상 교열해주는 편집자야. 맞춤법은 물론 문장 흐름도 지적해줘." 또는 "너는 내 주식 일지를 정리해주는 도구야. 내가 입력한 매매 기록을 표로 정리하고 수익률을 계산해줘." — 이런 개인화된 어시스턴트를 클라우드 AI에서도 만들 수 있지만, 로컬에서는 민감한 개인 데이터를 걱정 없이 넣을 수 있다.
활용 4 — 오프라인 환경에서 AI 사용
인터넷이 없는 공장 현장, 비행기 안, 산속 캠핑 — 한 번 모델을 내려받으면 완전 오프라인 환경에서 그대로 쓴다. Ollama가 실행 중이면 인터넷 연결 없이도 localhost:11434 API와 Open WebUI가 정상 작동한다. 노트북에 모델 하나 받아두면 어디서든 AI를 쓸 수 있다.
7. 로컬 AI API로 앱 만들기
Ollama는 REST API와 공식 Python/JavaScript 라이브러리를 제공한다. OpenAI API와 호환되는 엔드포인트도 있어서, 기존에 ChatGPT API로 만든 코드를 Ollama로 바꾸는 것도 간단하다.
Python으로 Ollama 사용하기
import ollama
response = ollama.chat(
model='llama3.2',
messages=[{'role': 'user', 'content': '안녕하세요!'}]
)
print(response['message']['content'])
스트리밍으로 실시간 출력하기
# 응답을 실시간으로 출력 (ChatGPT처럼 타이핑 효과)
stream = ollama.chat(
model='deepseek-r1:7b',
messages=[{'role': 'user', 'content': '파이썬으로 피보나치 수열 코드 짜줘'}],
stream=True
)
for chunk in stream:
print(chunk['message']['content'], end='', flush=True)
OpenAI 호환 API (기존 코드 마이그레이션)
# base_url만 바꾸면 기존 OpenAI 코드가 그대로 작동
client = OpenAI(
base_url='http://localhost:11434/v1',
api_key='ollama' # 아무 값이나 넣어도 됨
)
response = client.chat.completions.create(
model='qwen2.5:7b',
messages=[{'role': 'user', 'content': '한국어로 설명해줘'}]
)
print(response.choices[0].message.content)
실전 활용 — 문서 요약 자동화 스크립트
import os
def summarize_file(filepath: str) -> str:
"""텍스트 파일을 읽어 로컬 AI로 요약"""
with open(filepath, 'r', encoding='utf-8') as f:
content = f.read()
response = ollama.chat(
model='qwen2.5:7b',
messages=[{
'role': 'user',
'content': f'다음 문서를 5줄로 요약해줘:\n\n{content}'
}]
)
return response['message']['content']
# 사용 예시
summary = summarize_file('회의록.txt')
print(summary)
Ollama API를 쓰면 회사 슬랙 봇, 내부 문서 검색 시스템, 자동 이메일 분류기, 코드 리뷰 자동화 등을 OpenAI API 비용 없이 구축할 수 있다. 특히 내부 데이터를 다루는 기업 도구에서 클라우드 AI보다 로컬이 압도적으로 유리하다.