Перейти до вмісту
Обрати мову:Українська

Локальний ШІ з Ollama

Функції ШІ Kept (заповнення даних з фотографій та квитків, помічник, семантичний пошук) працюють з тим провайдером, який власник розташування підключає в Налаштування → ШІ. Ollama запускає модель на вашому власному обладнанні, тому нічого не виходить за його межі; Kept зв’язується з нею як Сумісний із OpenAI.

  1. Ollama йде з compose.full.yaml, а не з compose.yaml: завантажте його і задайте COMPOSE_FILE=compose.full.yaml у .env (Caddy та Ollama). Запустіть Kept з профілю ollama, а потім завантажте модель у нього власною командою Ollama:

    Terminal window
    docker compose --profile ollama up -d
    docker compose exec ollama ollama pull <model>

    Моделі знаходяться у томі ollama. Нічого не опубліковано на хості: лише Kept у мережі Compose досягає Ollama. Образ становить близько 3,8 ГБ (amd64) або 2,8 ГБ (arm64) до будь-якої моделі.

  2. Дозволити приватні адреси. http://ollama:11434 знаходиться на власній мережі Compose, приватній адресі, і Kept за замовчуванням блокує приватні адреси (вихідні запити). Адміністратор екземпляра спочатку увімкнює Адміністрування → Налаштування → Дозволити приватні адреси; без цього при додаванні провайдера з’являється “That address is on a private network”. Те саме стосується Ollama (або LM Studio) в іншому місці вашої домашньої мережі.

  3. У Налаштування → ШІ додайте провайдера Сумісний із OpenAI з базовою URL http://ollama:11434/v1 і моделлю, яку ви завантажили. Ollama ігнорує ключ API, тому підійде будь-яке значення.