AnythingLLM — open-source приложение для чата с LLM, работы с собственными документами (RAG) и агентов с инструментами. Есть Desktop-версия для Windows, macOS и Linux и self-hosted Docker-образ mintplexlabs/anythingllm. Встроенные провайдеры OpenAI и Anthropic в AnythingLLM не позволяют сменить адрес API, поэтому ProxyAPI подключается через провайдер Generic OpenAI — через него доступны модели всех вендоров каталога. В Desktop-версии и в Docker настройки одинаковые.

В Settings → AI Providers → LLM в поле LLM Provider выбирается Generic OpenAI:

ПолеЗначение
Base URLhttps://api.proxyapi.ru/v1
API Keyключ ProxyAPI из консоли
Selected ModelID модели, например anthropic/claude-sonnet-5-5
Model context windowразмер контекста модели, например 200000
Max Tokensмаксимальная длина ответа, например 4096

anythingllm-llm.png

После ввода адреса и ключа список Selected Model подгружается из ProxyAPI. Примеры идентификаторов:

  • anthropic/claude-sonnet-5-5
  • openai/gpt-6.2-sol
  • deepseek/deepseek-v4.1-flash
  • google/gemini-3.8-flash

Для отдельного рабочего пространства модель меняется в его настройках, на вкладке Chat Settings.

По умолчанию документы индексируются встроенной локальной моделью. Чтобы эмбеддинги тоже шли через ProxyAPI, в Settings → AI Providers → Embedder в поле Embedding Provider выбирается Generic OpenAI:

ПолеЗначение
Base URLhttps://api.proxyapi.ru/v1
Embedding Modelopenai/text-embedding-3-small
Max embedding chunk length8192
API Keyключ ProxyAPI

anythingllm-embedder.png

Эмбеддер лучше выбрать до загрузки документов: после смены модели уже загруженные документы нужно встроить заново.

Документы загружаются в рабочее пространство через Upload a Document, после Save and Embed модель отвечает по ним и показывает источники в блоке Sources.

Агент запускается сообщением, которое начинается с @agent. Он работает через тот же провайдер Generic OpenAI и вызывает инструменты (поиск по документам, чтение веб-страниц и другие) через tool calling. Модель агента задаётся в настройках рабочего пространства, на вкладке Agent Configuration.

anythingllm-agent.png

Частые вопросы

Почему не подходят провайдеры OpenAI и Anthropic?

В AnythingLLM у них нет поля для своего адреса API. ProxyAPI подключается через Generic OpenAI с Base URL https://api.proxyapi.ru/v1, и через него доступны модели всех вендоров.

В каком формате указывать модель?

С вендором: anthropic/claude-sonnet-5-5, openai/gpt-6.2-sol, deepseek/deepseek-v4.1-flash. Без вендора работают только модели OpenAI.

Почему в Docker после пересоздания контейнера пропали настройки?

AnythingLLM хранит ключи и выбор провайдеров в файле .env внутри контейнера. Его нужно смонтировать вместе с папкой storage, как в команде запуска из документации AnythingLLM.

Нужен ли VPN?

Нет. Запросы идут на api.proxyapi.ru, отдельный VPN не нужен.

Последняя редакция: 20 ноября 2026 г.