AnythingLLM — open-source приложение для чата с LLM, работы с собственными документами (RAG) и агентов с инструментами. Есть Desktop-версия для Windows, macOS и Linux и self-hosted Docker-образ mintplexlabs/anythingllm. Встроенные провайдеры OpenAI и Anthropic в AnythingLLM не позволяют сменить адрес API, поэтому ProxyAPI подключается через провайдер Generic OpenAI — через него доступны модели всех вендоров каталога. В Desktop-версии и в Docker настройки одинаковые.
В Settings → AI Providers → LLM в поле LLM Provider выбирается Generic OpenAI:
| Поле | Значение |
|---|---|
| Base URL | https://api.proxyapi.ru/v1 |
| API Key | ключ ProxyAPI из консоли |
| Selected Model | ID модели, например anthropic/claude-sonnet-5-5 |
| Model context window | размер контекста модели, например 200000 |
| Max Tokens | максимальная длина ответа, например 4096 |

После ввода адреса и ключа список Selected Model подгружается из ProxyAPI. Примеры идентификаторов:
anthropic/claude-sonnet-5-5openai/gpt-6.2-soldeepseek/deepseek-v4.1-flashgoogle/gemini-3.8-flash
Для отдельного рабочего пространства модель меняется в его настройках, на вкладке Chat Settings.
По умолчанию документы индексируются встроенной локальной моделью. Чтобы эмбеддинги тоже шли через ProxyAPI, в Settings → AI Providers → Embedder в поле Embedding Provider выбирается Generic OpenAI:
| Поле | Значение |
|---|---|
| Base URL | https://api.proxyapi.ru/v1 |
| Embedding Model | openai/text-embedding-3-small |
| Max embedding chunk length | 8192 |
| API Key | ключ ProxyAPI |

Эмбеддер лучше выбрать до загрузки документов: после смены модели уже загруженные документы нужно встроить заново.
Документы загружаются в рабочее пространство через Upload a Document, после Save and Embed модель отвечает по ним и показывает источники в блоке Sources.
Агент запускается сообщением, которое начинается с @agent. Он работает через тот же провайдер Generic OpenAI и вызывает инструменты (поиск по документам, чтение веб-страниц и другие) через tool calling. Модель агента задаётся в настройках рабочего пространства, на вкладке Agent Configuration.

Частые вопросы
Почему не подходят провайдеры OpenAI и Anthropic?
В AnythingLLM у них нет поля для своего адреса API. ProxyAPI подключается через Generic OpenAI с Base URL https://api.proxyapi.ru/v1, и через него доступны модели всех вендоров.
В каком формате указывать модель?
С вендором: anthropic/claude-sonnet-5-5, openai/gpt-6.2-sol, deepseek/deepseek-v4.1-flash. Без вендора работают только модели OpenAI.
Почему в Docker после пересоздания контейнера пропали настройки?
AnythingLLM хранит ключи и выбор провайдеров в файле .env внутри контейнера. Его нужно смонтировать вместе с папкой storage, как в команде запуска из документации AnythingLLM.
Нужен ли VPN?
Нет. Запросы идут на api.proxyapi.ru, отдельный VPN не нужен.
Последняя редакция: 20 ноября 2026 г.