Чтобы запустить приложение, вам нужно:
-
Создать файл
.envв корне приложения. Все необходимые для работы приложения переменные окружения указаны вenv.example. При необходимости, вы можете создать свои переменные окружения. -
В папке
tgiприведён пример запуска LLM на базе Text Generation Inference (TGI) с использованием GPU. Вы можете запустить LLM отдельным контейнером, используя инструкцию в папкеtgiлибо добавить запуск LLM-модели вdocker-compose.yamlосновного приложения: пример конфигурации можно посмотреть в файлеdocker-compose_with_llm.yaml -
Запустите приложение из корня проекта:
docker compose up --build
-
Для корректной остановки приложения выполните:
docker compose down