AI чат-ассистент
Чат-интерфейс поверх LLM API со стримингом ответов и историей переписки.
Что делает
Чат-интерфейс для общения с LLM: история сообщений, потоковые ответы, которые отображаются токен за токеном вместо ожидания полного ответа, и сохранённые беседы, чтобы возвращаться к разговору позже, а не начинать каждый раз с пустого экрана.
Как устроен
Фронтенд на Next.js, API-роут на Node.js проксирует запросы к провайдеру модели и передаёт ответ потоком, а не буферизует его на сервере — браузер начинает отображать текст сразу, как только приходят первые токены. История переписки хранится в PostgreSQL с привязкой к сессии, так что перезагрузка страницы не теряет диалог. Потоковый эндпоинт — тонкая обёртка: он не повторяет запрос автоматически при неудачной генерации, потому что незаметно подменить часть ответа LLM хуже, чем показать ошибку.