AI chatovací asistent
Chatové rozhraní nad LLM API se streamovanými odpověďmi a historií konverzace.
Co dělá
Chatové rozhraní pro komunikaci s LLM: historie zpráv, streamované odpovědi, které se vykreslují token po tokenu místo čekání na celou odpověď, a uložené konverzace, takže se dá k rozhovoru vrátit později místo začínání z prázdné obrazovky pokaždé znovu.
Jak je postavený
Frontend v Next.js, API route v Node.js přeposílá požadavky poskytovateli modelu a odpověď předává jako proud místo bufferování na serveru — prohlížeč začne vykreslovat text hned, jak dorazí první tokeny. Historie konverzace se ukládá do PostgreSQL podle relace, takže obnovení stránky vlákno neztratí. Streamovací endpoint je tenký wrapper: při neúspěšné generaci ji automaticky neopakuje, protože tiše nahradit část odpovědi LLM je horší než ukázat chybu.