nvidia tensorrt-llm

Usług związanych ze sztuczną inteligencją jest obecnie wiele, natomiast jednymi z popularniejszych są chatboty, które funkcjonują w oparciu o duże modele językowe (LLM). Natomiast skorzystanie z nich wiąże się z przesyłaniem danych wejściowych na serwer zewnętrzny, co nie sprzyja prywatności. Inną możliwością jest uruchomienie modeli językowych lokalnie, jednak do sprawnego działania wymaga to odpowiedniej mocy obliczeniowej. NVIDIA chce pomóc użytkownikom w tym zadaniu, więc niebawem udostępni...