nvidia tensorrt

Firma UL Solutions nie tak dawno zaprezentowała nowy wariant benchmarku, który miał wejść w skład oprogramowania UL Proycon. Nowość o nazwie AI Image Generation Benchmark stała się właśnie dostępna, a jej zadaniem jest pomiar wydajności układów graficznych w zadaniach związanych ze „sztuczną inteligencją”. Rozwiązanie nie jest jednak skierowane do zwykłych konsumentów, a jeśli i tak zechcemy z niego skorzystać, to powstrzyma nas przed tym cena produktu.

Usług związanych ze sztuczną inteligencją jest obecnie wiele, natomiast jednymi z popularniejszych są chatboty, które funkcjonują w oparciu o duże modele językowe (LLM). Natomiast skorzystanie z nich wiąże się z przesyłaniem danych wejściowych na serwer zewnętrzny, co nie sprzyja prywatności. Inną możliwością jest uruchomienie modeli językowych lokalnie, jednak do sprawnego działania wymaga to odpowiedniej mocy obliczeniowej. NVIDIA chce pomóc użytkownikom w tym zadaniu, więc niebawem udostępni...