Adwertorial
Sztuczna inteligencja może działać tam, gdzie powstają dane – na komputerach użytkowników. Nowe platformy, takie jak Dell Pro Max z GB10, umożliwiają uruchamianie zaawansowanych modeli AI lokalnie, bez konieczności przesyłania informacji na zewnątrz.
Sztuczna inteligencja staje się coraz łatwiej dostępna. Koszty działania modeli spadają nawet dziesięciokrotnie rok do roku, a nowe układy obliczeniowe potrafią zużywać wielokrotnie mniej energii niż poprzednie generacje. Wraz z popularyzacją AI pojawia się jednak nowe wyzwanie: jak korzystać z potencjału modeli generatywnych bez utraty kontroli nad danymi?
Zmiana podejścia
W wielu organizacjach rośnie zjawisko znane jako shadow AI – pracownicy korzystają z prywatnych narzędzi opartych na sztucznej inteligencji, ponieważ są szybkie i wygodne. Problem polega na tym, że w takim modelu dane (w tym te wrażliwe) mogą trafiać poza infrastrukturę organizacji.
Dlatego wśród decydentów coraz większą popularność zdobywa podejście określane jako „AI przychodzi do danych”. Zamiast przesyłać informacje do zewnętrznych usług, modele i agenci AI działają bezpośrednio tam, gdzie znajdują się dane – w środowisku lokalnym, w tym na komputerach użytkowników. W tym kontekście szczególnie interesującym rozwiązaniem jest platforma Dell Pro Max z GB10.
– Podczas gdy standardowe AI PC obsługują modele rzędu kilku lub kilkunastu miliardów parametrów, platforma GB10 umożliwia uruchamianie lokalnie modeli nawet do 200 miliardów parametrów w precyzji FP4. Oznacza to poziom wydajności, który jeszcze niedawno był zarezerwowany wyłącznie dla infrastruktury serwerowej – tłumaczy Konrad Pleban, CEE Workstations Lead w Dell Technologies.
Dzięki takiej mocy obliczeniowej oraz 128 GB zunifikowanej pamięci Dell Pro Max z GB10 przenosi wydajność klasy centrum danych do formy desktopa. W konfiguracji podwójnej możliwa staje się nawet obsługa modeli do 400 miliardów parametrów.
Element infrastruktury
Lokalne narzędzia AI, stające się integralną częścią infrastruktury organizacji, pozwalają wykorzystać potencjał nowych technologii, jednocześnie spełniając wymagania dotyczące zgodności i ochrony danych. A pomysłów jest wiele – w ciągu zaledwie kilku tygodni trwania konkursu Dell Technologies „AI na Twoim biurku” nadesłano kilkaset konkretnych use case’ów. Co piąty został przygotowany przez specjalistów z sektora publicznego i odpowiadał na realne wyzwania: zgodność z rodo, czasochłonność protokołowania czy audyt zamówień publicznych. Właśnie te zgłoszenia najmocniej uzasadniały potrzebę wdrażania lokalnych stacji roboczych AI, ponieważ model on-premise nie jest w ich przypadku wyborem, tylko wymogiem prawnym.
Use case’y pokazują ponadto, że w kontekście wykorzystywania AI w sektorze publicznym coraz ważniejsza staje się architektura – sposób, w jaki dane, modele i procesy współpracują ze sobą w bezpiecznym środowisku.
Nad rozwojem lokalnej infrastruktury AI pracuje m.in. Dowództwo Komponentu Wojsk Obrony Cyberprzestrzeni. W lutym br. podpisano porozumienie z Dell Technologies Polska oraz fundacją SpeakLeash, które zakłada testowanie rozwiązań AI w środowiskach zbliżonych do realnych warunków operacyjnych.
Ewa Sztyber, account executive, Dell Technologies Polska
ewa.sztyber@dell.com
+48 501 683 128
ainatwoimbiurku.pl
