Procesory graficzne z NVIDIA GPUDirect RDMA w systemach HPEC
Procesory graficzne z NVIDIA GPUDirect RDMA w systemach HPEC
Dowiedz się więcej o technologii NVIDIA GPUDirect RDMA i o tym, jakie przynosi korzyści w środowiskach HPEC.
Procesor graficzny, znany również pod skrótem GPU (ang. graphics processing unit), to wyspecjalizowany układ elektroniczny służący do szybkiego przetwarzania danych w celu tworzenia grafiki. Początkowo jednostki GPU powstały z myślą o renderowaniu obrazu w grach komputerowych, jednak z biegiem czasu stały się potężnymi procesorami zdolnymi do wykonywania różnorodnych, zaawansowanych obliczeń. Główną rolą GPU jest równoległe przeprowadzanie obliczeń i dzielenie złożonych zadań na mniejsze, niezależne operacje, które mogą odbywać się jednocześnie. Ze względu na olbrzymią moc obliczeniową i przepustowość pamięci, procesory graficzne sprawdzają się w szczególności do powtarzalnych obliczeń oraz obsługi dużych zbiorów danych.
Systemy HPEC (High Performance Embedded Computing) do zastosowań zdalnych lub mobilnych, np. bezzałogowych statków powietrznych czy sprzętu do zagłuszania radarów, otrzymują ogromne ilości danych z różnych źródeł: czujników, satelitów, systemów wywiadowczych itd. Procesory graficzne są w stanie jednocześnie analizować wszystkie odbierane dane, umożliwiając szybką fuzję, rozpoznawanie wzorców i szczegółową analitykę. Zaawansowane możliwości przetwarzania grafiki sprawiają, że jednostki GPU mogą generować wysokiej jakości wizualizacje. W zastosowaniach, w których wizualizacja danych ma kluczowe znaczenie, procesory graficzne umożliwiają renderowanie np. modeli 3D, map czy obrazów radarowych.
Czym jest RDMA?
RDMA (ang. Remote Direct Memory Access) to technologia, która zapewnia bezpośredni dostęp do pamięci urządzeń zdalnych bez udziału procesora głównego (CPU). W połączeniu z procesorami graficznymi technologia RDMA umożliwia wydajne przesyłanie danych między GPU i innymi urządzeniami w środowisku HPEC, np. adapterami sieciowymi i systemami pamięci masowej.
Jak działa RDMA?
Akcesoria połączeniowe i adaptery sieciowe obsługujące RDMA: Aby korzystać z RDMA dla procesorów graficznych, urządzenia używane do transferu danych muszą korzystać z adapterów sieciowych i akcesoriów połączeniowych kompatybilnych z tą technologią. Do standardów obsługujących RDMA należą m.in. InfiniBand oraz RDMA over Converged Ethernet (RoCE).
Konfiguracja pamięci GPU: Aby umożliwić transfer danych, należy najpierw skonfigurować pamięć GPU pod kątem technologii RDMA. Proces ten polega na określeniu obszarów pamięci, które będą bezpośrednio dostępne dla innych urządzeń. Sterownik GPU zapewnia zazwyczaj interfejsy API, które pozwalają aplikacji lub frameworkowi skonfigurować obsługę RDMA dla pamięci procesora.
Uruchomienie transferu danych: Gdy dane przenoszone są z lub na inne urządzenie, żądanie transferu inicjuje jednostka GPU. Żądanie to jest zazwyczaj aktywowane przez aplikację lub framework procesora graficznego.
Operacje RDMA: Gdy żądanie transferu danych zostanie zainicjowane, zadanie przejmuje adapter sieciowy kompatybilny z RDMA. Wykonuje wówczas operacje RDMA, by uzyskać bezpośredni dostęp do pamięci zdalnego urządzenia bez udziału procesora CPU.
Powiadomienie o zakończeniu transferu: Po zakończeniu operacji RDMA adapter sieciowy powiadamia jednostkę GPU, że transfer danych został zrealizowany. Dzięki temu procesor może przeprowadzać kolejne obliczenia lub inicjować następne transfery danych.
Dzięki zastosowaniu RDMA można realizować transfery danych między procesorami graficznymi i innymi urządzeniami z pominięciem procesora CPU i pamięci systemu. Jednocześnie procesor CPU może wykonywać w tym czasie inne zadania, co dodatkowo poprawia wydajność systemu.
NVIDIA GPUDirect RDMA
GPUDirect RDMA to technologia stworzona przez firmę NVIDIA, umożliwiająca bezpośredni dostęp do pamięci między procesorami graficznymi NVIDIA oraz urządzeniami takimi jak adaptery sieciowe, systemy pamięci masowej czy inne jednostki GPU. Pominięcie procesora CPU przy transferze danych pozwala zmniejszyć opóźnienia i zwiększyć przepustowość. Tradycyjnie transfer danych między jednostką GPU i innym urządzeniem składa się z kilku kroków. Najpierw dane kopiuje się z pamięci GPU do CPU, następnie przesyła do urządzenia docelowego, a wreszcie kopiuje z pamięci CPU urządzenia docelowego do jego jednostki GPU, pamięci masowej lub aplikacji. Cały proces wymaga więc wielokrotnego kopiowania danych i powoduje opóźnienia, które negatywnie wpływają na wydajność systemu.

Technologia GPUDirect RDMA eliminuje te kroki, zapewniając bezpośrednią ścieżkę komunikacji między procesorami graficznymi i innymi urządzeniami. Dzięki niej jednostki GPU mają bezpośredni dostęp do pamięci innych urządzeń (także GPU) bez udziału CPU. Omijając procesor CPU i pamięć systemową, GPUDirect RDMA wyraźnie zwiększa prędkość transferu danych i ogólną wydajność systemu. Aby korzystać z GPUDirect RDMA, urządzenie źródłowe i docelowe muszą mieć adaptery sieciowe lub akcesoria połączeniowe obsługujące technologię RDMA. Oprócz tego uczestniczące w transferze jednostki GPU muszą obsługiwać operacje GPUDirect RDMA.
Stosowanie NVIDIA GPUDirect RDMA w środowiskach HPEC
Wysokowydajny sprzęt korzystający z technologii GPUDirect RDMA może przynieść wymierne korzyści w zastosowaniach HPEC takich jak systemy przeciwdziałania elektronicznego, śledzenie radarowe, wywiad elektromagnetyczny (SIGINT) czy systemy czujników elektrooptycznych i na podczerwień (EO/IR). NVIDIA GPUDirect RDMA sprawdzi się również do wykonywania zadań związanych ze szkoleniem i inferencją w sieciach neuronowych, analityce danych, wizualizacjach 3D i obliczeniach chmurowych.
Zalety GPUDirect RDMA
Przetwarzanie danych w czasie rzeczywistym: Systemy czujników muszą radzić sobie ze strumieniami danych pochodzącymi z różnych źródeł, przesyłanymi z dużą prędkością w czasie rzeczywistym. Sprzęt HPEC obsługujący technologię GPUDirect RDMA umożliwia wydajne przesyłanie danych między jednostkami GPU i innymi urządzeniami. Dzięki temu zmniejsza opóźnienia w systemie, umożliwiając szybkie rozpoznawanie i klasyfikowanie sygnałów oraz sprawne reagowanie na potencjalne zagrożenia.
Wysoka przepustowość: W systemach, które muszą szybko analizować duże ilości informacji, wysoka przepustowość oferowana przez technologię GPUDirect RDMA umożliwia błyskawiczne pozyskiwanie i przetwarzanie danych oraz podejmowanie decyzji.
Skalowalność: Systemy HPEC z technologią GPUDirect RDMA są skalowalne i mogą być rozbudowywane o wiele urządzeń, w tym jednostek GPU. Jest to szczególnie korzystne w przypadku systemów, które muszą pozwalać na dodawanie kolejnych czujników i obsługę rosnącej ilości danych. Dzięki połączeniu sprzętu HPEC oraz technologii RDMA takie systemy można z łatwością skalować pod kątem zmieniających się potrzeb.
Sprzęt HPEC nowej generacji z obsługą GPUDirect RDMA
EIZO Rugged Solutions ma status preferowanego partnera NVIDIA i projektuje zaawansowane rozwiązania GPU oparte na architekturach tego producenta. EIZO Condor, czyli seria wzmocnionych kart do wideo i grafiki, bazuje na architekturach NVIDIA kompatybilnych z technologią GPUDirect RDMA. Należą do nich:
- Architektura NVIDIA Turing
- Architektura NVIDIA Ampere
- Moduły NVIDIA Jetson AGX Orin
Architektury NVIDIA mają rdzenie CUDA zoptymalizowane pod kątem przetwarzania równoległego. Zawierają również rdzenie RT i Tensor wykorzystywane w nowoczesnych procesorach graficznych, poprawiające renderowanie grafiki, zdolność obliczeniową oraz działanie sztucznej inteligencji. Ponadto procesory graficzne NVIDIA obsługują interfejs PCI Express Gen 4, pamięć GDDR5/GDDR6 oraz kodeki H.265 (HEVC) / H.264 (MPEG4/AVC). Karty Condor do grafiki i wideo dostępne są w konfiguracji SBC (komputer jednopłytkowy) oraz w różnych wariantach, m.in. OpenVPX (3U/6U), XMC i PCI Express. Złącza wejścia-wyjścia można spersonalizować, wybierając spośród interfejsów takich jak 10 Gigabit Ethernet, DisplayPort™, 3G-SDI, DVI, HDMI, VGA, RS-232 itp. Rozwiązania EIZO umożliwiają przechwytywanie i przetwarzanie wideo bez opóźnień, analizę obrazu, kodowanie i dekodowanie wideo oraz wprowadzanie i wydobywanie metadanych.

Condor GR2S-A4500-ETH
Najnowsza karta Condor GR2S-A4500-ETH bazuje na procesorze graficznym NVIDIA A4500 z 16-gigabitową pamięcią graficzną GDDR6 oraz 5888 rdzeniami CUDA. A4500 obsługuje interfejs PCI Express Gen 4 oraz technologię NVIDIA GPUDirect RDMA, zapewniając wydajność do 17,66 TFLOPS F32 na gniazdo. Condor GR2S-A4500-ETH wykorzystuje kartę NVIDIA ConnectX-7 SmartNIC, która umożliwia szybki transfer danych oraz zwiększenie przepustowości dzięki technologii NVIDIA GPUDirect z protokołem RoCE (RDMA over Converged Ethernet). Ponadto ConnectX-7 SmartNIC ma wbudowany przełącznik PCIe, dzięki któremu Condor GR2S-A4500-ETH może obsługiwać systemy z jednym gniazdem (slotem). Karta obsługuje również interfejs 40/100 Gigabit Ethernet oraz jest kompatybilna z profilami 14.6.11 i 14.6.13 określonymi w standardzie technicznym SOSA.
EIZO ściśle współpracuje z klientami, aby oferować im rozwiązania zoptymalizowane pod kątem pracy w określonych warunkach. Jako producent o statusie preferowanego partnera NVIDIA, EIZO ma dostęp do zaawansowanego wsparcia technicznego, dzięki któremu może spełnić wymagania systemów wbudowanych w zakresie projektowania, produkcji i cyklu życia produktu.