F5 i NVIDIA przyspieszaj? AI w Kubernetes dzi?ki BlueField-3 DPU

Klaudia Ciesielska
3 Min
?ród?o: F5

F5 rozszerza swoj? platform? Application Delivery and Security o nowe funkcje zaprojektowane z my?l? o ?rodowiskach Kubernetes dla AI. Kluczowym elementem jest nowy modu? BIG-IP Next for Kubernetes, który – we wspó?pracy z DPU NVIDIA BlueField-3 i ?rodowiskiem NVIDIA DOCA – zapewnia bardziej wydajne zarz?dzanie ruchem i bezpiecze?stwem aplikacji generatywnych AI.

Nowo?? F5 nie jest tylko kolejnym narz?dziem do load balancingu. To krok w stron? infrastruktury AI nowej generacji. Rozwi?zanie testowane przez firm? Sesterce pokazuje, ?e dynamiczne równowa?enie obci??enia – przy rosn?cym wolumenie danych i zapyta? – pozwala na lepsze wykorzystanie GPU, a co za tym idzie, redukcj? kosztów i popraw? jako?ci us?ug.

W praktyce oznacza to inteligentne trasowanie zapyta? do modeli j?zykowych – w tym LLM – w zale?no?ci od ich z?o?ono?ci i dost?pnych zasobów. Proste zadania mog? by? obs?ugiwane przez l?ejsze modele, natomiast z?o?one trafiaj? do wi?kszych instancji. To elastyczne podej?cie do routingu nie tylko poprawia czas odpowiedzi, ale umo?liwia te? specjalizacj? modeli w ró?nych domenach tematycznych.

Wspó?praca z NVIDIA pozwala F5 przenie?? cz??? operacji z CPU bezpo?rednio na DPU BlueField-3, zmniejszaj?c opó?nienia i uwalniaj?c cenne zasoby serwerowe. Kluczow? rol? odgrywa te? KV Cache Manager, który – w po??czeniu z NVIDIA Dynamo – pozwala ponownie wykorzystywa? wcze?niej przetworzone dane, co przyspiesza dzia?anie systemów AI i zmniejsza zu?ycie pami?ci GPU.

“Przedsi?biorstwa wdra?aj? coraz wi?cej modeli LLM dla bardziej z?o?onych zastosowa? AI, jednak klasyfikowanie i trasowanie ruchu LLM potrafi by? kosztowne obliczeniowo i pogarsza? do?wiadczenia u?ytkowników”zaznacza Kunal Anand, Chief Innovation Officer w F5. “Implementuj?c logik? trasowania bezpo?rednio na DPU NVIDIA BlueField-3, F5 BIG-IP Next for Kubernetes jest najbardziej wydajn? metod? dostarczania i zabezpieczania takiego ruchu. To dopiero pocz?tek. Nasza platforma otwiera nowe mo?liwo?ci dla infrastruktury AI, a my nie mo?emy si? doczeka? pog??biania wspó?pracy z NVIDIA w miar? skalowania zastosowa? AI w przedsi?biorstwach.”

Co istotne, nowy modu? F5 wspiera Model Context Protocol (MCP) – otwarty standard od Anthropic – zabezpieczaj?c serwery LLM dzia?aj?ce w tym modelu i umo?liwiaj?c szybsze dostosowanie do zmieniaj?cych si? wymaga?.

Dla dostawców us?ug IT i integratorów to konkretna wiadomo??: F5 i NVIDIA oferuj? dzi? narz?dzia, które realnie optymalizuj? infrastruktur? AI – i s? ju? dost?pne komercyjnie. W ?wiecie, gdzie ka?da milisekunda przetwarzania ma swoj? cen?, to przewaga trudna do zignorowania.

“BIG-IP Next for Kubernetes, wspierany przez DPU NVIDIA BlueField-3, pozwala firmom i dostawcom us?ug lepiej zarz?dza? ruchem w ?rodowiskach AI. Dzi?ki temu mog? zoptymalizowa? prac? GPU i skróci? czas przetwarzania przy wnioskowaniu, trenowaniu modeli czy wdra?aniu systemów AI”mówi Ash Bhalgat, Senior Director of AI Networking and Security Solutions, Ecosystem and Marketing, NVIDIA. – “Dodatkowo wsparcie dla wielodost?pno?ci i programowalno?? iRules w F5 tworz? platform? dobrze przygotowan? pod dalsz? integracj? i rozwój, jak chocia?by wsparcie dla rozproszonego KV Cache Manager w NVIDIA Dynamo.”

TEMATY:
Udostępnij
Redaktor Brandsit