OpenAI we współpracy z NVIDIA udostępniło dwa nowe modele AI oparte na rozumowaniu gpt-oss-120b i gpt-oss-20b. Są one przeznaczone dla programistów, firm, instytucji i entuzjastów na całym świecie, mając na celu przyspieszenie innowacji w każdej branży.
Wprowadzenie nowych modeli AI od OpenAI otwiera drogę dla kolejnej generacji inteligentnych systemów wbudowanych w urządzenia. Dzięki mocy kart graficznych GeForce RTX i RTX Pro, AI staje się szybsza i bardziej dostępna. Dostępne są dwa warianty, dostosowane do różnych potrzeb:
- gpt-oss-20b – zoptymalizowany pod kątem maksymalnej wydajności na kartach z co najmniej 16 GB pamięci VRAM. Na karcie GeForce RTX 5090 osiąga do 250 tokenów na sekundę
- gpt-oss-120b – większy model, przeznaczony do profesjonalnych stacji roboczych z kartami graficznymi NVIDIA RTX PRO.
Modele zostały przeszkolone na procesorach graficznych NVIDIA H100 i jako pierwsze na świecie obsługują precyzję MXFP4 na kartach RTX. Ta innowacyjna technika zwiększa jakość i dokładność modelu bez wpływu na wydajność. Oba modele obsługują kontekst o długości do 131 072 tokenów, co jest jednym z najwyższych wyników w lokalnym wnioskowaniu. Zbudowano je na elastycznej architekturze MoE, która wspiera funkcje łańcucha myśli (CoT) oraz wykonywanie poleceń i używanie narzędzi.
W ramach cyklu RTX AI Garage firma NVIDIA zaprezentowała kilka prostych sposobów na rozpoczęcie pracy z nowymi modelami.
- Aplikacja Ollama – to najprostszy sposób. Interfejs Ollamy oferuje gotowe wsparcie dla modeli gpt-oss, które są w pełni zoptymalizowane pod kątem kart graficznych RTX.
- Llama.cpp – NVIDIA współpracuje ze społecznością open source, aby optymalizować wydajnosć kart RTX. Deweloperzy mogą zacząć pracę w repozytorium Llama.cpp na GitHub.
- Microsoft AI Foundy – programiści Windows mogą uzyskać dostęp do modeli za pośrednictwem Microsoft AI Foundry Local (w wersji zapoznawczej), wpisując proste polecenie w terminalu: Foundry model run gpt-oss-20b.
Kilka słów na temat tego wydarzenia powiedział Jensen Huang, założyciel i dyrektor generalny NVIDIA:
OpenAI pokazało światu, co można zbudować w oparciu o sztuczną inteligencję wspieraną przez firmę NVIDIA, a teraz rozwija innowacje w zakresie oprogramowania open source. Modele gpt-oss pozwalają programistom budować na tej najnowocześniejszej platformie, wzmacniając pozycję Stanów Zjednoczonych jako lidera technologicznego w dziedzinie sztucznej inteligencji, a wszystko to w oparciu o największą na świecie infrastrukturę obliczeniową AI.
