NVIDIA har lanserat en uppdatering av sin Jetson Orin Nano Developer Kit kallad ”Super”, som erbjuder upp till 70% ökad prestanda för generativ AI och en prissänkning till 249 dollar.
Enligt rapporter från NVIDIA:s egna blogg ger denna uppgradering betydande förbättringar i AI-bearbetning och minnesbandbredd, vilket gör den till ett kraftfullt verktyg för utvecklare inom robotik och edge AI-applikationer.
Jetson Orin Nano Super är särskilt lämpad för att köra populära generativa AI-modeller och transformerbaserade datorseendemodeller.
Generativa AI-modeller och Jetson
Jetson Orin Nano Super är särskilt lämpad för att köra populära generativa AI-modeller och transformerbaserade datorseendemodeller.
Den kan hantera en mängd olika stora språkmodeller (LLM), visuella språkmodeller (VLM) och Vision Transformers (ViT), inklusive modeller med upp till 8 miljarder parametrar som Llama-3.1-8B.
Jetson-plattformen stöder samma maskininlärningsramverk och optimerade inferensinfrastruktur som andra plattformar, såsom HuggingFace Transformers, Ollama och NVIDIA TensorRT-LLM.
Möjligheter för utvecklare
Jetson Orin Nano Super Developer Kit öppnar upp nya möjligheter för utvecklare att arbeta med generativ AI på kanten. Detta inkluderar:
- Utveckling av LLM-baserade chattbotar med förbättrad prestanda.
- Skapande av visuella AI-agenter som kan tolka och reagera på sin omgivning.
- Implementering av AI-baserad robotik för en mängd olika applikationer.
Nyckelfunktioner och fördelar
- Förbättrad prestanda: Upp till 67 INT8 TOPS AI-prestanda, en ökning med 70% jämfört med föregångaren.
- Ökad minnesbandbredd: Från 68 GB/s till 102 GB/s, vilket ger 50% bättre prestanda.
- Kompatibilitet: Stöder populära generativa AI-modeller som LLMs (Large Language Models), VLMs (Vision Language Models) och ViTs (Vision Transformers).
- Kompakt design: Passar i handflatan och är idealisk för prototypning av edge-AI-applikationer.
- Bred ekosystemstöd: Kompatibel med NVIDIA:s AI-programvara inklusive Isaac för robotik, Metropolis för vision AI och Holoscan för sensorbearbetning.
https://developer.nvidia.com/buy-jetson?product=all&location=SE
https://blogs.nvidia.com/blog/jetson-generative-ai-supercomputer
