Jim Keller-ledede chipfirma Tenstorrent har frigivet sin næste generation af Wormhole-processor til AI-arbejdsbelastninger, som det forventer vil tilbyde god ydeevne til en overkommelig pris.Virksomheden tilbyder i øjeblikket to ekstra PCIe-kort, der kan rumme en eller to Wormhole-processorer, samt TT-LoudBox- og TT-QuietBox-arbejdsstationer til softwareudviklere. Alle dagens meddelelser er rettet mod udviklere, ikke dem, der bruger Wormhole-kort til kommercielle arbejdsbelastninger.
“Det er altid glædeligt at få flere af vores produkter i hænderne på udviklere. Frigivelse af udviklingssystemer ved hjælp af vores Wormhole™-kort kan hjælpe udviklere med at skalere og udvikle multi-chip AI-software,” sagde Jim Keller, CEO for Tenstorrent.Ud over denne lancering er vi spændte på at se de fremskridt, vi gør med tape out og power-up af vores anden generations produkt, Blackhole."
Hver Wormhole-processor indeholder 72 Tensix-kerner (hvoraf fem understøtter RISC-V-kerner i forskellige dataformater) og 108 MB SRAM, der leverer 262 FP8 TFLOPS ved 1 GHz med en termisk designeffekt på 160W. Single-chip Wormhole n150-kortet er udstyret med 12 GB GDDR6-videohukommelse og har en båndbredde på 288 GB/s.
Ormehulsprocessorer giver fleksibel skalerbarhed for at imødekomme de forskellige behov for arbejdsbelastninger. I en standard arbejdsstationsopsætning med fire Wormhole n300-kort kan processorerne kombineres til en enkelt enhed, der fremstår i softwaren som et samlet, bredt Tensix-kernenetværk. Denne konfiguration gør det muligt for acceleratoren at håndtere den samme arbejdsbyrde, delt mellem fire udviklere eller køre op til otte forskellige AI-modeller samtidigt. En nøglefunktion ved denne skalerbarhed er, at den kan køre lokalt uden behov for virtualisering. I et datacentermiljø vil Wormhole-processorer bruge PCIe til udvidelse inde i maskinen eller Ethernet til ekstern udvidelse.
Med hensyn til ydeevne opnåede Tenstorrents single-chip Wormhole n150-kort (72 Tensix-kerner, 1 GHz-frekvens, 108 MB SRAM, 12 GB GDDR6, 288 GB/s båndbredde) 262 FP8 TFLOPS ved 160W, mens dual-chip Wormhole-kortet n300 (128 Tensix kerner, 1 GHz frekvens, 192 MB SRAM, samlet 24 GB GDDR6, 576 GB/s båndbredde) leverer op til 466 FP8 TFLOPS ved 300W.
For at sætte 300W af 466 FP8 TFLOPS i sammenhæng, vil vi sammenligne det med, hvad AI-markedsleder Nvidia tilbyder med denne termiske designkraft. Nvidias A100 understøtter ikke FP8, men den understøtter INT8, med en maksimal ydeevne på 624 TOPS (1.248 TOPS, når den er sparsom). Til sammenligning understøtter Nvidias H100 FP8 og når en topydelse på 1.670 TFLOPS ved 300W (3.341 TFLOPS ved sparsomhed), hvilket er væsentligt forskelligt fra Tenstorrents Wormhole n300.
Der er dog et stort problem. Tenstorrents Wormhole n150 sælges for $999, mens n300 sælges for $1.399. Til sammenligning sælges et enkelt Nvidia H100-grafikkort for $30.000, afhængigt af mængde. Vi ved selvfølgelig ikke, om fire eller otte Wormhole-processorer rent faktisk kan levere ydeevnen af en enkelt H300, men deres TDP'er er henholdsvis 600W og 1200W.
Udover kortene tilbyder Tenstorrent præbyggede arbejdsstationer til udviklere, herunder 4 n300-kort i den mere overkommelige Xeon-baserede TT-LoudBox med aktiv køling, og den avancerede TT-QuietBox med EPYC-baseret Xiaolong) væskekølefunktion).
Indlægstid: 29-jul-2024