Jim Keller-ledede chipvirksomhed Tenstorrent har lanceret sin næste generations Wormhole-processor til AI-arbejdsbelastninger, som forventes at tilbyde god ydeevne til en overkommelig pris.Virksomheden tilbyder i øjeblikket to ekstra PCIe-kort, der kan rumme en eller to Wormhole-processorer, samt TT-LoudBox- og TT-QuietBox-arbejdsstationer til softwareudviklere. Alle dagens annonceringer er rettet mod udviklere, ikke dem, der bruger Wormhole-kort til kommercielle arbejdsbelastninger.
"Det er altid glædeligt at få flere af vores produkter i hænderne på udviklere. Udgivelsessystemer, der bruger vores Wormhole™-kort, kan hjælpe udviklere med at skalere og udvikle multi-chip AI-software," sagde Jim Keller, administrerende direktør for Tenstorrent.Ud over denne lancering er vi begejstrede for at se de fremskridt, vi gør med udfasningen og opstarten af vores anden generations produkt, Blackhole.”
Hver Wormhole-processor indeholder 72 Tensix-kerner (hvoraf fem understøtter RISC-V-kerner i forskellige dataformater) og 108 MB SRAM, hvilket leverer 262 FP8 TFLOPS ved 1 GHz med en termisk designeffekt på 160 W. Wormhole n150-kortet med én chip er udstyret med 12 GB GDDR6-videohukommelse og har en båndbredde på 288 GB/s.
Wormhole-processorer giver fleksibel skalerbarhed for at imødekomme de forskellige behov for arbejdsbyrder. I en standard arbejdsstationsopsætning med fire Wormhole n300-kort kan processorerne kombineres til en enkelt enhed, der vises i softwaren som et samlet, bredt Tensix-kernenetværk. Denne konfiguration gør det muligt for acceleratoren at håndtere den samme arbejdsbyrde, opdele den mellem fire udviklere eller køre op til otte forskellige AI-modeller samtidigt. Et nøglefunktion ved denne skalerbarhed er, at den kan køre lokalt uden behov for virtualisering. I et datacentermiljø vil Wormhole-processorer bruge PCIe til udvidelse inde i maskinen eller Ethernet til ekstern udvidelse.
Med hensyn til ydeevne opnåede Tenstorrents single-chip Wormhole n150-kort (72 Tensix-kerner, 1 GHz-frekvens, 108 MB SRAM, 12 GB GDDR6, 288 GB/s båndbredde) 262 FP8 TFLOPS ved 160W, mens dual-chip Wormhole n300-kortet (128 Tensix-kerner, 1 GHz-frekvens, 192 MB SRAM, samlet 24 GB GDDR6, 576 GB/s båndbredde) leverer op til 466 FP8 TFLOPS ved 300W.
For at sætte 300W ved 466 FP8 TFLOPS i kontekst, sammenligner vi det med, hvad AI-markedslederen Nvidia tilbyder ved denne termiske designkraft. Nvidias A100 understøtter ikke FP8, men den understøtter INT8 med en peak performance på 624 TOPS (1.248 TOPS ved sparse). Til sammenligning understøtter Nvidias H100 FP8 og når en peak performance på 1.670 TFLOPS ved 300W (3.341 TFLOPS ved sparse), hvilket er væsentligt anderledes end Tenstorrents Wormhole n300.
Der er dog ét stort problem. Tenstorrents Wormhole n150 sælges for $999, mens n300 sælges for $1.399. Til sammenligning sælges et enkelt Nvidia H100 grafikkort for $30.000, afhængigt af mængden. Vi ved selvfølgelig ikke, om fire eller otte Wormhole-processorer rent faktisk kan levere den samme ydeevne som en enkelt H300, men deres TDP'er er henholdsvis 600W og 1200W.
Ud over kortene tilbyder Tenstorrent præbyggede arbejdsstationer til udviklere, herunder 4 n300-kort i den mere overkommelige Xeon-baserede TT-LoudBox med aktiv køling og den avancerede TT-QuietBox med EPYC-baseret Xiaolong væskekølingsfunktion.
Opslagstidspunkt: 29. juli 2024