Didžiausias lustas pasaulyje

Aug 23, 2021

Palik žinutę

Lenktynėse, skirtose pagreitinti dirbtinį intelektą, Silicio slėnio kompanija „Cerebras“ imasi neįprastos strategijos: didinkis.


Nors tipiškas kompiuterio lustas yra nagų dydžio, Cerebras' traškučiai yra vakarienės lėkštės dydžio.


Gilus mokymasis, AI technologija, įgalinanti balso asistentus, savarankiškai vairuojančius automobilius ir „Go“ čempionus, remiasi sudėtingu&neuronų tinklu &. programinė įranga išdėstyta sluoksniais. Gilaus mokymosi sistemos gali veikti viename kompiuteryje, tačiau didžiausios sistemos yra išsidėsčiusios tūkstančiuose prijungtų mašinų, kartais dideliuose duomenų centruose, pvz., „Google“ valdomuose. Didelėje grupėje iki 48 picos dėžutės dydžio serverių slysta į vieno žmogaus aukščio stelažus; Lentynos išdėstytos eilėmis ir užpildo sandėlio dydžio pastatą. Šių sistemų neuroniniai tinklai gali išspręsti bauginančias problemas, tačiau jie taip pat susiduria su akivaizdžiais iššūkiais. Tinklas, kuris plinta grupėje, yra tarsi smegenys, išsibarsčiusios po kambarį ir sujungtos. Elektronai juda greitai, tačiau net ir taip lustų perdavimas vyksta lėtai ir sunaudoja daug energijos.


Ericas Vishria, San Francisko rizikos kapitalo įmonės „Benchmark“ generalinis partneris, pirmą kartą suprato problemą, kai 2016 m. Pavasarį išgirdo kalbą apie naują kompiuterių mikroschemų kompaniją „Cerebras Systems“. „Benchmark“ yra žinomas kaip ankstyvas investuotojas tokiose įmonėse kaip „Twitter“, „Uber“ ir „ebay“ - tai yra programinė įranga, o ne aparatinė įranga. Bendrovė per metus peržiūri apie 200 naujų įmonių ir investuoja į vieną.&"Mes žaidėme šį tūkstančio varlių bučiavimo žaidimą, &"; Višrija man pasakė. Kalbos pradžioje jis nusprendė varlę mesti atgal." Aš pagalvojau, kodėl aš su tuo sutikau?" Mes' neinvestuosime į aparatūrą,&“, - prisiminė jis." Tai' kvaila."


„Cerebras“ įkūrėjas Andrew Feldmanas pradėjo nuo skaidrių dangtelio prie savo komandos skaidrių ir patraukė Vishria' dėmesį: jo talentas buvo įspūdingas. Tada Feldmanas palygino dviejų tipų kompiuterių lustus. Pirmiausia jis pažvelgė į grafikos apdorojimo įrenginius arba „Gpus“ - mikroschemas, sukurtas specialiai 3D vaizdams kurti. Šiandien&mašinų mokymosi sistemos dėl įvairių priežasčių remiasi šiais grafikos lustais. Be to, jis pažvelgė į centrinius procesorius arba centrinius procesorius, bendrosios paskirties lustus, kurie atlieka didžiąją dalį darbo įprastame kompiuteryje.&"Trečioji skaidrė buvo apie' Gpus,' kurie iš tikrųjų yra blogi giliam mokymuisi - jie tiesiog būna šimtą kartų geresni už centrinius." „Cerebras“ sugalvojo naujo tipo mikroschemas, kurios nėra skirtos grafikai, bet specialiai sukurtos dirbtiniam intelektui.


„Vishria“ yra įpratusi girdėti garsus iš įmonių, kurios planuoja naudoti gilų mokymąsi kibernetinio saugumo, medicininio vaizdavimo, pokalbių robotų ir kitose programose. Po Cerebraso kalbos jis kalbėjo su „Benchmark“ finansuojamų bendrovių, įskaitant „Zillow“, „Uber“ ir „Stitch Fix“, inžinieriais; Jie jam pasakė, kad turi problemų su dirbtiniu intelektu, nes per ilgai užtrukdavo&"mokymas &"; nervų tinklas. „Google“ pradėjo naudoti itin greitus&"tenzorinius apdorojimo įrenginius, &"; arba „Tpus“ - specialūs lustai, sukurti dirbtiniam intelektui. Višrija žinojo, kad vyksta aukso karštinė ir kažkas turi padaryti kirtiklius ir kastuvus.


Tais metais „Benchmark and Foundation Capital“, kita rizikos kapitalo įmonė, vedė 27 milijonų dolerių „Cerebras“ finansavimą, kuris surinko beveik 500 mln. Kitos įmonės taip pat gamina vadinamuosius dirbtinio intelekto greitintuvus; Smegenėlės' konkurentai „groq“, „Graphcore“ ir „Sambanova“ tarp jų surinko daugiau nei 2 mlrd. Bet Cerebras' požiūris yra unikalus. Užuot spausdinusi dešimtis vaflių ant didelio silicio gabalo, nukirpusi juos ir sujungusi viena su kita, bendrovė sukūrė milžinišką&"vaflių lygį &"; lustas. Nors tipiškas kompiuterio lustas yra nagų dydžio, „Cerebras“ yra maždaug vakarienės lėkštės dydžio ir yra didžiausias kompiuterio lustas pasaulyje.


Net konkurentams šis žygdarbis pasirodė įspūdingas.&"Tai naujas mokslas, &"; Nigel Toon, „Graphcore“ generalinis direktorius ir vienas iš įkūrėjų, pasakojo man.&"Tai' tai neįtikėtinas inžinerijos kūrinys. Tai' šedevras." Tuo tarpu kitas inžinierius, su kuriuo kalbėjau, apibūdino jį kaip mokslo projektą - didelis dėl didelių' s. Anksčiau bendrovė bandė ir nesugebėjo pagaminti milžiniškų lustų; Smegenėlės' planas prilygsta statymui, kad įveikti inžinerinius iššūkius įmanoma ir verta.&"Jei atvirai, man nežinojimas yra privalumas, &"; - sakė Vishria." Aš nežinau' nežinau, jei žinočiau, kaip sunku daryti tai, ką jie daro, turėčiau drąsos investuoti."


Nesunku suvokti, kad kompiuteriai tampa vis greitesni. Tai dažnai paaiškina Moore'o įstatymas: puslaidininkių pradininko Gordono Moore'o 1965 m. Nustatytas modelis, pagal kurį tranzistorių skaičius mikroschemoje padvigubėja kasmet ar kas dvejus metus. Žinoma, Moore'o (GG) įstatymas nėra' įstatymas, o inžinieriai nenuilstamai stengiasi sutrumpinti tranzistorius, kartu tobulindami&architektūrą&"; kiekvieno lusto, kad sukurtumėte efektyvesnius ir galingesnius dizainus.


„Chip“ architektai jau seniai svarstė, ar vienas didelio masto kompiuterio lustas gali būti efektyvesnis už krūvą mažesnių lustų, kaip ir miestas, turintis koncentruotus išteklius ir tankus blokus, efektyvesnis už priemiestį. Ši idėja pirmą kartą buvo išbandyta septintajame dešimtmetyje, kai „Texas Instruments“ apribojo kelių colių pločio lustų gamybą. Tačiau bendrovės' inžinieriai susidūrė su derliaus problemomis. Bet kurios silicio plokštelės gamybos defektai neišvengiamai kelia pavojų tam tikram grandinių skaičiui. Jei plokštelėje yra 50 traškučių, įmonė gali išmesti blogus ir parduoti gerus. Bet jei kiekvienas sėkmingas lustas priklausytų nuo vienos plokštelės veikimo grandinės, daugelis brangių plokštelių būtų išmesti. „Texas Instruments“ rado sprendimą, tačiau technologijos ir poreikio dar nebuvo.


Devintajame dešimtmetyje inžinierius, vardu Gene Amdahl, vėl bandė išspręsti problemą su savo įkurta kompanija, pavadinta „Trilogy Systems“. Tai tapo didžiausiu startuoliu Silicio slėnio&istorijoje, finansuojant apie 250 mln. Norėdami išspręsti išeigos problemą, „Trilogy“ ant lusto atspausdino nereikalingus komponentus. Šis metodas padidina gamybą, tačiau sumažina lusto greitį. Tuo tarpu „Trilogy“ kovoja kitais būdais. Amdahlas su savo ritiniais Royce partrenkė motociklininką, sukeldamas teisines bėdas; Jos prezidentas mirė nuo smegenų auglio; Dėl smarkaus lietaus vėluojama statyti gamyklas, rūdyti oro kondicionavimo sistemas ir kaupti dulkes ant drožlių. 1984 metais „Trilogy“ pasidavė.&"Aš nesupratau' nesupratau, kaip tai būtų sunku, &"; Amdahlo sūnus pasakojo laikraščiui „The Times“.


Jei trilogijos&technologija bus sėkminga, dabar ji gali būti naudojama giliam mokymuisi. Vietoj to, „Gpus“ (vaizdo žaidimuose naudojami lustai) sprendžia mokslo problemas nacionalinėse laboratorijose. Pakartotinis „gpus“ panaudojimas dirbtiniam intelektui priklauso nuo to, kad nerviniai tinklai, nors ir labai sudėtingi, priklauso nuo daugybos ir pridėjimo. Kai&"; neuronai &"; tinkle ugnies metu jie vienas kitą sustiprina arba sumažina' signalus, padaugindami juos iš koeficientų, vadinamų ryšio svoriais. Efektyvus AI procesorius lygiagrečiai apskaičiuos daugybę aktyvavimų; Jis sujungia juos į skaičių seriją, vadinamą vektoriais, arba skaičių tinklelius, vadinamus matricomis, arba aukštesnių matmenų blokus, vadinamus tenoriais. Idealiu atveju norite iš karto padauginti vieną matricą ar tenzorių iš kitos. „Gpus“ yra sukurtas atlikti kažką panašaus:


& "Trilogijos šešėlis yra toks didelis, &"; Feldmanas man neseniai pasakė: „Žmonės nustoja galvoti ir pradeda sakyti:' Tai' neįmanoma.'" GPU įmonės, įskaitant „Nvidia“, pasinaudojo galimybe pritaikyti lustus giliam mokymuisi. 2015 m. Feldmanas ir kompiuterių architektų grupė pradėjo diskutuoti apie didesnių lustų idėją po to, kai jie kartu įkūrė kompiuterių serverių gamintoją „Seamicro“, kurį pardavė mikroschemų gamintojui AMD už 334 mln. Jie keturis mėnesius dirbo prie šios problemos biure, pasiskolintame iš rizikos kapitalo įmonės. Kai jie turėjo perspektyvaus sprendimo metmenis, jie kalbėjosi su aštuoniomis bendrovėmis; Gavau finansavimą iš „Benchmark“, „Foundation Capital“ ir „Eclipse“ ir pradėjau samdyti.


Smegenėlės' Pirmoji užduotis yra išspręsti gamybos problemas, kurios kamuoja dideles lustai. Lustas iš pradžių buvo cilindrinis kristalinio silicio luitas, kurio skersmuo apie pėdą, o plieno luitas buvo supjaustytas į mažesnio nei milimetro storio plokštes. Tada grandinė&", atspausdinta &"; ant plokštelės per procesą, vadinamą litografija. UV spinduliams jautrios cheminės medžiagos kruopščiai nusėda ant paviršiaus, o po to per išsamų šabloną, vadinamą kauke, projektuojamas UV šviesos spindulys. Šios cheminės medžiagos reaguoja į grandines.


Paprastai plotas, padengtas pro kaukę skleidžiamos šviesos, tampa drožle. Tada lustas juda ir šviesa vėl projektuojama. Po to, kai buvo išspausdinta dešimtys ar šimtai drožlių, jie iš plokštelės išpjaunami lazeriu.&"Lengviausias būdas tai padaryti yra mamai išimti apvalią sausainių tešlą, &"; Feldmanas sakė.&"Ji turi sausainių formą ir kruopščiai pjauna sausainius." Fizikos ir optikos dėsniai neleidžia pagaminti didesnio sausainių. Dėl to" mes sukūrėme technologiją, leidžiančią bendrauti per mažą tešlą tarp dviejų sausainių."


Spausdinimo sistemoje „Cerebras“ sukurta bendradarbiaujant su mikroschemą gaminančia bendrove TSMC, slapukų kraštai sutampa taip, kad jų laidai būtų sujungti. Rezultatas yra vienas&"plokštelių dydis &"; plokštelė, vario spalvos kvadratas ir 21 cm kiekvienoje pusėje. (Didžiausi „Gpus“ yra šiek tiek mažiau nei 3 cm skersmens.) „Cerebras“ savo pirmąjį lustą, „Vaferio skalės variklį 1“, pagamino 2019 m. Šiais metais pristatytas „Wse-2“ naudoja tankesnę grandinę su 2,6 trilijono tranzistorių, supakuotų į 850 000 apdorojimo įrenginių arba&"; šerdys &". („Top Gpus“ turi tik kelis tūkstančius branduolių, o dauguma „cpus“ turi mažiau nei 10.)


& "; 2,6 trilijono tranzistorių yra stulbinantis, &"; sakė „Synopsys“ pirmininkas ir vienas iš generalinių direktorių Aartas de Geusas. „Synopsys“ teikia tam tikrą programinę įrangą, kurią „Cerebras“ ir kiti mikroschemų gamintojai naudoja kurdami ir patvirtindami savo mikroschemų dizainą. De Geusas sako, kad kurdami mikroschemas inžinieriai pirmiausia turi apsvarstyti du pagrindinius klausimus:" Iš kur gaunami duomenys?" Kur jis tvarkomas?" Kai lustai buvo paprastesni, dizaineriai galėjo atsakyti į šiuos klausimus pieštuku ant piešimo stalo; Dirbdami su sudėtingesniais šiandienos&lustais, įveskite kodą, apibūdinantį architektūrą, kurią jie nori sukurti, tada pereikite prie vizualizacijos ir kodavimo įrankių." Pagalvokite, kaip namas atrodo nuo stogo," - pasakė de Geusas." Ar garažas yra šalia virtuvės? O gal visai netoli miegamojo? Norite, kad jis būtų šalia virtuvės - priešingu atveju' turėsite nešiotis maisto produktus kiekviename namo kampe." Sukūręs grindų planą, jis paaiškino:" galite naudoti lygtis, kad apibūdintumėte, kas vyksta kambaryje."


Lustų dizaino sudėtingumas yra neįtikėtinas.&"Čia yra daug sluoksnių, &"; de Geusas sakė, kad grandinės buvo perbrauktos ir sluoksniuotos viena ant kitos, kaip pagrindinė greitkelio estakada. „Cerebras“ inžinieriams, dirbantiems pagal plokštelių skalę, sudėtingumas padidėja. Konspektas' programinė įranga padeda dirbtinio intelekto pavidalu: modelių derinimo algoritmai nustato bendras problemas ir siūlo sprendimus; Optimizavimo programa perkelia kambarį į greitesnį ir efektyvesnį išdėstymą. Jei į dviejų blokų pastatą bando įsiskverbti per daug juostų, programinė įranga leidžia inžinieriams žaisti Robertą Mosesą ir perkelti bloką.


Galų gale, sako Feldmanas, negabaritinių lustų konstrukcijos turi keletą privalumų. Kai šerdys yra tame pačiame luste, jos greičiau bendrauja: kompiuterio&smegenys dabar sutelktos vienoje kaukolėje, o ne išsklaidytos po kambarį. Didesni lustai taip pat geriau tvarko atmintį. Paprastai mažas lustas, paruoštas apdoroti failą, pirmiausia turi gauti failą iš bendros atminties mikroschemos, esančios kitoje plokštės vietoje; Tik dažniausiai naudojami duomenys saugomi talpykloje arčiau namų. Apibūdindamas vaflių lygio žetonų efektyvumą, Feldmanas pasiūlė analogiją: jis paprašė manęs įsivaizduoti bendrabutyje (luste) gyvenančią kambario draugų grupę (šerdį), norinčią žiūrėti futbolo rungtynes ​​(atlikti skaičiavimo darbus). Kad galėtų stebėti žaidimą, feldmanas sako, kambario draugai alaus turi laikyti šaldytuve (duomenys saugomi atmintyje); „Cerebras“ kiekviename kambaryje laiko šaldytuvą, todėl kambario draugams nereikia rizikuoti eiti į bendrabučio' virtuvę ar „Safeway“. Tai suteikia papildomos naudos, nes kiekviena šerdis leidžia greičiau apdoroti skirtingus duomenis.&"Taigi aš galiu turėti Budą savo bendrabučio kambaryje, &"; Feldmanas sakė.&"; Savo bendrabutyje galite turėti Schlitz."


Galiausiai „Cerebras“ turi įveikti derliaus problemas. Įmonės' inžinieriai naudoja trilogijos' triuką: atleidimą. Bet čia jie turi pranašumą prieš savo pirmtakus. „Trilogy“ bando gaminti bendrus lustus su daugybe skirtingų komponentų, todėl prijungus vieną nesėkmingą komponentą gali tekti prisijungti prie tolimo pakeitimo. „Cerebras“' lustas, visi branduoliai yra vienodi. Jei vienas biskvitas yra neteisingas, aplinkiniai yra tokie pat geri.