Kilpailussa tekoälyn nopeuttamiseksi Piilaakson yritys Cerebras ottaa epätavallisen strategian: mene isoksi.
Vaikka tyypillinen tietokonepiiri on kynsikokoinen, Cerebras' siru on lautasen kokoinen.
Syväoppiminen, tekoälyteknologia, joka käyttää ääni-avustajia, itse ajavia autoja ja Go-mestareita, perustuu monimutkaiseen&"-hermoverkkoon &". kerroksittain järjestetty ohjelmisto. Syväoppimisjärjestelmät voivat toimia yhdellä tietokoneella, mutta suurimmat järjestelmät ovat hajallaan tuhansille yhdistetyille koneille, joskus suurissa datakeskuksissa, kuten Googlen ylläpitämissä. Suuressa klusterissa jopa 48 pizzalaatikon kokoista palvelinta liukuu yhden miehen korkeisiin telineisiin; Hyllyt ovat rivissä ja täyttävät varaston kokoisen rakennuksen. Näiden järjestelmien hermoverkot voivat ratkaista pelottavia ongelmia, mutta ne kohtaavat myös ilmeisiä haasteita. Verkko, joka lisääntyy klusterissa, on kuin aivot, jotka ovat hajallaan huoneen poikki ja yhdistetty toisiinsa. Elektronit liikkuvat nopeasti, mutta silti tiedonsiirto sirujen välillä on hidasta ja kuluttaa paljon energiaa.
Eric Vishria, San Franciscon pääomasijoitusyhtiö Benchmarkin osakas, ymmärsi ongelman ensimmäisen kerran kuullessaan uuden tietokonepiiriyrityksen Cerebras Systemsin puhuvan keväällä 2016. Benchmark tunnetaan varhaisena sijoittajana Twitterin kaltaisissa yrityksissä. Uber ja ebay - eli ohjelmistoissa, ei laitteistossa. Yhtiö tarkastelee noin 200 startup-yritystä vuodessa ja sijoittaa yhteen.&"; Pelasimme tätä peliä, jossa suudeltiin tuhat sammakoita, &"; Vishria kertoi minulle. Puheensa alussa hän päätti heittää sammakon takaisin." Mietin, miksi suostuin tähän?&"; Emme' aio investoida laitteistoon,&", hän muisteli ajattelevansa.&"Se on tyhmää.&";
Cerebrasin perustaja Andrew Feldman aloitti liukumäen peitolla tiiminsä diaan ja kiinnitti Vishrian' huomion: hänen lahjakkuutensa oli vaikuttava. Feldman vertasi sitten kahden tyyppisiä tietokonepiirejä. Ensin hän tarkasteli grafiikkaprosessointiyksiköitä tai Gpus -siruja, jotka on suunniteltu erityisesti 3D -kuvien luomiseen. Nykyään &: n koneoppimisjärjestelmät luottavat näihin grafiikkapiireihin monista syistä. Seuraavaksi hän tarkasteli keskusyksiköitä tai CPU: ta, yleiskäyttöisiä siruja, jotka tekevät suurimman osan työstä tyypillisellä tietokoneella.&"Kolmas dia oli noin' Gpus,' jotka ovat todella huonoja syvälle oppimiselle - ne sattuvat olemaan sata kertaa parempia kuin cpus.&"; Cerebras on keksinyt uuden tyyppisen sirun, jota ei ole suunniteltu grafiikalle, mutta erityisesti tekoälylle.
Vishria on tottunut kuulemaan ääniä yrityksiltä, jotka aikovat käyttää syvää oppimista kyberturvallisuudessa, lääketieteellisessä kuvantamisessa, chatboteissa ja muissa sovelluksissa. Cerebrasin puheen jälkeen hän puhui Benchmarkin rahoittamien yritysten insinöörien kanssa, mukaan lukien Zillow, Uber ja Stitch Fix; He kertoivat hänelle, että heillä oli vaikeuksia tekoälyn kanssa, koska&"-koulutus kesti liian kauan; hermoverkko. Google on alkanut käyttää supernopeita&"tensorikäsittelylaitteita, &"; tai Tpus, erikoispiirit, jotka on suunniteltu keinotekoiseen älykkyyteen. Vishria tiesi, että kultakuume oli meneillään ja jonkun täytyi tehdä poiminnat ja lapiot.
Samana vuonna Benchmark ja Foundation Capital, toinen pääomasijoitusyhtiö, johti 27 miljoonan dollarin rahoituskierroksen Cerebrasille, joka on kerännyt lähes 500 miljoonaa dollaria. Myös muut yritykset valmistavat niin kutsuttuja tekoälyn kiihdyttimiä; Aivot' kilpailijat groq, Graphcore ja Sambanova keräsivät yli kahden miljardin dollarin pääomaa keskenään. Mutta Cerebras' lähestymistapa on ainutlaatuinen. Sen sijaan, että yhtiö olisi tulostanut kymmeniä kiekkoja suurelle piikappaleelle, leikannut ne pois ja yhdistänyt ne toisiinsa, yhtiö on luonut jättimäisen&"kiekkojen tason &". siru. Vaikka tyypillinen tietokonepiiri on kynsien kokoinen, Cerebras on suunnilleen lautasen kokoinen ja maailman suurin tietokonepiiri.
Jopa kilpailijat pitivät suoritusta vaikuttavana.&"Tämä on uutta tiedettä, &"; Nigel Toon, Graphcore': n toimitusjohtaja ja perustaja, kertoi minulle.&"Se' on uskomaton tekniikan osa. Se' on mestariteos.&"; Samaan aikaan eräs toinen insinööri, jonka kanssa puhuin, kuvaili sitä tieteelliseksi hankkeeksi - iso isoksi' s. Aiemmin yritys on yrittänyt valmistaa jättimäisiä siruja, mutta ei onnistunut; Aivot' suunnitelma on veto siitä, että teknisten haasteiden voittaminen on mahdollista ja sen arvoista.&"Rehellisesti sanottuna tietämättömyys on minulle etu, &"; Vishria sanoi.&"En tiedä' en tiedä, jos tietäisin, kuinka vaikeaa on tehdä sitä, mitä he tekevät, minulla olisi rohkeutta investoida.&";
On helppo pitää itsestäänselvyytenä, että tietokoneet nopeutuvat ja nopeutuvat. Tämä selitetään usein Mooren&lailla: puolijohdetien edelläkävijä Gordon Mooren vuonna 1965 vahvistama malli, jonka mukaan sirun transistorien määrä kaksinkertaistuu vuosittain tai joka toinen vuosi. Mooren' laki ei tietenkään ole laki, ja insinöörit työskentelevät väsymättä kutistamaan transistoreita ja samalla parantamaan&-arkkitehtuuria&". jokaisesta sirusta tehokkaampien ja tehokkaampien mallien luomiseksi.
Siruarkkitehdit ovat pitkään miettineet, voisiko yksi laajamittainen tietokonepiiri olla tehokkaampi kuin joukko pienempiä siruja, aivan kuten kaupunki, jossa on keskittyneet resurssit ja tiheät korttelit, tehokkaampi kuin esikaupunki. Ideaa kokeiltiin ensimmäisen kerran 1960 -luvulla, kun Texas Instruments rajoitti muutaman tuuman levyisten sirujen tuotantoa. Mutta yrityksen' insinöörit törmäsivät tuotto -ongelmiin. Minkä tahansa piikiekon valmistusvirheet vaarantavat väistämättä tietyn määrän piirejä. Jos kiekko sisältää 50 pelimerkkiä, yritys voi heittää pois huonot ja myydä hyvät. Mutta jos jokainen onnistunut siru olisi riippuvainen yksittäisen kiekon työpiiristä, monet kalliit kiekot hylättäisiin. Texas Instruments löysi ratkaisun, mutta tekniikka ja tarve eivät olleet vielä'
1980 -luvulla insinööri nimeltä Gene Amdahl yritti ratkaista ongelman uudelleen hänen perustamansa yrityksen nimeltä Trilogy Systems. Siitä tuli Piilaakson': n historian suurin käynnistys, ja se rahoitti noin 250 miljoonaa dollaria. Tuotto -ongelman ratkaisemiseksi Trilogy painoi tarpeettomat komponentit sirulle. Tämä menetelmä lisää tuotantoa, mutta vähentää sirun nopeutta. Samaan aikaan Trilogy kamppailee muilla tavoin. Amdahl ajoi moottoripyöräilijän Royce -rulliensa kanssa aiheuttaen oikeudellisia ongelmia; Sen presidentti kuoli aivokasvaimeen; Rankkasateet ovat viivästyttäneet tehtaiden rakentamista, ruostuttavia ilmastointijärjestelmiä ja pölyn keräämistä lastulle. Vuonna 1984 Trilogy luovutti.&"; En' tajunnut kuinka vaikeaa se olisi, &"; Amdahlin poika kertoi The Timesille.
Jos Trilogyn [39] tekniikka onnistuu, sitä voidaan nyt käyttää syväoppimiseen. Sen sijaan Gpus (pelit, joita käytetään videopeleissä) ratkaisee tieteellisiä ongelmia kansallisissa laboratorioissa. Gpus: n uudelleenkäyttö tekoälylle riippuu siitä, että vaikka hermoverkot ovat hyvin monimutkaisia, ne tukeutuvat paljon kertomiseen ja lisäämiseen. Kun&"; neuronit &"; kun verkko laukaisee toisiaan, ne vahvistavat tai vähentävät toistensa signaaleja kertomalla ne kertoimilla, joita kutsutaan yhteyspainoiksi. Tehokas tekoälyprosessori laskee monia aktivointeja rinnakkain; Se yhdistää ne sarjaksi numeroita, joita kutsutaan vektoreiksi, tai matriiseiksi kutsuttuja numeroverkkoja tai korkeamman ulottuvuuden lohkoja, joita kutsutaan tentoreiksi. Ihannetapauksessa haluat kertoa yhden matriisin tai tensorin toisella kerralla. Gpus on suunniteltu tekemään jotain vastaavaa:
& "; Trilogian varjo on niin suuri, &"; Feldman sanoi minulle äskettäin,&", että ihmiset lakkaavat ajattelemasta ja alkavat sanoa:' Se' on mahdotonta.'&"; GPU -yritykset, mukaan lukien Nvidia, käyttivät tilaisuutta muokata sirujaan syvään oppimiseen. Vuonna 2015 Feldman ja joukko tietokonearkkitehteja alkoivat keskustella ideasta suuremmista siruista, kun he perusti tietokonepalvelinvalmistajan Seamicron, jonka he myivät sirunvalmistajalle AMD: lle 334 miljoonalla dollarilla. He työskentelivät asian parissa neljä kuukautta pääomasijoitusyritykseltä lainatussa toimistossa. Kun heillä oli hahmotelma toteuttamiskelpoisesta ratkaisusta, he keskustelivat kahdeksan yrityksen kanssa; Sain rahoituksen Benchmarkilta, Foundation Capitalilta ja Eclipseltä ja aloin palkata.
Aivot' Ensimmäinen tehtävä on ratkaista suuria siruja vaivaavat valmistusongelmat. Siru oli alun perin lieriömäinen kiteinen pii, joka oli noin jalan halkaisijaltaan, ja teräsharko leikattiin alle millimetrin paksuisiksi kiekkoiksi. Piiri on sitten&", painettu &"; kiekkojen päälle litografiaprosessin kautta. UV-herkät kemikaalit levitetään varovasti pinnalle, ja sitten UV-valonsäde heijastetaan yksityiskohtaisen mallin läpi, jota kutsutaan maskiksi. Nämä kemikaalit reagoivat muodostaen piirejä.
Normaalisti maskin läpi heijastuneen valon peittämä alue muuttuu siruksi. Sitten siru liikkuu ja valo projisoidaan uudelleen. Kun kymmeniä tai satoja siruja on tulostettu, ne leikataan kiekosta laserilla.&"Helpoin tapa tehdä se on, että äitisi ottaa pyöreän keksitaikinan, &"; Feldman sanoi.&"; Hänellä on keksimuotti ja hän leikkaa evästeet huolellisesti.&"; Fysiikan ja optiikan lait tekevät mahdottomaksi tehdä suuremman evästeenleikkurin. Tämän seurauksena&"kehitimme tekniikan, jonka avulla voit kommunikoida pienen taikinan kautta kahden evästeen välillä.&";
Cerebras -tulostusjärjestelmässä, joka on kehitetty yhteistyössä sirun valmistavan yrityksen TSMC: n kanssa, evästeiden reunat ovat päällekkäin niin, että niiden johdot on kytketty toisiinsa. Tuloksena on yksi&"; kiekkojen koko &"; kiekko, kuparin värinen neliö ja 21 cm kummallakin puolella. (Suurimmat GP: t ovat halkaisijaltaan hieman alle 3 cm.) Cerebras tuotti ensimmäisen sirunsa, Wafer-asteikon moottorin 1, vuonna 2019. Tänä vuonna esitellyssä Wse-2: ssa käytetään tiheämpää piiriä, ja 2,6 biljoonaa transistoria on pakattu 850 000 prosessointiyksikköön tai&"; ytimet &". (Top Gpusissa on vain muutamia tuhansia ytimiä, kun taas useimmissa tietokoneissa on alle 10.)
& "; 2,6 biljoonaa transistoria on hämmästyttävää, &"; sanoi Synopsysin puheenjohtaja ja toimitusjohtaja Aart de Geus. Synopsys tarjoaa ohjelmistoja, joita Cerebras ja muut sirunvalmistajat käyttävät sirumalliensa tekemiseen ja validointiin. De Geus sanoo, että suunnitteliessaan siruja insinöörien on ensin pohdittava kahta ydinkysymystä:" Mistä tiedot ovat peräisin?&"; Missä sitä käsitellään?&"; Kun sirut olivat yksinkertaisempia, suunnittelijat pystyivät vastaamaan näihin kysymyksiin kynällä piirustuspöydälle; Kun työskentelet nykypäivän'&"; Mieti, miltä talo näyttää katolta, &"; de Geus sanoi." Onko autotalli lähellä keittiötä? Vai onko se lähellä makuuhuonetta? Haluat sen lähellä keittiötä - muuten sinun' sinun on kuljetettava elintarvikkeita talon joka kulman läpi.&"; Pohjapiirroksen suunnittelun jälkeen hän selitti:&"; voit käyttää yhtälöitä kuvaamaan, mitä huoneessa tapahtuu.&";
Sirujen suunnittelun monimutkaisuus on hämmästyttävää.&"Tässä on monia kerroksia, &"; de Geus sanoi, että piirit olivat ristissä ja kerroksittain päällekkäin, kuten suuri valtatien ylikulkusilta. Cerebras -insinööreille, jotka työskentelevät kiekkojen asteikolla, monimutkaisuus lisääntyy. Synopsys' ohjelmisto auttaa tekoälyn muodossa: kuvioiden sovitusalgoritmit tunnistavat yleisiä ongelmia ja ehdottavat ratkaisuja; Optimointiohjelma siirtää huoneen nopeampaan ja tehokkaampaan järjestelyyn. Jos liian monta kaistaa yrittää puristua kahden korttelin rakennukseen, ohjelmisto sallii insinöörien pelata Robert Mosesia ja siirtää lohkoa.
Lopulta Feldman sanoo, että ylisuurilla sirumalleilla on useita etuja. Kun ytimet ovat samassa sirussa, ne kommunikoivat nopeammin: tietokoneen&39: n aivot ovat nyt keskittyneet yhteen kalloon sen sijaan, että ne olisivat hajallaan huoneen poikki. Suuremmat sirut käsittelevät myös muistia paremmin. Tyypillisesti pienen sirun, joka on valmis käsittelemään tiedostoa, on ensin hankittava tiedosto muualta piirilevyltä sijaitsevasta jaetusta muistisirusta; Vain yleisimmin käytetyt tiedot tallennetaan välimuistiin lähempänä kotia. Feldman tarjosi analogian kuvaillessaan kiekkojen tason sirujen tehokkuutta: Hän pyysi minua kuvittelemaan asuntolassa asuvan kämppäkaverin (ydin) ryhmän, joka halusi katsella jalkapallo-ottelua (tehdä laskentatyötä). Pelin katsomiseksi, feldman sanoo, kämppäkavereiden on säilytettävä olutta jääkaapissa (tiedot tallennetaan muistiin); Cerebras pitää jääkaapin jokaisessa huoneessa, joten kämppäkavereiden ei tarvitse ottaa riskiä mennä asuntolan': n yhteiskeittiöön tai Safewaylle. Tästä on se lisäetu, että jokainen ydin voi käsitellä erilaisia tietoja nopeammin.&"Joten voin saada Budin asuntolahuoneeseeni, &"; Feldman sanoi.&"; Asuntoloissasi voit saada Schlitzin.&";
Lopuksi Cerebrasin on voitettava tuotto -ongelmat. Yrityksen' insinöörit käyttävät Trilogy' n temppua: redundanssi. Mutta täällä heillä on etu verrattuna edeltäjiinsä. Trilogy yrittää valmistaa geneerisiä siruja, joissa on monia erilaisia komponentteja, joten johdotus yhden epäonnistuneen komponentin ympärille saattaa vaatia yhteyden muodostamisen etäyhteyteen. On Cerebras' siru, kaikki ytimet ovat identtisiä. Jos yksi keksi on väärä, sen ympärillä olevat ovat yhtä hyviä.