V závode na urýchlenie umelej inteligencie spoločnosť Silicon Valley Cerebras používa neobvyklú stratégiu: Choďte do toho.
Kým typický počítačový čip má veľkosť nechtu, Cerebras' čip je veľkosť taniera.
Deep learning, technológia AI, ktorá poháňa hlasových asistentov, samoriadiace autá a majstrov Go, sa spolieha na komplexnú&„neurónovú sieť &“; softvér usporiadaný vo vrstvách. Hlboké vzdelávacie systémy môžu fungovať na jednom počítači, ale najväčšie systémy sú rozmiestnené na tisíckach prepojených počítačov, niekedy vo veľkých dátových centrách, ako sú tie, ktoré prevádzkuje spoločnosť Google. Vo veľkom klastri sa až 48 serverov veľkosti pizza-boxu zasúva do regálov vysokých ako jeden človek; Police sú zoradené v radoch a vypĺňajú budovu veľkosti skladu. Neurónové siete v týchto systémoch môžu vyriešiť skľučujúce problémy, ale stoja aj pred zjavnými výzvami. Sieť, ktorá sa šíri v klastri, je ako mozog roztrúsený po miestnosti a navzájom prepojené. Elektróny sa pohybujú rýchlo, ale aj napriek tomu je komunikácia cez čipy pomalá a spotrebuje veľa energie.
Eric Vishria, generálny partner spoločnosti San Francisco pre rizikový kapitál Benchmark, si tento problém najskôr uvedomil, keď na jar roku 2016 počul novú spoločnosť zaoberajúcu sa počítačovými čipmi Cerebras Systems. Benchmark je známy tým, že je prvým investorom do spoločností ako Twitter, Uber a ebay - to znamená v softvéri, nie v hardvéri. Spoločnosť sa pozerá na zhruba 200 začínajúcich podnikateľov ročne a investuje do jedného." Hrali sme hru bozkávania tisíc žiab," Povedala mi to Vishria. Na začiatku svojho príhovoru sa rozhodol hodiť žabu späť." Myslel som si, prečo som s tým súhlasil?"' nejdeme investovať do hardvéru, &; spomenul si na myslenie." Je to' je to hlúpe."
Spoluzakladateľ spoločnosti Cerebras Andrew Feldman začal s krytom snímky svojho tímového snímky a upútal pozornosť Vishria' jeho talent bol pôsobivý. Feldman potom porovnal dva typy počítačových čipov. Najprv sa pozrel na grafické procesorové jednotky alebo Gpus - čipy navrhnuté špeciálne na vytváranie 3D obrazov. Dnešné systémy' strojového učenia sa na tieto grafické čipy spoliehajú z rôznych dôvodov. Ďalej sa pozrel na centrálne procesorové jednotky alebo cpus, univerzálne čipy, ktoré vykonávajú väčšinu práce na typickom počítači.&"Tretie sklíčko bolo o' Gpus,' ktoré sú v skutočnosti zlé pre hlboké učenie - sú náhodou stokrát lepšie ako cpus." Spoločnosť Cerebras prišla s novým typom čipu, ktorý nie je určený pre grafiku, ale je špeciálne navrhnutý pre umelú inteligenciu.
Vishria je zvyknutá počuť reči od spoločností, ktoré plánujú využiť hlboké vzdelávanie v oblasti kybernetickej bezpečnosti, lekárskeho zobrazovania, chatbotov a ďalších aplikácií. Po prednáške Cerebras&hovoril s inžiniermi v spoločnostiach financovaných spoločnosťou Benchmark, vrátane spoločností Zillow, Uber a Stitch Fix; Povedali mu, že majú problémy s AI, pretože&„cvičiť &“ trvalo príliš dlho. neurónová sieť. Google začal používať superrýchle jednotky&„tensor processing units, &“; alebo Tpus, špeciálne čipy navrhnuté pre UMELÚ inteligenciu. Vishria vedela, že prebieha zlatá horúčka a kraby a lopaty musí niekto vyrobiť.
V tom roku viedli Benchmark a Foundation Capital, ďalšia spoločnosť rizikového kapitálu, 27 miliónov dolárov na financovanie spoločnosti Cerebras, ktorá získala takmer 500 miliónov dolárov. Ostatné spoločnosti tiež vyrábajú takzvané urýchľovače umelej inteligencie; Cerebras' Konkurenti groq, Graphcore a Sambanova medzi nimi získali kapitál viac ako 2 miliardy dolárov. Ale Cerebras' prístup je jedinečný. Namiesto tlačenia desiatok oblátok na veľký kus kremíka, ich odrezania a vzájomného spojenia, spoločnosť vytvorila obrovskú&"úroveň oblátky &"; čip. Kým typický počítačový čip má veľkosť nechtu, Cerebras je veľký asi ako tanier a je najväčším počítačovým čipom na svete.
Dokonca aj konkurenti považovali tento čin za pôsobivý." Toto je nová veda," Povedal mi to Nigel Toon, výkonný riaditeľ a spoluzakladateľ Graphcore'" Je to' je to neuveriteľné inžinierstvo. Je to majstrovské dielo." Medzitým ďalší inžinier, s ktorým som hovoril, to opísal ako vedecký projekt - veľký pre dobro' V minulosti sa spoločnosť pokúšala vyrábať obrovské čipy; Cerebras' plán je stávka na to, že prekonanie technických výziev je možné a stojí za to." Úprimne povedané, pre mňa je nevedomosť výhodou," Povedala Vishria." Neviem' neviem, keby som vedel, aké ťažké je robiť to, čo robia, mal by som odvahu investovať."
Je samozrejmé, že počítače sú stále rýchlejšie. Často to vysvetľuje Mooreov zákon: vzor vytvorený v roku 1965 polovodičovým priekopníkom Gordonom Moorom, podľa ktorého sa počet tranzistorov na čipe zdvojnásobí každý rok alebo každé dva roky. Samozrejme, Moorov zákon nie je zákon a inžinieri neúnavne pracujú na zmenšovaní tranzistorov a súčasne zlepšujú architektúru &; každého čipu, aby sa vytvorili efektívnejšie a výkonnejšie návrhy.
Architekti čipov sa už dlho zaujímajú o to, či by jeden veľký počítačový čip mohol byť efektívnejší ako veľa menších čipov, rovnako ako je mesto s koncentrovanými zdrojmi a hustými blokmi efektívnejšie ako na predmestí. Táto myšlienka bola prvýkrát vyskúšaná v šesťdesiatych rokoch minulého storočia, keď spoločnosť Texas Instruments obmedzila výrobu čipov širokých niekoľko palcov. Inžinieri spoločnosti' ale narazili na problémy s výnosom. Na akejkoľvek kremíkovej doske výrobné chyby nevyhnutne ohrozujú určitý počet obvodov. Ak oblátka obsahuje 50 žetónov, spoločnosť môže zlé vyhodiť a dobré predať. Ak by však každý úspešný čip závisel od pracovných obvodov jednej oblátky, mnoho drahých doštičiek by bolo vyradených. Spoločnosť Texas Instruments našla riešenie, ale technológia a potreba tu ešte neboli.
V 80. rokoch minulého storočia sa inžinier menom Gene Amdahl pokúsil znova vyriešiť problém so spoločnosťou, ktorú založil, s názvom Trilogy Systems. Stal sa najväčším startupom v histórii Silicon Valley' s financovaním približne 250 miliónov dolárov. Aby sa vyriešil problém s výťažkom, Trilogy vytlačila nadbytočné komponenty na čip. Táto metóda zvyšuje produkciu, ale znižuje rýchlosť čipu. Trilógia medzitým bojuje inými spôsobmi. Amdahl prešiel so svojimi rolami Royce na motocyklistu a spôsobil tým právne problémy; Jeho prezident zomrel na nádor na mozgu; Silné dažde oddialili výstavbu tovární, hrdzavejúce klimatizačné systémy a zber prachu na čipe. V roku 1984 to Trilogy vzdalo.&"Neuvedomil som si' neuvedomil som si, aké ťažké to bude, &"; Pre The Times to povedal Amdahlov syn.
Ak bude technológia Trilogy' úspešná, teraz by sa dala použiť na hlboké učenie. Namiesto toho Gpus (čipy používané vo videohrách) riešia vedecké problémy v národných laboratóriách. Opätovné použitie gpus pre AI závisí od skutočnosti, že neurónové siete, aj keď sú veľmi zložité, sa spoliehajú na veľa násobení a pridávania. Keď sa&"neuróny &"; v sieti sa navzájom požiarujú, navzájom si zosilňujú alebo znižujú signály' vynásobia ich koeficientmi nazývanými váhy pripojenia. Účinný procesor AI bude počítať mnoho aktivácií paralelne; Kombinuje ich do série čísel nazývaných vektory alebo mriežok čísel nazývaných matice alebo do blokov vyšších dimenzií nazývaných tenzory. V ideálnom prípade chcete znásobiť jednu maticu alebo tenzor druhou naraz. Gpus sú navrhnuté tak, aby robili niečo podobné:
& quot; Tieň trilógie je taký veľký," Feldman mi nedávno povedal, že ľudia prestanú premýšľať a začnú hovoriť:' To' je nemožné.'" Spoločnosti využívajúce GPU, vrátane spoločnosti Nvidia, využili príležitosť prispôsobiť svoje čipy hlbokému učeniu. V roku 2015 Feldman a skupina počítačových architektov začali diskutovať o myšlienke väčších čipov potom, čo spoluzakladali výrobcu počítačových serverov Seamicro, ktorý predali výrobcovi čipov AMD za 334 miliónov dolárov. Na tejto záležitosti pracovali štyri mesiace v kancelárii požičanej od firmy rizikového kapitálu. Keď mali náčrt životaschopného riešenia, rozprávali sa s ôsmimi spoločnosťami; Získal financovanie od spoločností Benchmark, Foundation Capital a Eclipse a začal zamestnávať.
Cerebras' prvou úlohou je vyriešiť výrobné problémy, ktoré trápia veľké čipy. Čip bol pôvodne valcovitý ingot z kryštalického kremíka s priemerom asi stopu a oceľový ingot bol narezaný na oblátky hrubé menej ako milimeter. Obvod je potom&"; tlačený &"; na oblátku procesom nazývaným litografia. Chemikálie citlivé na ultrafialové žiarenie sa opatrne nanášajú na povrch a potom sa lúč UV svetla premieta cez podrobnú šablónu nazývanú maska. Tieto chemikálie reagujú na vytvorenie obvodov.
Za normálnych okolností sa z oblasti pokrytej svetlom premietaného cez masku stane čip. Potom sa čip pohne a svetlo sa opäť premieta. Potom, čo sú vytlačené desiatky alebo stovky čipov, sú rezané laserom z oblátky." Najjednoduchší spôsob, ako to urobiť, je, ak vaša mama vyberie okrúhle cesto na sušienky," Povedal Feldman." Má formu na sušienky a sušienky opatrne krája." Fyzikálne a optické zákony znemožňujú výrobu väčšej vykrajovačky. V dôsledku toho sme&vyvinuli technológiu, aby ste mohli komunikovať cez malé cesto medzi dvoma cookies."
V tlačovom systéme Cerebras vyvinutom v spolupráci s TSMC, spoločnosťou, ktorá vyrába čip, sa okraje cookies prekrývajú, takže sú ich drôty spojené. Výsledkom je jediná&"veľkosť oblátky &"; oblátka, štvorec medenej farby a 21 cm na každej strane. (Najväčšie Gpus majú priemer menej ako 3 cm.) Cerebras vyrobil svoj prvý čip Wafer-scale Engine 1 v roku 2019. Wse-2, predstavený tento rok, používa hustejší obvod s 2,6 biliónom tranzistorov zabalených do 850 000 procesorových jednotiek. alebo&"jadrá &". (Najlepšie Gpus majú iba niekoľko tisíc jadier, zatiaľ čo väčšina cpus má menej ako 10.)
& 2,6 biliónov tranzistorov je ohromujúcich," povedal Aart de Geus, predseda predstavenstva a generálny riaditeľ spoločnosti Synopsys. Spoločnosť Synopsys poskytuje určitý softvér, ktorý Cerebras a ďalší výrobcovia čipov používajú na výrobu a overovanie svojich návrhov čipov. De Geus hovorí, že pri navrhovaní čipov musia inžinieri najskôr zvážiť dve základné otázky:&„Odkiaľ pochádzajú údaje?" Kde sa to rieši?" Keď boli čipy jednoduchšie, mohli dizajnéri na tieto otázky odpovedať ceruzkou na kresliacom stole; Pri práci s dnešnými komplexnejšími čipmi' zadajte kód, ktorý popisuje architektúru, ktorú chcú vytvoriť, a potom prejdite na vizualizačné a kódovacie nástroje." Zamyslite sa nad tým, ako dom vyzerá zo strechy," povedal de Geus." Je garáž blízko kuchyne? Alebo je to blízko spálne? Chcete to blízko kuchyne - v opačnom prípade budete' musieť nosiť potraviny cez každý roh domu." Po navrhnutí pôdorysu vysvetlil:&„Môžete použiť rovnice na popísanie toho, čo sa deje v miestnosti."
Zložitosť dizajnu čipov je ohromujúca.&"Je tu veľa vrstiev, &"; povedal de Geus s okruhmi prekríženými a navrstvenými na seba, ako hlavný diaľničný nadjazd. Pre inžinierov Cerebras, ktorí pracujú na mierke oblátky, je zložitosť zvýšená. Synopsys' softvér pomáha vo forme umelej inteligencie: algoritmy na porovnávanie vzorov identifikujú bežné problémy a navrhujú riešenia; Program optimalizátora presunie miestnosť k rýchlejšiemu a efektívnejšiemu usporiadaniu. Ak sa do dvojblokovej budovy pokúsi vtesnať príliš veľa pruhov, softvér umožní inžinierom hrať s Robertom Mosesom a blok posunúť.
Na konci, Feldman hovorí, existuje niekoľko výhod nadrozmerných čipov. Keď sú jadrá na tom istom čipe, komunikujú rýchlejšie: mozog počítača' je teraz sústredený skôr v jednej lebke, než aby bol rozptýlený po miestnosti. Väčšie čipy tiež lepšie zvládajú pamäť. Malý čip pripravený na spracovanie súboru spravidla musí najskôr získať súbor z čipu so zdieľanou pamäťou umiestneného inde na doske s plošnými spojmi; Bližšie k domovu sú vo vyrovnávacej pamäti uložené iba najbežnejšie používané údaje. Pri popise účinnosti čipov na úrovni oblátky Feldman ponúkol analógiu: Požiadal ma, aby som si predstavil skupinu spolubývajúcich (jadro) žijúcich na internáte (čip), ktorí by chceli sledovať futbalový zápas (prácu s počítačom). Aby mohol hru sledovať, hovorí feldman, spolubývajúci potrebujú skladovať pivo v chladničke (údaje sú uložené v pamäti); Cerebras uchováva chladničku v každej miestnosti, aby spolubývajúci nemuseli riskovať, že pôjdeme do spoločnej kuchyne alebo do Safeway. To má ďalšiu výhodu v tom, že umožňuje každému jadru rýchlejšie spracovanie rôznych údajov." Aby som mohol mať Buda na internáte," Povedal Feldman." Na internáte môžete mať Schlitza."
Cerebras musí konečne prekonať problémy s výnosom. Inžinieri spoločnosti' používajú trik Trilogy' s: nadbytočnosť. Ale tu majú oproti svojim predchodcom výhodu. Trilogy sa pokúša vytvoriť generické čipy s mnohými rôznymi komponentmi, takže zapojenie jedného chybného komponentu môže vyžadovať pripojenie vzdialenej náhrady. Na cerebrách' čip, všetky jadrá sú identické. Ak je jedna sušienka nesprávna, rovnako dobré sú aj tie okolo.