SANTA CLARA, California (AP) — Construirea actualei chatbot-uri de inteligență artificială s-a bazat pe cipuri de laptop specializate, introduse de Nvidia, care au încolțit piața și s-au transformat în posterul boom-ului AI.
Dar aceleași calități care fac acele cipuri ale procesorului grafic sau GPU-uri să fie atât de eficiente în crearea de sisteme AI puternice de la zero le fac mai puțin eficiente în punerea în funcțiune a produselor AI.
Acest lucru a deschis industria cipurilor AI rivalilor care cred că pot concura cu Nvidia în vânzarea așa-numitelor cipuri de inferență AI, care sunt mai adaptate la funcționarea de zi cu zi a instrumentelor AI și concepute pentru a scale back unele dintre costurile uriașe de calcul ale IA generativă.
„Aceste companii văd oportunități pentru acest tip de {hardware} specializat”, a spus Jacob Feldgoise, analist la Centrul pentru Securitate și Tehnologie Emergentă al Universității Georgetown. „Cu cât adoptarea acestor modele este mai largă, cu atât va fi nevoie de mai mult calcul pentru inferență și cu atât va fi mai mare cerere pentru cipuri de inferență.”
Ce este inferența AI?
Este nevoie de multă putere de calcul pentru a crea un chatbot AI. Începe cu un proces numit antrenament sau preinstruire – „P” în ChatGPT – care implică sistemele AI „învățare” din tiparele uriașe de date. GPU-urile sunt bune în a face această muncă, deoarece pot rula multe calcule simultan pe o rețea de dispozitive în comunicare între ele.
Cu toate acestea, odată antrenat, un instrument AI generativ mai are nevoie de cipuri pentru a face treaba, cum ar fi atunci când îi cereți unui chatbot să compună un doc sau să genereze o think about. Acolo intervine inferențele. Un mannequin AI antrenat trebuie să preia informații noi și să facă inferențe din ceea ce știe deja pentru a produce un răspuns.
GPU-urile pot face și această treabă. Dar poate fi un pic ca și cum ai lua un baros pentru a sparge o nucă.
„Cu antrenament, faci mult mai greu, mult mai mult. Cu inferențe, aceasta este o greutate mai ușoară”, a spus analistul Forrester Alvin Nguyen.
Acest lucru a determinat startup-uri precum Cerebras, Groq și d-Matrix, precum și rivalii tradiționali ai Nvidia în producția de cipuri, cum ar fi AMD și Intel, să lanseze cipuri mai prietenoase cu inferența, deoarece Nvidia se concentrează pe satisfacerea cererii uriașe din partea companiilor tehnologice mai mari pentru hardware-ul său de ultimă generație. .
În interiorul unui laborator de cip de inferență AI
D-Matrix, care își lansează primul produs săptămâna aceasta, a fost înființată în 2019 – puțin târziu la jocul cu cipuri AI, după cum a explicat CEO Sid Sheth în timpul unui interviu current la sediul companiei din Santa Clara, California, aceeași Silicon Valley. oraș care găzduiește și AMD, Intel și Nvidia.
„Existau deja peste 100 de companii. Așa că, când am ieșit acolo, prima reacție pe care am avut-o a fost „ai întârziat”, a spus el. Sosirea pandemiei șase luni mai târziu nu a ajutat, deoarece industria tehnologică s-a concentrat pe software program pentru a servi munca la distanță.
Acum, însă, Sheth vede o mare piață în inferența AI, comparând acea etapă ulterioară a învățării automate cu modul în care ființele umane aplică cunoștințele pe care le-au dobândit la școală.
„Ne-am petrecut primii 20 de ani ai vieții mergând la școală, educându-ne. Asta e antrenament, nu?” spuse el. „Și apoi în următorii 40 de ani ai vieții story, mergi acolo și aplici acele cunoștințe – și apoi ești recompensat pentru eficiență.”
Produsul, numit Corsair, constă din două cipuri cu câte patru cipuri fiecare, fabricate de Taiwan Semiconductor Manufacturing Firm – același producător al majorității cipurilor Nvidia – și ambalate împreună într-un mod care ajută la păstrarea lor rece.
Cipurile sunt proiectate în Santa Clara, asamblate în Taiwan și apoi testate înapoi în California. Testarea este un proces lung și poate dura șase luni – dacă ceva nu este în regulă, poate fi trimis înapoi în Taiwan.
Lucrătorii D-Matrix făceau teste finale pe cipuri în timpul unei vizite recente la un laborator cu birouri de metallic albastru acoperite cu cabluri, plăci de bază și computere, cu o cameră rece de servere alături.
Cine vrea cipuri de inferență AI?
În timp ce giganții tehnologici precum Amazon, Google, Meta și Microsoft au înghițit oferta de GPU-uri costisitoare într-o cursă de a se întrece reciproc în dezvoltarea AI, producătorii de cipuri de inferență AI vizează o clientelă mai largă.
Nguyen de la Forrester a spus că ar putea embody companii din Fortune 500 care doresc să utilizeze noua tehnologie AI generativă fără a fi nevoite să-și construiască propria infrastructură AI. Sheth a spus că se așteaptă la un interes puternic pentru generarea de videoclipuri AI.
„Visul AI pentru multe dintre aceste companii este că vă puteți folosi propriile date de întreprindere”, a spus Nguyen. „Cumpărarea (cipurilor de inferență AI) ar trebui să fie mai ieftină decât cumpărarea de GPU-uri de ultimă generație de la Nvidia și alții. Dar cred că va exista o curbă de învățare în ceea ce privește integrarea acesteia.”
Feldgoise a spus că, spre deosebire de cipurile axate pe antrenament, munca de inferență AI prioritizează cât de repede va primi o persoană răspunsul unui chatbot.
El a spus că un alt set de companii dezvoltă {hardware} AI pentru inferență care poate rula nu doar în marile centre de date, ci și native pe computere desktop, laptopuri și telefoane.
De ce contează asta?
Cipurile mai bine proiectate ar putea scale back costurile uriașe ale rulării AI pentru companii. Acest lucru ar putea afecta, de asemenea, costurile de mediu și energie pentru toți ceilalți.
Sheth spune că marea îngrijorare în acest second este „o să ardem planeta în căutarea a ceea ce oamenii numesc AGI – inteligență asemănătoare omului?”
Este încă neclar când AI ar putea ajunge la punctul de inteligență generală artificială – predicțiile variază de la câțiva ani la decenii. Dar, notează Sheth, doar o mână de giganți ai tehnologiei sunt în această căutare.
— Dar atunci ce rămâne cu restul? spuse el. „Nu pot fi puși pe aceeași cale.”
Celălalt set de companii nu doresc să folosească modele AI foarte mari – este prea costisitor și utilizează prea multă energie.
„Nu știu dacă oamenii apreciază cu adevărat că deducerea va fi de fapt o oportunitate mult mai mare decât antrenamentul. Nu cred că ei apreciază asta. Este încă un antrenament care acaparat cu adevărat toate titlurile”, a spus Sheth.