Що ся ми разваляш сеира начи … 
Пробив в хардуера няма да има със сегашните модели. Ако има пробив в софтуера, може и да стане нещо от хардуерната страна. Затова всички (за които си струва да се говори) правят co-design.
Лаптоп за Deep Learning и Large Language модели
0 1 2 3 4 ...33 34 35 36 37 ...67 68 69 70 71
Ето това е едно от интересните хардуерни решения, които трябва да се следят. За щастие е достатъчно надалеч в бъдещето (4+ години) и мога да го пусна тук без козоеба да може да се възползва :)
Че какво толкова легаси има? И по-важното, като има - това легаси как точно пречи?
Има едни картинки какъв процент от процесорите се използва за неща различни от сметки. Това е отговорът на въпроса ти.
Тясното място на съвременния хардуер за ии е шината към паметта. И не му трябва кеш. Всичко се претаква през шината само веднъж. Ако транспютрите се бяха развили може би щяха да паснат за задачата.
Ако това беше вярно, продуктите на Cerebras щяха да са решението. :) За съжаление не е вярно. :)
Може би си прав. Със сигурност махането на легаси частта не би било пробив. И не би помогнало осезаемо.
Имам в предвид нещо което да прави матричните сметки направо в паметта а не да се претака през шините за данни до АЛУ-та. Там не ти трябва да име преходи, логика и такива неща - само сметки, сметки, сметки ...
Да, така звучи по-революционно - до всеки няколко клетки памет да има закачен някакъв хардуер. Като при кеш паметта, да речем. И аз преди 30-на години някъде мислех, че така може да се постигне много. То може и да може - напоследък опитват с разни sram-ове, както чертата отбеляза преди малко, но май просто слагат sram и до него обичайните неща, като се възползват от това, че може всичко да е на един чип.
Преди около година присъствах на една презентация на един професор от Принстън (Naveen Verma) относно PIM (Processing in Memory). Презентацията беше много добра и професора каза, че въпреки че темата е много полезна за писане на докторати, на практика е безмислена. Работи само ако данните са организирани във вида, очакван от схемата, а повечето време и енергия се изразходва точно за организирането им в този вид.
Така е ако мислим за досегашните архитектури. Но за при ИИ моделите нещата са доста типизирани и може и да може да се формализира до някакви повтаряеми модели които са лесни за печатане. Все едно ФПГА ама специализирано в посока сметки. Между другото тези сметки ако се правят аналогово а не цифрово нещата ще станат мнооого интересни.
Т.е. всяка цифра в матрицата да не се пази като число ами като някакъв заряд в кондензатор или някакво съпротивление и съответно сметките да станат на база на аналогови сигнали. Абе опитвам се да мисля нестандартно - може и да има идея, може и да няма.
Един от слайдовете не професора беше точно за такива публикации на студентите му. :) Ако потърсиш, сигурно ще ги намериш. Мен ме мързи.
Е те точно затова Cerebras си мислеха, че архитектурата им ще е успешна. Но нещо май не се получава, поне засега. :)
Съгласен с професора, вони на академизъм темата. Но са разбираеми гъдела и мокрите сънища: не е ли ситуацията в момента същата? Повечето време и енергия отива за трениране. И няма ли да е благодатно точно за инфирънса, който waldorf чака? Още е гъделичкащо, че мозъците изглежда нямат обособена памет и също работят така. И еволюционно е отнело доста време и енергия да се натренират. Та може да си сънуваме за трениране и отливка на резултата в чип.
Ами мозъците ни не умножават матрици. Затова и казвам, че докато не се променят моделите (т.е. софтуера), няма да има особен прогрес. Иначе Интел и IBM правиха по едно време разни neuromorphic chips, но май нищо не се получи от тях. Дори им забравих имената вече.
Ибм по едно време ползваха ефекта от деградацията на флаш паметта при определянето на теглата в мрежата. Ползваха флаш.
0 1 2 3 4 ...33 34 35 36 37 ...67 68 69 70 71