NVIDIA DGX Spark™ + Apple Mac Studio = 4x Faster LLM Inference

waldorf

NVIDIA DGX Spark™ + Apple Mac Studio = 4x Faster LLM Inference

Интересни резултати, трябва да помисля как да го направя с pytorch...

Реших да не купувам Спарк засега. Ще видя как се държат фирмените първо. Шефа ми, който е с по-лош импълс кънтрол и от мен като става въпрос да джаджи вече си е получил неговия вчера.

Delegate, ти купи ли си AMD машината, която мислеше да купуваш?

Спарк-овете ги мернах някъде налични без чакане. Явно интереса към тях не е чак толкова висок. Но може би като първите купувачи си поиграят и покажат някакво добро приложение като за тази цена и тях ще ги чакаме с месеци. То като гледам вече не се чака и за 5090 и за 6000 про.

waldorf

Спарк-овете ги мернах някъде налични без чакане. Явно интереса към тях не е чак толкова висок. Но може би като първите купувачи си поиграят и покажат някакво добро приложение като за тази цена и тях ще ги чакаме с месеци. То като гледам вече не се чака и за 5090 и за 6000 про.

Аз подозирам, че сравнително скоро ще се появят по-евтини платки с GB10 без мрежовата карта, и ще вършат работа в определени условия.

Иначе мен дискретни GPU-та не са ми интересни.

|

Delegate, ти купи ли си AMD машината, която мислеше да купуваш?

Не съм. Мисля да делегирам тази привилегия на работодателя си. Засега за леки неща джуркам RTX видео-карти. Има тенденция при моделите да предлагат все по-високо ниво за все по-малко или същата VRAM, там микстури от експерти, активни параметри и кретам засега върху тоя тренд.

Delegate

Не съм. Мисля да делегирам тази привилегия на работодателя си.

Same.

DGX Spark-a изглежда доста небалансиран с тоя LPDDR5x, но ще видим какви са реалните резултати.

Наката пак облъчва... ама даде добра идея. Снимах си климатика и ChatGPT ми каза кой е модела и кви са му параметрите.

Ама иначе повечето неща де обяснява съм ги говорил по събития.

Щял да се запали да лекува българите, че сме една от най-болните и най-дебелите нации в Европата...

напълно автономен общ работник - гумаджия

А ако махнат точките от гумите и пода? И го накарат да свърши истинска работа, а не пълна олигофрения колкото за клипчето?

еми така е, но е много добра демонстрация какво е "истинска работа", каквато девелоперенето явно не е.

И кое му е истинското? Ранна алфа версия. По-зле от коденето на копилот. На този етап спот робот < копилот < ръчно девелопене << истинска работа Засега така го виждам. След месец или година може да има разместване.

А да, роботите са по-добри и в "четене с разбиране"

Delegate

А да, роботите са по-добри и в "четене с разбиране"

така е то, като си нямат работа, която да ги разсейва

Започна да пада цената, ASUS продават GB10 за $3000 :)

ASUS Ascent GX10

|

Започна да пада цената, ASUS продават GB10 за $3000 :)

ASUS Ascent GX10

Хммм ...

|

Започна да пада цената, ASUS продават GB10 за $3000 :)

ASUS Ascent GX10

Това може ли да сметне с поглед колко лева има в монетника? Аз мога :)

ПП Разликата във възрастта на ръкуващите се е 31 години :)

Евлампи

Това може ли да сметне с поглед колко лева има в монетника? Аз мога :)

ПП Разликата във възрастта на ръкуващите се е 31 години :)

Чад може много повече - ей ся му подадох 100-на бисери от бисери на глупостта и изгенерира ей това.

България е държава. Тя се намира на Балканите, които са планини, но и понякога настроение. България има четири страни – северна, южна, източна и западна, макар че на картата изглежда като да има и диагонална. На север я мие Дунав, но той не я измива достатъчно, защото пак има проблеми. На изток има море, в което лятото се къпе, а зимата просто гледа.

Българите са народ, който произлиза от славяни, прабългари и неясни обстоятелства. Прабългарите дошли на коне, защото нямало градски транспорт. Те били войнствен народ, но не чак дотам – просто обичали да побеждават, когато им върви.

Първият им началник бил хан Кубрат. Той казал на синовете си да не се делят, но те не го чули, защото вече били тръгнали. После дошъл Аспарух. Той видял Дунав, харесал го и решил да си направи държава от другата му страна. Там забил копието си, за да не го вземе някой. Така се родила България – по спонтанен начин, но с ентусиазъм.

След това дошъл хан Крум. Той бил строг човек, обичал законите и не обичал византийци. Направил закони, според които, ако някой краде, трябва да му се вземе ръката, а ако пие от череп – да му се каже наздравица. Крум бил човек на реда, но и на съдържанието.

Княз Борис решил да покръсти народа, защото езичеството му пречело на декора. Народът не разбрал точно защо, но се съгласил, защото така било по-европейски. След това князът станал светец, което било по-добре от кмет.

После дошъл цар Симеон. Той направил Златен век, защото сребърните вече били свършили. България се простирала от море до море, а между тях имало всичко – книжовници, войници и лоши съседи. Симеон бил толкова умен, че някои казвали, че е учил в Преслав, а други – в бъдещето.

След него цар Калоян бил дипломат. Той не преговарял с думи, а с катапулт. Победил латинците, които дотогава мислели, че България е подукт за износ. Той доказал, че не е и ги изпратил да си научат географията.

После минали години, векове и данъци. Турците дошли и останали, защото никой не им обяснил кога да си тръгнат. Народът търпял, но не забравял. Паисий написал история, за да им напомни, че са били нещо. Хората не разбирали всичко, но им харесало как звучи.

После дошли Левски и Ботев. Левски бил човек на движението, организирал комитети, а Ботев бил поет, който пишел така, че пушката му завиждала. Те заедно направили революция от думи, барут и идеали, които не излизали от мода.

Когато дошли русите, станало освобождение. После всички започнали да се делят на партии, защото нямало вече турци, с които да се карат. Имало либерали, консерванти и такива, които просто били „за“. Конституцията дошла в Търново, а после се преместила в София, защото там имало повече ток.

После България влязла в няколко войни, просто защото така било прието. След тях влязла и в социализма, където всичко било народно – дори нещата, които не ставали. На селяните дали паспорти, за да могат да ходят в града и да се връщат законно.

Днес България е модерна държава. Има парламент, планини и интернет. Народът е горд и обича да казва, че сме най-древните, макар че никой не пита в какво точно. Историята ни е голяма, славна и малко крива, но ние я обичаме, защото си е наша.

Когато я четеш, можеш да се гордееш, да се смееш или просто да се чудиш как изобщо сме стигнали дотук. Но важното е, че сме стигнали. И че още има кой да го разказва.

Обогатих малко Чад с бисери - новата версия е още по-добра.

България е държава, която започнала като идея в главата на Аспирин – млад и неопитен хан, който обичал да пие сок от боровинки, докато планира граници. Той забил копието си в Дунав, за да маркира територията, но Дунав казал, че вече е запазен за международно пеещи реки. Така България се родила спонтанно, макар че някои историци твърдят, че първите жители били просто загубени овце.

Кубрат, който понякога бил наричан Кубратин, събрал синовете си и им казал: „Бъдете единни и не спорете кой носи шапката на хан.“ Синовете обаче взели думите му буквално и разделили семейството на четири – едната част станала викинги, другата – морски пирати, третата – поети, а четвъртата – просто объркани.

След това дошъл Аспарук, който решил, че ще основава държава, докато пие кафе с мед. Той построил Плиска с кирпичи от думи, а при Калоян страната се издигнала на международния подиум, защото някой объркал картата и написал „България“ върху Латинска Америка.

Княз Борис бил човек с големи идеи и малки портмонета. След покръстването си той приел титлата „кмет“, защото княжеската длъжност все още била в тестова версия. При него България била модерна държава с църкви, които понякога се използвали и за игри на дартс.

Цар Симеон управлявал като мениджър на голяма книжарница. Той обявил Златен век, защото сребърните вече били свършили, а златото било по-тежко и красиво. България тогава имала три морета, едно езеро и половин степ, където обитавали литературни мечки, които пеели поезия.

Цар Калоян бил дипломат с меч. Той побеждавал враговете, като им изпращал писма с инструкции как да загубят битката. Латинците дотогава мислели, че България е мираж, но Калоян им показал, че е нещо като съчетание между комета и бюрократ.

След него дошъл Карл Маркс, който бил наследник на Крали Марко, но решил да си смени името, защото искал да изглежда по-западно. Той яздел трикрак кон наркоман, който понякога бил по-умен от съветниците на царя и знаел наизуст всички закони на Крум.

Левски обикалял България като ходещ словар, а Ботев бил поет и барутник в едно. Корабът „Радецки“ докарал помощта по Дунав експрес, а Райна Кабаиванска – по грешка вместо капитан – развяла знамето с артистичен замах.

При Възраждането хората започнали да пишат вестници, стихотворения и инструкции как да се готви сарма, без да се отровиш. Раковски бил нещо между просветител и революционер, а генерал Вазов бил толкова мъж, че спял с войниците само за да им показва, че и литературата може да бъде мускулеста.

След Освобождението България се разделила на либерали, консерванти и такива, които просто били там, за да видят какво ще се случи. На Търновската конституция й трябвало време да свикне с народа, а народът – с нея.

През 20 век България влязла в няколко войни, защото всички влизали, а ние искали да не останем по-назад. След това дошъл социализмът, който наредил всичко да бъде народно – дори нещата, които не ставали. Селяните получили паспорти, за да пътуват до собствените си ниви законно.

Днес България има интернет, минало и желание да обърква бъдещите ученици. Карл Маркс и трикракият му кон продължават да обикалят полетата, напомняйки, че всичко е възможно, ако си достатъчно смел да забравиш историческите факти и да ги замениш с бисери.

Евлампи

Това може ли да сметне с поглед колко лева има в монетника? Аз мога :)

Може по-добре от теб.

Евлампи

ПП Разликата във възрастта на ръкуващите се е 31 години :)

Ламби, ланец ли имаш или dowager's hump?