gat3way

Как плюе json е не по-малко забавно, ама то така се прави, на тея неща доверие не може да им се има, все пак белият господар в калифорния го е моделирал това по опита си с чернокраките на които е наредил да окосят тревата в двора...yes sir, yes sir и след няколко часа гледаш отсякъл всичките дървета.

LOL, не е лъжа това. Един път реших да наема някакви да изчистят предния и задния двор на къщата от листа и треволяци, да подрежат храстите и т.н. Но това в другата къща където ходим само от време на време. Като отидохме, всичко подрязано, включително смокинята и къпиновите храсти. До земята. :)

Иначе имам един младеж в екипа, много ми напомня на AI. Изключително умен, PhD in Computer Engineering. Знае сигурно повече от мен, използвам го за справочник. Много бързо схваща нови идеи, бързо пише код (без AI). Но от време на време като зацепи и зацикли и няма отцепване. Срещам се с него поне два пъти седмично да разбивам безкрайните цикли. :) Иначе е синиър и догодина ще го правим стаф (следващото ниво след синиър).

waldorf

NVIDIA DGX Spark™ + Apple Mac Studio = 4x Faster LLM Inference

Един младеж на работа се е запалил да го пусне това с vllm, да видим докъде ще стигне. Засега е пуснал само два spark-a с TP, gpt-oss-120b, но иска да си поиграе да раздели префил и дикоуд.

|

Я, какво е оставил пред вратата ми Великденския заек днес...

Честито! Оня ден бях загледал две такива ThinkPad-чета - по 2999 пари ... ама ги отложих със седмица заради логистични усложнения. Сега се чудя дали не сбърках. Идеята е да ги вържа помежду им с 400 гбита с два кабела. И отделно едно макстудио. Трите в клъстър с EXO.

waldorf

Честито! Оня ден бях загледал две такива ThinkPad-чета - по 2999 пари ... ама ги отложих със седмица заради логистични усложнения. Сега се чудя дали не сбърках. Идеята е да ги вържа помежду им с 400 гбита с два кабела. И отделно едно макстудио. Трите в клъстър с EXO.

Ако си спомням правилно, не може да направиш 400 гигабита връзка, просто PCI на платката е твърде бавно за такава скорост. Може да греша, провери.

|

Ако си спомням правилно, не може да направиш 400 гигабита връзка, просто PCI на платката е твърде бавно за такава скорост. Може да греша, провери.

Мернах го някъде - иска добре подбрани кабели щото не всички пускат 2х100. Чай да поровя къде беше ... че иначе ще сгоря с две такива дет не мога да ги пусна на макс скорост в клъстер.

waldorf

Мернах го някъде - иска добре подбрани кабели щото не всички пускат 2х100. Чай да поровя къде беше ... че иначе ще сгоря с две такива дет не мога да ги пусна на макс скорост в клъстер.

2x100 става, така са конфигурирани спарковете на работа. Но 2х200 май не става. В момента още нямаме 200 гигабита кабели, та не мога да го потвърдя лично.

|

2x100 става, така са конфигурирани спарковете на работа. Но 2х200 май не става. В момента още нямаме 200 гигабита кабели, та не мога да го потвърдя лично.

Май, май, наистина са го скопили да не става на 2х200 гбита. Ще трябва наново да се смята. Добре, че ми обърна внимание на тоз дребен детайл.

waldorf

Май, май, наистина са го скопили да не става на 2х200 гбита. Ще трябва наново да се смята. Добре, че ми обърна внимание на тоз дребен детайл.

Хипотезата на шефа ми е, че първоначално Нвидия са искали да правят гейм конзола или десктоп с тоя чип в GB10, но нещо не се е получило и са решили да се преориентират, да му залепят ConnectX-7 u го продават на ентусиасти, та да избият поне част от парите. Звучи реалистично.

|

Хипотезата на шефа ми е, че първоначално Нвидия са искали да правят гейм конзола или десктоп с тоя чип в GB10, но нещо не се е получило и са решили да се преориентират, да му залепят ConnectX-7 u го продават на ентусиасти, та да избият поне част от парите. Звучи реалистично.

Потърси за "GB10 N1" - лаптопски чип. Като на мястото на втория SSD са сложили мрежата. Това обяснява и защо не може да го напънеш на 2х200. Още по тъпото е, че не предлагат нищо в сегмента между $3к, $10к и $100к - т.е. GB10/5090, RTX6000 PRO, GB300 - като rtx6000 е най скопен откъм скалиране. Т.е. реално имат една пропаст между 3к и 100к където или ще изкарат някакъв продукт или конкуренцията ще ги отвее. Моя бюджет за локален ИИ е точно в тоя диапазон.

waldorf

Потърси за "GB10 N1" - лаптопски чип. Като на мястото на втория SSD са сложили мрежата. Това обяснява и защо не може да го напънеш на 2х200. Още по тъпото е, че не предлагат нищо в сегмента между $3к, $10к и $100к - т.е. GB10/5090, RTX6000 PRO, GB300 - като rtx6000 е най скопен откъм скалиране. Т.е. реално имат една пропаст между 3к и 100к където или ще изкарат някакъв продукт или конкуренцията ще ги отвее. Моя бюджет за локален ИИ е точно в тоя диапазон.

Тоя десктоп с GH200 e $40K. Не е Blackwell, но сигурно е прилична производителност.