Аааа - те служебни 
Точно си помислих, че си бръкнал в джобите за 4 броя по 3к ...
Лаптоп за Deep Learning и Large Language модели
0 1 2 3 4 ...25 26 27 28 29 ...51 52 53 54 55
Разбира се, че са служебни. Нали затова ми плащат, да харча служебни пари. :)
На предишната работа беше още по-добре, защото бяха пари на данъкоплатците. Там щях да купя не 4, а 64. :)
Добре добре. Всички се уредихме с нов хардуер. Междувременно писах на тия от интел че така не може да продължава и да се вземат в ръце. Да видим какво ще пишат...
На теория мога да ги вържа и в пръстен, понеже са с по два порта, но не знам дали nccl ще хареса такава топология. IP раутинга се прави лесно, но не знам какво става като се използва RDMA.
Е те ако са с по два порта може и някакъв daisy chain да им направиш? Освен това, мисля, че имаха и бърз усб порт с който също може да си комуникират?
Аз си мислех, че имат само по един читав порт и с едно кабелче връзваш две и толкова, а то имало как и за по харна топология.
Ами с два порта четири компютъра може само пръстен май. Иначе USB-то няма как да е достатъчно бързо, че да си струва да се връзва с такова.
Thunderbolt 5 е 80гбита. Не е чак толкова бавно. Е, не е Connect X na 200 ама за бюджетно решение става :)
Ще тестваш ли как се държи клъстър Спаркове сравнен с наточено мак студио или ртх 6000 про?
Sparka няма Thunderbolt. Иначе за Макове определено има смисъл.
Мислех, че някой вече е правил сравнение. Аз още не съм се забавлявал с тях, дори не съм мерил скоростта на мрежата да видя дали съм използвал правилните кабели.
Хмм, кабелите ми не са свестни, 4GB/s с единия вид и 11 GB/s с другия. Трябва да купя нови кабели.
Не съм намирал читаво. То не е и лесно да се сравняват защото са доста различни като параметри и съответно силата им е в различни посоки и не, че няма припокриване ама разликите май са повече. Мака е с 512гб - няма друга система с толкова много памет достъпна за гпу на тази цена (или поне аз не знам). РТХ 6000 про е само с 96 ама пък там ГПУ-то и скоростта към паметта са много по бързи. Спарка като, че ли се пада някъде по средата. То е интересно и да се съпостави производителност спрямо цена?
Понеже Спарковете имат по два ROCE порта, свързах три директно спарк1порт0<->спарк2порт0, спарк1порт1<->спарк3порт0, спарк2порт1<->спарк3порт1.
Така без суитч ще могат да се пускат модели, които се събират в 384 GB памет.
Засега са с 100 Gbps кабели докато пристигнат 200 Gbps.
Тази седмица не знам дали ще мога да се забавлявам много с тях (Ден на благодарността и т.н.), но може би другата ще си поиграя по-сериозно.
Ако им направиш daisy chain или както там се казваше дали няма да успееш да ги нанижеш и четирите на 100/200ГБита?
Daisy chain не работи с RDMA, защото картите не могат да работят като суитчове и просто да препращат пакетите нататък. Трябва дирекна връзка.
На теория може да се направи нещо по въпроса (all reduce така или иначе върти данните в пръстен), но трябва да се променят nccl или gloo или каквото друго използват моделите.
Е то това да са в една мрежа не е ли някакъв bridge с който да ги навържеш двата интерфейса? Е, няма да е толкова бързо като с истински суич ама все пак може и да може да го излъжеш. Друг е въпроса дали си струва де. 100 или 200гб ако трябва да се рутират с процесора може и да не е опция.
"Лъгането" включва да не се използва RDMA, а всичко да минава през IP. Според мен не си струва.
Ако знаеш само колко от евтините домашни рутерченца работят точно така. Един окастрен линукс, 4 порта, вифи модем, бавно мипс ядро. Ама те повечето са за 100/1000 мбита и при тях става. А за 100-200 гбита едва ли си струва да товариш процесора с рутиране на ИП пакети. Интересно дали нВидия не са вкарали някакъв хардуер който да си менка директно пакети между двата порта. Тогава може и да има някакъв шанс. То ще се чуе де, като почнат повече хора да ги ръчкат и да изцеждат максимума от машината.
Проблема с Layer 3 routing при Спарка е не толкова товаренето на процесора, а че използва поне 2 пъти повече memory bandwidth. Като се има предвид, че скоростта на паметта е ахилесовата пета на Спарка, това изобщо не изглежда добра идея.
Съмнявам се, че има хардуер за пренасяне на пакети от единия порт на другия, това не е толкова лесно колкото звучи. Най-малкото хедърите трябва да се пренапишат.
0 1 2 3 4 ...25 26 27 28 29 ...51 52 53 54 55