Дори в момента не може да стъпи на малкия пръст на това което е при цпу-тата.
Лаптоп за Deep Learning и Large Language модели
0 1 2 3 4 ...45 46 47 48 49 ...92 93 94 95 96
Кеша яде мм2 от силикона дето са и на гпу-то карантиите. А те хич не са малко. И явно трябва баланс.
The flagship Nvidia consumer GPU (GeForce RTX 5090) features a total of 117.7 MB of on-die cache, while the largest AMD consumer CPU (Ryzen 9 9950X3D2) features a total of 209.3 MB of on-chip cache.
А трябва гпу-то да има порядъци повече кеш, защото има и порядъци повече ядра, не мислиш ли? Съвсем отделен въпрос е латентността при цпу кеша и при гпу кеша, треа некъде все да пише за колко цикъла нвидията чете оттам и за колко амд процесора. Още по-отделен въпрос е асоциативността, при цпу-то отива на към на 16-way, оттам може да си представиш как това се отразява ако достъпваш произволни адреси, не такива наредени последователно у паметта.
Добро е като за рабиняци. Не говори много за новите (те вече не са много нови) тенденции на различни видове disaggregation, няма нищо за KV cache management и т.н.
И гейта и Ребата са прави. По дълъг път до паметта означава по-ниски битрейтс, по-широка шина означава повече енергия (и проблеми с пиновете на процесора). И после въпроса е какво ще ги правиш всичките тези байтове от тази широка памет на CPU-то, в много случаи отиват на боклука.
В HPC средите това беше важна тема когато навлизаше HBM. Изводите бяха, че не винаги помага. Bandwidth vs. latency and all that.
Еми не му трябва, щото не е цпу и може да скрие изчакването. Всъщност приложението което пишем най-големия му проблем, поне според nsight graphics, е instruction cache thrashing.
Еми щом могат да превключват warp-ове докато чакат за памет, значи може би изначално не им и трябва толко много кеш. Аааа момент, освен ако нема какво да се превключи щото кода е memory-intensive и всичките чакат за памет, еее тогава става грИдЪ.
И се случва, wait for it..., cache thrashing. :)
Рабиняк, кажи поне с къв процесор е тая дебела сървърджийница бе, dual ли е, колко канална памет, etc.
По 4 се редят плочките, двоен ДДР ли как да го кажа. 4 чипа физически процесора са. 2 захранвания. Сума и слотове за дискове, ползвам само един. Друго кво? Гълта колко реотана на бойлера, коги го натоваря. Бръмчи като изтребител. Топли кат печка Елва. Ся лятото у собата дето седи е по-топло от оранжерията.
Наистина ли мислиш, че козоеба знае колко канала е ДРАМа? :)
Мога да проверя, но не ми дреме. Имам да еба нечии маки вместо това.
Сървърът си има модел, на сайта има дори 3Д анимация как се обслужва. Като за идиоти. Пише сичко.
И за макя ти има 100 страници.
Има, да. За съжаление козоеба е неграмотен и не знае как да използва компютри. :)
Смешното е, че козоеба дори не знае какво означава многоканална памет. Затова и говори за водопровод. :)
0 1 2 3 4 ...45 46 47 48 49 ...92 93 94 95 96