Аджамийчето-фугировач е силно впечатлено от научаването на словосъчетания които никога преди това не е чувало :)
Лаптоп за Deep Learning и Large Language модели
0 1 2 3 4 ...17 18 19 20 21 ...36 37 38 39 40 41 42 43
Виноват таварищ управител, действително нямам представа какви са тия езици.
Нямаш избор да ти харесва щото друго не можеш.
Така да е :)
Обаче тука изниква въпроса щом ти си трайнобезработен (и лъжеш че не разчиташ на наследени парички) какво можеш?
Бръснача на Окам казва - НИЩО :)
Впрочем оказва се че clean room implementation е термин с много значения, забавно ще е дали аджамийчето-фугировач ще познае в какъв либерален смисъл го употребявам при положение че го пиша в прав текст това :)
Ами то е ясно, метеш докато Бимбир одобри чистотата. Clean room. После те пускат да пасеш.
Знам само че пазара казва че твоята стойност е НУЛА :)
Не само айти пазара, всичкия пазар на труда. НУЛА, кръгла трайнобезработна НЕМОЖАЧЕСКА НУЛА :)
Рабиняк НЕМОЖАЧ :)
Точно така, колко жалко че такъв досетлив човек е клето аджамийче-фугировач дето се кефи на кукичката за пубери - 'синиър' :)
Напълно си прав, дося требеше да съм минимум СЕО на "При Каручката".
Е, можеше просто да знаеш че е напълно възможно да се програмира и без ИДЕ, но като за 'синиър' толкова :)
Абе, говедо, при нас младежите с PhD-та директно ги назначаваме синиър. Тези с магистър почти гарантирано стават синиър след една година.
На теб колко време ти отне преди да те повишат? :)
А ти свиньо краварска защо се опитваш да събираш информация?
Това беше риторичен въпрос, говедо. Вземи научи как да разпознаваш сарказъм най-после. :)
Да, така е за Спарка(само споменава bandwidth-а) , но това с макс 64 GB за модели не съм убеден, че е така. Гледам, че с драйверите и най-вече ROCm имплементацията АМД се излагат, както винаги. Видях някъде да рънват Deepseek r1 70b на Ryzen AI max+ 395, като му заделиха 112 GB системна памет(не GPU) и инференцията беше нещо от сорта на 3,3 tokens/s. Странното беше, че в Уинодоус се виждаше, че ползваш GPU-то и системната памет - вероятно някакъв бъг.За сравнение Apple M4 Max 128GB го видях в друг бенчмарк да го рънва с около 4 tokens/s. Очаквам резултати с Vulkan вместо с ROCm.
Все пак обаче, продължавам да попадам на видеа, като това, които леко поставят под съмнение Спарка(който още го няма) на фона на други алтернативи
Да оставим настрана, че Ryzen AI max+ 395 с вградената AMD Radeon 8060s е сравнима с гейминг производителността на Nvidia RTX 4060, че дори и 4070 комбинирани с i7 14-то поколение.
И аз не виждам никаква логика от статично разделение на паметта, но това каза младежа на видеото. Не знам микроархитектурата на AMD (и не ме интересува достатъчно за да науча), но се надявам, че не са направили някоя грешка там. Все пак за тези APU-та дето най-после се появиха, AMD говореха (под NDA) от поне 15 години. Би трябвало да са оправили поне сериозните ограничения в архитектурата. Проблемите с ROCm показват защо не е толкова лесно да се настигне Нвидия.
Иначе, за разлика от последното видео, аз мисля, че много хора подценяват/забравят за мрежовата карта на DGX Spark. Това, според мен, ще е огромен selling point, особено ако не са я ограничили за връзка само между две машини. Вярно, че network switch-овете са безобразно скъпи, но това нещо има огромен потенциал. Представи си какви модели би могъл да пускаш на 8 Spark-a вързани с 200 Gbps мрежа? Можеш ли изобщо да го постигнеш това със съответния хардуер на AMD? (риторичен въпрос)
Иначе аз напълно съм се отказал от x86 и не мисля, че дори би ми хрумнало да си купя нещо с такъв процесор.
Ще видим. Като гледам AMD дърпа към вградените GPU-та, понеже са играч на CPU пазара и остава да измъкнат килима изпод краката на nVidia и Intel едноврменно използвайки AI хайпа и тренда. Но както често се случва - Може накрая ARM да ги закопа всичките.
Тоя пич си е направил къстер с 5 гигабит/с свързаност и тества доста модели, включително и на OpenAI голямата опен сорс работа, и например рънва deepseek2 671B Q2_K - Medium (около 200 GB) и получава около 20 токенс/с с Vulkan.
Ами Нвидия има много опит с техни CPU-та (ARM базирани), първо с Джетсъните, след това с Grace-Hopper. Не знам как стоят нещата с Windows за Arm, но не бих се учудил ако Нвидия захапе голям дял от десктоп пазара. Единствената причина да не го правят е, че печелят толкова много, че не могат да изринат парите, които фирмите им дават.
Ами представи си го това с 50 пъти по-бърза мрежа. :) Всъщност не знам, за inference мрежовата скорост може да няма много значение.
Има значение и дори парадоксално за малки модели (които се фитват в един ноде от клъстера) инференсе скоростта е по-висока, ако се рънне на един ноде(без мрежа) отколкото на всички. И говорим за пъти по-ниска скорост. Гледам съм тестове с exo за клъстер-решение, но предполагам проблема не е в него.
Не знам как работи distributed модела на llama.cpp, но сега като се замисля, за една заявка определено няма как да не зависи от скоростта на мрежата. Дори и да са сравнително малки тензорите които се обменят между отделните layers, Amdahl's Law пак прави всичко бавно.
За много заявки има как да се направи overall throughput да е по-добър, и с FSDP и с pipelining.
0 1 2 3 4 ...17 18 19 20 21 ...36 37 38 39 40 41 42 43