Истинските лалажии ползват мак + облак. Остатъка са ташак чорбаджи. Влизай в крак с модата, чуек.
Лаптоп за Deep Learning и Large Language модели
0 1 2 3 4 ...14 15 16 17 18 ...27 28 29 30 31
Хубаво е, че вярваш на всичко което чата избълнува.
1) Вземи виж сравнение на процесорите поне - например производителност на едно ядро и на всички ядра - само да не останеш учуден.
2) Аз си бачкам без проблем на 16ГБ макбук еър м1 - паметта ми стига, но си признавам, че не търкалям ИИ на него. За ИИ имам яка десктоп машина със 128ГБ рамец. Та думата ми е, че на мак паметта е по оптимизирана и работи доста по добре макар и с по малко памет. Това от личен опит.
3) Сравняваш три пъти по евтин entry level мак с възможно най добрия wintel на пазара. Барем вземи сравни с макбук про за същите пари и тогава прави изводи.
Добре бе - цъкни марката на макбук еъра, който те кефи и ми пусни едно сравнение с лаптопа дет аз ти предлагам, за да ми докажеш, че твойту е по-мошно! 
Нема само аз да вадя данни, робе палав!
А-а, за експерт не се имам, по-скоро ентусиаст. Може би помниш каква забава беше преди 3 години тука с AI-ботовете - имаха доста забавни попадения и това беше с тъпия gpt2 рънван локално(беше опен сорс) Не ти знам нуждите, но за целите на демонстрацията пред разни залухави студенти и да им показваш малкия bggpt или llama въпросния лаптоп ще ти е повече от достатъчен. Аз напоследък съм фен на AMD процесорите, но това е без значение.
Като гледам го сравняват с М4 МАХ и съответния макбук про е 5к евро с подобни параметри като тва менте - взимай го като те кефи. Ама да не кажеш после, че не сме те предупредили да си вземеш маке кат истинските лаладжии.
Нема как брат - ропче съм на Чичо Били, и Мак не мога да погледна. Бачкал съм на един в една фирма, ама не ма кефи. 
Разни PHP-та и Java-ри знам, дет са Макаджии, ама язе съм си ASUS + Windows.
Между другото само като му гледам пантите и не бих го взел и пари да ми дават. Всички лапатопи които съм имал през годините им чупих пантите. Чак като взех макбук с една голяма панта нещата се оправиха. Друго което да обърнеш внимание е къде са му дупките на вентилатора. Ако са на дъното като го сложиш на краката си ги запушваш и почва да грее. На мака всичко е навряно зад пантата и няма начин да запушиш вентилацията.
Аа и на мене ми се счупи едната панта, ама с "Капчица" го залепих и не е мръднало повече. Нищо бе - нека да изглежда малко кат "гето лаптоп". С дупки от куршуми, ала бала. 
Вместо ония гейски стикерчета "PHP Gay Conference".
А за вентилатора - сигурно са на дъното. А ве нищо бе - нека топли зимата.
Като му пречиш на охлаждането на пръв поглед нищо не се скапва освен, че загрява повече ама едва ли е смятан да да работи с часове по този начин. Има си неща които си се прецакват с времето. Дръж го на твърда повърхност и няма да имаш грижи. И като го отваряш го хващай в центъра на екрана а не отстрани защото тогава натоварваш само едната панта и тя се амортизира и чупи по бързо.
Да ве палави робе - учил съм физика у време оно. И 6-тици имам. Даже май на неква олемпеада ходих (не се хваля с тая гейщина - само казвам).
Нема нужда да ме учиш как да ходя, как да се не спъвам, как да си отварям лаптопа. Ама благодаря сепак.
Абе ти си лъвче и ги знаеш тези неща. Аз не ги знаех и потроших неколко лапатопа точно заради тези неща - неправилно отваряне и затваряне И прегряване до степен да се разлепи охлаждането на гпу-то. Добре, че го фанах овреме и го оправихме та не беше тотална щета шибания делл. Никога делл. Никога.
Стига ме ебавахте заради оня ченгеЛ...
Иначе да - никога Dell. Съгласен съм тука.
Нямаше да е зле ако имаше нещо като базата с резултатите на passmark за LLM. Например да пуснат Llama3 с няколко различни брой параметри и куантизации и да мерят брой токънс за секунда.
Но не намерих нищо подобно.
Не бих се учудил ако Макбук Про е по-бърз, най-малкото защото паметта е унифицирана, а дискретната графична карта на Асуса има само 8GB RAM. Но на практика само спекулирам защото нямам данни.
Този интел горе долу го докарава по спецификация на М3 МАХ. Ама докато на макаците им имам доверие, че са безкромпромисно качествени и изкарват максимума от хардуера за асус и интел си имам едно на ум - дали не са се поциганили да скопят това онова. Доколкото винтела ще поддържа висока производителност като го натовариш или ще прегрее и ще свали честотата и ще забуксува. Просто не се вързва 10нм интел да има същите показатели като 3нм епълски арм при условие, че и на двете фирми дизайнерите на процесори не са вчерашни и изпипват нещата.
CPU-тата не се използват много при LLM. Сравнението трябва да е между картата на Nvidia и Neural Engines в M4. И въпреки че не знам какви са фактите, директен достъп до данните, вместо постоянно местене от главната памет в паметта на GPU през PCIe, директния достъп може би ще спечели.
Мисля, че нвидия дигитал и следващото или по следващото поколение маци ще са наистина проектирани за ИИ. Трябва да се отърсят от ПеЦе наследството. Въпреки, че маците май вече го направиха ама все пак бих изчакал да се появи мейнстрийм ИИ който се търкаля на мак и той даде отражение на хардуерния дизайн. Неколко години . Всичко ще си отиде на мястото.
Маковете заради споделената памет могат ползват по големи ллм-и за които нормално ще имаш нужда от няколко видео карти. Например mistral-large:122b се нуждае от 62GB VRAM. Малко статистика от М2 МАХ за токените:
- llama3.1 8b - 59.19tokens/s
- llama3.1 70b - 7.18 tokens/s
- mistral-large 122b - 3.85 tokens/s
С М4 би трябвало да са поне 20-30% повече
A, добре е, че най-после някой който разбира се включи. Няма ли начин да се прави inference с една видеокарта с хватки като Fully Sharded Data Parallel за training? Все пак трейнинг е инфърънс + бакпропагейшън... Статията на Мета (Pytorch FSDP: Experiences ...) седи на бюрото ми от няколко дни, но още не ѝ е дошло времето да я прочета.
Как мериш токънс/сек? Може да пробвам да ги измеря на mac mini-тата с M4 Max, ако успея да инсталирам mlx и младежите не ги използват за други неща.
Човекът ти го обясни, ама тъпото си е тъпо. Ти му приказваш то руча ли руча.
Модела се зарежда целия във видео-паметта. Местене ще има при инференс, но но това са мизерни няколко килобайта промпт и респонс. Говорим за свястна карта с 24 и нагоре GB GDDR6X VRAM. Все пак LLM-ите не са видео-игри. Dedicated паметта не се бори за бандуит с други подсистеми - CPU, GPU, ANE pyTorch и Tensorflow са оптимизирани основно за nVidia
0 1 2 3 4 ...14 15 16 17 18 ...27 28 29 30 31