Друг голям плюс на мак-а че имаш направо готови приложения за работа с модели за генерация на изображения - например Draw Things - инсталираш приложението, сваляш Flux dev модела и си готов да генерираш качествени изображения.
Лаптоп за Deep Learning и Large Language модели
0 1 2 3 4 5 ...15 16 17 18 19 ...27 28 29 30 31
Предполагам, че можеш да го quantize-ваш сам ако не те мързи, но дори 27B дори и при 4 битови стойности сигурно няма да се събере в 12 GB.
Аз съм привърженик на command line, но ако не успея да се оправя с mlx другата седмица ще ходя до сървърната стая да инсталирам ollama. За съжаление мрежата до сървърите не пуска RDP или VNC и трябва да ходя на място...
Грубо казано, при 32bit, всеки параметър иска 4 байта. За пълен 32bit, VRAM-а ще да е някъде към 108 GB.
Няма да влезе, да..За quantized 4bit, 27B модела би заел някъде около 13,5 GB, но то си трябва и допълнително памет за инференсе, а пък за трейнинг изискванията скачат до небето. Горе-долу една NVIDIA A100 80GB или H100 биха свършили работа за синглъл GPU сетъп, иначе клъстъри, model parallelism и offloading към CPU
Я раздуй от първо лице квантуването какъв точно компромис е? В смисъл - колко по-лошо почва да работи после.
Представи си, че модела е трениран на FP32 и теглата са му в FP32. Тегло със стойност 12,34 ще бъде :
В FP32: 12,34 (32 bits)
В INT8: 123 (8 bits) със скалинг фактор 0.1
Компромиса е, че на модела му пада "малко" качеството, но пък се вкарва в малко RAM и после сметките са по-бързи.
Не бе, знам какво е квантуване, отзивите са от "няма влошаване", до "настало дерьмо". Това питам, усеща ли се влошаване и в какъв сми.
не съм сравняал директно, не мога да се произнеса категорично, а и малко ме е интересувал точно тоя аспект. За мойте практически нужди, модела трябва да разбира български и да се рънва локално на скромен хардуер. Това свежда избора до буквално един модел, а той е доста зле, но това е положенито. Може би ще опитам да превеждам с друг AI от и до български и ще опитам с други локални модели.
3К $ за хардуер със 128 GB ми се чини добра оферта, като излезе средата на годината, разбира се. Другия вариант е да се присламча към неко лаборатория, или да се пиша неко магистратура, ако има, заради хардуера им.
Сега имаме ИИ за лигоч, cлед 10 г. ще е must have, инак като фащовия мерзавец, вади ми SCJP и не знаа кво е default.
Бесните баби искат чатбот на сайта си, магазин за левче, да речем. Щем нещем ще учим да custom-изираме ИИ модели.
Какви десет години бе, бате, до десет години евреина ще е утепал повечето от нас.
Мдам, Бурла верно изтрепа бая народ, Урсулът се зъбеше "ЩЕ ГИ ВАКСИНИРАМЕ", в родината на Фюрера беше влязъл закон за пандела, който откаже да си набучи Отровата, и "бустери" на 6 месеца.
Те затуй са таквиз изчаткали, урсулопитеците долни. Вика "refugees, welcome", късат главата на колежка на жена му, иска да ми ги праща у Туче.
По-долни от курешка на кокошка с разстройство.
п.с. Телекомите са турили ИИ чатботове, не вършат работа. И предполагам, не е на кирливия лаптоп на Евгени.
https://belene.camp/survivor/nikola-daskalov/
Ей тука са направили бот, да си говориш със затворник от Белене. Бавно захапва видеото, ама проектът е впечатляващ. Неко ден може да си пусна такова, яйчарката да си говори с бот Рабин.
чакай рабинка, нищо не си видял, като те вкарат в окопа да защитаваш демокрацията, тогава ще видиш какво значи умиране
Пратих ви линк, на дневен ред ми е, предупреждавам приятели и роднини, подготвям се как да се покривам. Подпишеш ли се при военните - гориш. Влизаш по военния закон. Докато не отидеш си цивилен, само глоби. Може да си ходя тая зима да мръзна по София, там съм анонимен.
Впечатляващ е, но това не е АИ, а търсачка във вече записани видеа и селектването им базирано на промпта. Нищо извън това, което му е налято за Белене не може да ти каже.
По-скоро арабина ще ни изтрепе, заради войната която ще предизвика с Израел. Но като изключим детайлите си прав.
Съмнявам се, че някой от нас ще може да купи Nvidia Digits преди ноември/декември. Търсенето ще е толкова голямо (дори и неграмотния козоеб халюцинира да си купи), че ще е въпрос на късмет да се уредим.
Иначе, според мен 128 GB версия ще е около $5000. В най-добрия случай $4000.
Козоеба след като ме отвори за NVidia Digits - трябва да разгледам и какви алтернативи има (щото едва ли само NVidia ще пробият на пазара) и какво ново се готви.
Ама за ся ми трябва бачкаторски лаптоп + некви възможности за AI, та нема да блъскам в такива неща.
Намаките ви прОстата, от гъза - фОстата!
На 3000$ съм на ръба да си купя, и то ако съм на работа.
Моя амд десктоп е на половината като цена и е с по бърз процесор и 128 гиги - това преди две години. Сега сигурно е още по евтин. С едно читаво ГПУ може и да биеш ДИГИТС-а като десктоп машина. Но за ИИ може и да не успееш заради по бързия достъп до паметта. Да не говорим, че за тези пари едно мак мини може и то да се окаже по удачно решение. Т.е. ще изчакам първо ентусиастите да си поиграят с всички изброени до момента, че да преценя кое ще е най удачно.
Е тва е правия път. И аз чак на "платото на продуктивността" почвам да ползвам нещо.
А не кат РЪБиняка да се фърла кат излезе на пазара.
Тва за жалост в живота ми гарантира, че ще се фана с некоя слоница за деца, и нема да поря млади путки (за без пари), ама тоя път съм избрал. Да се не метам у непознатото.
0 1 2 3 4 5 ...15 16 17 18 19 ...27 28 29 30 31