Господ да пази бог (от софтуера и хардуера дето се задава).
Лаптоп за Deep Learning и Large Language модели
0 1 2 3 4 ...48 49 50 51 52 ...97 98 99 100 101
Между 44к и 220к долара ли си изхарчил за една седмица бе, хвалипръцко. Да ти еба майката краварска.
Научи се да пишеш на гяурски, бе! 
"Бог да пази Господ" се казва!
Мислех, че съм близо до колегата, който е най-голям фен на AI, но миналата седмица той е направил 5.5B, а 4-те седмици преди това 8-9B. Имам още накъде да раста. :)
Откак търкалям Qwen 3.8 на две R9700 хич не ги и броя ... със 100-150 ток/с и ттфт 1-2-3с човек има усещането, че е по бързо от Клод моделите. Айде като се размисли прекалено може да отнеме няколко минути за по сложни неща. Но все пак - безплатно и върви на мой си хардуер.
Единствената драма е, че взех още две ГПУ-та и се чудя как да подкарам общо четири без да се охарчвам.
Около два порядъка си под краварския хвалипръцко. Тоест, ти пишеш фийчър, той пише цяло приложение за това време ! СЛАБАК !
За него говоря де ;)
От година и половина го раздавам пъдар на ИИ кодери, а не кодер.
Ми тъй е модерно вече...
Иначе и с личния ми акаунт с Клод положението е подобно. Тази седмица само 1.8B токъна, предната 3.6B. Максимума е преди месец, имам две седмици с 9.1B и 10.8B.
Аз ползвам 3.8 flash-next на 2 карти, другото в рама - около 80GB. Кефи ме архитектурата с lookup тейбъла, сравнително умен е. ползвам го предимно през агент. забелязвам, че директно с llama е по-добре и контекста дори да му набримча колкото може, че често се задръства при по-тежки задачи.
Да бе, да, баш него ... малкото моделче с 27B - то и на 32гб може го пуснеш ама на 64 му е по добре, не го скопяваш с 4 битова куантизация ами с 8 битова - двойно по умен!
Въпреки, че вчера излезе някакъв още по орязан вариант с бит и нещо дето уж бил запазвал 94% от знанията на 16 битовия. Забравих му името ...
В чата дето е вграден в llama.cpp забелязах, че има една интересна опцийка за изпращане на последния промпт обратно да се препроцесва още докато дописваш следващото си съобщение - спестява по някоя секунда. То е близко до акъла де, може би всички харнеси го правят ама не съм видял да се настройва.
Последно четох, че 5090 започва да гони $9-10к - в момента имало останали по магазините някакви наличности на по 5-6к. Това всичкото е основно заради qwen 3.8 27B - върши работа на любителски хардуер.
Пролетта се ослушва да взема две гб10 докато още бяха по 3к ... сега са 5 ... ще скачат още.
0 1 2 3 4 ...48 49 50 51 52 ...97 98 99 100 101