Ма къде има такива лаптопи?
Лаптоп за Deep Learning и Large Language модели
0 1 2 3 4 ...47 48 49 50 51 ...95 96 97 98 99
Ами доколкото знам никой освен Апъл не слага паметта в един "чип" с процесорите. Както вече казах, зависи от връзката между чиповете. Апъл твърдят, че е 4.4 TB/s, но не казват нищо за latency. Апъл никога не са правили NUMA, така че се съмнявам да направят и в бъдеще. Напълно способни са да направят моста достатъчно бърз и да не се занимават с глупости.
https://codeberg.org/ggz14/radiance-vllm-mxfp4
Това направо ме разби. От 20-30 ток/с отидох на 100-150 ... точно се бях разочаровал от R9700 и той взе, че изкара скорост почти като RTX5090 само, че на 1/3 от цената ... и цената веднага скочи. Добре, че имаше останали в Амазоня още 2 ГПУ-та на старата цена, че ги докарах то 4
100-150 за какъв модел и какъв размер на контекста.
Qwen 3.8 27B 256k Q8
Офффф … подмокрих се само като му чета параметрите, това ще е за отличници
Не питам какъв е максималния контекст, а на какъв контекст си мерил толкова ток/с. Производителността намалява с увеличаването на размера на контекста.
От чисто празен контекст до почти пълен - около 200к - падна от 140 до 80-90 т/с.
Но не беше контролиран експеримент - товарих го до прави сумарита на големи дискусии в хакер нюз докато му пррпълни контекста.
AMD май започнаха да усещат как Нвидия ще ги издухат и от десктоп пазара. :)
То всичко се купува и продава, въпроса е цената (c)
Абе, гейовете от Апъл как така правят по-бързи процесори от не-гейовете от АМД? :)
0 1 2 3 4 ...47 48 49 50 51 ...95 96 97 98 99