|

Имаш два чиплета, всеки с memory controller и нямат връзка с пълен bandwidth на меша между чиплетите. За половината ядра имат по-бърза връзка до паметта вързана за техния memory controller отколкото до другата памет. Защото достъпа домдругата памет трябва да мине през бавния бридж между чиплетите.

Ма къде има такива лаптопи?

janbird

Съвременните макове не използват ACPI таблици.

Съвременнните макове нямат NUMA.

Реконструктор

Ма къде има такива лаптопи?

Ами доколкото знам никой освен Апъл не слага паметта в един "чип" с процесорите. Както вече казах, зависи от връзката между чиповете. Апъл твърдят, че е 4.4 TB/s, но не казват нищо за latency. Апъл никога не са правили NUMA, така че се съмнявам да направят и в бъдеще. Напълно способни са да направят моста достатъчно бърз и да не се занимават с глупости.

https://codeberg.org/ggz14/radiance-vllm-mxfp4

Това направо ме разби. От 20-30 ток/с отидох на 100-150 ... точно се бях разочаровал от R9700 и той взе, че изкара скорост почти като RTX5090 само, че на 1/3 от цената ... и цената веднага скочи. Добре, че имаше останали в Амазоня още 2 ГПУ-та на старата цена, че ги докарах то 4

waldorf

https://codeberg.org/ggz14/radiance-vllm-mxfp4

Това направо ме разби. От 20-30 ток/с отидох на 100-150 ... точно се бях разочаровал от R9700 и той взе, че изкара скорост почти като RTX5090 само, че на 1/3 от цената ... и цената веднага скочи. Добре, че имаше останали в Амазоня още 2 ГПУ-та на старата цена, че ги докарах то 4

О, акциите на амд шса качат значи.

waldorf

https://codeberg.org/ggz14/radiance-vllm-mxfp4

Това направо ме разби. От 20-30 ток/с отидох на 100-150 ... точно се бях разочаровал от R9700 и той взе, че изкара скорост почти като RTX5090 само, че на 1/3 от цената ... и цената веднага скочи. Добре, че имаше останали в Амазоня още 2 ГПУ-та на старата цена, че ги докарах то 4

100-150 за какъв модел и какъв размер на контекста.

Кат стана дума за АМД, колко ли ше струва?

|

100-150 за какъв модел и какъв размер на контекста.

Qwen 3.8 27B 256k Q8

Реконструктор

Кат стана дума за АМД, колко ли ше струва?

Офффф … подмокрих се само като му чета параметрите, това ще е за отличници

waldorf

Qwen 3.8 27B 256k Q8

Не питам какъв е максималния контекст, а на какъв контекст си мерил толкова ток/с. Производителността намалява с увеличаването на размера на контекста.

От чисто празен контекст до почти пълен - около 200к - падна от 140 до 80-90 т/с.

Но не беше контролиран експеримент - товарих го до прави сумарита на големи дискусии в хакер нюз докато му пррпълни контекста.

Реконструктор

Кат стана дума за АМД, колко ли ше струва?

AMD май започнаха да усещат как Нвидия ще ги издухат и от десктоп пазара. :)