Пуснах 3.8-next на gb10 да видя дали става за нещо и му дадох да търси бъгове в симулатора. Компакт-ваше на всеки 2-3 минути и не намери нищо. Контекст 128К.

Baj_boeb

проклети китайци

Проклети корейци искаш да кажеш. Енвидия и компания врънкаха Тръмпака да им позволи да купуват китайски памети но той не речи. Спаси корейските производители от челичените лапи на Си.

|

Пуснах 3.8-next на gb10 да видя дали става за нещо и му дадох да търси бъгове в симулатора. Компакт-ваше на всеки 2-3 минути и не намери нищо. Контекст 128К.

Каква скорост докара? Що не по голям контекст?

Те за тоя модел иде реч - Бонзай

https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf

Но май яко послъгват.

Горите ток и изчислително време за ебати глупостите. Не се прави така. Тея неща треа се ползват за нещо поне малко разумно, така и така съсипваме планетата, барем има некаква файда.

gat3way

Горите ток и изчислително време за ебати глупостите. Не се прави така. Тея неща треа се ползват за нещо поне малко разумно, така и така съсипваме планетата, барем има некаква файда.

това Йотова ли се предполага да е ?

waldorf

Каква скорост докара? Що не по голям контекст?

Ами със 180B параметъра няма много място за по-голям контекст дори и с 4-битови параметри. Не го мерих преди да го спра, но този, който беше направил докър контейнъра твърдеше нещо като 45 ток/с. На мен ми изглеждаше като терминал на 2400 bps модем, което е доста повече.

45 ток/с е добре. Интересно ми е като успея да пусна 128гб ГПУ-та колко ще вдигне при мен с TP4. Ама пуста памет ... 128гб рдимм ... уффф

waldorf

45 ток/с е добре. Интересно ми е като успея да пусна 128гб ГПУ-та колко ще вдигне при мен с TP4. Ама пуста памет ... 128гб рдимм ... уффф

Аз така и не разбрах защо правят TP, а не EP или PP.

Не ти трябват 128GB VRAM. Аз на едната машина го рънвам във вариант q4_k_m, с контекст 128К на 2 две дърти видеоркарти с обща памет 20 GB, и останалото в системната памет (около 80 гиги) и диска. Работи с около 4 т/с, но на мен ми върши работа.

Има идея в това да се прави ASIC за LLMи

|

Аз така и не разбрах защо правят TP, а не EP или PP.

Щото с тея платки друго не може. Ама пък са евтини - все още се намират по 1500-2000 пари и успяват да извадят производителност като 5090 ... общо взето инференса се наглася точно за тяхната архитектура + спекулативно генериране или там както му беше името ... абе 100-150-200 ток/с с 256кб кв кеш - и то с мегдан да изпълняваш 3-4-5 в паралел като си с две такива. А с 4 може и по голям модел.

Реконструктор

Има идея в това да се прави ASIC за LLMи

Идея може да има, но е лоша идея. :)

waldorf

Щото с тея платки друго не може. Ама пък са евтини - все още се намират по 1500-2000 пари и успяват да извадят производителност като 5090 ... общо взето инференса се наглася точно за тяхната архитектура + спекулативно генериране или там както му беше името ... абе 100-150-200 ток/с с 256кб кв кеш - и то с мегдан да изпълняваш 3-4-5 в паралел като си с две такива. А с 4 може и по голям модел.

KV cache-a е по-голям от 256КB, това е само една от дименсиите на тензорите му. Иначе Клод ми обясни защо, няма да се излагам пред младежите. :)

|

Идея може да има, но е лоша идея. :)

Що бе, има FPGA-та къде си цъкат на няколко гигахерца и не отстъпват на процесорите.

Реконструктор

Що бе, има FPGA-та къде си цъкат на няколко гигахерца и не отстъпват на процесорите.

Е, FPGA не е ASIC, пък и "не отстъпва на процесорите" е мааалко подвеждащо. Отстъпват и по цена и по капацитет.

|

Е, FPGA не е ASIC, пък и "не отстъпва на процесорите" е мааалко подвеждащо. Отстъпват и по цена и по капацитет.

Мислех FPGA-то като POC преди ASIC, ама нямам достатъчно капацитет да го направя. :)

Ся на работата има едно берберче - Янис - стажантче - разцъка им на едно ФПГА да симулира дисплей и да прави тестове на софтуера на хардуерно ниво все едно човек цъка по екрана. Началствата впечатлени. А иначе не може да си направи ревърс тунел за ссх или пък ссх прокси направо до фпг-ато - показах му как и ся ухилен до ушите.

Реконструктор

Мислех FPGA-то като POC преди ASIC, ама нямам достатъчно капацитет да го направя. :)

Проблема на ASIC e, че всеки модел си има негови особености и си прави каквото си знае. Няма смисъл да правиш ASIC за нещо, което ще е остаряло след 6 месеца. Не е случайно, че всички правят програмируеми ускорители, не ASIC.