Пуснах 3.8-next на gb10 да видя дали става за нещо и му дадох да търси бъгове в симулатора. Компакт-ваше на всеки 2-3 минути и не намери нищо. Контекст 128К.
Лаптоп за Deep Learning и Large Language модели
0 1 2 3 4 ...48 49 50 51 52 ...97 98 99 100 101
Проклети корейци искаш да кажеш. Енвидия и компания врънкаха Тръмпака да им позволи да купуват китайски памети но той не речи. Спаси корейските производители от челичените лапи на Си.
Каква скорост докара? Що не по голям контекст?
Те за тоя модел иде реч - Бонзай
https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf
Но май яко послъгват.
Горите ток и изчислително време за ебати глупостите. Не се прави така. Тея неща треа се ползват за нещо поне малко разумно, така и така съсипваме планетата, барем има некаква файда.
Ами със 180B параметъра няма много място за по-голям контекст дори и с 4-битови параметри. Не го мерих преди да го спра, но този, който беше направил докър контейнъра твърдеше нещо като 45 ток/с. На мен ми изглеждаше като терминал на 2400 bps модем, което е доста повече.
45 ток/с е добре. Интересно ми е като успея да пусна 128гб ГПУ-та колко ще вдигне при мен с TP4. Ама пуста памет ... 128гб рдимм ... уффф
Аз така и не разбрах защо правят TP, а не EP или PP.
Не ти трябват 128GB VRAM. Аз на едната машина го рънвам във вариант q4_k_m, с контекст 128К на 2 две дърти видеоркарти с обща памет 20 GB, и останалото в системната памет (около 80 гиги) и диска. Работи с около 4 т/с, но на мен ми върши работа.
Има идея в това да се прави ASIC за LLMи
Щото с тея платки друго не може. Ама пък са евтини - все още се намират по 1500-2000 пари и успяват да извадят производителност като 5090 ... общо взето инференса се наглася точно за тяхната архитектура + спекулативно генериране или там както му беше името ... абе 100-150-200 ток/с с 256кб кв кеш - и то с мегдан да изпълняваш 3-4-5 в паралел като си с две такива. А с 4 може и по голям модел.
0 1 2 3 4 ...48 49 50 51 52 ...97 98 99 100 101