Пуснах 3.8-next на gb10 да видя дали става за нещо и му дадох да търси бъгове в симулатора. Компакт-ваше на всеки 2-3 минути и не намери нищо. Контекст 128К.
Лаптоп за Deep Learning и Large Language модели
0 1 2 3 4 ...48 49 50 51 52 ...97 98 99 100 101
Проклети корейци искаш да кажеш. Енвидия и компания врънкаха Тръмпака да им позволи да купуват китайски памети но той не речи. Спаси корейските производители от челичените лапи на Си.
Каква скорост докара? Що не по голям контекст?
Те за тоя модел иде реч - Бонзай
https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf
Но май яко послъгват.
Горите ток и изчислително време за ебати глупостите. Не се прави така. Тея неща треа се ползват за нещо поне малко разумно, така и така съсипваме планетата, барем има некаква файда.
Ами със 180B параметъра няма много място за по-голям контекст дори и с 4-битови параметри. Не го мерих преди да го спра, но този, който беше направил докър контейнъра твърдеше нещо като 45 ток/с. На мен ми изглеждаше като терминал на 2400 bps модем, което е доста повече.
45 ток/с е добре. Интересно ми е като успея да пусна 128гб ГПУ-та колко ще вдигне при мен с TP4. Ама пуста памет ... 128гб рдимм ... уффф
0 1 2 3 4 ...48 49 50 51 52 ...97 98 99 100 101