РЪБинка - плащай на Delegate, мама ти козоебска... трее разбера как да си генерирам книжката...

waldorf

Kimi 2.6 май и той е с 1Т параметъра.

Тва може ли да се даде некъв естимейт кво джилезу му тряя за да бичи?

Реконструктор

Тва може ли да се даде некъв естимейт кво джилезу му тряя за да бичи?

Питай ChatGPT.

МоЕ може да се търкаля и на по слаба машина - е, не е толкова умно като пълния модел ама като за бедни хора толкова.

Аз обаче се целя да видя какво може да се подкара на съвсем достъпна машина в диапазона до 5-10к и не е като да няма и модели и хардуер.

waldorf

МоЕ може да се търкаля и на по слаба машина - е, не е толкова умно като пълния модел ама като за бедни хора толкова.

Аз обаче се целя да видя какво може да се подкара на съвсем достъпна машина в диапазона до 5-10к и не е като да няма и модели и хардуер.

Дори МОЕ иска да зареди всички параметри в паметта. Иска по-малко compute, но не по-малко памет.

|

А, много добре. Май е първия публичен модел с над трилион параметъра. Ще го пусна да се сваля като кацна.

Нямам на какво да го пускам, но ми трябват размерите на тензорите с които смята.

Трябва да си купя по-голям диск. Pro модела не се събира на свободните 4 TB на NAS-a.

|

Дори МОЕ иска да зареди всички параметри в паметта. Иска по-малко compute, но не по-малко памет.

Имал съм случаи в които MoE ми е от ползва, като например един лаптоп на който добавих още 16 рам за да подкарвам основно такива модели, понеже процесора му не става за модели дето влизат в 32 рам и са dense, но ако са активни около 4б се справя сравнително добре.