РЪБинка - плащай на Delegate, мама ти козоебска... 
трее разбера как да си генерирам книжката...
Лаптоп за Deep Learning и Large Language модели
0 1 2 3 4 ...42 43 44 45 46 ...84 85 86 87 88
Тва може ли да се даде некъв естимейт кво джилезу му тряя за да бичи?
МоЕ може да се търкаля и на по слаба машина - е, не е толкова умно като пълния модел ама като за бедни хора толкова.
Аз обаче се целя да видя какво може да се подкара на съвсем достъпна машина в диапазона до 5-10к и не е като да няма и модели и хардуер.
Дори МОЕ иска да зареди всички параметри в паметта. Иска по-малко compute, но не по-малко памет.
Трябва да си купя по-голям диск. Pro модела не се събира на свободните 4 TB на NAS-a.
Имал съм случаи в които MoE ми е от ползва, като например един лаптоп на който добавих още 16 рам за да подкарвам основно такива модели, понеже процесора му не става за модели дето влизат в 32 рам и са dense, но ако са активни около 4б се справя сравнително добре.
Малко да се проветри край мене, бутаме проект след проект. Няма да те оставя без пари, само да мине тоя зор.
п.с. Макя ти проста!
0 1 2 3 4 ...42 43 44 45 46 ...84 85 86 87 88