<bgdev />^free

Добре, аре квит сме.

Е, то е ясно защо се отлага. Милиардите откраднат(и от контрабанда) кеш(точно кеш) през годините от...

30B - рънвам го локално на "бесен" хардуер, не съм го обучавал. Машината е Windows 11...

[quote=Rabin]Плейването на ИИ заема минимален хардуер. Забраих точната думичка. Имаше купешки термин.[/quote]

Инференция
Embeddings
Quantization
Fine-tuning...

;quote Последният акаунт на Единия
 [https://www.vesti.bg/sviat/donald-trymp-pusna-svoia-meme-kriptomoneta-snimki-6218586][Донaлд Тръмп пусна своя Meme криптомонета (СНИМКИ)] 


 *ЗА БОГА БРАТЯ -...

 [!/!attached/3784
][My picture]

Ето колко заема 9B модел, квантизиран на 4bit на 24GB VRAM карта. 

;quote Rabin

https://belene.camp/survivor/nikola-daskalov/

Ей тука са направили бот, да си говориш със затворник от Белене. Бавно...

Ейайя мачка по всички фронтове :
[$https://youtu.be/LU1KUStXfTk]
[$https://youtu.be/FIwmjEskLu4]

не съм сравняал директно, не мога да се произнеса категорично, а и малко ме е интересувал...

Представи си, че модела е трениран на FP32 и теглата са му в FP32. Тегло със...

Грубо казано, при 32bit, всеки параметър иска 4 байта. За пълен 32bit, VRAM-а ще да е...

;quote |

Това quantized модел ли е?

Иначе мисля че за съжаление на Мак хейтърите в...

То има и DIGITS със 128GB, които рънват локално 200B модели, което(засега) е доста добре.

Ето...

Да, мисля, че е безполезна до голяма степен. Имам 8 GB и рънвам само разни не...

[$https://youtu.be/FDnNBWJPfTc]

;quote |

CPU-тата не се използват много при LLM. Сравнението трябва да е между картата на...

;quote Последният акаунт на Единия

Добре бе Delegate - знаеме, че си AI експерт.

Обясни са...

;quote Последният акаунт на Единия
Прибирам се от фитнеса да мина през Красно село и нещо...

Каква е разликата межди палячо и шоумен ?



[$https://youtu.be/E-KcJZv_55s]

За сериозни AI-неща си трябва много РАМ и то видео РАМ и CUDA ядра, което отива...