<bgdev />^free

 [!/!attached/3784
][My picture]

Ето колко заема 9B модел, квантизиран на 4bit на 24GB VRAM карта. 

;quote Rabin

https://belene.camp/survivor/nikola-daskalov/

Ей тука са направили бот, да си говориш със затворник от Белене. Бавно...

Ейайя мачка по всички фронтове :
[$https://youtu.be/LU1KUStXfTk]
[$https://youtu.be/FIwmjEskLu4]

не съм сравняал директно, не мога да се произнеса категорично, а и малко ме е интересувал...

Представи си, че модела е трениран на FP32 и теглата са му в FP32. Тегло със...

Грубо казано, при 32bit, всеки параметър иска 4 байта. За пълен 32bit, VRAM-а ще да е...

;quote |

Това quantized модел ли е?

Иначе мисля че за съжаление на Мак хейтърите в...

То има и DIGITS със 128GB, които рънват локално 200B модели, което(засега) е доста добре.

Ето...

Да, мисля, че е безполезна до голяма степен. Имам 8 GB и рънвам само разни не...

[$https://youtu.be/FDnNBWJPfTc]

;quote |

CPU-тата не се използват много при LLM. Сравнението трябва да е между картата на...

;quote Последният акаунт на Единия

Добре бе Delegate - знаеме, че си AI експерт.

Обясни са...

;quote Последният акаунт на Единия
Прибирам се от фитнеса да мина през Красно село и нещо...

Каква е разликата межди палячо и шоумен ?



[$https://youtu.be/E-KcJZv_55s]

За сериозни AI-неща си трябва много РАМ и то видео РАМ и CUDA ядра, което отива...

;quote Последният акаунт на Единия
Lol, радвам се, че съм преподавателче в БГ университет, а не...

Няма много къде да бягаш.

1.Много сайтове вече имат изисквания за протокола TLS 1.2 или TLS...

 [https://www.foxbusiness.com/media/meta-orders-removal-tampons-mens-rooms-amid-zuckerberg-post-election-shakeup-report][Meta orders removal of tampons in men's rooms amid Zuckerberg post-election shakeup: report] 

Каква ирония на инглезите да сложат дърти гееве да играят френч барман и дойч льохман от...

Не е на добре...В началото към 3-тата минута има и опити да се генерира и нещо...