<bgdev />^free

Delegate

Модела се зарежда целия във видео-паметта. Местене ще има при инференс, но но това са мизерни няколко килобайта промпт и респонс. Говорим за свястна карта с 24 и нагоре GB GDDR6X VRAM. Все пак LLM-ите не са видео-игри. Dedicated паметта не се бори за бандуит с други подсистеми - CPU, GPU, ANE pyTorch и Tensorflow са оптимизирани основно за nVidia

Хората правят клъстер от видеокарти, както му каза, нашия ще мачка с лаптоп. Как не са се сетили! Ама и по-тъпи има, фърлят 5 цифрени суми на сенилни кандидат президенти. Путьо поне ще има читав лаптоп, то и на мене предстои да земам. Безнадеждно остаря тоя.

п.с. С един 17 инчов се размъквах по света, обели ми се рамото. Шефчето си носеше ултра notebook, и ултра му завиждахме. Монитор все ще намериш при клиента, не е нужно да го носиш на рамо. Над 15 инча не е лаптоп за менека. Хамалогия е.

Delegate

Модела се зарежда целия във видео-паметта. Местене ще има при инференс, но но това са мизерни няколко килобайта промпт и респонс. Говорим за свястна карта с 24 и нагоре GB GDDR6X VRAM. Все пак LLM-ите не са видео-игри. Dedicated паметта не се бори за бандуит с други подсистеми - CPU, GPU, ANE pyTorch и Tensorflow са оптимизирани основно за nVidia

Не знам, но все си мислех, че могат да се зареждат параметрите на отделни layers и да се правят частични сметки. Явно инфраструктурата за ML e по-зле отколкото очаквах.

Значи с тази карта с 8GB на практика няма да може да пуска никакви LLMs.

Да, мисля, че е безполезна до голяма степен. Имам 8 GB и рънвам само разни не чат модели, като AI за транскрипция на глас към текст. Имам и 12 GB, но накрая ако искам нещо по-така, ползвам system mem и CPU, но си трябва яка nVidia Tesla карта, или RTX 6000 generation и то няколко в клъстер. Има различни AI модели, но за да рънваш нещо локално, което да не е само с демонстрационна цел, а да ти върши някаква работа - например да му направиш fine tuning или RAG върху твои данни и да ти отговаря на въпроси свързани с тях без да халюцинира(при бизнеса това е недопустимо) си трябва як хардуер.

Delegate

Да, мисля, че е безполезна до голяма степен. Имам 8 GB и рънвам само разни не чат модели, като AI за транскрипция на глас към текст. Имам и 12 GB, но накрая ако искам нещо по-така, ползвам system mem и CPU, но си трябва яка nVidia Tesla карта, или RTX 6000 generation и то няколко в клъстер. Има различни AI модели, но за да рънваш нещо локално, което да не е само с демонстрационна цел, а да ти върши някаква работа - например да му направиш fine tuning или RAG върху твои данни и да ти отговаря на въпроси свързани с тях без да халюцинира(при бизнеса това е недопустимо) си трябва як хардуер.

А тоя NVIDIA DIGITS с 64 Гиги ще може ли да търкаля такива модели? Чудя се дали да го взимам него или 5090?

То има и DIGITS със 128GB, които рънват локално 200B модели, което(засега) е доста добре.

Ето bggpt-то на моя лаптоп с 8GB RAM : Модела е 7B и е отчайващо тъп. Loading checkpoint shards: 100%| 2/2 00:01<00:00, 1.46it/s

15:32:50-224130 INFO Loaded "INSAIT-Institute_BgGPT-7B-Instruct-v0.2" in 13.22 seconds.

15:32:50-228128 INFO LOADER: "Transformers"

15:32:50-231304 INFO TRUNCATION LENGTH: 32768

15:32:50-233459 INFO INSTRUCTION TEMPLATE: "Custom (obtained from model metadata)"

Output generated in 1706.88 seconds (0.01 tokens/s, 11 tokens, context 92, seed 54917785)

Моя грешка, верно базово си идва със 128 гиги. Не е зле. Излиза май по на сметка от яка машина + гпу.

Delegate

То има и DIGITS със 128GB, които рънват локално 200B модели, което(засега) е доста добре.

Ето bggpt-то на моя лаптоп с 8GB RAM : Модела е 7B и е отчайващо тъп. Loading checkpoint shards: 100%| 2/2 00:01<00:00, 1.46it/s

15:32:50-224130 INFO Loaded "INSAIT-Institute_BgGPT-7B-Instruct-v0.2" in 13.22 seconds.

15:32:50-228128 INFO LOADER: "Transformers"

15:32:50-231304 INFO TRUNCATION LENGTH: 32768

15:32:50-233459 INFO INSTRUCTION TEMPLATE: "Custom (obtained from model metadata)"

Output generated in 1706.88 seconds (0.01 tokens/s, 11 tokens, context 92, seed 54917785)

Аха - а какво мислиш за тая NVIDIA GeForce RTX 4090 (16GB GDDR6)!?

Може на този да се спра - ASUS ROG Strix SCAR 17 X3D G733PYV-LL046W

Май месец излизат за 3000$, DIGITS със 128 гиги RAM.

Земи си лаптоп за да си цъкаш CS, що не?

Rabin

Май месец излизат за 3000$, DIGITS със 128 гиги RAM.

Земи си лаптоп за да си цъкаш CS, що не?

Дай некъв линк - да видим за какво бълнуваш!

https://www.nvidia.com/en-us/project-digits/

DIGITS не е лапатоп ама определено може да си го носиш в джоба примерно

waldorf

DIGITS не е лапатоп ама определено може да си го носиш в джоба примерно

Хъ, за пръв път Рабиняка да каже нещо, дето да има смисъл. Чей го разгледам туй DIGITS - па мое верно да си земем лаптопа дет първоначално го избирах и дет ще върши работа за кенефни проекти, а за AI по-нататика да си зема туй.

Последният акаунт на Единия

Хъ, за пръв път Рабиняка да каже нещо, дето да има смисъл.

За разлика от тебе, никога няма смисъл де сереш у сички теми и форуми.

Лол, ся кат се позачетох за DIGITS се депресирах.

Кви неща правят хората, а ние за какво си ползваме щайгите - за кенефни проекти с 20 контейнера и 5 дизайн патерна и яко SCRUM с code review-та и политики за сране. Плаче ми са!

Ся чета:

NVIDIA's Project DIGITS is a personal AI supercomputer designed to bring high-performance AI capabilities directly to individual developers, researchers, and students. NVIDIA

Key Features:

GB10 Grace Blackwell Superchip: At the heart of Project DIGITS is the GB10 Superchip, a system-on-a-chip (SoC) that combines an NVIDIA Blackwell GPU with the latest CUDA cores and fifth-generation Tensor Cores. This is connected via NVLink-C2C to a high-performance NVIDIA Grace CPU, featuring 20 power-efficient Arm-based cores. This architecture delivers up to 1 petaflop of AI performance at FP4 precision. NVIDIA NEWSROOM

Memory and Storage: The system includes 128GB of unified, coherent memory and offers up to 4TB of NVMe storage, enabling the handling of large AI models and datasets efficiently. NVIDIA NEWSROOM

Scalability: For more demanding applications, two Project DIGITS systems can be interconnected using NVIDIA ConnectX networking to support models with up to 405 billion parameters. NVIDIA NEWSROOM

Operating System and Software Compatibility:

Operating System: Project DIGITS runs on a Linux-based NVIDIA DGX OS, providing a stable and optimized environment for AI development. NVIDIA NEWSROOM

Software Stack: Users have access to NVIDIA's extensive AI software library, including software development kits, orchestration tools, frameworks, and models available through the NVIDIA NGC catalog and the NVIDIA Developer portal. The system supports popular frameworks such as PyTorch, Python, and Jupyter notebooks, facilitating a seamless development experience.

А ве знаеш ли кво РЪБинка - нема ти се връзвам на тъпотиите. Ти кат закълвеш нещо е ясно, че на лайно чини. Ти ме открехна за проф. Иво Христов.

Да вервам в Project DIGITS е кат да вервам в Tesla и че ще кацнем на Марс. Яко маркетинг, ама резултат - КУРЕЦ...

Ще послушам Delegate и ще си зема лаптоп с повечко VRAM, ама "научната фантастика" ще я оставя за тебе.

Утре ще земеш да ми препоръчаш да си набия парите и у некой квантов компютър - КОЗОЕБ!

Delegate

То има и DIGITS със 128GB, които рънват локално 200B модели, което(засега) е доста добре.

Ето bggpt-то на моя лаптоп с 8GB RAM : Модела е 7B и е отчайващо тъп. Loading checkpoint shards: 100%| 2/2 00:01<00:00, 1.46it/s

15:32:50-224130 INFO Loaded "INSAIT-Institute_BgGPT-7B-Instruct-v0.2" in 13.22 seconds.

15:32:50-228128 INFO LOADER: "Transformers"

15:32:50-231304 INFO TRUNCATION LENGTH: 32768

15:32:50-233459 INFO INSTRUCTION TEMPLATE: "Custom (obtained from model metadata)"

Output generated in 1706.88 seconds (0.01 tokens/s, 11 tokens, context 92, seed 54917785)

Това quantized модел ли е?

Иначе мисля че за съжаление на Мак хейтърите в този момент е ясно кой лаптоп е най-добър за LLM.

Последният акаунт на Единия

Утре ще земеш да ми препоръчаш да си набия парите и у некой квантов компютър - КОЗОЕБ!

Макяти в устата, такова не съм казвал!

|

Това quantized модел ли е?

Иначе мисля че за съжаление на Мак хейтърите в този момент е ясно кой лаптоп е най-добър за LLM.

Не е, quantized е 27B модела и 7b GGUF, който не съм пробвал. За 27B не ми стига видео RAM Пуснах го тоя малкия 7B на nVidia с RTX 3060 с 12 Gb VRAM и даде 3 tokens/sec, което е напълно приемливо поне за мен.

Аз локално ползвам ollama модели защото се визуализарат много добре през open-webui https://github.com/open-webui/open-webui. Статистиката за токените е директно в отговора, примерно за олама bggpt от https://ollama.com/todorov/bggpt: