0 1 2 3 4 ...15 16 17 18 19 ...27 28 29 30 31
Хората правят клъстер от видеокарти, както му каза, нашия ще мачка с лаптоп. Как не са се сетили! Ама и по-тъпи има, фърлят 5 цифрени суми на сенилни кандидат президенти. Путьо поне ще има читав лаптоп, то и на мене предстои да земам. Безнадеждно остаря тоя.
п.с. С един 17 инчов се размъквах по света, обели ми се рамото. Шефчето си носеше ултра notebook, и ултра му завиждахме. Монитор все ще намериш при клиента, не е нужно да го носиш на рамо. Над 15 инча не е лаптоп за менека. Хамалогия е.
Не знам, но все си мислех, че могат да се зареждат параметрите на отделни layers и да се правят частични сметки. Явно инфраструктурата за ML e по-зле отколкото очаквах.
Значи с тази карта с 8GB на практика няма да може да пуска никакви LLMs.
Да, мисля, че е безполезна до голяма степен. Имам 8 GB и рънвам само разни не чат модели, като AI за транскрипция на глас към текст. Имам и 12 GB, но накрая ако искам нещо по-така, ползвам system mem и CPU, но си трябва яка nVidia Tesla карта, или RTX 6000 generation и то няколко в клъстер. Има различни AI модели, но за да рънваш нещо локално, което да не е само с демонстрационна цел, а да ти върши някаква работа - например да му направиш fine tuning или RAG върху твои данни и да ти отговаря на въпроси свързани с тях без да халюцинира(при бизнеса това е недопустимо) си трябва як хардуер.
А тоя NVIDIA DIGITS с 64 Гиги ще може ли да търкаля такива модели? Чудя се дали да го взимам него или 5090?
То има и DIGITS със 128GB, които рънват локално 200B модели, което(засега) е доста добре.
Ето bggpt-то на моя лаптоп с 8GB RAM : Модела е 7B и е отчайващо тъп. Loading checkpoint shards: 100%| 2/2 00:01<00:00, 1.46it/s
15:32:50-224130 INFO Loaded "INSAIT-Institute_BgGPT-7B-Instruct-v0.2" in 13.22 seconds.
15:32:50-228128 INFO LOADER: "Transformers"
15:32:50-231304 INFO TRUNCATION LENGTH: 32768
15:32:50-233459 INFO INSTRUCTION TEMPLATE: "Custom (obtained from model metadata)"
Output generated in 1706.88 seconds (0.01 tokens/s, 11 tokens, context 92, seed 54917785)
Моя грешка, верно базово си идва със 128 гиги. Не е зле. Излиза май по на сметка от яка машина + гпу.
акаунт
на
Единия
акаунт
на
Единия, видяно: 242 пъти.
Аха - а какво мислиш за тая NVIDIA GeForce RTX 4090 (16GB GDDR6)!?
Може на този да се спра - ASUS ROG Strix SCAR 17 X3D G733PYV-LL046W
Май месец излизат за 3000$, DIGITS със 128 гиги RAM.
Земи си лаптоп за да си цъкаш CS, що не?
Дай некъв линк - да видим за какво бълнуваш!
DIGITS не е лапатоп ама определено може да си го носиш в джоба примерно 
Хъ, за пръв път Рабиняка да каже нещо, дето да има смисъл. Чей го разгледам туй DIGITS - па мое верно да си земем лаптопа дет първоначално го избирах и дет ще върши работа за кенефни проекти, а за AI по-нататика да си зема туй. 
За разлика от тебе, никога няма смисъл де сереш у сички теми и форуми.
Лол, ся кат се позачетох за DIGITS се депресирах.
Кви неща правят хората, а ние за какво си ползваме щайгите - за кенефни проекти с 20 контейнера и 5 дизайн патерна и яко SCRUM с code review-та и политики за сране. 
Плаче ми са!
акаунт
на
Единия
акаунт
на
Единия, видяно: 205 пъти.
Ся чета:
А ве знаеш ли кво РЪБинка - нема ти се връзвам на тъпотиите. Ти кат закълвеш нещо е ясно, че на лайно чини. Ти ме открехна за проф. Иво Христов.
Да вервам в Project DIGITS е кат да вервам в Tesla и че ще кацнем на Марс. Яко маркетинг, ама резултат - КУРЕЦ...
Ще послушам Delegate и ще си зема лаптоп с повечко VRAM, ама "научната фантастика" ще я оставя за тебе.
Утре ще земеш да ми препоръчаш да си набия парите и у некой квантов компютър - КОЗОЕБ! 
Това quantized модел ли е?
Иначе мисля че за съжаление на Мак хейтърите в този момент е ясно кой лаптоп е най-добър за LLM.
Не е, quantized е 27B модела и 7b GGUF, който не съм пробвал. За 27B не ми стига видео RAM Пуснах го тоя малкия 7B на nVidia с RTX 3060 с 12 Gb VRAM и даде 3 tokens/sec, което е напълно приемливо поне за мен.
0 1 2 3 4 ...15 16 17 18 19 ...27 28 29 30 31
