А по-точно llama.cpp със модела gpt4-x-alpaca-13b-ggml-q4_0 някаква версия на alpaca.
Товари яко, но работи повече или по-малко приемливо. И без цензура е значително по-забавен отколкото на сървърите на М$.
Инсталирах си "chatGPT" на локалния компютър.
Прайш едно екзекутабле, тургаш му едно InstallShield и една цена от $50 с отстъпка от 25% за абонати и ставаш чорбаджия, не ти требе колайдер.
Дон Реба с данни ли е или дърпа от интернет?
По-интересно е, че се хоства от ваш човек.
Дон Реба с данни ли е или дърпа от интернет?
Моделите с тегловните коефициенти на невроните са си на локалния компютър. Няма комуникация с Интернет докато работи.
Дон Реба какъв наш човек?
https://github.com/ggerganov Georgi Gerganov - ViewRay
johnfound Дон Реба с данни ли е или дърпа от интернет?
Моделите с тегловните коефициенти на невроните са си на локалния компютър. Няма комуникация с Интернет докато работи.
https://github.com/ggerganov/llama.cpp#how-to-run
johnfound А по-точно llama.cpp със модела
gpt4-x-alpaca-13b-ggml-q4_0някаква версия на alpaca.Товари яко, но работи повече или по-малко приемливо. И без цензура е значително по-забавен отколкото на сървърите на М$.
Машала, аз още им плащам стотинки на опен АЙ за разни прототипи, но го видях това алпака преди няколко дни и също мислех да минавам на него.
https://newatlas.com/technology/stanford-alpaca-cheap-gpt/
Тия дни ще го инстална и аз - даже си взех една натопорчена работна станция ... да видим дали ще си избие парите с тоя ИИ
palavrov Тия дни ще го инстална и аз - даже си взех една натопорчена работна станция ... да видим дали ще си избие парите с тоя ИИ
13B моделите, честно казано са слабички. Струва си да си поиграеш със 33B, но за там трябва наистина много RAM и бърз процесор с много ядра. Може и на видеокартата, но и за там трябва много RAM, а видео паметта е значително по-скъпа.
Ами аз от 20 години карам само на лапатопи и сега реших да взема един десктоп на макс - amd ryzen 9 7950x със 128gb ddr5 и 2х2ТБ Самсунг 990 про ... обаче от мерак и бързане сглупих и купих всичко преди да прочета кое с кое ще работи - например май няма много файда от раид 0, не всяка памет работи и все още няма читава поддръжка за толкова памет на висока скорост т.е. трябва да избираш между много гиги и много херци ... трябвало е да взема workstation дъно а не скъпо consumer и т.н. ... от бързане взех чаркалъците да го сглобявам сам вместо да си платя да го сглобят и изтестват хора които по цял ден се занимават само с това.
palavrov Ами аз от 20 години карам само на лапатопи и сега реших да взема един десктоп на макс - amd ryzen 9 7950x със 128gb ddr5 и 2х2ТБ Самсунг 990 про ... обаче от мерак и бързане сглупих и купих всичко преди да прочета кое с кое ще работи - например май няма много файда от раид 0, не всяка памет работи и все още няма читава поддръжка за толкова памет на висока скорост т.е. трябва да избираш между много гиги и много херци ... трябвало е да взема workstation дъно а не скъпо consumer и т.н. ... от бързане взех чаркалъците да го сглобявам сам вместо да си платя да го сглобят и изтестват хора които по цял ден се занимават само с това.
Явно отдавна не си сглабял щайга щом правиш такива глупости. Не, че и аз не спрях да сглабям поради тези и други причини. Един мощен охладител на цпу като се инсталира може да изпочупиш краче или някой захват. Да си го трошат в сервиза. Вземеш видео карта, вземе, че се допре до кейджа за дискове. Абе всякакви простотии, които си спестяваш просто като дадеш 50 лева и тея у сервиза ти го сглабят. Или ти звънят, че еди кое си няма да си напасне. Е на мене ми натикаха 5 вентилатора вместо поръчаните 3 за да не прегрява алдър лейка в безшумната кутия, която си поръчах. Да не говорим, че охладителите могат да се наклонят по време на транспорт. Иначе с какво ще го охлаждаш това животно и за какво ти е 128 гиги рам? Миналата година по това време дадох близо 600 лева за 32 гиги ддр5, при това обикновена на 4800 мхц. Сега май струва наполовина.
А, оправих се ... ама се замотах. Основната ми грешка е, че не си направих труда да разуча каква конфигурация да си взема и взех тази на колегата. Т.е. вместо да поръчам workstation съм поръчал game дъно и процесор и от там цялата уйня. Сега имам 2 ССД-та които трябваше да работят в РАИД-0 ама не става номера и за момента ще ползвам едното докато не намеря как да буутна от раид0. Май ще се купя външен НВМ РАИД ПЦИЕ раид и ще се орпавят нещата. По нататък ще е, че сега нямам време.
А 128ГБ са щото дъното/чипсета не поддържа повече и щото ми се стори разумно евтино - то цялата машина ми излезе по малко от един читав мак ... зася ще компилира опенврт, че ми писна в амазон да го чакам по 3-4 часа. Ще почна да го ръчкам и с ИИ-то да видим дали ще си избие парите ако намеря такъв клиент.
palavrov ... зася ще компилира опенврт, че ми писна в амазон да го чакам по 3-4 часа.
Хм, OpenWRT? това не беше ли за рутъри разни. За какво ти е на голяма машина?
johnfound palavrov ... зася ще компилира опенврт, че ми писна в амазон да го чакам по 3-4 часа.
Хм, OpenWRT? това не беше ли за рутъри разни. За какво ти е на голяма машина?
На голямата машина го сглобявам за разни клиентски устройства т.е. оправям им фирмуера. Иначе съм и качил едно убунту, че съм му свикнал. Предния клиент си беше дал дев лапатоп с боза на него и там ръчках андроид аосп и зефир ртос - тегава работа, моя си машина е по комфортно.
palavrov johnfound palavrov ... зася ще компилира опенврт, че ми писна в амазон да го чакам по 3-4 часа.
Хм, OpenWRT? това не беше ли за рутъри разни. За какво ти е на голяма машина?
На голямата машина го сглобявам за разни клиентски устройства т.е. оправям им фирмуера. Иначе съм и качил едно убунту, че съм му свикнал. Предния клиент си беше дал дев лапатоп с боза на него и там ръчках андроид аосп и зефир ртос - тегава работа, моя си машина е по комфортно.
А, ясно тогава. Макар че, за човек, който сам си компилира OpenWRT-то, изборът на Убунту е малко странен. Но както се казва, на вкус и цвят всички флумастери са разни.
Ами тя основната машина си ми е аирмакбук м1. Убунтуто го слагам по инерция, че го знам. Преди време се бях запънал с една федора за година и нещо - пак става ама различно. Други дистрибуции не съм ползвал кой знае колко, че например на nvidia jetson сдк-то върви само на убунту. Също и на Microsoft Kinect Azure 3D скенерите. Ти коя диструбиция би препоръчал и защо?
palavrov Ами тя основната машина си ми е аирмакбук м1. Убунтуто го слагам по инерция, че го знам. Преди време се бях запънал с една федора за година и нещо - пак става ама различно. Други дистрибуции не съм ползвал кой знае колко, че например на nvidia jetson сдк-то върви само на убунту. Също и на Microsoft Kinect Azure 3D скенерите. Ти коя диструбиция би препоръчал и защо?
Напоследък използвам основно Arch и базирани на Arch дистрибуции, като Manjaro например.
Отказах се от Убунту, когато един хубав ден ми инсталираха без предупреждение Unity. Тогава осъзнах, че корпорацията си е корпорация, ако ще с Уиндоус, ако ще с Линукс. Те винаги смятат, че знаят по-добре от тебе какво ти е нужно.
После минах на Минт, като много бивши убунтовци.
Но като опитах веднъж Manjaro/Arch и главно rolling релизите, все едно, че се родих отново. 