А по-точно llama.cpp със модела gpt4-x-alpaca-13b-ggml-q4_0 някаква версия на alpaca.
Товари яко, но работи повече или по-малко приемливо. И без цензура е значително по-забавен отколкото на сървърите на М$.
Хари Създадено на 11.04.2023, видяно: 891 пъти. #88896
Прайш едно екзекутабле, тургаш му едно InstallShield и една цена от $50 с отстъпка от 25% за абонати и ставаш чорбаджия, не ти требе колайдер.
Моделите с тегловните коефициенти на невроните са си на локалния компютър. Няма комуникация с Интернет докато работи.
https://github.com/ggerganov Georgi Gerganov - ViewRay
https://github.com/ggerganov/llama.cpp#how-to-run
Машала, аз още им плащам стотинки на опен АЙ за разни прототипи, но го видях това алпака преди няколко дни и също мислех да минавам на него.
https://newatlas.com/technology/stanford-alpaca-cheap-gpt/
Тия дни ще го инстална и аз - даже си взех една натопорчена работна станция ... да видим дали ще си избие парите с тоя ИИ
13B моделите, честно казано са слабички. Струва си да си поиграеш със 33B, но за там трябва наистина много RAM и бърз процесор с много ядра. Може и на видеокартата, но и за там трябва много RAM, а видео паметта е значително по-скъпа.
Ами аз от 20 години карам само на лапатопи и сега реших да взема един десктоп на макс - amd ryzen 9 7950x със 128gb ddr5 и 2х2ТБ Самсунг 990 про ... обаче от мерак и бързане сглупих и купих всичко преди да прочета кое с кое ще работи - например май няма много файда от раид 0, не всяка памет работи и все още няма читава поддръжка за толкова памет на висока скорост т.е. трябва да избираш между много гиги и много херци ... трябвало е да взема workstation дъно а не скъпо consumer и т.н. ... от бързане взех чаркалъците да го сглобявам сам вместо да си платя да го сглобят и изтестват хора които по цял ден се занимават само с това.
Явно отдавна не си сглабял щайга щом правиш такива глупости. Не, че и аз не спрях да сглабям поради тези и други причини. Един мощен охладител на цпу като се инсталира може да изпочупиш краче или някой захват. Да си го трошат в сервиза. Вземеш видео карта, вземе, че се допре до кейджа за дискове. Абе всякакви простотии, които си спестяваш просто като дадеш 50 лева и тея у сервиза ти го сглабят. Или ти звънят, че еди кое си няма да си напасне. Е на мене ми натикаха 5 вентилатора вместо поръчаните 3 за да не прегрява алдър лейка в безшумната кутия, която си поръчах. Да не говорим, че охладителите могат да се наклонят по време на транспорт. Иначе с какво ще го охлаждаш това животно и за какво ти е 128 гиги рам? Миналата година по това време дадох близо 600 лева за 32 гиги ддр5, при това обикновена на 4800 мхц. Сега май струва наполовина.
А, оправих се ... ама се замотах. Основната ми грешка е, че не си направих труда да разуча каква конфигурация да си взема и взех тази на колегата. Т.е. вместо да поръчам workstation съм поръчал game дъно и процесор и от там цялата уйня. Сега имам 2 ССД-та които трябваше да работят в РАИД-0 ама не става номера и за момента ще ползвам едното докато не намеря как да буутна от раид0. Май ще се купя външен НВМ РАИД ПЦИЕ раид и ще се орпавят нещата. По нататък ще е, че сега нямам време.
А 128ГБ са щото дъното/чипсета не поддържа повече и щото ми се стори разумно евтино - то цялата машина ми излезе по малко от един читав мак ... зася ще компилира опенврт, че ми писна в амазон да го чакам по 3-4 часа. Ще почна да го ръчкам и с ИИ-то да видим дали ще си избие парите ако намеря такъв клиент.
Хм, OpenWRT? това не беше ли за рутъри разни. За какво ти е на голяма машина?
На голямата машина го сглобявам за разни клиентски устройства т.е. оправям им фирмуера. Иначе съм и качил едно убунту, че съм му свикнал. Предния клиент си беше дал дев лапатоп с боза на него и там ръчках андроид аосп и зефир ртос - тегава работа, моя си машина е по комфортно.
А, ясно тогава. Макар че, за човек, който сам си компилира OpenWRT-то, изборът на Убунту е малко странен. Но както се казва, на вкус и цвят всички флумастери са разни.
Ами тя основната машина си ми е аирмакбук м1. Убунтуто го слагам по инерция, че го знам. Преди време се бях запънал с една федора за година и нещо - пак става ама различно. Други дистрибуции не съм ползвал кой знае колко, че например на nvidia jetson сдк-то върви само на убунту. Също и на Microsoft Kinect Azure 3D скенерите. Ти коя диструбиция би препоръчал и защо?
Напоследък използвам основно Arch и базирани на Arch дистрибуции, като Manjaro например.
Отказах се от Убунту, когато един хубав ден ми инсталираха без предупреждение Unity. Тогава осъзнах, че корпорацията си е корпорация, ако ще с Уиндоус, ако ще с Линукс. Те винаги смятат, че знаят по-добре от тебе какво ти е нужно.
После минах на Минт, като много бивши убунтовци.
Но като опитах веднъж Manjaro/Arch и главно rolling релизите, все едно, че се родих отново. 