Идеята е да използва предимно по-слаб модел (например Опус), но от време на време да пита по-силен дали прави глупости. Трябва да превключа от Опус/Фейбл на Сонет/Опус и да видя дали ще работи така...
Идеята е да използва предимно по-слаб модел (например Опус), но от време на време да пита по-силен дали прави глупости. Трябва да превключа от Опус/Фейбл на Сонет/Опус и да видя дали ще работи така...
Тя идеята е ясна и направо да се чуди човек как никой досега не се е сетил. Нямах време да експериментирам преди почивката, че исках да не оставям недовършени неща в работата. Интересно ми доколко по слабия модел ще направи добра преценка дали промпта е прекалено сложен за него. И съответно дали в обратна посока няма да работи по добре - по умния модел да делегира на по прости като прецени, че не е чак толкова сложно. Т.е. да има пре-промпт който само оценя сложността и препраща на правилния модел.
Хммм … сега като се замисля - VSCode Github Copilot има auto настройка за модел - прави препроцесинг с някакъв доста тъп модел и решава кой от моделите да ползва. И заради това дава 10% discount на консумацията на токъни. Трудно ми е да преценя дали се справя защото а го видя на ауто веднага го включвам на опус 4.6 или qwen.
То това цялото май става като второ ниво на MoE...
Ами за нула време се вкараха няколко слоя на абстракция със спорен смисъл щот същата функционалност може да я има и самия модел.
И те този философски въпрос ме тормози напоследък относно какъв бизнес модел би работил като модела може всичко.
Според мен има много неща, които да се подобряват за да работят по-добре агентите. Но не знам дали има пари в тази работа. В момента агентите използват инструменти правени за хора, а не за агенти.
Например по-добри tools за инспекция на кода, дебъгери, които да са предназначени за агенти.
Точно затова се заиграх с това мини счетоводство.
То е само схема на sqlite таблици и почти нищо друго в ядрото. Отгоре има един веб уи колкото да гледам нещата без ИИ но нямаш проблем Клодю да генерира Реакт коомпоненти в чата за интерактивност.
И се получи хем по просто като код, хем по функционално заради ИИ работещ директно с данните.
Подозирам, че индустрията ще завие в някаква такава посока - формализиран протокол за локални данни и почти не остава бизнес софтуер за драскачите на остро Ц и Джава да правят.
Модела изяжда всичкото легаси.
Може би някои видове програми ще изчезнат във вида, в който ги познаваме. Демек модел + данни и му казваш какво да прави с тия данни или той сам си решава. Не некви лелки да въвеждат в някакви веб или win форми данни по цял ден и после да генерират някакви шарени рипорти и да си мислят, че вършат кой знае какво.
Ами повечето програми в момента са като водопроводни системи, данните текат от БД към екрана и обратно. Това определено може да се замени от AI.
Това не може да стане по икономически причини, дори и да може да работи коректно, а то не може почти никога при големи обеми данни, ще бъде много по скъпо за употреба от детерминистичен софтуер, който така или иначе може да се направи с ИИ.
В момента е така, но закона на Мур мачка и в тая посока - масовостта ще води до все по евтини модели с по малка нужда от енергия. И с това темпо на развитие ми се чини, че ако не е до няколко месеца ще е до няколко години факт.
Моделите ще заменят софтуера а детерминистичноста ще дойде с детерминистични локални данни.
Тука логическата грешка която все още правим е, че гледаме на ИИ моделите като заместител на софтуера а не като заместител на софтуер и човек оператор. Човек не е 100% детерминистичен и никой не го и очаква да бъде. Нерде и га е заменен с модел дето не е детерминистичен.
нещата не винаги следват това което "може". на 99% от бизнесите цялата база данни от поне 20 години "може" да се побере в РАМа на обикновен среден клас компютър или лаптоп, но все така си карат по утъпкания модел от времето на ибм360 - локалния комп е само терминал, а базата е на някакъв дебел сървър и ти си чуплиш данните със заявка по определени правила. дори да речем че централен сървър ти спестява грижата по синхронизацията между много оператори, пак може да се очаква че ще се пръкнат нови по-удобни форми (анапример базирани на чист текст), но ей на, хората си карат с майескюели и оракъли. утъпканата пътека си е огромно предимство дори да не е най-прекия път
Легаси … sqlite + LLM кърти откъдето и да го погледнеш
Се едно да фалиш конете, че са по надеждни (верно) и искат по малко грижи (пак верно - слънце, вода и трева) … обаче историята я знаем как завърши. Да има разни арабски шейхове дето още отглеждат расови коне, не е като да няма - Ганя примат си иска жипарата и общината да му гарантира място да си я паркира пред блока.
ИИ заменя досегашния софтуер + ганата де ръчка форми. От тука иде фундаменталната разлика и икономическа файда и изгода.
Което подозирам ще има същия ефект като на чумата и ренесанса или на и картофа и индустриалната революция. Т.е.буквално калориен излишък дето трябва да избие в нещо. Ша заселваме космоса май …