Идеята е да използва предимно по-слаб модел (например Опус), но от време на време да пита по-силен дали прави глупости. Трябва да превключа от Опус/Фейбл на Сонет/Опус и да видя дали ще работи така...
Идеята е да използва предимно по-слаб модел (например Опус), но от време на време да пита по-силен дали прави глупости. Трябва да превключа от Опус/Фейбл на Сонет/Опус и да видя дали ще работи така...
Тя идеята е ясна и направо да се чуди човек как никой досега не се е сетил. Нямах време да експериментирам преди почивката, че исках да не оставям недовършени неща в работата. Интересно ми доколко по слабия модел ще направи добра преценка дали промпта е прекалено сложен за него. И съответно дали в обратна посока няма да работи по добре - по умния модел да делегира на по прости като прецени, че не е чак толкова сложно. Т.е. да има пре-промпт който само оценя сложността и препраща на правилния модел.
Хммм … сега като се замисля - VSCode Github Copilot има auto настройка за модел - прави препроцесинг с някакъв доста тъп модел и решава кой от моделите да ползва. И заради това дава 10% discount на консумацията на токъни. Трудно ми е да преценя дали се справя защото а го видя на ауто веднага го включвам на опус 4.6 или qwen.
То това цялото май става като второ ниво на MoE...
Ами за нула време се вкараха няколко слоя на абстракция със спорен смисъл щот същата функционалност може да я има и самия модел.
И те този философски въпрос ме тормози напоследък относно какъв бизнес модел би работил като модела може всичко.
Според мен има много неща, които да се подобряват за да работят по-добре агентите. Но не знам дали има пари в тази работа. В момента агентите използват инструменти правени за хора, а не за агенти.
Например по-добри tools за инспекция на кода, дебъгери, които да са предназначени за агенти.
Точно затова се заиграх с това мини счетоводство.
То е само схема на sqlite таблици и почти нищо друго в ядрото. Отгоре има един веб уи колкото да гледам нещата без ИИ но нямаш проблем Клодю да генерира Реакт коомпоненти в чата за интерактивност.
И се получи хем по просто като код, хем по функционално заради ИИ работещ директно с данните.
Подозирам, че индустрията ще завие в някаква такава посока - формализиран протокол за локални данни и почти не остава бизнес софтуер за драскачите на остро Ц и Джава да правят.
Модела изяжда всичкото легаси.
Може би някои видове програми ще изчезнат във вида, в който ги познаваме. Демек модел + данни и му казваш какво да прави с тия данни или той сам си решава. Не некви лелки да въвеждат в някакви веб или win форми данни по цял ден и после да генерират някакви шарени рипорти и да си мислят, че вършат кой знае какво.