тоя почва ама по сух асфалт или по мокър, ама с каква фаза са, ама какъв е материала и тн. другите не правят така, допускат (съвсем вярно) най-простатата ситуация и разсъждават върху нея
0 1 2 3 4 ...16 17 18 19 20 ...32 33 34 35 36
тоя почва ама по сух асфалт или по мокър, ама с каква фаза са, ама какъв е материала и тн. другите не правят така, допускат (съвсем вярно) най-простатата ситуация и разсъждават върху нея
Той “бай китаец” и по-големи модели дава, ама ти няма как да ги рънваш…
Абе назландисвам се ... купил съм 8 x Р9700 ... 256 гб рам ако успея да ги пусна всичките. Е, не е nVidia ама с моя бюджет това беше оптимума цена/производителност. Чудя се за един pcie switch, че да си спестя купуването не сървърна памет - но не мога да измисля как да събера всичко елегантно в една кутия. Пък и не ми е и много на зор защото дори и с 2 x R9700 успявам да карам тоя модел със 150 ток/с инференс,.
Е те 256 GB не са много. Кими3 беше над 2 трилиона параметъра. Сега се чудя, ама най-вече несериозно, дали да не използвам дискаунта на гаджето на малкия (тя работи в Апъл и има 25% дискаунт на продуктите им) и да купя някой от големите mac mini или mac studio.
За теб става т.е. като не купуваш като фирма. Един познат в на Рек жичкаджийския форум предлагаше преди време да ползваме такава отстъпка ама не дават фактури. И то отстъпката става колкото ДДС-то което не можеш да ползваш и ползата от файдата беше никаква поне за мен.
Каква е ползата от тези хардуери, не са ли твърде скъпи засега в сравнение с разните платени планове?
ами като дръпнат шалтера на платените да не останеш на сухо. а и безплатните можеш да си ги профилираш май, да ги натъпчеш в избрана тясна област и да доиш после непостижим за платените резултат
Не мисля, че мотивацията на купуващите е сред нещата, които си изброил. Не се готвят за апокалипсис, нито пък ползват някакви профилирани модели, които да имат преимущество пред официалните. То "профилирането" става всъщност с лоботомия, може да махнеш част от цензурата например, за да генерираш порно съдържание, това може и да се ползва някъде. Но няма да стане "по-умен" в някаква тясна област с "профилиране".
Дручко си е дебелата сървърджийница да ти седи под леглото и да те топли зимата!
Клод абонамнта за година и половина (180 пари месечно) горе долу ми струва колкото хардуера сам да си търкалям инференсе. Но това стана възможно като се пуснаха модели които вършат криво ляво някаква работа и на 32-64 гб гпу. Съответно цените на системата скокнаха на къмто 5-10к. Та кой взе овреме по мощен хардуер сега е аристократ. Другото е клета рабинящина.
Клодю вече на няколко пъти ми отказа да работи по по деликатни неща като примерно да ми отключи буутлоадера на тухлофона дето ми беше запецнал - не било етично разбираш ли, хаквал съм бил - ми той си е мой бе ако искам ще го размажа с чука. На щерката отказа да и реши една задача щото вчера го била учила и днес нямало да и подсказва в училище докато прави тест. В жичкаджийския форум отдавна точат секачките ...
Свиквайте, добитък! По-тъпи станахте и от ИИ моделите.
Е те антропик не са единствени, ка и на твоя хардуер не търкаляш клод.
За мен няма полза, чисто любопитство.
Иначе, ако правех неща за пари, не бих ги правил с модел в клауда без сериозен договор какъвто има например фирмата в която работя.
Иначе Клод е доста задобрял. Все още се опитвам да калибрирам прифечърите на симулатора. Проблема е, че а) не е ясно какви точно са им алгоритмите; б) не е ясно колко прифечъра има; в) има координатор, който по някаква негова си логика избира от предсказанията на всеки прифечър и няма как да се изолират един от друг.
Та от седмица се въртим в кръг и се опитваме да намерим начин за подобрение. Снощи му викам, абе я поразгледай какво има публикувано от академичните среди, какво пише че имат конкурентите на Арм, може да намериш нещо дето да съвпада с резултатите, които си измерил. След няколко минути казва, "а, намерих този патент на Арм, който буквално описва това което вече reverse engineer-нах, чакай да видя дали някои от другите патенти няма да са полезни".
И аз това мисля, че е основно, любопитството и експеримента. Моето любопитство като за 0 лева съм го задоволил с тестване на малки модели, както и с няколко работни експеримента със служебния хардуер.
За по-"сериозни" неща облачните модели за лична хоби употреба напълно ме устройват и ми струват някакви жълти стотинки. Не вадя пари с това и не съм се интересувал за разликите със и без договор, представа нямам какви са и защо са важни. За уеб чата на джемини съм опт-ин на всички цъкалки, подарявам им мъдростта моите разговори с техния чат.
0 1 2 3 4 ...16 17 18 19 20 ...32 33 34 35 36