<bgdev />^free

Друг голям плюс на мак-а че имаш направо готови приложения за работа с модели за генерация на изображения - например Draw Things - инсталираш приложението, сваляш Flux dev модела и си готов да генерираш качествени изображения.

Delegate

Не е, quantized е 27B модела и 7b GGUF, който не съм пробвал. За 27B не ми стига видео RAM Пуснах го тоя малкия 7B на nVidia с RTX 3060 с 12 Gb VRAM и даде 3 tokens/sec, което е напълно приемливо поне за мен.

Предполагам, че можеш да го quantize-ваш сам ако не те мързи, но дори 27B дори и при 4 битови стойности сигурно няма да се събере в 12 GB.

soidere

Аз локално ползвам ollama модели защото се визуализарат много добре през open-webui

Аз съм привърженик на command line, но ако не успея да се оправя с mlx другата седмица ще ходя до сървърната стая да инсталирам ollama. За съжаление мрежата до сървърите не пуска RDP или VNC и трябва да ходя на място...