dok34.ru
Moderator
То есть - в одном воркфлоу можно работать сразу с несколькими разными образами?!
Норм, интересно!!
Нейросети и смежное :)
- Автор темы dok34.ru
- Дата начала
Норм, интересно!!
Indigo
Красивый мальчик со скрипочкой
Надо промпт менять немного - какой персонаж вы хотите получить, а ворфлоу остается тот-же. Иногда сеть глючит - например в какой-то момент она решила рисовать двух девочек, (и даже трех один раз).
Indigo
Красивый мальчик со скрипочкой
Поставил на комп оламу и гемму 3 12b
deepmind.google
gemma3.org
12 миллиардов параметров, на больше не хватает платы. Раньше не хотел ставить тк есть чат а на бытовой плате вряд-ли что-то серьезное пойдет. Но я хотел найти переводчик и она переводит в целом не хуже чата, даже может лучше в плане стиля, единственное что - из-за маленького контекстного окна ей нужно давать текст частями, тк она начинает глючить на большом тексте. Та-же история была и с чатом (только его хватало намного больше) то есть получается что если слишком много вести с сетью диалог то когда контекстное окно заполняется она начинает глючить.
В качестве учителя французского работает плохо, начала с того что перепутала и стала мне давать предложения на французском для перевода -то есть поняла с точностью до наоборот.
Gemma 3
Gemma 3 is a family of lightweight models capable of multimodal understanding, with unparalleled multilingual capabilities for more intelligent applications
Gemma 3 12B | Free & No Signup
Designed for developers and researchers, Gemma 3 12B runs efficiently on a single GPU, delivering exceptional performance for your AI applications
12 миллиардов параметров, на больше не хватает платы. Раньше не хотел ставить тк есть чат а на бытовой плате вряд-ли что-то серьезное пойдет. Но я хотел найти переводчик и она переводит в целом не хуже чата, даже может лучше в плане стиля, единственное что - из-за маленького контекстного окна ей нужно давать текст частями, тк она начинает глючить на большом тексте. Та-же история была и с чатом (только его хватало намного больше) то есть получается что если слишком много вести с сетью диалог то когда контекстное окно заполняется она начинает глючить.
В качестве учителя французского работает плохо, начала с того что перепутала и стала мне давать предложения на французском для перевода -то есть поняла с точностью до наоборот.
Indigo
Красивый мальчик со скрипочкой
Оказывается и более крупные сети могут пойти на бытовой плате, но медленнее
View: https://www.reddit.com/r/ollama/comments/1mjo9ki/best_models_under_16gb/
Поставил gpt-oss:20b и qwen3:14b
Чат 20 миллиардов параметров работает, но думает долго, так что лучше что-то поменьше
Вот перевод чатом
View: https://www.reddit.com/r/ollama/comments/1mjo9ki/best_models_under_16gb/
Поставил gpt-oss:20b и qwen3:14b
Чат 20 миллиардов параметров работает, но думает долго, так что лучше что-то поменьше
Вот перевод чатом
dok34.ru
Moderator
А интересная беседа
Я бы тоже пожалуй спросил, что для 24Гб Vram и 64 оперативки лучше 🙂
dok34.ru
Moderator
gemma3:27b
>>> У меня компьютер с 24Гб Vram и 64 ОЗУ, какие модели более эффективны для локальнолго применения?
С вашим компьютером (24 ГБ VRAM и 64 ГБ ОЗУ) вы можете запускать довольно мощные локальные модели. Вот некоторые
из самых эффективных вариантов, сгруппированные по категориям и с учетом ваших ресурсов:
**1. Большие Языковые Модели (LLM) для чата и генерации текста:**
* **Mistral 7B (и производные):** Превосходная производительность при небольшом размере. Существуют множество
fine-tuned версий (например, OpenHermes 2.5 Mistral 7B, Nous Hermes 2 Mistral 7B) которые оптимизированы для
разных задач, таких как диалог, креативное письмо, или кодирование. Вам хватит VRAM для запуска с квантованием
Q4_K_M или Q5_K_M, что позволит добиться хорошего баланса между скоростью и качеством.
* **Llama 2 13B:** Более крупная модель, чем Mistral 7B, и способна выдавать более сложные и связные тексты.
Квантование Q4_K_M или Q5_K_M также подходит.
* **Llama 3 8B:** Новейшая модель от Meta, демонстрирующая отличную производительность. Она компактна и может
хорошо работать на вашем оборудовании, особенно с квантованием.
* **Mixtral 8x7B:** Более продвинутая модель, использующая Mixture of Experts (MoE) архитектуру. Это позволяет
ей достигать результатов, сравнимых с Llama 2 70B, при меньшем размере. Для комфортной работы может потребоваться
немного больше ОЗУ, особенно при больших контекстных окнах.
* **Solar 10.7B:** Еще одна интересная модель, демонстрирующая хорошую производительность и разумные требования
к ресурсам.
* **Phi-3 Mini 3.8B:** Очень компактная, но мощная модель, идеально подходящая для устройств с ограниченными
ресурсами. Она может работать даже на CPU, но с вашим GPU она покажет отличные результаты.
**2. Модели для генерации изображений:**
* **Stable Diffusion XL (SDXL):** Флагманская модель для генерации изображений с высоким разрешением. 24 ГБ
VRAM позволяют вам использовать SDXL без особых ограничений, включая различные расширения и LoRA.
* **SD 1.5:** Более старая, но все еще популярная модель. Она требует меньше ресурсов, чем SDXL, и может быть
хорошим выбором, если вам нужна более быстрая генерация.
* **DeepFloyd IF:** Альтернативная модель для генерации изображений, известная своим качеством и
реалистичностью.
* **LCM LoRA (Low-Rank Adaptation):** Это не отдельная модель, а метод, который значительно
ускоряет процесс генерации изображений в Stable Diffusion. С LCM LoRA вы можете генерировать изображения за
несколько секунд.
**3. Мультимодальные модели (текст + изображение):**
* **LLaVA:** Объединяет языковую модель и модель компьютерного зрения, позволяя отвечать на вопросы о
изображениях. Особенно хорошо работает с Llama 2 в качестве основы.
* **IDEFICS:** Еще одна мультимодальная модель, способная понимать и генерировать текст и изображения.
**Программы для запуска моделей:**
* **LM Studio:** Простой в использовании графический интерфейс для запуска LLM. Он автоматически загружает и
настраивает модели, а также предоставляет удобный чат-интерфейс.
* **Oobabooga's Text Generation Web UI:** Более продвинутый веб-интерфейс с большим количеством настроек и
расширений.
* **KoboldAI:** Ориентирован на креативное письмо и ролевые игры.
* **Automatic1111/stable-diffusion-webui:** Самый популярный веб-интерфейс для Stable Diffusion.
* **InvokeAI:** Еще один мощный веб-интерфейс для Stable Diffusion.
**Рекомендации по квантованию:**
Квантование – это процесс уменьшения размера модели путем снижения точности чисел, используемых для представления
ее параметров. Это позволяет снизить требования к VRAM и ОЗУ, но может незначительно повлиять на качество.
* **Q4_K_M:** Хороший компромисс между размером и качеством.
* **Q5_K_M:** Более высокое качество, но требует больше ресурсов.
* **Q8_0:** Наивысшее качество, но требует больше всего ресурсов.
**Важные моменты:**
* **Контекстное окно:** Контекстное окно определяет максимальную длину текста, который может обрабатывать
модель. Большее контекстное окно позволяет модели лучше понимать и генерировать более связные тексты, но требует
больше ресурсов.
* **GPU Offloading:** Используйте возможности GPU offloading, чтобы максимально использовать вашу видеокарту и
снизить нагрузку на CPU и ОЗУ.
* **Экспериментируйте:** Не бойтесь экспериментировать с разными моделями, квантованиями и настройками, чтобы
найти оптимальный вариант для ваших задач.
**С чего начать:**
1. **LM Studio:** Установите LM Studio и попробуйте разные модели, такие как Mistral 7B, Llama 3 8B, или Phi-3
Mini 3.8B.
2. **Stable Diffusion Web UI:** Установите Automatic1111 и попробуйте SDXL или SD 1.5.
3. **Oobabooga's Text Generation Web UI:** Если вам нужен более продвинутый интерфейс с большим количеством
настроек, попробуйте Oobabooga.
Удачи в исследовании мира локальных моделей!
>>> У меня компьютер с 24Гб Vram и 64 ОЗУ, какие модели более эффективны для локальнолго применения?
С вашим компьютером (24 ГБ VRAM и 64 ГБ ОЗУ) вы можете запускать довольно мощные локальные модели. Вот некоторые
из самых эффективных вариантов, сгруппированные по категориям и с учетом ваших ресурсов:
**1. Большие Языковые Модели (LLM) для чата и генерации текста:**
* **Mistral 7B (и производные):** Превосходная производительность при небольшом размере. Существуют множество
fine-tuned версий (например, OpenHermes 2.5 Mistral 7B, Nous Hermes 2 Mistral 7B) которые оптимизированы для
разных задач, таких как диалог, креативное письмо, или кодирование. Вам хватит VRAM для запуска с квантованием
Q4_K_M или Q5_K_M, что позволит добиться хорошего баланса между скоростью и качеством.
* **Llama 2 13B:** Более крупная модель, чем Mistral 7B, и способна выдавать более сложные и связные тексты.
Квантование Q4_K_M или Q5_K_M также подходит.
* **Llama 3 8B:** Новейшая модель от Meta, демонстрирующая отличную производительность. Она компактна и может
хорошо работать на вашем оборудовании, особенно с квантованием.
* **Mixtral 8x7B:** Более продвинутая модель, использующая Mixture of Experts (MoE) архитектуру. Это позволяет
ей достигать результатов, сравнимых с Llama 2 70B, при меньшем размере. Для комфортной работы может потребоваться
немного больше ОЗУ, особенно при больших контекстных окнах.
* **Solar 10.7B:** Еще одна интересная модель, демонстрирующая хорошую производительность и разумные требования
к ресурсам.
* **Phi-3 Mini 3.8B:** Очень компактная, но мощная модель, идеально подходящая для устройств с ограниченными
ресурсами. Она может работать даже на CPU, но с вашим GPU она покажет отличные результаты.
**2. Модели для генерации изображений:**
* **Stable Diffusion XL (SDXL):** Флагманская модель для генерации изображений с высоким разрешением. 24 ГБ
VRAM позволяют вам использовать SDXL без особых ограничений, включая различные расширения и LoRA.
* **SD 1.5:** Более старая, но все еще популярная модель. Она требует меньше ресурсов, чем SDXL, и может быть
хорошим выбором, если вам нужна более быстрая генерация.
* **DeepFloyd IF:** Альтернативная модель для генерации изображений, известная своим качеством и
реалистичностью.
* **LCM LoRA (Low-Rank Adaptation):** Это не отдельная модель, а метод, который значительно
ускоряет процесс генерации изображений в Stable Diffusion. С LCM LoRA вы можете генерировать изображения за
несколько секунд.
**3. Мультимодальные модели (текст + изображение):**
* **LLaVA:** Объединяет языковую модель и модель компьютерного зрения, позволяя отвечать на вопросы о
изображениях. Особенно хорошо работает с Llama 2 в качестве основы.
* **IDEFICS:** Еще одна мультимодальная модель, способная понимать и генерировать текст и изображения.
**Программы для запуска моделей:**
* **LM Studio:** Простой в использовании графический интерфейс для запуска LLM. Он автоматически загружает и
настраивает модели, а также предоставляет удобный чат-интерфейс.
* **Oobabooga's Text Generation Web UI:** Более продвинутый веб-интерфейс с большим количеством настроек и
расширений.
* **KoboldAI:** Ориентирован на креативное письмо и ролевые игры.
* **Automatic1111/stable-diffusion-webui:** Самый популярный веб-интерфейс для Stable Diffusion.
* **InvokeAI:** Еще один мощный веб-интерфейс для Stable Diffusion.
**Рекомендации по квантованию:**
Квантование – это процесс уменьшения размера модели путем снижения точности чисел, используемых для представления
ее параметров. Это позволяет снизить требования к VRAM и ОЗУ, но может незначительно повлиять на качество.
* **Q4_K_M:** Хороший компромисс между размером и качеством.
* **Q5_K_M:** Более высокое качество, но требует больше ресурсов.
* **Q8_0:** Наивысшее качество, но требует больше всего ресурсов.
**Важные моменты:**
* **Контекстное окно:** Контекстное окно определяет максимальную длину текста, который может обрабатывать
модель. Большее контекстное окно позволяет модели лучше понимать и генерировать более связные тексты, но требует
больше ресурсов.
* **GPU Offloading:** Используйте возможности GPU offloading, чтобы максимально использовать вашу видеокарту и
снизить нагрузку на CPU и ОЗУ.
* **Экспериментируйте:** Не бойтесь экспериментировать с разными моделями, квантованиями и настройками, чтобы
найти оптимальный вариант для ваших задач.
**С чего начать:**
1. **LM Studio:** Установите LM Studio и попробуйте разные модели, такие как Mistral 7B, Llama 3 8B, или Phi-3
Mini 3.8B.
2. **Stable Diffusion Web UI:** Установите Automatic1111 и попробуйте SDXL или SD 1.5.
3. **Oobabooga's Text Generation Web UI:** Если вам нужен более продвинутый интерфейс с большим количеством
настроек, попробуйте Oobabooga.
Удачи в исследовании мира локальных моделей!
Indigo
Красивый мальчик со скрипочкой
У вас должны хорошо работать чат и гемма 27b. Так-же хорошая сеть qwen3, тоже думающая как и чат (гемма оказывается нет, отсюда наверно и странные траблы в переводе время от времени). Думающая сеть перед переводом анализирует текст, а потом начинает переводить. -А интересная беседа
Я бы тоже пожалуй спросил, что для 24Гб Vram и 64 оперативки лучше 🙂
