dok34.ru
Moderator
Models - Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
Нейросети и смежное :)
- Автор темы dok34.ru
- Дата начала
Indigo
Красивый мальчик со скрипочкой
dok34.ru
Moderator
Я не цитировал тут, вчера с несколькими моделями пообщался 🙂
Говорят, что в упор влезает в 24🙂
Ну, попробую вечером 🙂
Нет в Олламе по дефолту, надо кидать в папку Модели.
dok34.ru
Moderator
Какие самые подходящие модели для локального компьютера с 24 гб VRAM, ранжируй по дате выпуска модели и по другим значимым параметрам
edit
Thought for 143.7 seconds
Вот список самых подходящих моделей для локального запуска на компьютере с 24 ГБ VRAM, ранжированный по дате выпуска и ключевым параметрам (качество, эффективность, поддержка, оптимизация под локальные ресурсы). Модели оптимизированы под 4-битное квантование (GPTQ/AWQ), что позволяет уместиться в лимит 24 ГБ.
Ранжирование по дате выпуска и ключевым параметрам
Модель Год выпуска Размер (параметры) Требуемая VRAM (4-bit) Качество Особенности Рекомендация
Llama 3 70B 2024 70B ~20–24 ГБ ***** Новая, лучшая в классе (код, диалоги, мультиязычность). Оптимизирована для локального запуска с квантованием. Поддержка llama.cpp, GPTQ. Лучший выбор
Qwen2 72B 2024 72B ~22–25 ГБ **** От Alibaba, хорошая поддержка китайского языка и специфических задач. Менее тестируется в западном сообществе. Второй выбор
Mixtral 8x7B 2023 56B (MoE) ~15–18 ГБ *** MoE-архитектура (Mixture of Experts) — эффективнее использует ресурсы. Быстрее Llama 3 70B, но качество чуть ниже. Хорошая альтернатива
Llama 2 70B 2023 70B ~20–24 ГБ *** Старая модель, но проверена. Нет поддержки новых функций (код, мультимодальность). Для базовых задач
Ключевые пояснения
Llama 3 70B (2024)
Почему лучший? Новая, самая продвинутая модель от Meta. Подходит для сложных задач (код, анализ текста, диалоги).
Ограничения: Требует точного квантования (GPTQ/AWQ), иначе выйдет за 24 ГБ.
Инструменты: llama.cpp, text-generation-webui, GPTQ.
Qwen2 72B (2024)
Почему не первый? Хорошо оптимизирована, но менее популярна в западном сообществе. Подходит для задач на китайском языке.
Ограничения: Требует ~22–25 ГБ, что близко к пределу (24 ГБ). Может быть нестабильной на некоторых конфигурациях.
Mixtral 8x7B (2023)
Почему эффективна? MoE-архитектура снижает потребление памяти. Легко вписывается в 24 ГБ.
Ограничения: Качество немного ниже, чем у Llama 3 70B. Подходит для быстрых задач (например, генерация текста без глубокого анализа).
Llama 2 70B (2023)
Почему не рекомендуется? Старая, не поддерживает современные функции (код, мультимодальность). Используется только для базовых задач.
Советы по запуску
Инструменты: Используйте llama.cpp (для CPU/GPU) или GPTQ (для GPU).
Квантование: Всегда используйте 4-битное квантование (например, GPTQ-4bit), иначе модели не поместятся в 24 ГБ.
Проверка: Для Llama 3 70B и Qwen2 72B убедитесь, что используется правильная версия квантования (например, Q4_K_M в llama.cpp).
Пример конфигурации:
./main -m llama3-70b.Q4_K_M.gguf -n 512 --temp 0.7
Почему другие модели не подходят?
Falcon 40B/180B: Требуют >24 ГБ даже с квантованием.
Mistral 7B: Слишком мала для 24 ГБ (можно запустить, но не оптимально).
Phi-3/4: Новые, но не опубликованы для локального запуска.
Итог
Лучший выбор: Llama 3 70B (2024) — новейшая, качественная, оптимизированная под локальный запуск.
Второй выбор: Qwen2 72B (2024) — если нужна поддержка китайского языка.
Альтернатива: Mixtral 8x7B (2023) — для быстрого запуска с меньшим потреблением памяти.
Примечание: Убедитесь, что ваша видеокарта (например, RTX 4090 с 24 ГБ) поддерживает квантование. Для Llama 3 70B рекомендуется использовать GPTQ или AWQ для максимальной производительности.
...коротко - модель не знает про то, что сделано недавно, и пытается сорри словоблудием это замаскировать 🙂 То есть - я спрашиваю насчёт Qwen3:30, которую выбрал вчера, а мне говорят, что такой модели не существует, и предлагает qwen 2 разные варианты 🙂
edit
Thought for 143.7 seconds
Вот список самых подходящих моделей для локального запуска на компьютере с 24 ГБ VRAM, ранжированный по дате выпуска и ключевым параметрам (качество, эффективность, поддержка, оптимизация под локальные ресурсы). Модели оптимизированы под 4-битное квантование (GPTQ/AWQ), что позволяет уместиться в лимит 24 ГБ.
Ранжирование по дате выпуска и ключевым параметрам
Модель Год выпуска Размер (параметры) Требуемая VRAM (4-bit) Качество Особенности Рекомендация
Llama 3 70B 2024 70B ~20–24 ГБ ***** Новая, лучшая в классе (код, диалоги, мультиязычность). Оптимизирована для локального запуска с квантованием. Поддержка llama.cpp, GPTQ. Лучший выбор
Qwen2 72B 2024 72B ~22–25 ГБ **** От Alibaba, хорошая поддержка китайского языка и специфических задач. Менее тестируется в западном сообществе. Второй выбор
Mixtral 8x7B 2023 56B (MoE) ~15–18 ГБ *** MoE-архитектура (Mixture of Experts) — эффективнее использует ресурсы. Быстрее Llama 3 70B, но качество чуть ниже. Хорошая альтернатива
Llama 2 70B 2023 70B ~20–24 ГБ *** Старая модель, но проверена. Нет поддержки новых функций (код, мультимодальность). Для базовых задач
Ключевые пояснения
Llama 3 70B (2024)
Почему лучший? Новая, самая продвинутая модель от Meta. Подходит для сложных задач (код, анализ текста, диалоги).
Ограничения: Требует точного квантования (GPTQ/AWQ), иначе выйдет за 24 ГБ.
Инструменты: llama.cpp, text-generation-webui, GPTQ.
Qwen2 72B (2024)
Почему не первый? Хорошо оптимизирована, но менее популярна в западном сообществе. Подходит для задач на китайском языке.
Ограничения: Требует ~22–25 ГБ, что близко к пределу (24 ГБ). Может быть нестабильной на некоторых конфигурациях.
Mixtral 8x7B (2023)
Почему эффективна? MoE-архитектура снижает потребление памяти. Легко вписывается в 24 ГБ.
Ограничения: Качество немного ниже, чем у Llama 3 70B. Подходит для быстрых задач (например, генерация текста без глубокого анализа).
Llama 2 70B (2023)
Почему не рекомендуется? Старая, не поддерживает современные функции (код, мультимодальность). Используется только для базовых задач.
Советы по запуску
Инструменты: Используйте llama.cpp (для CPU/GPU) или GPTQ (для GPU).
Квантование: Всегда используйте 4-битное квантование (например, GPTQ-4bit), иначе модели не поместятся в 24 ГБ.
Проверка: Для Llama 3 70B и Qwen2 72B убедитесь, что используется правильная версия квантования (например, Q4_K_M в llama.cpp).
Пример конфигурации:
./main -m llama3-70b.Q4_K_M.gguf -n 512 --temp 0.7
Почему другие модели не подходят?
Falcon 40B/180B: Требуют >24 ГБ даже с квантованием.
Mistral 7B: Слишком мала для 24 ГБ (можно запустить, но не оптимально).
Phi-3/4: Новые, но не опубликованы для локального запуска.
Итог
Лучший выбор: Llama 3 70B (2024) — новейшая, качественная, оптимизированная под локальный запуск.
Второй выбор: Qwen2 72B (2024) — если нужна поддержка китайского языка.
Альтернатива: Mixtral 8x7B (2023) — для быстрого запуска с меньшим потреблением памяти.
Примечание: Убедитесь, что ваша видеокарта (например, RTX 4090 с 24 ГБ) поддерживает квантование. Для Llama 3 70B рекомендуется использовать GPTQ или AWQ для максимальной производительности.
...коротко - модель не знает про то, что сделано недавно, и пытается сорри словоблудием это замаскировать 🙂 То есть - я спрашиваю насчёт Qwen3:30, которую выбрал вчера, а мне говорят, что такой модели не существует, и предлагает qwen 2 разные варианты 🙂
Indigo
Красивый мальчик со скрипочкой
Поставил LM Studio и выяснил что она может использовать память компа для нейросети, то есть может запускать сеть большую чем память видеоплаты. (т.е. дает мне 64+12 гб памяти для запуска сети). Потом там есть опции перенести часть обработки на процессор (экспериментальная опция, но можно попробовать, он у меня с 24 потоками, 12 ядер) Для сравнения с олламой поставил тот-же чат gpt-oss 20b который у меня еле ползал на олламе, и он заработал с приличной скоростью, правда есть вопрос насчет контекстного окна - оно заполнилось слишком быстро.
dok34.ru
Moderator
dok34.ru
Moderator
New model scheduling · Ollama Blog
Ollama now includes a significantly improved model scheduling system, reducing crashes due to out of memory issues, maximizing GPU utilization and performance, especially on multi-GPU systems.
ollama.com
dok34.ru
Moderator
"Компания Skild AI сообщила о новой концепции тренировки ИИ — не на запоминании, а на обобщении. Тренировка на примерах никогда не подготовит ИИ и ведомого им робота к реальной жизни, и это не позволит робототехнике быть эффективной рядом с человеком. Только умеющий адаптироваться к любым условиям ИИ способен породить искру разума.
Разработчики подчёркивают, что все популярные видео с роботами показывают идеальные сценарии, где машины выполняют задачи безупречно, но в непредсказуемых ситуациях, таких как поломки или изменения среды, они быстро выходят из строя. Это несоответствие обусловлено фундаментальными ограничениями традиционного ИИ, который неспособен к настоящей адаптации. Введение в концепцию «omni-bodied robot brain» — универсального «мозга» для всех роботов — позиционируется ими как решение, способное преодолеть эти барьеры и приблизить робототехнику к надёжному ИИ в физическом мире.
Традиционный ИИ для роботов, особенно в задачах перемещения и манипуляции объектами, обучается на конкретных моделях тел, что сопровождается переобучением: система «запоминает» стратегии для идеальных условий поведения каждого тела, но теряет эффективность при малейших отклонениях. Как отмечают авторы, это похоже на заучивание ответов студентами — полезно на экзамене, но бесполезно на практике.
Для роботов, в частности, это может быть заклинивший мотор, сломанная конечность или загрузка в новое тело. Тем самым современный ИИ не может обобщать знания, и робот просто падает, не зная, как восстановиться. Такая узкая специализация делает роботов ненадёжными для реального применения, где неожиданности — это норма.
Skild AI предлагает радикальный подход: обучение ИИ управлению огромным разнообразием роботов, чтобы избежать переобучения и развить способность к обобщению. Команда создала симулированную вселенную со 100 000 различных роботов и обучила модель контролировать их всех в течение эквивалента тысячелетия симулированного времени. Получившийся «многотелесный разум» адаптируется к новым или повреждённым телам моментально — без дополнительного обучения на конкретных примерах.
Ключевой принцип: модель не может полагаться на запоминание, поскольку стратегии должны работать для всех тел сразу, что стимулирует развитие универсальных навыков. Это также было подтверждено на практике: универсальный ИИ был загружен в модели роботов, которыми он управлял впервые, и это не привело к отказу машин — ИИ моментально сориентировался и начал выполнять работу.
Демонстрация адаптации подчёркивает перспективы этого подхода через обучение на ошибках в реальном времени. Например, четвероногий робот, лишившийся ноги, после нескольких падений за очень короткое время переходит на походку на двух ногах, как у человека. Другие случаи: при блокировке колена робот перераспределяет вес на три ноги; заклинившее колесо заставляет перейти от колёсного хода к пешему; удлинённые ноги (как на ходулях) требуют корректировки шага для баланса. Все тесты проводились сходу, без дообучения, показывая, как ИИ обнаруживает новые стратегии всего за 7–8 секунд, например, совершая амплитудные махи бедром при потере икры.
Разработчики видят в своём решении ранние признаки интеллекта в робототехнике, что в итоге способно привести к появлению настоящих роботов-помощников людям — на заводах, в больницах и домах. Подход Skild AI подчёркивает: для успеха в реальности роботы должны контролировать «все возможные тела», а не несколько, открывая путь к этичному и полезному будущему, где машины помогут людям в повседневности"
...имхо интересное направление, ближе к желаемому..
Разработчики подчёркивают, что все популярные видео с роботами показывают идеальные сценарии, где машины выполняют задачи безупречно, но в непредсказуемых ситуациях, таких как поломки или изменения среды, они быстро выходят из строя. Это несоответствие обусловлено фундаментальными ограничениями традиционного ИИ, который неспособен к настоящей адаптации. Введение в концепцию «omni-bodied robot brain» — универсального «мозга» для всех роботов — позиционируется ими как решение, способное преодолеть эти барьеры и приблизить робототехнику к надёжному ИИ в физическом мире.
Традиционный ИИ для роботов, особенно в задачах перемещения и манипуляции объектами, обучается на конкретных моделях тел, что сопровождается переобучением: система «запоминает» стратегии для идеальных условий поведения каждого тела, но теряет эффективность при малейших отклонениях. Как отмечают авторы, это похоже на заучивание ответов студентами — полезно на экзамене, но бесполезно на практике.
Для роботов, в частности, это может быть заклинивший мотор, сломанная конечность или загрузка в новое тело. Тем самым современный ИИ не может обобщать знания, и робот просто падает, не зная, как восстановиться. Такая узкая специализация делает роботов ненадёжными для реального применения, где неожиданности — это норма.
Skild AI предлагает радикальный подход: обучение ИИ управлению огромным разнообразием роботов, чтобы избежать переобучения и развить способность к обобщению. Команда создала симулированную вселенную со 100 000 различных роботов и обучила модель контролировать их всех в течение эквивалента тысячелетия симулированного времени. Получившийся «многотелесный разум» адаптируется к новым или повреждённым телам моментально — без дополнительного обучения на конкретных примерах.
Ключевой принцип: модель не может полагаться на запоминание, поскольку стратегии должны работать для всех тел сразу, что стимулирует развитие универсальных навыков. Это также было подтверждено на практике: универсальный ИИ был загружен в модели роботов, которыми он управлял впервые, и это не привело к отказу машин — ИИ моментально сориентировался и начал выполнять работу.
Демонстрация адаптации подчёркивает перспективы этого подхода через обучение на ошибках в реальном времени. Например, четвероногий робот, лишившийся ноги, после нескольких падений за очень короткое время переходит на походку на двух ногах, как у человека. Другие случаи: при блокировке колена робот перераспределяет вес на три ноги; заклинившее колесо заставляет перейти от колёсного хода к пешему; удлинённые ноги (как на ходулях) требуют корректировки шага для баланса. Все тесты проводились сходу, без дообучения, показывая, как ИИ обнаруживает новые стратегии всего за 7–8 секунд, например, совершая амплитудные махи бедром при потере икры.
Разработчики видят в своём решении ранние признаки интеллекта в робототехнике, что в итоге способно привести к появлению настоящих роботов-помощников людям — на заводах, в больницах и домах. Подход Skild AI подчёркивает: для успеха в реальности роботы должны контролировать «все возможные тела», а не несколько, открывая путь к этичному и полезному будущему, где машины помогут людям в повседневности"
...имхо интересное направление, ближе к желаемому..