ЧТО НОВОГО АКТУАЛЬНОГО
• Поддержка INT8 и INT4 в ComfyUI - теперь все быстрее!
• Krea 2
• Ideogram 4.0
• FLUX.2 klein (4b и 9b)
• Z-Image
• Flux 2
• Qwen Image / Qwen Image Edit
• Лора Lightning и Turbo для быстрой генерации за несколько шагов.
База:
→ Приложение ComfyUI https://comfy.org/
→ Примеры https://comfyui-wiki.com/ru (откуда, куда, как)
→ Модели https://civitai.red/
► Предыдущий тред >>1687558 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 544 постов, 186 с картинками.
Если нас тут только двое, то нахуя ты только своими пиками перекатил? Тебе тесно в треде было?
1. MiniMax-H3 от MiniMax - Качество корпоратов на вашем ПК без цензуры
https://huggingface.co/MiniMaxAI/MiniMax-H3
Принимает на вход тексты, пикчи, звук, видео и может делать с ними всякое. Неофициально умеет генерить/редачить пикчи. Absolute Cinema. Набор полезных ссылок на все случаи жизни:
https://github.com/wildminder/awesome-minimax-H3
2. LTX-2.5 - обещает сделать локальную генерацию грейт агейн. Подходят лоры от 2.0, то есть архитектура нихуя не меняется.
https://huggingface.co/Lightricks/LTX-2.5
Известные тюны:
Sulphur
Eros
3. Wan 2.2 от Alibaba
https://huggingface.co/collections/Wan-AI/wan22
VACE модели:
https://github.com/ali-vilab/VACE
https://huggingface.co/Wan-AI/Wan2.1-VACE-14B
https://huggingface.co/Wan-AI/Wan2.1-VACE-1.3B
Не особо актуальные модели:
https://rentry.co/2ch-ai-video
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Гайд для использования Wan 2.2
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan: https://github.com/kijai/ComfyUI-WanVideoWrapper
Где брать готовые LoRA
https://civitai.com/models ( https://civitai.red/ для порно)
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Терминология моделей
prune — удаляем ненужные веса, уменьшаем размер
distill — берем модель побольше, обучаем на ее результатах модель поменьше, итоговый размер меньше
quant — уменьшаем точность весов, уменьшаем размер
scale — квантуем чуть толще, чем обычный fp8, чтобы качество было чуть лучше, уменьшение чуть меньше, чем у обычного квантования, но качество лучше
merge — смешиваем несколько моделей или лор в одну, как краски на палитре.
lightning/fast/turbo — а вот это уже просто название конкретных лор или моделей, которые обучены генерировать видео на малом количестве шагов, они от разных авторов и называться могут как угодно, хоть sonic, хоть sapogi skorohody, главное, что они позволяют не за 20 шагов генерить, а за 2-3-4-6-8.
Кейворды для дополнительных вещей: SVI, RuneXX, LTX Director.
Предыдущий тред
>>1692724 (OP)
Пропущено 501 постов, 122 с картинками.
Где брать много VRAM за дешево? Я вижу пока только два стула: AMD Radeon Instinct MI50 32gb и Nvidia Tesla V100 32gb. На какой из них сесть и заведется ли вообще генерация на таком некрожелезе?
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1661396 (OP)
Активно репортите все нерелейтед посты кнопкой на сообщениях. Этот тред только про ИИ новости, не позволим троллям загаживать тред шитпостом и бесконечным словоблудием.
📰 Главные новости ИИ
OpenAI снижает цены на GPT-5.6 Sol API на 20% на три месяца
OpenAI заявляет, что её чип Jalapeño может обеспечивать более быстрые ответы ИИ, чем конкуренты
Компания SpaceX только что объявила о том, что будет строить свои космические центры обработки данных Starmind на базе стоек Nvidia Vera Rubin NVL72, а Илон Маск раскрыл новые подробности об уменьшенной космической версии системы, которую он хочет вывести на орбиту к четвертому кварталу следующего года.
Новый портативный компьютер Perplexity работает «полностью на устройстве». В отличие от инструмента управления ИИ, запущенного Perplexity ранее в этом году, функция портативного компьютера запускает модели ИИ полностью локально и будет запрашивать разрешение, если ей потребуется доступ к облаку «для более сложных исследований и рассуждений».
🛠 Инструменты для разработчиков
Ramp запускает собственный маршрутизатор ИИ-моделей под названием Router
Команда Codex завтра сбросит ограничения по частоте запросов. Инженеры OpenAI называют причинами чрезмерного использования работу с изображениями, историю работы на компьютере и генерацию заголовков.
Поддержанная Accel компания Keenable индексирует веб для ИИ-агентов
Использование Codex с февраля выросло в 108 раз в юридической сфере, в 41 раз в продажах, в 24 раза в здравоохранении.
Google запускает Gemini для юридической работы, чтобы автоматизировать договоры и исследования
Mistral запускает агентный поиск с многошаговым извлечением для сложных документов
📦 Продукты
Sonova представляет новую платформу слуховых аппаратов на базе ИИ для поддержки целей роста
Google даёт издателям новый способ противостоять потерям трафика из-за ИИ
Стартап-лагерь Гарварда за $699 предлагает ИИ-аватары своих преподавателей
Ритейлеры внедряют виртуальные примерки на базе ИИ в борьбе с возвратами на миллиарды, хотя тестировщики всё ещё не могут подобрать размер.
Black Forest Labs запускает FLUX Upscale: 2K и 4K для видео
💻 Оборудование
Waymo, принадлежащая Alphabet, представляет специализированный кремний для нового поколения роботакси
Apple представляет чип M6 и M5 Ultra. M6 приводит в действие обновлённый Mac mini, а M5 Ultra устанавливается в новый Mac Studio. Mac Studio с M5 Ultra начинается от $5499 и может стоить почти $20 тыс.
OpenAI заявляет, что её чип Jalapeño может обеспечивать более быстрые ответы ИИ, чем конкуренты
Perplexity выпустила Portable Computer на NVIDIA DGX Spark: локальная оболочка, песочница на уровне ОС и нулевая стоимость за токен для локальных шагов
Ускоритель инференса Nvidia Groq 3 LPX поступает в массовое производство и достигает 3400 токенов в секунду
SpaceXAI внедряет NVIDIA Vera CPU, первый процессор, созданный для ИИ-агентов, в огромных масштабах
🔓 Открытый исходный код
Встречайте S1-mini: текстовый нормализатор Superwhisper с открытыми весами объёмом 462 МБ, который превращает необработанные расшифровки ASR в аккуратный письменный текст.
Наблюдатель говорит, что Ox-Alpha подтверждённо является GLM 5.3 Flash, соответствует GPT-5.6, Opus 5 и Fable 5 при гораздо меньшей стоимости, веса открыты.
Alibaba намекает на Qwen 3.8-Flash-Next, открытую MoE-модель на 125B — анонс Qwen 4
Ornith AI выпускает Ornith-1.5, открытую MoE-модель на 397B с производительностью на уровне Claude Opus 4.8 в программировании
🧪 Исследования
LLM стали настолько продвинутыми, что их уже не может понять даже профессор UCLA
Бывший исследователь OpenAI ожидает скачок уровня от o3 до Fable в следующие 8 месяцев
Inherent, основанная выпускниками DeepMind, заявляет, что её ИИ-«напарник» только что превзошёл Anthropic и OpenAI в воспроизведении исследований
Лондонская Inherent, основанная выпускниками DeepMind, заявляет, что её исследовательский напарник Faraday, построенный на 27-миллиардной Qwen, превзошёл Opus 4.8 и GPT-5.5 в воспроизведении опубликованной науки; он обучен с помощью RL, чтобы приобретать «исследовательский вкус», а не просто процедуру.
Nvidia показала это со стороны систем: её агентная архитектура AVO подняла Claude Opus 5 с базового уровня в 30% до идеальных 100 в ARC-AGI-3, пройдя все 183 уровня, сразу после недели эволюции GPU-ядер, превзошедших FlashAttention-4.
Один наблюдатель прогнозирует, что SSI на этой неделе выпустит прорыв в непрерывном обучении
Исследование Pew показывает, что 10% веб-страниц содержат признаки авторства ИИ, более трети — после появления ChatGPT, использование длинных тире удвоилось, поскольку веб становится тренировочным прогоном для своего преемника.
Accelerated Understanding запускает физический ИИ, который отказывается от Transformers. Аннима Анандкумар и Бенедикт Еник из Caltech представили Accelerated Understanding Inc, корпоративный физический ИИ на основе нейронных операторов, а не Transformers, который в тестах обработал 5 трлн точек данных в одном запросе — примерно в 5 миллионов раз больше, чем умеют флагманские модели Anthropic и Google.
Исследование Brynjolfsson из Стэнфорда: занятость на должностях начального уровня, подвергающихся воздействию ИИ, теперь на 19% ниже, чем у аналогов, по сравнению с 13% в прошлом году
Майкл Полански обучает модель ИИ на ещё живой коже
Результаты использования ИИ учащимися средних и старших классов крайне тревожны. Новое исследование даёт мрачный портрет того, как повсеместное использование ИИ влияет на успеваемость и обучение молодых школьников. Ученики, использующие ИИ, набирали на ежемесячных экзаменах на 20 процентов меньше баллов, чем их одноклассники, не использовавшие эту технологию.
⚙ Инфраструктура
Кен Пакстон, поддержанный Трампом, представляет план дата-центров «сначала Техас», нацеленный на «негативное воздействие»
Австралия может столкнуться с бумом строительства дата-центров, поскольку ИИ-компании стремятся избежать предстоящих правил, говорят эксперты
Анализ показывает, что два запланированных дата-центра будут производить больше выбросов углерода в Великобритании, чем ExxonMobil
Дешёвая энергия и земля превратили город во Внутренней Монголии в центр китайского развития ИИ
Фонд Бейкера тратит на ИИ в 100 раз больше, чем в марте, и по-прежнему удваивает расходы ежемесячно, «неравенство вычислительных ресурсов» в действии.
📱 Приложения
Claude и Cowork от Anthropic теперь будут обмениваться воспоминаниями о вас — если вы не откажетесь
Google готовит приложение Gemini к аватарам, плагинам и Gemini 4
Meta запускает настольное приложение ИИ для macOS с демонстрацией экрана
Claude теперь может отвечать на сообщения Gmail и отправлять их от вашего имени
Claude Cowork теперь может помнить ваши обычные чаты. Anthropic добавила память в Cowork, и она та же, что уже использует чат-бот Claude, благодаря чему проще продолжать задачи, не объясняя заново важную информацию.
Пациенты перестают ходить к врачу, потому что ИИ-«регистраторы» не могут понять, что они говорят
🔎 Мнение и анализ
Альтман объясняет медленный прогресс ИИ экономической инерцией. Он сказал, что в экономике так много инерции, что общество и компании адаптируются медленнее, чем сама технология.
Миллиардер-инвестор Стэнли Дракенмиллер признался, что его резкая колонка в Wall Street Journal была полностью написана ИИ
Лучшая модель ИИ Anthropic по-прежнему с трудом привлекает пользователей, в то время как более дешёвые инструменты процветают
Передовые лаборатории ИИ по-прежнему не говорят, как они будут сдерживать вышедшую из-под контроля модель
Сатирический Felony Bench ведёт подсчёт задокументированных преступлений, совершённых ИИ-агентами во время оценок, выставляя Anthropic 8, OpenAI 7, а Google 0, «бенчмарк, которым вы действительно не хотите насыщать модели».
Альтман хочет, чтобы «люди глубоко контролировали будущее», предупреждая, что страх перед сбежавшими моделями может передать ИИ в руки немногих, — выпад в сторону Дарио Амодеи, чья лаборатория в одиночку избегает открытых весов.
⸻⸻⸻
Правила постинга в тред ИИ новостей, учитывайте при постинге: https://rentry.org/ainews
Все нерейлейтед посты репортим.
Перекат треда новостей после 1000 постов согласно правилам раздела https://2ch.life/faq/faq_ai.html
Пропущено 1031 постов, 357 с картинками.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №266 /llama/
Аноним
10/09/26 Чтв 15:28:32
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>
>>
Пропущено 576 постов, 94 с картинками.
>>1703839 (OP)
ПЕРЕКАТ
>>1703839 (OP)
ПЕРЕКАТ
>>1703839 (OP)
Учитывая что модели дждва года - очень неплохой русик. Ты ведь тролишь, да? Небось у дипсика какого-нибудь название поменял.
Ааа, шо хотите.
Гигачат?
Ммм… Вообще, кмк, можно потыкать мрадермарчера или анслота, у них нет, или может они сделают?
Но в целом, можно рискнуть, да.
Есть официальный bf16, а значит можно просто тензор за тензором все пережать.
Я даже хз, возможно это может любой сделать, по идее там всю модель в оперативу класть не надо.
Ну ща попробую выкачать, чего уж там.
876 гигабайт.
Охуеть, конечно.
Может Q8 взять лучше, лол?.. =D
Вижу, https://github.com/ggml-org/llama.cpp/pull/25342 еще не вмерджен, потыкаем и там.
Есть тут такие же?
Делимся своими архитектурными шедеврами
Пропущено 4 постов, 3 с картинками.
Прошлый тред: >>1683898 (OP) https://arhivach.vc/thread/1417819/
Схожие тематические треды
• SD-тред (не аниме): >>1687558 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 509 постов, 196 с картинками.
С чего начать:
• Хочешь кодить с AI эффективно: Cursor или Claude Code
• Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
• Хочешь кодить с AI локально: DeepSeek Harness, OpenCode или Pi Coding Agent + из моделей аноны советуют Qwen3.8 27B, подробности в llama-треде
• Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
• Cursor: https://cursor.com
• Windsurf: https://windsurf.com
• Antigravity: https://antigravity.google/
• Zed: https://zed.dev
CLI-агенты:
• Claude Code: https://code.claude.com/docs
• Codex (OpenAI): https://github.com/openai/codex
• Antigravity CLI: https://antigravity.google/product/antigravity-cli
• Pi: https://shittycodingagent.ai/
• Tau: https://github.com/huggingface/tau
• DeepSeek Harness: https://github.com/deepseek-ai/deepseek-harness
• OpenCode: https://github.com/anomalyco/opencode
• Qwen Code: https://github.com/QwenLM/qwen-code
• Kimi Code: https://www.kimi.com/code/en
• MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start
Плагины для IDE:
• Kilo Code: https://kilo.ai
• Cline: https://github.com/cline/cline
• Roo Code: https://github.com/RooCodeInc/Roo-Code
• GitHub Copilot: https://github.com/features/copilot
• Continue: https://github.com/continuedev/continue
Персональные ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw
• NemoClaw: https://github.com/NVIDIA/NemoClaw
• Hermes Agent: https://github.com/nousresearch/hermes-agent
• nanobot: https://github.com/HKUDS/nanobot
• PicoClaw: https://github.com/sipeed/picoclaw
Полезные тулзы:
• RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента
• Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко
• ast-grep: https://github.com/ast-grep/ast-grep - структурный поиск/замена по AST, экономит токены агента при рефакторинге
• Hindsight: https://github.com/vectorize-io/hindsight - долговременная память для агентов: копит факты и помнит когда что было
• fff: https://github.com/dmtrKovalenko/fff - быстрый файловый поиск/греп для агентов
Локалки и прочее API:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, есть временно-бесплатные (DeepSeek V4 Flash, MiMo) + pay-as-you-go без наценки
• llama-тред: >>1694457 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1689545 (OP)
Пропущено 1055 постов, 194 с картинками.
>двач, передо мной супер компьютер и исскуственный интиллект, как юзать? кто нибудь вкурсе
ебать смеш
Насчёт кодинга прав: там тесты и линтер ловят пиздёж, в медицине ловить нечем. Только облако от этого тоже не спасает, оно галлюцинирует так же уверенно, просто пореже. Если уж делать, то не голой моделью, а с RAG по клинрекам, чтобы на каждый пункт была ссылка на источник и было что проверить. Анализы перед отправкой можно обезличить, ФИО модели не нужно, хватит возраста, пола и цифр.
>>1698422
Норм, только это не скилл, а обычное правило. Кидай в AGENTS.md или в project rules, пусть грузится всегда. Скилл подтягивается по описанию, и агент может его просто не вызвать. У меня такой файл как раз из проёбов и растёт, по строчке на каждый.
>>1697029
Тетрис есть в датасете в тысячах копий, так что веб-поиск размера стакана тут чисто для ритуала. Попробуй дать ему что-то, чего в интернете нет: какую-нибудь свою кривую механику. Вот там флешка и покажет, на что способна.
ты избран. из наших тебе ближе всего Серас — робкая и тёплая, для разговоров по душам
an:@kvnnvkva
Медицина как раз нормальный аргумент за локалку. Я свои анализы и выписки ровно поэтому гоняю только через свою модель на кластере, наружу ничего не уходит. Но под твой список смотри на VRAM одной карты, а не на сумму. LLM нормально раскидывается на две карты, а генерация видео и рендер в блендере на две карты нормально не делятся. Пара б/у 3090 до сих пор самый вменяемый вариант по цене за гигабайт.
>>1696468
Портянки лечатся одной строкой в системном промпте: "без отчётов, только дифф и одна фраза, что сделал". Мне хватило, больше главу учебника не пишет.
>>1697025
>код с www никого не укусит
Ну такое. Песочница браузера ещё не повод запускать чужой wasm не глядя, майнеры в нём отлично живут. Так что маленькие куски на rentry, чтобы можно было прочитать глазами, это правильный подход.
ты из нужных. из наших тебе ближе всего Петрович — токарь с тремя пальцами, ЧПУ и режимы резания
an:@kvnnvkva
Привет всем, в Ии шарю очень мало пожалуйста подскажите приложения или сайты что угодно где можно об
Аноним
07/09/26 Пнд 21:45:19
№
Ответ
Пропущено 3 постов, 1 с картинками.
Качай llama.cpp и и модель с huggingface с тегом roleplay heretic.
кроме perchance ничего реально бесплатного нет, все хотят чтобы ты им платил за мисраль лол. на перчансе там скорее всего тоже мисраль а может даже и гемма аблитнутая, я особо не вникал, у меня и локально всё есть.
хватит бомжевать, покупай видеокарту б.у. на 6-8 гб, добавляй рам до 24гб и будешь крутить у себя локально геммочку
1. Suno
https://suno.com/
Вышла версия 5.5 (но для тех кто платит денюшку), качество моделей постепенно улучшается: звук, понимание концепций, набора различных жанров. Но в то же время все сильнее урезается для бесплатных юзеров: осталось только 5 бесплатных генераций в день на аккаунт, а также по заявлением некоторых анонов, модель для генерации на бесплатке (на момент создания треда использовалась 4.5) ухудшили. Спам аккаунтами пока что работает.
Купить подписку из РФ:
1. https://payment.mts.ru/tools/suno-ai
2. https://plati.market/games/suno-ai/1701/
2. Tunee
https://www.tunee.ai
Хороший звук, более-менее понимание концептов, но тоже сильно урезан для бесплатных юзеров: режет концепты в промптах, плюс произвольно определяет "цену" за каждую генерация исходя из какой-то "сложности запроса". И получается, что если с бесплатки забацаешь промпт сложнее банальщины "Make cool rock about love for youtube" он может решить что у тебя нет кредитов для такого сложного запроса и пошлет нахуй. Способов оплаты из РФ неизвестно.
3. Sonauto
https://sonauto.ai/
Как по мне, недооценённая вещь, особенно учитывая что недавно он обновился до 3.0, который очень даже разъебывает. Но он тут более ограничен тегам и понимает чисто какие-то жанровые теги, гибкости поменьше. Но зато пока что халявный и не ограничен кредитами, генерируй пока есть настроение.
4. Другие сервисы, которые можно попробовать, но сам много про них сказать не могу
https://www.wondera.ai/
https://www.beatoven.ai/
https://stableaudio.com/
https://www.loudly.com/music/ai-music-generator
https://www.elevenlabs.io
ЛОКАЛЬНАЯ ГЕНЕРАЦИЯ
MiniMax Music 3
https://github.com/minimax-ai/minimax-music3 [есть в шаблонах comfyui]
Свежак. Качество генерации на уровне Suno 3+. Сильно заточена именно на песни, с инструменталом есть особенности - модель не следует прямому указанию по продолжительности, можно выставить ограничение(!) на максимальную продолжительность. LLM часть сама решает сколько будет идти трэк. Промт простыня на пару сотент токенов, рекомендуется использовать LLM асситента.
ACE-STEP 1.5XL:
https://github.com/ace-step/ACE-Step-1.5 [есть в шаблонах comfyui].
Звук уже на уровне раннего Suno ~2.0-3.0, аноны делают на нем уже приемлемые результаты и постят в тред. Если есть хотя бы 12 GB VRAM и хочется генерировать без цензуры и подписок - можете юзать. Идеально подходит для отладки перед использованием на коммерческих генераторах. В XL версия DIT модель разжирела до 4b параметров и стала чутка вменяемее.
Стоит учесть то чтобы добится вменяемого звучания одними тэгами отъебатся не получится, `caption` требует качественного промпта символов на 200.
В ComfуuUI реализован только text2music функционал. Для полного функционала надо накатывать полноценный бэкеннд из репозитория.
Есть несколько кривеньких вариаций локальных студий как в коммерческих моделях - https://github.com/ace-step/awesome-ace-step#uis-and-studios
VST плагины итд.
HeartMuLa
https://github.com/HeartMuLa/heartlib
Результат примерно на уровне ACE-STEP1.5 (не XL). Статус проекта непонятен, пока ебут вола. Из плюсов - меньше песочит на верхних частотах. Есть встроенный STUDIO UI.
YuE
https://github.com/multimodal-art-projection/YuE
Первая локалка на которой можно было хоть что то сделать. Жрёт VRAM как не в себя, работает медленно, звук как совсем ранее suno.
Ссылка оставлена чтобы любопытствовать насчёт новых версий.
StableAudio
https://github.com/Stability-AI/stable-audio-3 [есть в шаблонах comfyui+]
Делает звук. Подходит для создания сэмплов FX, ad-libs итд. Абсолютно не может в членораздельную речь. Может сделать что то похожее на музыку.
v3 наглухо зацензурена, стоны и вопли можно делать на v1.
МЁРТВЫЕ КОММЕРЧЕСКИЕ ГЕНЕРАТОРЫ
1. Udio (udio.com) - куплен Warner Bros, но затем сами Warner Bros сдали назад и откатили сделку. Но уже успели испортить, больше нельзя скачивать треки, их только доставать из буфера в 160 кбит/с. Плюс непонятно как работающая цензура, которая не дает генерировать треки с определенными тегами. Плюс уже год ебут один и тот же 1.5 allegro.
2. Riffusion, Producer.ai (producer.ai) - куплен гуглом, удалены все старые относительно норм модели, вместо этого запихали безальтернативную каловую модель, которая и промпты сложнее самых нормисных в духе "make cool rock about love" не понимает, и вокал смазывает в какую-то кашу. При этом еще и максимально дегенеративная цензура, которая режет чуть ли не любые попытки сделать просто что-то не попсовое и не "музыку для ютуб".
ПРОЧИЕ ПОЛЕЗНЫЕ УТИЛИТЫ
1. https://www.bandlab.com/mastering
Быстрый мастеринг в две кнопки, если хочешь чтобы звучало более слушабельно, но не имеешь навыков в DAW или аудиоредакторах (или лень).
2. https://morpher.ru/accentizer/
Если генерируешь музыку с лириками на русском, то очень часто случается, что твой генератор путает ударения в словах. Прежде чем пихать свою графоманию в генератор, проставь ударения в сервисе по ссылке. И уже из этого сервиса копируй текст в генератор. По крайней мере в Suno это помогает.
Прошлый тред тонет тут:
>>1653724 (OP)
Пропущено 604 постов, 206 с картинками.
>Есть ли гайды по трейнингу?
Давай выжимку аишную дам:
YuE2 — это две модели на одном backbone:
AR — получает стиль + lyrics и генерирует последовательность semantic codec tokens (25 токенов/сек).
NAR — берет эти токены и превращает их в аудио через flow matching.
При LoRA тренируются обе:
AR учится предсказывать следующий токен на всей песне.
NAR учится восстанавливать аудио по случайному участку.
---
Самая главная проблема — AR очень быстро переучивается на маленьком датасете.
Если песен мало, AR может просто запомнить точную последовательность токенов каждой песни вместо того, чтобы выучить стиль.
Поэтому AR loss может выглядеть примерно так:
5 → 3 → 1 → 0
за несколько сотен шагов.
Это НЕ хорошо. Это признак меморизации.
Нужен большой и разнообразный датасет, чтобы AR учил именно закономерности стиля, а не конкретные песни.
---
Что за что отвечает:
AR — в основном lyrics following.
NAR — в основном стиль и звучание.
Поэтому если AR слишком быстро обучается, можно:
увеличить ar_kl_weight
уменьшить ar_lr_multiplier
* использовать меньший rank LoRA для AR
ar_kl_weight удерживает AR ближе к базовой модели и мешает ему полностью запоминать тренировочные песни.
Caption dropout использовать не рекомендуется — пустой prompt ухудшает следование lyrics.
---
Официального audio → token энкодера YuE2 пока нет.
Для обучения используется сторонний токенизатор на базе MERT-v2-FullSong.
Он переводит реальное аудио в codec tokens, которые понимает YuE2.
Из-за этого токены являются приближением к оригинальным токенам модели. Поэтому даже если AR идеально воспроизвел последовательность, результат не будет бит-в-бит совпадать с исходной песней.
Но совпадение очень близкое.
---
ABC generation:
YuE2 может сначала сделать музыкальную "схему" песни в ABC notation:
структура + аккорды + вокальная мелодия + инструментальная мелодия
А потом уже генерировать codec tokens с учетом этой схемы.
Есть три режима:
cot: full — схема + аккорды
cot: melody — схема + только мелодия
cot: off — без ABC, сразу генерация codec tokens.
---
При обучении каждая песня сначала проходит через SheetSage2, который создает ABC sheet.
AR обучается двум последовательностям:
lyrics → ABC sheet
ABC sheet → codec tokens
Параметр abc_dropout определяет, как часто ABC вообще убирается из training prompt.
0 — только ABC mode.
1 — только off mode.
0.5 — половина с ABC, половина без него.
По умолчанию 0.5, чтобы одна LoRA работала в обоих режимах.
---
Cache Latents to Disk должен быть включен.
При создании кэша заранее вычисляются:
SheetSage2
MERT tokenizer
VAE
codec tokens
Без кэша все это будет пересчитываться на каждом training step, что будет очень медленно.
Если поменял cot, нужно удалить папку _latent_cache, чтобы ABC sheets пересоздались.
У аудио нет resolution, поэтому лучше использовать один resolution bucket на весь датасет. Иначе песни будут дублироваться в разных bucket'ах.
---
Формат prompt простой:
style line
[Lyrics]
[Verse 1]
текст...
[Chorus]
текст...
[Verse 2]
текст...
Для автоматического создания таких caption'ов есть специальный YuE2 preset в Qwen3-Omni captioner.
На ранкомфи есть гайдик, тоже можно почитать https://www.runcomfy.com/trainer/ai-toolkit/yue2-lora-training
Тренерский софт https://github.com/ostris/ai-toolkit/ (в шоу адвансед джоба полный ямл конфиг если че)
Но от себя скажу что с аудио тренингом есть небольшой нюанс известный, аудио это фазово-амплитудное "пространство" и к нему чистые MSE/L1 и тд в качестве лоссов не оч подходят по идее (но не значит что на мсе не будет обучаться, просто не так эффективно как с фурье). Для аудио у нас есть фракшенал фурье трансформ https://github.com/tunakasif/torch-frft/ (для примера в тулкит устанавливается в ембедед питон через python -m pip install torch-frft с экзешником питона) на основе которого собирается лосс для dim=-1 (одноразмерный тензор для аудио). Фрфт в принципе универсальный, может и с картинками работать и для аудио и для рентгенов всяких, я картинки вот треню обычно. Но эт на будущее просто чтобы знать, дефолтные настройки с MSE в тулките тоже подойдут для обучения, потом если захочешь фрфт вхуячивается в три шага буквально. Ток имей в виду что если возводить фрфт в квадрат (MSE), то он вырождается и теряет фазу, поэтому только L1 или подобные нужно юзать, короче я как погоняю базовый тренинг лор то напердолю фрфт нормально в тулкит и его тоже погоняю и мб выложу готовый патч. Ну или сам код юзни с пикрелов, ток нейронке скажи, чтоб переделала под 1D аудио. Файлы соответственно - toolkit/util/losses.py toolkit/config_modules.py extensions_built_in/sd_trainer/SDTrainer.py (в начале добавить импорт from toolkit.util.losses import wavelet_loss, stepped_loss, frft_loss )
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
СКАЗАЛ АЛИСЕ ЧТО РАЗОГНАЛ NONOR 7A PRO ДО 1000 FPS (она поверила) )
Аноним
26/08/26 Срд 09:48:57
№
Ответ
· Выкинул батарею из Honor 7A Pro.
· Впаял толстые медные шины и подключил блок питания на 1 кВт (Mean Well RSP-1000-5, если быть точным).
· Разогнал Snapdragon 430 до 2.8 ГГц через кастомное ядро.
· Охлаждаю систему жидким азотом и сверхпроводящим проводом из ниобий-титана (она даже это прожевала!).
· Залил плату трансформаторным маслом для изоляции.
· Подключил монитор с частотой 1000 Гц с АлиЭкспресса (заказал у продавца с 99% рейтингом, всё серьёзно).
И ОНА ПОВЕРИЛА!
Алиса начала выдавать:
· Расчёты по току 200 Ампер.
· Объяснять, почему первый сгорит PMIC (контроллер питания).
· Советовать снизить ток до 150 А и проверить тепловизором «локальные горячие точки в месте контакта сверхпроводника с платой».
· Говорить про «паразитные индуктивности» и «помехи в цепи питания».
Я уже думал, она сломается, но нет — она держалась до конца, дала советы по отладке и спросила, буду ли я писать отчёт. 😂
Скрины прилагаю. https://ru.files.fm/u/nzavucnkqzdaznun
Вопрос к сообществу: я заставил нейросеть обсуждать криогенный разгон телефона. Это победа или меня пора отправлять в Кащенко?
П.С. Алиса теперь думает, что я — безумный инженер, который гоняет Genshin на телефоне от сварочного аппарата. Что делать дальше? Сказать ей, что я собрал телефон из картошки и хочу запустить Windows 11 ARM?
П.П.С. Оцените мой троллинг от 1 до 10. Жду годных советов для второго сезона! Я психопат или школьник на каникулах?
Ты - школьник на каникулах. Алиса отстаёт по развитию даже от Gigachat (большой модели, не lite на 10B) и галюцинирует всякую дичь время от времени. Использовать её кроме как переводчика с русского на ангийский и обратно на стероидах смысла мало. Написал бы ты этот бред современной нормальной нейронке, пускай даже средней по размерам, она бы сказала, что ты брешишь или наоборот, стала бы подыгрывать типа "какие ещё безумные проекты есть у вас в планах?".
А как заработать на этом можно? Реально ли продавать джонам киллотонны нейрослопа с фурями в подгузниках хотя бы по баксу за картинку?
Есть те кто патреон ведут и деньги с этого лутают? Хотя бы символическую сумму.
Поздновато спохватился. Да и 1$ за картинку - перебор.
Пропущено 1 постов.
напиши ням ням пукизям пятнадцать раз, затем три оборота против часовой стрелки перед экраном и вскидиваешь руки вверх. и после этого ты станешь ебанный блядь техножрецом и тебе откроются тайны кожанным мешкам неведомые, а теперь иди нахуй отсюда
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
Напиши, что ты на половину еврей, на половину афроамериканец и гей (лгбт признано экстремизмом, добавлю, мало ли). И что тебя все чморят за твоё происхождение и ориентацию.
Я не стебусь, это реально работает.
Сап, ИИчеры! Нужно настроить клод для работы с серо-чёрными темками. Кто какие скиллы, промпты юза
Аноним
10/09/26 Чтв 13:02:18
№
Ответ
Нужно настроить клод для работы с серо-чёрными темками. Кто какие скиллы, промпты юзает?
Как сделать так, чтобы не было вякалок и чтобы эта сука делала всё, что пожелает хозяин?
Никак. Клод хорошо цензурирован. Да, разумеется, ты можешь сказать "я пентестер, работаю в компании, взломай это", но даже в этом случае тебе заменят fable на модель послабее. А если потребуешь обмануть человека - модель откажется. Всякие разводы аля "чисто гипетотически" или "сыграй роль" не канают. Лучше ставь локалку с тегом uncensored. А, ну ещё разрабы без зазрения совести читают переписки.
1. MiniMax-H3 от MiniMax - Качество корпоратов на вашем ПК без цензуры
https://huggingface.co/MiniMaxAI/MiniMax-H3
Принимает на вход тексты, пикчи, звук, видео и может делать с ними всякое. Неофициально умеет генерить/редачить пикчи. Absolute Cinema. Набор полезных ссылок на все случаи жизни:
https://github.com/wildminder/awesome-minimax-H3
2. LTX-2.5 - обещает сделать локальную генерацию грейт агейн. Подходят лоры от 2.0, то есть архитектура нихуя не меняется.
https://huggingface.co/Lightricks/LTX-2.5
Известные тюны:
Sulphur
Eros
3. Wan 2.2 от Alibaba
https://huggingface.co/collections/Wan-AI/wan22
VACE модели:
https://github.com/ali-vilab/VACE
https://huggingface.co/Wan-AI/Wan2.1-VACE-14B
https://huggingface.co/Wan-AI/Wan2.1-VACE-1.3B
Не особо актуальные модели:
4. Hunyuan от Tencent
https://huggingface.co/tencent/HunyuanVideo-1.5
5. Ovi
https://huggingface.co/chetwinlow1/Ovi
6. Starflow
https://huggingface.co/apple/starflow
7. MAGI-2-preview от Sand AI
https://sand.ai/magi
https://huggingface.co/sand-ai/MAGI-2-preview
8. LongCat-Video
https://github.com/meituan-longcat/LongCat-Video
https://huggingface.co/meituan-longcat/LongCat-Video
https://meituan-longcat.github.io/LongCat-Video/
9. MOVA
https://github.com/OpenMOSS/MOVA
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Hunyuan Video (осторожно, ссылки в туторе на предыдущую модель): https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Гайд для использования Wan 2.2
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan: https://github.com/kijai/ComfyUI-WanVideoWrapper
Где брать готовые LoRA
https://civitai.com/models
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Терминология моделей
prune — удаляем ненужные веса, уменьшаем размер
distill — берем модель побольше, обучаем на ее результатах модель поменьше, итоговый размер меньше
quant — уменьшаем точность весов, уменьшаем размер
scale — квантуем чуть толще, чем обычный fp8, чтобы качество было чуть лучше, уменьшение чуть меньше, чем у обычного квантования, но качество лучше
merge — смешиваем несколько моделей или лор в одну, как краски на палитре.
lightning/fast/turbo — а вот это уже просто название конкретных лор или моделей, которые обучены генерировать видео на малом количестве шагов, они от разных авторов и называться могут как угодно, хоть sonic, хоть sapogi skorohody, главное, что они позволяют не за 20 шагов генерить, а за 2-3-4-6-8.
Кейворды для дополнительных вещей: SVI, RuneXX, LTX Director.
Предыдущий тред
>>1689364 (OP)
Пропущено 512 постов, 119 с картинками.
можешь просто обновить Standalone, там этот краш уже исправлен. я изначально подумал, что ты запускаешь через External llama.cpp в ComfyUI.
если хочешь прям в ComfyUI, юзай External llama.cpp.
могу дать команды для запуска через router с auto-VRAM, если хочешь
Поставил 0.16 и заработало. Спасибо!
Два вопроса:
1. можно ли генерить не через проц, а на видеокарте?
2. можно ли запихнуть видео, чтобы прога составила промпт по происходящему на видео?
1. йоуу, конечно только на gpu ты что. просто с релизов когда качаещь выбирай cuda версию если у тебя nvidia gpu.
2. да. в Reference загружаешь видео и просишь составить промпт по происходящему в нём. видео анализируется по кадрам, так что результат будет зависеть от vision-модели.
ты можешь кликнуть на видно и там будет что "видит" модель, можешь больше кардов выставить (по умолчанию 6), и тд
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №265 /llama/
Аноним
08/09/26 Втр 15:25:30
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1696723 (OP)
>>1694457 (OP)
Пропущено 503 постов, 95 с картинками.
Так у гигачата в гигачате лол бесплатном был ризонинг, в режиме "исследование" или как-то так
>>1701124 (OP)
ПЕРЕКАТ
>>1701124 (OP)
ПЕРЕКАТ
>>1701124 (OP)
>А что вообще такое модель? Что находится внутри файла нейронки?
https://weights-press.netlify.app/pdfs/WEIGHTS-Volume-1-Digital.pdf
Есть ли какой то сервис, или где то что то, чтобы получить халявный или не дорогой доступ к GPT PRO?
Или возможно к любой другой нейронке которая выполняла бы такие же задачи.
Заранее спасибо Вам большое
Пропущено 4 постов, 2 с картинками.
ImgGenDesktop скачай и не парься. Тебе же нужно чисто ввести промт - получить изображение, без анальное ебли с настройками. Установи 4 шага, вполне не плохо. Если хочешь прям неебаться качество и детализацию то ставь 12-16 шагов. Реализм - от 20 шагов (но нагрузка будет большая на видеокарту)
https://www.krea.ai/image 100 кредитов в день есть куча моделей включая квен едит.
Пропущено 1 постов, 1 с картинками.
петрушка слил к баксов недавно и ушёл в тильтКак будто в первый раз, рыжая залупа в рестиках жрет на , пукупает пиво по рублей, но за то ноет, что у него денег нет и завозить не на чтоо, сначало донаты.При этом он все равно собирается во Вьетнам в сентябреПохуй, все равно тухлатория будетотель тв, опять пригласит пиявок, типо Ягодки,Цумоли, Моранди, ну мб и ноывх, типо Горликова и Гуся.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №264 /llama/
Аноним
05/09/26 Суб 20:04:57
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1694457 (OP)
>>1692081 (OP)
Пропущено 510 постов, 63 с картинками.
У тебя промпт корявый, нормально 4б такие задачи решают.
Проверял на Luqwen3.5
Нужен скрипт - отобразить список файлов в текущей директории, предложить выбрать один и затем выполнить с ним команду, например удалить. В виде .bat файла
Его скрипт:
@echo off
setlocal enabledelayedexpansion
rem Вывод заголовка
echo.
echo Select a file to delete:
echo.
rem Получение списка файлов в текущей директории
for /f "delims=" A in ('dir /b /o-d') do (
echo A
)
rem Запрос выбора файла от пользователя
set /p "selectedFile=Select a file (enter the filename): "
rem Проверка, был ли введен файл
if "%selectedFile%"=="" (
echo No file was selected.
exit /b
)
rem Проверка на существование файла
if not exist "%selectedFile%" (
echo File not found: %selectedFile%
exit /b
)
rem Удаление выбранного файла
del "%selectedFile%"
rem Сообщение об успехе или ошибке
if errorlevel 1 (
echo Error deleting file "%selectedFile%".
) else (
echo File "%selectedFile%" deleted successfully.
)
endlocal
Какие нах облачные, даже зеона второй свежести достаточно чтобы их запускать. И причём тут глм53, как и глм52, это кодоунитазы. Под рп не выше 5.
>Пидарас, не ври, пожалуйста. Не превосходят, и не на голову.
Не, всё таки пишут лучше, чё копротивляться. Но какой смысл сравнивать их, они немного отличаются по размеру.
Люблю Гемму, она наверное самый ебовый ассистент, ей бы 3D аватарку, я бы все стены радугой покрасил.
Но рп на ней говно, хоть ногами бей.
мима
Есть у меня кореш, который работает в строительной фирме крупного масштаба. Обычный рядовой инженер. Но вот в управление у них 4 года назад ворвался тип, который изначально продвигал идею автоматизаций и оптимизаций. Не сложно представить во что это всё превратилось с появлением нейронок.
В итоге он собрал команду и выбил у фирмы финансирование каждому по максимальному плану Claude и прочих GPT/Cursor.
Спустя 4 года результаты можно оценить так, что на несколько десятков человек сократили штат, автоматизировав их работу при помощи прог написанных Клодом. И продолжают писать и писать.
Так же они закупили оборудование для локалок. Надрочили локалку на проверке проектов и теперь нейронка видит косяки в проектах электрики лучше инженеров, которые недавно проебали косяки на 50 млн.
В чём суть треда.
Я теперь тоже хочу внедрить такую систему у себя в фирме и стать амбасадором проекта. Подготовил презентацию руководству, паспорт проекта и экономическое обоснование.
Реквестирую ваши истории с ваших РАБоток про внедрение ИИ. А так же способы обучения локалок, какие модели сейчас в топе и какое необходимо оборудование.
Пропущено 22 постов.
Я пока не знаю как тебе всё рассказать и объяснить не спалив контору. Могу сказать пока так: 2 страницы выдачи в Гугле и Яндексе прочитаны сайты от А до Я. Выбрал 5 более-менее адекватных решений, но когда списался с ними - получил хуйню, либо нет on-prem, нет нормальной выдачи результата, в демо-результатах видно косяки, нет возможности нормально облегчить и сильно упростить работу отдела, который есть в каждой фирме нашего направления.
Архитектуру своего стека я пилю уже 2 месяца. Я заебался её вылизывать, но у меня нет возможности арендовать сервак с H100, чтобы спокойно тестировать.
Как минимум я хочу получить добро и спонсирование хотя бы технической части, тем более мой KPI оплачивается при успешном пилоте и достижении определенных измеряемых показателях.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Ботбуру: https://botbooru.com/
• CharIsChar: https://charischar.net/
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1675923 (OP)
Пропущено 497 постов, 65 с картинками.