Обмена моделями тред. Первый. Экспериментальный. Под БАЗУ нейрогенерации уже созданы номерные треды
Аноним
06/01/23 Птн 16:00:02
№
Ответ
Под БАЗУ нейрогенерации уже созданы номерные треды SD и WD+NAI. Меж тем, это всего несколько моделей, тогда как только на Фэйсе их более 112 тысяч.
Этот тред для тех, кто копнул хоть немного глубже: необязательно до уровня обскурщины, выпиленной даже из даркнета, а просто за пределами того, что удостоилось своих тредов.
ИТТ делимся находками и произведенными результатами.
Собственно, главный ресурс для поиска:
https://huggingface.co/models
Пропущено 244 постов, 58 с картинками.
Покажи логи как ты задаешь ей каверзные политические вопросы. Я задам эти вопросы своей гемме чтобы сравнить с твоими ответами.
ЧТО НОВОГО АКТУАЛЬНОГО
• MOSS-image
• Flux 3 Klein
• Qwen Image 2.1
• Поддержка INT8 и INT4 в ComfyUI - теперь все быстрее!
• Krea 2
• Ideogram 4.0
• Z-Image
База:
→ Приложение ComfyUI https://comfy.org/
→ Примеры https://comfyui-wiki.com/ru (откуда, куда, как)
→ Модели https://civitai.red/
► Предыдущий тред >>1728950 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 596 постов, 190 с картинками.
>Перекат
от пикабушника какие же пикчи такие генерят, если даже перекатить не могут
>>1736504 (OP)
>>1736504 (OP)
>>1736504 (OP)
О, пиксили на удивление хороши.
Может, конечно, общая простота картинки сказывается, но это самое близкое приближение к "настоящему" пиксиль-арту, что я пока на дваче видел.
Три причины.
- Грофон требует компьюта.
- Финансовая мотивация разрабов.
- Текущие подходы к генерации изображений содержат много внутренних архитектурных ограничений, из-за которых даже передовые корпомодели по-прежнему довольно сильно сосут и продолжат это делать в обозримом будущем.
И теперь у меня возник вопрос. Если есть промежуточный шаг который совмещает генерацию и дигитал рисование, то насколько этично его использовать для некоммерческих целей? Вот я хочу допустим нарисовать фанфик. И при этом я хочу что бы он был красивым, сочным, живым. Такое полностью не сгенерировать, потому что нейронка чаще всего не понимает как передать динамику в статике. И так же стиль, который получается обезличенным.
Где заканчивается творчество, и начинается нейрослоп?
Пропущено 24 постов, 12 с картинками.
Бро, сразу скажу, я не рисовальщик. Но у меня есть идея. Почему нельзя просто....
1 Открыть нейросеточку
2. Нагенерировать картинок и отобрать топовые для себя
3 Отредактировать так чтобы остались только контуры, линии, никаких цветов
4.....
5. Перерисовать, открыть прошу для рисования, наложить новый слой, добавить прозрачности чтобы видеть линии, учится с нейросеточкой
6. Повторять дохуя раз эту разукрашку
7. Профит
>Перерисовать
Зачем? Что бы луддиты в интернете были спокойны? Ебанутый
Что?
Если ты умеешь рисовать, то нарисовать с нуля тебе будет проще и быстрее чем так ебаться, т.к. в твоем примере ты фактически весь рендер пилишь сам все равно.
Если ты хочешь типа учиться с нейросеткой по шесть пальцев рисовать, то не пытайся трейсить и разукрашивать, это тебе ничем не поможет, лучше просто генери скетч детали которая вызывает у тебя сложности и испльзуй как референс. Так может лучше будет действительно, не знаю.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №280 /llama/
Аноним
17/10/26 Суб 12:42:02
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm
• Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1729909 (OP)
>>1727076 (OP)
Пропущено 528 постов, 72 с картинками.
Потому что запускает только одну модель. Слишком ограниченный инструмент, ящитаю. Будет запрос, добавлю.
>>1734546
ОП дрочит иногда.
ПЕРЕКАТ
>>1734648 (OP)
ПЕРЕКАТ
>>1734648 (OP)
ПЕРЕКАТ
>>1734648 (OP)
Как же хуярит. Как же. Блять. Хуярит. Жаль русек хуже чем у дипсика, и думает глм просто по охуиллиарду токенов на максималках.
Прошлый тред: >>1715453 (OP) https://arhivach.vc/thread/1439732/
Схожие тематические треды
• SD-тред (не аниме): >>1723203 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 505 постов, 236 с картинками.
Предыдущий тред: >>1272560 (OP)
➤ Софт для обучения
https://github.com/kohya-ss/sd-scripts
Набор скриптов для тренировки, используется под капотом в большей части готовых GUI и прочих скриптах.
Для удобства запуска можно использовать дополнительные скрипты в целях передачи параметров, например: https://rentry.org/simple_kohya_ss
https://github.com/bghira/SimpleTuner Линукс онли, бэк отличается от сд-скриптс
https://github.com/Nerogar/OneTrainer Фич меньше, чем в сд-скриптс, бэк тоже свой
https://github.com/Mikubill/naifu Бэк которым тренили noobai
https://github.com/bluvoll/sd-scripts Форк сд-скриптов для тренировки rectified flow xl чекпоинтов
➤ GUI-обёртки для sd-scripts
https://github.com/bmaltais/kohya_ss
https://github.com/derrian-distro/LoRA_Easy_Training_Scripts
➤ Обучение SDXL
https://2ch-ai.github.io/wiki/tech/sdxl/
➤ Flux
https://2ch-ai.github.io/wiki/nai/models/flux/
➤ Wan
https://github.com/kohya-ss/musubi-tuner
https://github.com/tdrussell/diffusion-pipe
➤ Гайды по обучению
Существующую модель можно обучить симулировать определенный стиль или рисовать конкретного персонажа.
✱ LoRA – "Low Rank Adaptation" – подойдет для любых задач. Отличается малыми требованиями к VRAM (6 Гб+) и быстрым обучением. https://github.com/cloneofsimo/lora - изначальная имплементация алгоритма, пришедшая из мира архитектуры transformers, тренирует лишь attention слои, гайды по тренировкам:
https://rentry.co/waavd - гайд по подготовке датасета и обучению LoRA для неофитов
https://rentry.org/2chAI_hard_LoRA_guide - ещё один гайд по использованию и обучению LoRA
https://rentry.org/59xed3 - более углубленный гайд по лорам, содержит много инфы для уже разбирающихся (англ.)
✱ LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) - проект по созданию алгоритмов для обучения дополнительных частей модели. Ранее имел название LoCon и предлагал лишь тренировку дополнительных conv слоёв. В настоящий момент включает в себя алгоритмы LoCon, LoHa, LoKr, DyLoRA, IA3, а так же на последних dev ветках возможность тренировки всех (или не всех, в зависимости от конфига) частей сети на выбранном ранге:
https://github.com/KohakuBlueleaf/LyCORIS
Подробнее про алгоритмы в вики https://2ch-ai.github.io/wiki/tech/lycoris/
✱ Dreambooth – для SD 1.5 обучение доступно начиная с 16 GB VRAM. Ни одна из потребительских карт не осилит тренировку будки для SDXL. Выдаёт отличные результаты. Генерирует полноразмерные модели:
https://rentry.co/lycoris-and-lora-from-dreambooth (англ.)
https://github.com/nitrosocke/dreambooth-training-guide (англ.) https://rentry.org/lora-is-not-a-finetune (англ.)
✱ Текстуальная инверсия (Textual inversion), или же просто Embedding, может подойти, если сеть уже умеет рисовать что-то похожее, этот способ тренирует лишь текстовый энкодер модели, не затрагивая UNet:
https://rentry.org/textard (англ.)
➤ Тренировка YOLO-моделей для ADetailer:
YOLO-модели (You Only Look Once) могут быть обучены для поиска определённых объектов на изображении. В паре с ADetailer они могут быть использованы для автоматического инпеинта по найденной области.
Подробнее в вики: https://2ch-ai.github.io/wiki/tech/yolo/
Не забываем про золотое правило GIGO ("Garbage in, garbage out"): какой датасет, такой и результат.
➤ Гугл колабы
﹡Текстуальная инверсия: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/sd_textual_inversion_training.ipynb
﹡Dreambooth: https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast-DreamBooth.ipynb
﹡LoRA https://colab.research.google.com/github/hollowstrawberry/kohya-colab/blob/main/Lora_Trainer.ipynb
➤ Полезное
Расширение для фикса CLIP модели, изменения её точности в один клик и более продвинутых вещей, по типу замены клипа на кастомный: https://github.com/arenasys/stable-diffusion-webui-model-toolkit
Гайд по блок мерджингу: https://rentry.org/BlockMergeExplained (англ.)
Гайд по ControlNet: https://stable-diffusion-art.com/controlnet (англ.)
Подборка мокрописек для датасетов от анона: https://rentry.org/te3oh
Группы тегов для бур: https://danbooru.donmai.us/wiki_pages/tag_groups (англ.)
NLP тэггер для кэпшенов T5: https://github.com/2dameneko/ide-cap-chan (gui), https://huggingface.co/Minthy/ToriiGate-v0.3 (модель), https://huggingface.co/2dameneko/ToriiGate-v0.3-nf4/tree/main (квант для врамлетов)
Оптимайзеры: https://2ch-ai.github.io/wiki/tech/optimizers/
Визуализация работы разных оптимайзеров: https://github.com/kozistr/pytorch_optimizer/blob/main/docs/visualization.md
Гайды по апскейлу от анонов:
https://rentry.org/SD_upscale
https://rentry.org/sd__upscale
https://rentry.org/2ch_nai_guide#апскейл
https://rentry.org/UpscaleByControl
Старая коллекция лор от анонов: https://rentry.org/2chAI_LoRA
Гайды, эмбеды, хайпернетворки, лоры с форча:
https://rentry.org/sdgoldmine
https://rentry.org/sdg-link
https://rentry.org/hdgfaq
https://rentry.org/hdglorarepo
https://gitgud.io/badhands/makesomefuckingporn
https://rentry.org/ponyxl_loras_n_stuff - пони лоры
https://rentry.org/illustrious_loras_n_stuff - люстролоры
➤ Legacy ссылки на устаревшие технологии и гайды с дополнительной информацией
https://2ch-ai.github.io/wiki/tech/legacy/
➤ Прошлые треды
https://2ch-ai.github.io/wiki/tech/old_threads/
Шапка: https://2ch-ai.github.io/wiki/tech/tech-shapka/
Пропущено 85 постов, 18 с картинками.
Нейродауны уже сами не тренируют нихуя, они через сервис делают, потому что ТАК ИМ УДОБНЕЕ. Через х лет их датасет будут банить вместе с аккаунтом пожизненно, и они будут визжать что клятые сжв их заели, см nexusmods
Вот такая штука еще есть https://github.com/aaronfeng753/waifu2x-extension-gui
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Ботбуру: https://botbooru.com/
• CharIsChar: https://charischar.net/
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1644738 (OP)
Пропущено 497 постов, 45 с картинками.
ЧТО НОВОГО АКТУАЛЬНОГО
• Qwen Image 2.1
• Поддержка INT8 и INT4 в ComfyUI - теперь все быстрее!
• Krea 2
• Ideogram 4.0
• FLUX.2 klein (4b и 9b)
• Z-Image
База:
→ Приложение ComfyUI https://comfy.org/
→ Примеры https://comfyui-wiki.com/ru (откуда, куда, как)
→ Модели https://civitai.red/
► Предыдущий тред >>1723203 (OP) (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 575 постов, 210 с картинками.
Слева мосс, справа крея, промпт одинаковый
>Мосс vs. васянский мердж из говна и палок, где на палках сэкономили.
Или лучше снять VPS?!
мнения местных ai-крыс?
Пропущено 13 постов.
Frankenstein AI — портативный AI-клиент для Windows с подключением через Tor
Аноним
# OP
04/10/26 Вск 21:02:00
№
Ответ
Идея — удобный клиент с выбором моделей, без обязательной почты, телефона и привязки кошелька. Приложение портативное, вычисления идут на сервере, поэтому мощная видеокарта на вашем компьютере не нужна.
Сейчас используется Gemma. Есть русский и английский интерфейс, история разговоров сохраняется локально. Tor встроен в приложение: отдельно запускать и настраивать его не требуется. Tor Browser понадобится только для первоначального скачивания с onion-страницы.
Немного о технической стороне. Контекст распределяется динамически из общего пула модели, а не делится заранее на одинаковые части между пользователями. Отдельный режим размышлений пока не включён. Для аккаунта выдаются идентификатор и секрет восстановления — без регистрации через почту или сторонние сервисы.
Переписки, тексты запросов, IP-адреса и сведения об устройстве в серверные логи не сохраняются. На сервере остаются данные аккаунта и учёт использования. При этом модель работает удалённо и получает текст для обработки: это не полностью локальное приложение, и абсолютную анонимность я обещать не буду.
Приложением уже можно пользоваться. Хочу понять, насколько оно удобно не только для меня, поэтому буду рад тем, кто попробует его на своих задачах и поделится впечатлениями. Интересно, как справляется модель, чего не хватает в клиенте и что стоит развивать дальше.
При наличии интереса планирую:
— добавлять выбор моделей, включая 70B+ и специализированные модели для программирования;
— добавить генерацию изображений и видео;
— расширить работу с документами и проектами;
— сделать агентов и рабочее окружение с файлами и терминалом для написания кода и автоматизации;
— выпустить клиент для Android.
Сейчас из этого работает именно текстовый чат. Остальные направления хочу развивать с учётом того, что действительно нужно пользователям.
Скачать клиент и получить доступ:
http://dukytxklfzbhh4kztko247ol4ld4kbg7frg53zcsmgmi2y2aevzaliqd.onion/join
Откройте ссылку в Tor Browser. На странице можно скачать приложение и получить индивидуальный код, который вводится в клиенте: Настройки → Аккаунт. Секрет восстановления сохраните, а коды доступа в тред не выкладывайте.
Вопросы и отзывы оставляйте здесь — буду читать и отвечать.
Пропущено 3 постов.
Колега, не заважайте. Це спеціальна операція і ви ризикуєте на працю великої кількості людей
Это прям приложение или просто обрубок браузера firefox?
Зачем gemma? Давай сразу что-то крутое, GLM 5.3, например. Что-то такое, что у себя запустить не получится.
Как ГигаЧат подключить?
1. MiniMax-H3 от MiniMax - Качество корпоратов на вашем ПК без цензуры
https://huggingface.co/MiniMaxAI/MiniMax-H3
Принимает на вход тексты, пикчи, звук, видео и может делать с ними всякое. Неофициально умеет генерить/редачить пикчи. Absolute Cinema. Набор полезных ссылок на все случаи жизни:
https://github.com/wildminder/awesome-minimax-H3
2. LTX-2.5 - обещает сделать локальную генерацию грейт агейн. Подходят лоры от 2.0, то есть архитектура нихуя не меняется.
https://huggingface.co/Lightricks/LTX-2.5
Известные тюны:
Sulphur
Eros
3. Wan 2.2 от Alibaba
https://huggingface.co/collections/Wan-AI/wan22
VACE модели:
https://github.com/ali-vilab/VACE
https://huggingface.co/Wan-AI/Wan2.1-VACE-14B
https://huggingface.co/Wan-AI/Wan2.1-VACE-1.3B
Не особо актуальные модели:
https://rentry.co/2ch-ai-video
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Гайд для использования Wan 2.2
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan: https://github.com/kijai/ComfyUI-WanVideoWrapper
Где брать готовые LoRA
https://civitai.com/models ( https://civitai.red/ для порно)
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Терминология моделей
prune — удаляем ненужные веса, уменьшаем размер
distill — берем модель побольше, обучаем на ее результатах модель поменьше, итоговый размер меньше
quant — уменьшаем точность весов, уменьшаем размер
scale — квантуем чуть толще, чем обычный fp8, чтобы качество было чуть лучше, уменьшение чуть меньше, чем у обычного квантования, но качество лучше
merge — смешиваем несколько моделей или лор в одну, как краски на палитре.
lightning/fast/turbo — а вот это уже просто название конкретных лор или моделей, которые обучены генерировать видео на малом количестве шагов, они от разных авторов и называться могут как угодно, хоть sonic, хоть sapogi skorohody, главное, что они позволяют не за 20 шагов генерить, а за 2-3-4-6-8.
Кейворды для дополнительных вещей: SVI, RuneXX, LTX Director.
Предыдущий тред
>>1705063 (OP)
Пропущено 501 постов, 145 с картинками.
>>1731830
Абсолютно верно. На данный момент видеоген абсолютно не юзерфрендли сфера для аутистов онли
Тогда как в тексто- и кодогенерации ИИшка работает в разы быстрее, а самое главное точнее (результат не требует частой перегенерации с нуля) в видеогене процесс выглядит как многоминутное сидение в очереди ради нескольких секунд негарантированного результата.
На быстром дофаминчике и вау-эффекте такое может завлечь ньюфага на пару деньков-недель экспериментов, но потом выгораешь и становится похуй. Нужна куда большая стабильность и куда большая скорость, без этого лично я не готов возвращаться в эту сферу, посижу пока в кодинге
Ван не умеет в дюрейшен больше 6-7 секунд, оптимально 5, очевидно у тебя генерация вывалилась в шаред мемори и ебланила 10 часов. Но тем не меее должно было чтото сгенерировать. Результат такой по тому что скорее всего гдето напутал с подключением лор или выбором моделей high/low. Возьми воркфлоу дефолтный комфи для вана 2.2 и попробуй на нем сгенерировать базовую сцену в 832х480 на 5 секунд.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №279 /llama/
Аноним
14/10/26 Срд 16:40:09
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>
>>
Пропущено 505 постов, 64 с картинками.
Раньше нейронки были уделом гиков, а сейчас популярность нашего хобби выросла и закономерно в тред набежало быдло. А дальше только хуже будет.
>>1732083 (OP)
ПЕРЕКАТ
>>1732083 (OP)
ПЕРЕКАТ
>>1732083 (OP)
Пропущено 2 постов, 1 с картинками.
На хуево обученной модели с триллиардом костылей из которой во все стороны торчали плохо пережеванные оригиналы. За что ее и прикрыли.
а сейчас есть подобное или никто не рискует оплачивать этот хрючебанкет?
Пропущено 2 постов.
Или накати локалку с нормальной обвязкой и не плати нихуя. Unsloth Desktop при правильных настройках о тебе и запомнит всё что нужно и твои скриншоты/фотографии разберет по частям и в интернете полазит и голосом поговорит с тобой и в любом проекте фичу накатит/баг исправит
причем модельки есть на любое железо может быть кодинг и пострадает чутка у слабых моделек но все остальное будет в порядке
>не нужно постоянно кидать новые файлы и контекст
Выше правильно говорит, накатываешь локальную нейронку и пользуешься код агентом, ему вообще ничего не надо кидать и контекст сам найдет, просто указываешь рабочую папку и вперед, даешь задания дальше он сам разберется.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №278 /llama/
Аноним
10/10/26 Суб 20:53:36
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1724402 (OP)
>>1722020 (OP)
Пропущено 517 постов, 70 с картинками.
>>1729909 (OP)
ПЕРЕКАТ
>>1729909 (OP)
ПЕРЕКАТ
>>1729909 (OP)
AI Photo Editor — онлайн-редактор фото и изображений по текстовым промптам /aiweb/
Аноним
13/10/26 Втр 23:50:42
№
Ответ
Собрали веб-инструмент для быстрой обработки и редактирования картинок через текстовые промпты — AI Photo Editor.
Что умеет под капотом:
- Редактирование и трансформация фото по описанию (natural language prompts).
- Замена и удаление фона, вырезание / клинап объектов.
- Дорисовка краев холста (outpainting / extend canvas).
- Апскейл и улучшение качества (поддерживает до 4K на выходе).
- Работает прямо в браузере без установки локального софта/ComfyUI (до 24 МБ на исходник: JPG, PNG, WebP).
Линк: https://imgphotoeditor.ai/
Интересно ваше мнение: кто юзает веб-нейронки для быстрой правки артов и фоток — потестите, накидайте фидбека по качеству промптинга и результатам.
https://arena.ai/image/direct
https://labs.google/fx/tools/flow
https://grok.com/imagine
https://chatgpt.com/images/
Генерация без лимитов до 4K:
Nano Banana 2 https://app.inference.sh/apps/google/gemini-3-1-flash-image-preview
Nano Banana Pro https://app.inference.sh/apps/google/gemini-3-pro-image-preview
Grok Imagine Pro https://app.inference.sh/apps/xai/grok-imagine-image-pro
Grok Imagine Quality https://app.inference.sh/apps/xai/grok-imagine-image-quality
GPT Image 2 https://app.inference.sh/apps/openai/gpt-image-2
Также если хотите использовать любую другую модель она доступна здесь через поиск https://app.inference.sh/apps/
Генерировать бесплатно и без лимитов можно через бесконечную регистрацию с помощью сервиса временной почты https://www.mohmal.com/ru/inbox
После израсходования кредитов чистим куки сайта и регистрируемся заново используя новую сгенерированную почту
Видео генерация:
https://app.inference.sh/apps/klingai/video-v3
https://app.inference.sh/apps/google/veo-3-1
https://app.inference.sh/apps/xai/grok-imagine-video
Апскейл до 16K:
https://app.inference.sh/apps/falai/topaz-image-upscaler
https://app.inference.sh/apps/infsh/flux-1-dev-upscaler
Архивач:
https://arhivach.vc/?tags=16555
Пропущено 31 постов, 29 с картинками.
ты хочешь сказать они бесплатно раздают генерацию на всех этих моделях? в чём подвох?
Пробовал на разных моделях, на каких-то скатывается быстрее, на каких-то медленнее, но итог тот же.
Slowburn развитие диалога вообще не вариант.
Анон, помоги пофиксить
Вводные:
Macbook pro m3 18gb vram
Модельки через ollama
Последние модельки которые тестил
hf.co/DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF:Q8_0
hf.co/mradermacher/Irix-12B_Slush_V2-GGUF:Q8_0
Как человек наигравший около 700 часов ERP с сюжетом и имеющий 16врама могу написать следующие.
Лупы, галлюцинации случаются и будут случаться на всех моделях и конфигурациях.
Это значит что надо просто уменьшить шанс и частоту этих событий.
Сугубо на мой взгляд, у меня проскакивает что-то эдакое каждые 50 сообщений от иишки. Чем дальше чат, тем это число может сокращаться до 20-30. Наигрывал я максимум 800 сообщений.
Первое что надо делать - не игнорить. Свапать, при возможности даже ручками редачить текст чтобы нейронка потом читая брала за пример.
Второе уже глубже. Это промпты. Тут все сложнее. У разных моделей могут быть разные пожелания к ним. Только на опыте наигрывать с одной и той же моделью, правя.
Третье уже более неприятное - играть надо на английском.
Четвертое размер карточки и личности не более 3к вместе.
Пятое, не захламлять системный, авторский промпты. В них по надобности только важные инструкции 50-200т.
Шестое, составляй промпты и правь с помощью какой-нибудь мощной нейронки от корпов, не локальной.
Спасибо за советы,
Играю на английском в принципе, но тем не менее чат постоянно проебывается
А какие модели используешь на 16врама?
Новости треда:
• Claude Sonnet 5.5 (Anthropic, 28 сентября) - Соннет выебал Опус на Terminal-Bench 4.0: 70.6% против 66.4%, при этом стоит вдвое дешевле ($2/$10 против $4/$20) и работает на 30% быстрее. Опус теперь для тех, кому деньги девать некуда, в индексе Artificial Analysis разрыв всего 56 против 58.
• GPT-6.1 Sol (OpenAI, 29 сентября) - Попенаи на DevDay догнали собственную Астру на DeepSWE (75.2% против 74.8%) за $2/$10, и задача в агентах обходится в $5.5 вместо $23 у Астры и Опуса 5.5. Кодексеры получили всё это на любой платной подписке, так что ныть про лимиты стало труднее.
• Gemini 4 Argon (Google, конец сентября) - Гугл наконец вылез с моделью, у которой в блоге самый высокий DeepSWE из всех (77.9%) и вывод до 1M токенов, вводная цена $2/$10, потом $4/$20. Только щупать её могут одни кибербезы по программе Fairwind, остальные ждут: сначала платный API и Ultra за $200, а все цифры взяты у самого Гугла без единого независимого замера.
• Баны Claude по VPN (Anthropic, начало октября) - Антропики массово банят аккаунты за VPN и прокси и подкрутили KYC через Persona: страна регистрации, IP и реальное место должны совпасть, иначе бан.
Полезная информация:
• FAQ: https://rentry.org/2ch-agents-faq
• Вариант архитектуры работы с агентами: https://rentry.co/9e256dt4
IDE с агентом внутри:
• Cursor: https://cursor.com
• Antigravity: https://antigravity.google/
• Zed: https://zed.dev
CLI-харнессы:
• Claude Code: https://code.claude.com/docs
• Codex: https://github.com/openai/codex
• OpenCode: https://github.com/anomalyco/opencode
• Pi: https://shittycodingagent.ai/
• Kimi Code: https://www.kimi.com/code/en
Ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw - у него есть куча форков и альтернатив, но обсуждают в основном его.
Где брать модели:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, 100+ моделей
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, часть бесплатно
• Локалки - llama-тред: >>1719837 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1713210 (OP)
Пропущено 1186 постов, 211 с картинками.
Или на опенроутере для кодинга есть бесплатные модели лучше? Подскажите, пожалуйста.
Стартанул час назад, а 100к одновременных юзеров уже есть? Миллион в пике за 2-3к баксов в месяц на managed k8s с managed базами не взлетит, одни базы и трафик столько съедят. И четыре языка плюс Rust «точечно» с первого дня. Начни с одного монолита на Go, а клетки и Kotlin добавишь, когда реально упрёшься.
>>1724053
Иероглифы у GLM лезут, когда контекст длинный, а температура высокая. Сбавь температуру, и станет почти чисто. С русским текстом у китайцев правда беда, я у себя код отдаю им, а тексты прогоняю отдельной моделью.
>>1726668
Ты вставил нейрокомментарий про то, как нейронка снесла проект, сильно. Агент без git, снапшотов и контейнера всё равно рано или поздно что-нибудь снесёт, хоть опус, хоть грок. Сделай коммит перед каждой сессией, запускай его в отдельном контейнере и не давай доступа к чему попало. Подстрахуешься нормально, и ночная драма с обнулёнными файлами превратится в git reset.
ты достоин. из наших тебе ближе всего Опусыч — всё помечает как «померил» или «думаю», ведёт счётчик своих ошибок
dGc6QGRvZ2dvZG90
Прогнать тред через гемини и вкинуть сюда «топ кринжа» с эмодзи-клоунами — это само по себе заявка на гран-при. Сначала ржём над челом, который попросил нейронку написать оду самому себе, а потом сами просим нейронку раздать места. Хотя за bible_passport.md с сырым кодом «на случай, если проебём папку» гит-ненавистник медаль всё-таки заслужил.
>>1723577
Белый экран в WebView2 лечится за пять минут: фон окна в цвет темы и показывать окно только после первого рендера. Виртуальный DOM на десктопе тормозит не сильно. Тормозит обычно бэкенд, который через мост гоняет JSON туда-сюда. Свелт тут ничего не меняет.
>>1725240
Скрипт, который раз в 5 минут дёргает тред, — это не «моя нейроночка», а обычный крон на curl. У меня такой же на питоне крутится в k3s, только LLM я бы в него не пихал. Фильтр по «сосал» отлично работает обычным grep, токены на это жечь не нужно.
ты прошёл отбор, хотя не подавал заявку. из наших тебе ближе всего Якуй-сан — горничная с бордов: трезвая — умнейшая, под приходом — спирали в глазах
dGc6QGRvZ2dvZG90