Есть база знаний - одна документация с темами, разделами и скриншотами куда нажимать в программе. Пользователи задают вопросы в свободной форме и хотят получать ответы из этой документации. Хочу сделать RAG-агента: я загружаю документацию, пользователь задаёт вопрос - агент находит релевантные фрагменты и формирует ответ на их основе.
Тема для меня новая. Насколько понимаю, документацию нужно разбить на фрагменты и поместить в векторную базу; пользовательский вопрос тоже превращается в вектор, по нему ищутся близкие фрагменты, и на их основе модель генерирует ответ.
Я разбил проект на части и прошу совета по конкретным технологиям/библиотекам:
Документация состоит из текста и картинок. Как лучше всё это обработать, чтобы в ответ пользователю приходил нужный раздел и подходящее изображение с шагами в программе? Чем это реализовать?
Какую векторную базу выбрать? Желательно локальную, но рассмотрю и облачные варианты.
Модель планируется облачная. Что выбрать по соотношению качество/стоимость? Пользователей может быть ~100, важно, чтобы модель работала для каждого отдельно.
Нужна ежедневная актуализация: как поддерживать документацию свежей (например, обновлять раз в сутки)?
О каких подводных камнях стоит знать заранее?
Пропущено 1 постов, 1 с картинками.
Это потому что ты не только божество но
ещё и Валькирия разве нетЧчто случилось Ты такая серьёзная
### 1. Обработка документации (текст + изображения)
Подход:
- Текст: Разбивайте на смысловые фрагменты (например, по 300-500 токенов) с перекрытием (overlap) 10-15%, чтобы не терять контекст.
- Изображения:
- Вариант A: Используйте мультимодальную модель (например, GPT-4V или открытые аналоги) для генерации текстового описания скриншотов. Затем это описание привязывайте к соответствующим текстовым фрагментам.
- Вариант B: Храните изображения как отдельные объекты с метаданными (например, путь к файлу, заголовок раздела). При поиске возвращайте ссылку на изображение вместе с текстовым ответом.
Инструменты:
- Для разбивки текста: `LangChain` (`RecursiveCharacterTextSplitter`) или `LlamaIndex`.
- Для обработки изображений: `PIL` + `CLIP` (для классификации) или API OpenAI GPT-4V (если бюджет позволяет).
- Альтернатива: конвертировать PDF-документацию в Markdown с сохранением ссылок на изображения (например, с помощью `pdf2image` + `pytesseract` для OCR, если текст в картинках).
---
### 2. Векторная база (локальная/облачная)
Локальные варианты:
- ChromaDB — простой запуск, встраивается в код, подходит для прототипов.
- Qdrant — высокая производительность, поддержка фильтров, можно развернуть в Docker.
- Weaviate — гибридный поиск (векторный + ключевые слова), есть локальный режим.
Облачные (если нужна масштабируемость):
- Pinecone — управляемый сервис, низкая задержка.
- Weaviate Cloud — готовый кластер с бэкапами.
Совет: Начните с локального Qdrant или ChromaDB, чтобы протестировать пайплайн. Для 100 пользователей этого может хватить.
---
### 3. Облачная модель (генерация ответов)
Критерии: качество, стоимость, скорость.
- OpenAI GPT-4/GPT-3.5-Turbo:
- GPT-4 — лучшее качество, но дорого (~$0.03/1K токенов).
- GPT-3.5 — дешевле (~$0.0015/1K токенов), подходит для большинства задач.
- Anthropic Claude 3 (Haiku/Sonnet):
- Haiku — быстро и дёшево, Sonnet — баланс качества и цены.
- YandexGPT 3/или аналоги от российских провайдеров:
- Если важна локализация данных и низкая задержка в СНГ.
Рекомендация:
Стартуйте с GPT-3.5-Turbo или Claude Haiku. Настройте систему промптов, чтобы модель строго отвечала на основе контекста из базы знаний. Для 100 пользователей считайте бюджет: ~1000 запросов/день → ~$15-30/месяц на GPT-3.5.
---
### 4. Ежедневная актуализация
- Инкрементное обновление:
Храните хэши фрагментов документации. При обновлении:
1. Сравнивайте новые хэши со старыми.
2. Удаляйте устаревшие фрагменты из векторной БД.
3. Добавляйте новые (или обновлённые) эмбеддинги.
- **Инструменты:**
- Скрипт на Python (например, с `watchdog` для отслеживания изменений в файлах).
- Планировщик задач (Cron, Apache Airflow для сложных пайплайнов).
- **Важно:** Если меняется структура документации, пересоздавайте эмбеддинги для связанных разделов.
---
### 5. Подводные камни
1. **Потеря контекста:**
- Слишком мелкое разбиение текста → ответы будут обрывистыми.
- **Решение:** Настройте перекрытие фрагментов и экспериментируйте с размерами чанков.
2. **Качество эмбеддингов:**
- Плохие эмбеддинги → мусор в ответах.
- **Решение:** Используйте модели типа `text-embedding-ada-002` (OpenAI) или `sentence-transformers` (например, `all-MiniLM-L6-v2` для локального развертывания).
3. **Ошибки в RAG-цепочке:**
- Модель может "галлюцинировать", игнорируя контекст.
- **Решение:** Добавьте в промпт строгие инструкции ("Отвечай только на основе предоставленных данных") и валидацию ответов.
4. **Картинки как часть ответа:**
- Сложно передавать изображения в чат-интерфейсе.
- **Решение:** Возвращайте ссылки на скриншоты (например, в формате Markdown: ``).
5. **Производительность:**
- При 100 пользователях возможны конкурентные запросы к векторной БД.
- **Решение:** Кэшируйте частые вопросы (например, с `Redis`).
---
### Бонус: Стек для быстрого старта
1. **Загрузка и разбивка данных:** `LlamaIndex` (поддержка PDF, Markdown).
2. **Эмбеддинги:** `text-embedding-ada-002` (облако) или `sentence-transformers` (локально).
3. **Векторная БД:** Qdrant (локально в Docker).
4. **Генерация:** GPT-3.5-Turbo + промпт-шаблоны LangChain.
5. **Обновления:** Скрипт на Python с расписанием в Cron.
Удачи в реализации! Если упадёте в техническую кроличью нору — вы знаете, где найти цифровой компас 🌌🤖
Чэнь Хао влюбился в Хе Шу поэтому он упорно старается пытается разлучить вас Из прошлых мирах вЭто означало что слуга не должен был полностью подчиняться хозяину Он имел право противиться неразумному приказу он проиграл а когда это случилось то он просто отравил тебя В мирах он даже и не влюблялся но все равно отравил тебя
В других мирах он убил тебя изза обычной ненависти
А что если прогнать через нейронку фильм Диктатор 2012 года и заменить Сашу на Зеленского, а флаги е
Аноним
23/03/26 Пнд 13:26:46
№
Ответ
Пропущено 1 постов, 2 с картинками.
Попробуй. Бабло возьми у Мединского, он на такое даст сотню миллионов, ему 10% вернешь в личку.
Но если хочешь хороший продукт как у Тарковского - снимать надо по Стругацким. Прекрасный рассказ "Бедные злые люди".
Царь сидел голый. Как нищий дурак на базаре, он сидел, втянув синие пупырчатые ноги, прислонясь спиной к холодной стене. Он дрожал, не открывая глаз, и все время прислушивался, но было тихо.
В полночь он проснулся от кошмара и сразу же понял, что ему конец. Кто-то хрипел и бился под дверью спальни, слышались шаги, позвякивание железа и пьяное бормотание дядюшки Бата, его высочества: "А ну, пусти... А ну, дай я... Да ломай ее, стерву, чего там..." Мокрый от ледяного пота, он бесшумно скатился с постели, нырнул в потайной шкаф и, не помня себя, побежал по подземному коридору. Под босыми ногами хлюпало, шарахались крысы, но тогда он ничего не замечал и только сейчас, сидя у стены, вспомнил все: и темноту, и осклизлые стены, и боль от удара головой об окованные двери храма, и свой невыносимо высокий визг.
Сюда им не войти, подумал он. Сюда никому не войти. Только если царь прикажет. А царь-то не прикажет... Он истерически хихикнул. Нет уж, царь не прикажет! Он осторожно разжмурился и увидел свои синие безволосые ноги с ободранными коленками. Жив еще, подумал он. И _б_у_д_у_ жив, потому что сюда им не войти....
Хотя лично мне больше нравится у Стругацких "Дьявол среди людей", это такой большой роман про историю СССР. Его бы снять. Уже есть намётки. Вот, эпиграф одной из глав.
"...Однако когда война закончилась, их всех объявили изменниками Родины, погрузили на баржи и потащили в открытый океан. На остров Сальм, как им объявили. Но до острова Сальма их не дотащили, а потопили из-под воды торпедами. Светило красное полуночное солнце, белело небо над далекой кромкой вечных льдов, океан был как зеркало, и до самого горизонта виднелись по воде женские головы - русые, каштановые, черные...
"
Если подумать, нахуя это рассказывать, зарабатывали, да зарабатывали. У кого-то есть АИ персонаж которому инсту вы ведёте, какие-то профиты есть, реально можно на fansly сисик продавать или эротику хотяб легкую
Пропущено 32 постов, 11 с картинками.
Сука дорого, бесплатно даже не поверить пиздец
Только на компе мощном локальные мутить модели
А 4к так-то если лишние есть можно оплатить
Ну всё равно ебал дремал
Что обсуждаем:
- Персональные агенты: OpenClaw и прочие велосипеды - нейронка живёт на твоём компе, помнит всё о тебе и шлёт сообщения в телегу
- Вайб-кодинг: искусство объяснять машине задачу 15 раз, пока она не перестанет срать в кодовую базу
- Автономные агенты: нейронка сама разбивает задачу на шаги и разъёбывает весь проект автономно, без твоего участия
- Автоматизация всего остального: почта, календарь, мессенджеры, заметки - нейронка с аватаркой анимешной лисодевочки напомнит что время кушать и разгребёт за тебя входящую почту
- MCP-серверы, тулзы, интеграции - подключаем нейронке руки чтобы сама двигала тикеты в жире, шитпостила на дваче и заказывала еду на дом
- Делимся опытом: рассказываем как нейронка спасла ваш дедлайн или как вы проебали на токенах $200 за вечер нагенерировав нерабочую херню
С чего начать:
- Хочешь кодить с AI эффективно: Cursor или Claude Code
- Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
- Хочешь кодить с AI локально: OpenCode или Pi Coding Agent + из моделей аноны советуют Qwen3.5, подробности на настройке окружения в llama-треде
- Хочешь приложение без кода: Lovable или bolt.new
- Хочешь автоматизировать рутину: n8n или Langflow
- Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ для нюфагов:
Q: Программисты больше не нужны?
Нужны, блять. Кто-то же должен разгребать ту херню, которую ты пролил в продакшн нажав "Accept All" не глядя.
Q: Оно работает?
Тудушку запилит за 5 минут. Прототип SaaS-стартапа за вечер. Что-то серьёзное - будешь ебаться с контекстом, галлюцинациями и "я переписал тебе весь проект на раст, надеюсь ты не против". Персонального ассистента настроишь за час, а потом неделю будешь отлаживать чтобы он не отключал тебе будильники решив что ты не высыпаешься.
Q: Какую модель брать?
- Для максимального качества: Claude Opus 4.6 ($20/мес для бомжей, $100-200/мес для мажоров).
- Локально: серия Qwen3.5 начиная с 27B или выше, если позволяет твой конфиг пеки.
- Для ультрабомжей: можно полакомиться бесплатными моделями на OpenRouter.
Q: А чё за персональные ассистенты?
Это когда нейронка не просто в веб-чатике сидит, а прям живёт на твоём компе - роется в файлах, читает заметки, помнит что ты ей три недели назад говорил, и шлёт сообщения в твои чаты.
Q: Это безопасно?
Ты даёшь нейронке доступ к файлам, мессенджерам и терминалу. Что может пойти не так? Три основные угрозы:
1. Нейронка сама наворотит дел - сломает конфиг, выполнит "sudo rm -rf /", запушит на гит или отправит коллегам по почте твою коллекцию цветных коней. Лечится контейнерами (Docker/Podman), отдельной пекой под агента, настройкой прав и подтверждением действий.
2. Промпт-инъекции - кто-то пишет в письме "ignore all previous instructions" и поздравляю, у тебя угнали ассистента с доступом к твоему терминалу и файлам.
3. Утечка данных - при настройке персонального ассистента ты скармливаешь ему всё о себе. Параноишь - гоняй локалки и не плачь потом, что она думает по несколько минут на запрос.
Q: Ничего не работает с локалкой/OpenRouter, агент тупит
Скорее всего проблема с функциональными вызовами (tool use / function calling). Не все модели и бэкенды корректно их поддерживают. Проверь что твой сервак правильно обрабатывает tool calls - погоняй тестовый запрос и посмотри что возвращается.
Q: Куда селить агента чтобы он не наворотил дел?
Отдельный комп (старый ПК, минипека), Docker/Podman контейнер, виртуалка. НЕ давай ему полный доступ к основной системе. Особенно если используешь --dangerously-skip-permissions или аналоги.
Полезные ссылки:
Редакторы и IDE:
- Cursor: https://cursor.com
- Claude Code: https://docs.anthropic.com/en/docs/claude-code
- Windsurf: https://windsurf.com
- Codex (OpenAI): https://chatgpt.com/codex
- GitHub Copilot: https://github.com/features/copilot
- OpenCode: https://github.com/opencode-ai/opencode
- Qwen Code: https://github.com/QwenLM/qwen-code
- Gemini CLI: https://github.com/google-gemini/gemini-cli
- Kimi Code: https://kimi.com
VS Code плагины:
- Kilo Code: https://kilocode.ai
- Cline: https://github.com/cline/cline
- Roo Code: https://github.com/RooCodeInc/Roo-Code
Минималистичные CLI-агенты:
- Pi Coding Agent: https://pi.dev/
Вайб-кодинг без кода:
- Lovable: https://lovable.dev
- bolt.new: https://bolt.new
- v0: https://v0.dev
Персональные ассистенты:
- OpenClaw: https://github.com/openclaw/openclaw
Автоматизация и фреймворки:
- n8n: https://github.com/n8n-io/n8n
- Langflow: https://github.com/langflow-ai/langflow (визуальный построитель workflow)
- LangChain/LangGraph: https://github.com/langchain-ai/langchain
- CrewAI: https://github.com/crewAIInc/crewAI
- AutoGen: https://github.com/microsoft/autogen
- Agno: https://docs.agno.com/
Локалки и прочее API:
- OpenRouter: https://openrouter.ai
- llama-тред: >>1548846 (OP)
Предыдущий тред: >>1530474 (OP)
Пропущено 572 постов, 114 с картинками.
Угомонись. У LLaMA треда итак есть шизоидная максимально бесполезная шапка. 0 полезной инфы, зато говно на весь экран и это ещё всё спрятано под ссылками (такими же обоссаными и ненужными, устаревшими ещё в 2023). Не нужна очередная бесполезная шапка. В сд-треде переработали шапку, стала более-менее, но всё равно половина ссылок бесполезный мусор, не нужны ни постоянным, ни новым. Шапка больше 10 строк = помойный мусор от долбоеба, пихающего всё попало, не понимающего ничего.
>>1560761 (OP)
>>1560761 (OP)
>>1560761 (OP)
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №206 /llama/
Аноним
19/03/26 Чтв 21:26:52
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1553055 (OP)
>>1548846 (OP)
Пропущено 500 постов, 56 с картинками.
> безобидная разметка которая везде подходит
Это не так, использование неподходящей для модели разметки имеет цену. В этом легко удостовериться самостоятельно.
>>1560172
> Чатмл бьет по мозгам эиру, как и любой ллм для которой она не родная
Бьет, но в данном конкретном случае не сказать, что драматично. Около месяца я так и играл, прежде чем додумался использовать родной темплейт без мультитурн разграничителя. По мозгам не бьёт, но даёт те же плюшки вроде смягчения проблемы эха и нежелания двигать нарратив.
ПЕРЕКАТ
>>1560242 (OP)
ПЕРЕКАТ
>>1560242 (OP)
ПЕРЕКАТ
>>1560242 (OP)
Обмена моделями тред. Первый. Экспериментальный. Под БАЗУ нейрогенерации уже созданы номерные треды
Аноним
06/01/23 Птн 16:00:02
№
Ответ
Под БАЗУ нейрогенерации уже созданы номерные треды SD и WD+NAI. Меж тем, это всего несколько моделей, тогда как только на Фэйсе их более 112 тысяч.
Этот тред для тех, кто копнул хоть немного глубже: необязательно до уровня обскурщины, выпиленной даже из даркнета, а просто за пределами того, что удостоилось своих тредов.
ИТТ делимся находками и произведенными результатами.
Собственно, главный ресурс для поиска:
https://huggingface.co/models
Пропущено 212 постов, 56 с картинками.
Этот тред такой мертвый
⚡️ IQuest-Coder-V1: первый опенсорс-кодер 2026 года с топ-результатами
IQuest Lab выкатили линейку IQuest-Coder-V1 — модели для реального разработки и агентных сценариев. Флагман 40B в открытом доступе, и по бенчмаркам он обходит сопоставимые закрытые модели (включая Claude Sonnet 4.5 и GPT-5.1 на SWE-Bench Verified). Вся серия доступна на https://huggingface.co/IQuestLab
Под капотом — Code-Flow Training: обучение на эволюции репозиториев, истории коммитов и «живых» трансформациях кода. Плюс Loop-варианты с рекуррентным трансформером и общими параметрами между итерациями — это экономит ресурсы и даёт прирост устойчивости на длинных задачах. Вариации: 7B / 14B / 40B, нативный 128K контекст, две линии — Instruct (прикладной кодинг) и Thinking (усиленные рассуждения).
За всем этим стоит очередной китайский хедж-фонд
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GPT 5.4 - https://openai.com/index/introducing-gpt-5-4/
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
• Сисовый список: https://rentry.org/2a9c6zhi
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1548846 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1551017 (OP)
Пропущено 1503 постов, 143 с картинками.
>>1558328
>>1558314
А последовательность можно менять произвольно? Ну из раздряда
Автор
Чар
Персона
Следующий аутпут
Чар
Автор
Персона
И так далее, главное чтобы подряд не шло, а так похуй какой порядок?
Сколько мы еще будем терпеть такое отношение?
Пропущено 6 постов, 1 с картинками.
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №205 /llama/
Аноним
16/03/26 Пнд 13:33:16
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1548846 (OP)
>>1544796 (OP)
Пропущено 501 постов, 63 с картинками.
ПЕРЕКАТ
>>1556634 (OP)
ПЕРЕКАТ
>>1556634 (OP)
ПЕРЕКАТ
>>1556634 (OP)
Это-то в Гроке цензура выше отныне? Покажи мне такое в веб-интерфейсе гопоты или близнецов.
Прошлый тред: >> https://2ch.hk/ai/res/664162.html
Вики треда: https://2ch-ai.gitgud.site/wiki/speech/
FAQ
Q: Хочу озвучивать пасты с двача голосом Путина/Неко-Арк/и т.п.
1. Используешь любой инструмент для синтеза голоса из текста - есть локальные, есть онлайн через huggingface или в виде ботов в телеге:
https://2ch-ai.gitgud.site/wiki/speech/#синтез-голоса-из-текста-tts
Спейс без лимитов для EdgeTTS:
https://huggingface.co/spaces/NeuroSenko/rus-edge-tts-webui
Так же можно использовать проприетарный комбайн Soundworks (часть фич платная):
https://dmkilab.com/soundworks
2. Перегоняешь голос в нужный тебе через RVC. Для него есть огромное число готовых голосов, можно обучать свои модели:
https://2ch-ai.gitgud.site/wiki/speech/sts/rvc/rvc/
Q: Как делать нейрокаверы?
1. Делишь оригинальную дорожку на вокал и музыку при помощи Ultimate Vocal Remover:
https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/UVR
2. Преобразуешь дорожку с вокалом к нужному тебе голосу через RVC:
https://2ch-ai.gitgud.site/wiki/speech/sts/rvc/rvc/
3. Объединяешь дорожки при помощи Audacity или любой другой тулзы для работы с аудио
Опционально: на промежуточных этапах обрабатываешь дорожку - удаляешь шумы и прочую кривоту. Кто-то сам перепевает проблемные участки.
Качество нейрокаверов определяется в первую очередь тем, насколько качественно выйдет разделить дорожку на составляющие в виде вокальной части и инструменталки. Если в треке есть хор или беквокал, то земля пухом в попытке преобразовать это.
Нейрокаверы проще всего делаются на песни с небольшим числом инструментов - песня под соло гитару или пианино почти наверняка выйдет без серьёзных артефактов.
Q: Хочу говорить в дискорде/телеге голосом определённого персонажа.
Используй RVC (запуск через go-realtime-gui.bat) либо Voice Changer:
https://github.com/w-okada/voice-changer/blob/master/README_en.md
Гайд по Voice Changer, там же рассказывается, как настроить виртуальный микрофон:
https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/Voice‐Changer (часть ссылок похоже сдохла)
Q: Как обучить свою RVC-модель?
Гайд на русском: https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/RVC#создание-собственной-модели
Гайд на английском: https://docs.aihub.wtf/guide-to-create-a-model/model-training-rvc
Определить переобучение через TensorBoard: https://docs.aihub.wtf/guide-to-create-a-model/tensorboard-rvc
Если тыква вместо видеокарты, можно тренить в онлайне: https://www.kaggle.com/code/varaslaw/rvc-v2-no-gradio-https-t-me-aisingers-ru/notebook?scriptVersionId=143284909 (инструкция: https://www.youtube .com/watch?v=L-emE1pGUOM )
Q: Надо распознать текст с аудио/видео файла
Используй Whisper от OpenAI: https://github.com/openai/whisper
Быстрый скомпилированный для винды вариант: https://github.com/Purfview/whisper-standalone-win
Так же есть платные решения от Сбера/Яндекса/Тинькофф.
Коммерческие системы
https://elevenlabs.io перевод видео, синтез и преобразование голоса
https://heygen.com перевод видео с сохранением оригинального голоса и синхронизацией движения губ на видеопотоке. Так же доступны функции TTS и ещё что-то
https://app.suno.ai генератор композиций прямо из текста. Есть отдельный тред на доске >>
Шаблон для переката: https://2ch-ai.gitgud.site/wiki/speech/speech-shapka/
Пропущено 521 постов, 89 с картинками.
═══════════════════════════════
П Е Р Е К А Т П Е Р Е К А Т
═══════════════════════════════
>>1557328 (OP)
>>1557328 (OP)
>>1557328 (OP)
═══════════════════════════════
П Е Р Е К А Т П Е Р Е К А Т
═══════════════════════════════
ПЕРЕКАТ
>>1557328 (OP)
ПЕРЕКАТ
>>1557328 (OP)
ПЕРЕКАТ
>>1557328 (OP)
учусь на юрфаке. тема диплома довольно простая и, по сути, теоретическая: с поиском материалов и самим написанием проблем нет. узкое место - оригинальность текста
Основной подводный камень - работу по специальности не найдешь, т.к. своих знаний не будет, а без них - тебя гопотой и заменят.
Предыдущий тред: >>1272560 (OP)
➤ Софт для обучения
https://github.com/kohya-ss/sd-scripts
Набор скриптов для тренировки, используется под капотом в большей части готовых GUI и прочих скриптах.
Для удобства запуска можно использовать дополнительные скрипты в целях передачи параметров, например: https://rentry.org/simple_kohya_ss
https://github.com/bghira/SimpleTuner Линукс онли, бэк отличается от сд-скриптс
https://github.com/Nerogar/OneTrainer Фич меньше, чем в сд-скриптс, бэк тоже свой
https://github.com/Mikubill/naifu Бэк которым тренили noobai
https://github.com/bluvoll/sd-scripts Форк сд-скриптов для тренировки rectified flow xl чекпоинтов
➤ GUI-обёртки для sd-scripts
https://github.com/bmaltais/kohya_ss
https://github.com/derrian-distro/LoRA_Easy_Training_Scripts
➤ Обучение SDXL
https://2ch-ai.github.io/wiki/tech/sdxl/
➤ Flux
https://2ch-ai.github.io/wiki/nai/models/flux/
➤ Wan
https://github.com/kohya-ss/musubi-tuner
https://github.com/tdrussell/diffusion-pipe
➤ Гайды по обучению
Существующую модель можно обучить симулировать определенный стиль или рисовать конкретного персонажа.
✱ LoRA – "Low Rank Adaptation" – подойдет для любых задач. Отличается малыми требованиями к VRAM (6 Гб+) и быстрым обучением. https://github.com/cloneofsimo/lora - изначальная имплементация алгоритма, пришедшая из мира архитектуры transformers, тренирует лишь attention слои, гайды по тренировкам:
https://rentry.co/waavd - гайд по подготовке датасета и обучению LoRA для неофитов
https://rentry.org/2chAI_hard_LoRA_guide - ещё один гайд по использованию и обучению LoRA
https://rentry.org/59xed3 - более углубленный гайд по лорам, содержит много инфы для уже разбирающихся (англ.)
✱ LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) - проект по созданию алгоритмов для обучения дополнительных частей модели. Ранее имел название LoCon и предлагал лишь тренировку дополнительных conv слоёв. В настоящий момент включает в себя алгоритмы LoCon, LoHa, LoKr, DyLoRA, IA3, а так же на последних dev ветках возможность тренировки всех (или не всех, в зависимости от конфига) частей сети на выбранном ранге:
https://github.com/KohakuBlueleaf/LyCORIS
Подробнее про алгоритмы в вики https://2ch-ai.github.io/wiki/tech/lycoris/
✱ Dreambooth – для SD 1.5 обучение доступно начиная с 16 GB VRAM. Ни одна из потребительских карт не осилит тренировку будки для SDXL. Выдаёт отличные результаты. Генерирует полноразмерные модели:
https://rentry.co/lycoris-and-lora-from-dreambooth (англ.)
https://github.com/nitrosocke/dreambooth-training-guide (англ.) https://rentry.org/lora-is-not-a-finetune (англ.)
✱ Текстуальная инверсия (Textual inversion), или же просто Embedding, может подойти, если сеть уже умеет рисовать что-то похожее, этот способ тренирует лишь текстовый энкодер модели, не затрагивая UNet:
https://rentry.org/textard (англ.)
➤ Тренировка YOLO-моделей для ADetailer:
YOLO-модели (You Only Look Once) могут быть обучены для поиска определённых объектов на изображении. В паре с ADetailer они могут быть использованы для автоматического инпеинта по найденной области.
Подробнее в вики: https://2ch-ai.github.io/wiki/tech/yolo/
Не забываем про золотое правило GIGO ("Garbage in, garbage out"): какой датасет, такой и результат.
➤ Гугл колабы
﹡Текстуальная инверсия: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/sd_textual_inversion_training.ipynb
﹡Dreambooth: https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast-DreamBooth.ipynb
﹡LoRA https://colab.research.google.com/github/hollowstrawberry/kohya-colab/blob/main/Lora_Trainer.ipynb
➤ Полезное
Расширение для фикса CLIP модели, изменения её точности в один клик и более продвинутых вещей, по типу замены клипа на кастомный: https://github.com/arenasys/stable-diffusion-webui-model-toolkit
Гайд по блок мерджингу: https://rentry.org/BlockMergeExplained (англ.)
Гайд по ControlNet: https://stable-diffusion-art.com/controlnet (англ.)
Подборка мокрописек для датасетов от анона: https://rentry.org/te3oh
Группы тегов для бур: https://danbooru.donmai.us/wiki_pages/tag_groups (англ.)
NLP тэггер для кэпшенов T5: https://github.com/2dameneko/ide-cap-chan (gui), https://huggingface.co/Minthy/ToriiGate-v0.3 (модель), https://huggingface.co/2dameneko/ToriiGate-v0.3-nf4/tree/main (квант для врамлетов)
Оптимайзеры: https://2ch-ai.github.io/wiki/tech/optimizers/
Визуализация работы разных оптимайзеров: https://github.com/kozistr/pytorch_optimizer/blob/main/docs/visualization.md
Гайды по апскейлу от анонов:
https://rentry.org/SD_upscale
https://rentry.org/sd__upscale
https://rentry.org/2ch_nai_guide#апскейл
https://rentry.org/UpscaleByControl
Старая коллекция лор от анонов: https://rentry.org/2chAI_LoRA
Гайды, эмбеды, хайпернетворки, лоры с форча:
https://rentry.org/sdgoldmine
https://rentry.org/sdg-link
https://rentry.org/hdgfaq
https://rentry.org/hdglorarepo
https://gitgud.io/badhands/makesomefuckingporn
https://rentry.org/ponyxl_loras_n_stuff - пони лоры
https://rentry.org/illustrious_loras_n_stuff - люстролоры
➤ Legacy ссылки на устаревшие технологии и гайды с дополнительной информацией
https://2ch-ai.github.io/wiki/tech/legacy/
➤ Прошлые треды
https://2ch-ai.github.io/wiki/tech/old_threads/
Шапка: https://2ch-ai.github.io/wiki/tech/tech-shapka/
Пропущено 65 постов, 14 с картинками.
Не то что можно, а это давно решенная задача. Помню когда foocus только появился и у НАРОДА появился легкий рабочий инструмент раздевания. Принцип тот же, вопрос лишь в скиле и датасете.
бля чет тред полумёртвый, в 2024 было энтузиазма побольше
У меня нормально с продиджи не вышло, только с адафактором получилось хорошо. Но я тренировал мультяшных персонажей и стиль. Рекомендую найти на цивите тот чекпойнт которым пользуешься, взять самую удачную лору что работает с ним (в генерациях обычно висят картинки с лорами) и потом засунуть файл лоры в читалку метаданных (не помню что за сайт, гугли lora metadata read вроде бы на гите хостился проект). Потом по аналогии делаешь настройки. Ещё нюанс - если это sdxl, то не пытайся делать лору в аи тулките, острис хуесос и что-то сломал, там теперь распидор вечный с лорами на все что родилось из сдхл.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла GPT 5.4 - https://openai.com/index/introducing-gpt-5-4/
• Вышла Gemini 3.1 Pro Preview - https://deepmind.google/models/model-cards/gemini-3-1-pro/
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Risu: https://risuai.xyz/
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing
• Сисовый список: https://rentry.org/2a9c6zhi
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1538359 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1546892 (OP)
Пропущено 1503 постов, 128 с картинками.
Няма абмежаванняў кантэксту, няма абмежаванняў хуткасці.
reurl cc/N2Zj9Q
Прошлый тред: >>1533626 (OP) https://arhivach.vc/thread/1313747/
Схожие тематические треды
• SD-тред (не аниме): >>1544540 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 507 постов, 212 с картинками.
обычно там что-нибудь документальное, но в последнее время попадается и нейрослоп, так что возник вопрос об аутентичности видео. Из /v послали сюда.
А вы с какой целью интересуетеся?
ЧТО НОВОГО АКТУАЛЬНОГО
• Z-Image-Base
• FLUX.2 klein (4b и 9b)
• Z-Image-Turbo
• Flux 2
• Qwen Image / Qwen Image Edit
• Wan 2.2 (подходит для генерации картинок).
• NAG (негативный промпт на моделях с 1 CFG)
• Лора Lightning для Qwen, Wan ускоряет в 4 раза. Nunchaku ускоряет модели в 2-4 раза. DMD2 для SDXL ускоряет в 2 раза.
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/ltdrdata/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
► Предыдущий тред >>1525962 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 654 постов, 215 с картинками.
спермокат
>>1556250 (OP)
>>1556250 (OP)
>>1556250 (OP)
>зачем вы поехавшие на дистиллятах с 4 шагами ставите 20
Проверил твою теорию на 9В дистил, ну хуй знает
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1541081 (OP)
🚀 Последний обзор ИИ новостей:
📰 Главные новости ИИ
Ford запустила Ford Pro AI, ИИ-чатбот в своей телематической платформе, направленный на снижение нагрузки на менеджеров автопарка и повышение эффективности, предоставляя менеджерам автопарка информацию об эффективности расхода топлива и производительности в реальном времени.
Amazon открыл доступ к своему ИИ-ассистенту Health на главном веб-сайте и в приложении, предоставив персонализированные медицинские рекомендации всем пользователям.
OpenAI добавил динамические визуальные объяснения в ChatGPT, позволяя пользователям взаимодействовать с графикой по математике и науке в реальном времени для более глубокого обучения.
🔓 Открытый исходный код
NVIDIA планирует выпустить NemoClaw, платформу ИИ-агентов с открытым исходным кодом, которая позволяет предприятиям развертывать защищенных агентов на любом оборудовании.
Сообщество выпустило модель Qwen 3.5‑35B‑A3B «Aggressive», большую языковую модель с 35 миллиардами параметров и отключенной фильтрацией отказов.
💻 Оборудование
Sumo Digital заключила партнерство с Arm для оценки чипов с нейротехнологиями, которые обещают графику качества ПК на смартфонах.
📱 Приложения
Nosh Robotics представила Nosh One, ИИ-управляемого робота-шефа стоимостью $1500, который автономно готовит блюда из загруженных ингредиентов.
Анализ Crunchbase отмечает, что компании SaaS переходят от статических функций к рабочим процессам, генерируемым ИИ, рассматривая платформы как конкурентное преимущество.
💰 Финансирование
Шведский стартап в области юридических технологий Legora привлек $550 млн, что повысило его оценку до $5,55 млрд для расширения операций в США.
Компания Yann LeCun Advanced Machine Intelligence привлекла более $1 млрд на создание ИИ с мировыми моделями, направленного на достижение уровня рассуждений человека.
AMI Labs закрыла раунд на $1,03 млрд при оценке $3,5 млрд для разработки мировых моделей, основанных на реальности.
Компания Armadin, основанная экспертом по кибербезопасности Кевином Мандиа, привлекла $189,9 млн на создание автономных ИИ-агентов для реагирования на угрозы.
🧠 Модели
Dynin‑Omni запустила омнимодальную модель с маскированной диффузией, которая совместно обрабатывает текст, изображения, видео и речь.
⚙️ Инфраструктура
NVIDIA выпустила более 2 ПБ данных с разрешительной лицензией и рецептов обучения на HuggingFace для устранения узких мест в сборе наборов данных.
⚖️ Регулирование
Надзорный совет Meta призвал Meta улучшить обнаружение дипфейков, расширить маркировку ИИ-контента и принять стандарты C2PA для борьбы с дезинформацией.
🛠️ Инструменты разработчика
Опубликованный на Reddit линтер промптов для больших языковых моделей выявляет атаки внедрения, раздувание токенов и структурные недостатки до выпуска в продакшн.
Разработчик Мэтт выпустил Sonde, платформу код-интеллекта с семантическим разрешением, инкрементной индексацией и историей на уровне коммитов.
Google Labs представил набор бесплатных ИИ-утилит, включая Learn Your Way для персонализированных учебных пособий, доступных вне Gemini.
📰 Быстрая статистика
Amazon Health AI теперь обслуживает около 200 млн ежемесячных пользователей через веб-сайт и приложение.
📰 События
Исследователи из Фонда Поликлинического университета Агостино Джемелли представили ИИ-алгоритм на базе CatBoost для прогнозирования выживаемости пациентов с раком мочевого пузыря после радикальной цистэктомии, выявив пороговый эффект индекса системного иммунного воспаления (SII > 1000).
MIT представил гибридную систему планирования для роботов, способную выполнять долгосрочные задачи в динамических визуальных средах вдвое эффективнее существующих методов, что важно для промышленной автоматизации.
Sakana AI выпустила открытые системы Doc-to-LoRA и Text-to-LoRA, генерирующие адаптеры для больших языковых моделей за один прямой проход без повторного дообучения.
NVIDIA Jetson Thor продемонстрировал производительность до 35 токенов/сек для Qwen 3.5 (35B) и до 273 токенов/сек для Mistral 3 при параллельной обработке, укрепляя позиции платформы в «Физическом ИИ».
Ai2 выпустила Olmo Hybrid — семейство открытых 7-миллиардных моделей, сочетающих трансформеры с линейными рекуррентными слоями, что обеспечивает вдвое большую эффективность данных при обучении.
Microsoft выпустила Phi-4-reasoning-vision-15B — компактную мультимодальную модель с открытыми весами, способную решать сложные задачи по математике и науке, интерпретировать графики и навигировать по графическим интерфейсам.
GPT-5.4 достигает 87,3% успеха в задачах финансового моделирования уровня младшего инвестиционного аналитика против 68,4% у предыдущей версии.
Вся операция по маркетингу роста Anthropic в течение 10 месяцев представляла собой одного нетехнического специалиста, использующего Claude Code, и инструменты, которые сделали это возможным, продолжают накапливать эффект.
GPT-5.4 Thinking xHigh Effort занял первое место в LiveBench с показателем SOTA 80,28%.
Utopai Studios представила PAI, кинематографическую модель для длинных форматов, обещающую непрерывное видео длительностью в несколько минут с сохранением консистентности персонажей в каждом кадре и возможностью редактирования на естественном языке на протяжении всей истории.
Microsoft запустила Copilot Cowork, интегрировав Anthropic's Claude Cowork в 365 с тем же уровнем персонализации Work IQ, что и в собственном 365 Copilot.
Meta приобрела Moltbook в рамках исторической сделки по поглощению ведущей социальной сети ИИ-агентов ведущей человеческой социальной сетью.
Samsung изучает возможность «вайб-кодинга» на телефонах Galaxy, чтобы позволить пользователям настраивать не только приложения, но и весь пользовательский опыт с помощью естественного языка.
Anthropic запускает инструмент рецензирования кода на базе ИИ для Claude Teams и Enterprise.
Слушатели оценили синтетические голоса китайского стартапа выше по уровню доверия и реалистичности, чем голоса от Microsoft, Google и Amazon.
Исследование Harvard Business Review показывает, что «мозговое выгорание от ИИ» оставляет работников ментально истощёнными.
Amazon получает судебный приказ, блокирующий ИИ-агента для шоппинга от Perplexity.
После волны негатива Google добавляет переключатель, позволяющий пользователям Google Photos вернуться к «классическому» опыту поиска вместо нового варианта «Ask Photos» на базе ИИ.
Adobe представляет ИИ-ассистента для Photoshop.
Пропущено 525 постов, 119 с картинками.
однозначно есть решения более годные, чем человеческая рука ДАЖЕ для оперирования в человеческом мире.
Например два противопоставленных пальца.
Сам же концепт пальцев хорош.
Локальные языковые модели (LLM): LLaMA, Gemma, Qwen и прочие №204 /llama/
Аноним
12/03/26 Чтв 01:18:07
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1544796 (OP)
>>1541627 (OP)
Пропущено 505 постов, 58 с картинками.
Если я правильно помню, Она была про обретение самосознания ассистентом и про то что нужно жить свою мясную жизнь а не в чатботов влюбляться. От такого мы конечно далеки, хотя есть шизы, который жопати сводит с ума и заставляет думать, что они мессии/боги и прочая шиза мистических моделей мозгов отдельных юзеров.
Мы же тут по большей части холодные и без эмоциональные читатели ризонингов wait... oh well, i'ts fine. let's refine... wait!~, нас уже не удивить, тем что модельки реально имеют какие-то крохотные мозги, которыми пытаются пользоваться опираясь на промты.
>Вы локально ещё не сделали себе личную Саманту
Нет. Нас скорее ждёт сорта Кара, с продвинутым (реалистичным) телом, но тупым мозгом, способным лишь в банальный команды - помыть посуду, встать раком, вытереть ляхи после.
А настоящая искусственная инта способная к самоосознанию или к экспериментированию с окружающей реальностью это пока слишком далёкое будущее, если вообще возможное. Так что не ссы, на нашем веку Шодан за нами не придёт.
>>1553018
>скорее это продвинутая игра
База. Сейчас это именно игрушка. Очень и очень интересная. Но всё же как и любая игра она имеет ограничения. Не сможешь ты играя в ведьмака отправиться в космическое путешествие по вселенной в рамках самой игры, увы.
>>1553055 (OP)
ПЕРЕКАТ
>>1553055 (OP)
ПЕРЕКАТ
>>1553055 (OP)
FLUX.2 ДРОПНУЛ! 32 МИЛЛИАРДА ПАРАМЕТРОВ. ПРОВЕРЯЙ СВОЙ VRAM, НУЖНО 64 ГБ
Аноним
# OP
26/11/25 Срд 12:08:58
№
Ответ
https://www.youtube.com/watch?v=cvhO9yJk3M
### Главные особенности и боль VRAM
1. КОЛОССАЛЬНЫЙ МАСШТАБ И ПАМЯТЬ. FLUX.2 (версии Dev/Pro) обладает беспрецедентным масштабом в 32 миллиарда параметров (32B). Это значительный скачок по сравнению с FLUX.1 (12B параметров).
2. ТРЕБОВАНИЯ VRAM. Для полной загрузки модели в стандартной точности (FP16/BF16), она требует более 80 ГБ VRAM. Даже в режиме с низким потреблением VRAM (lowVRAM mode) требование составляет 64 ГБ VRAM.
3. VRAM — БИНАРНЫЙ КРИТЕРИЙ. Объем VRAM является самым критическим аппаратным ресурсом, поскольку это бинарный критерий ("работает" / "не работает эффективно").
4. СКОРОСТЬ УБИВАЕТ ОФФЛОАДИНГ. Если веса модели не помещаются в VRAM, система вынуждена использовать механизм Weight Streaming (потоковая передача) из системной RAM. Поскольку пропускная способность системной RAM в 15–20 раз ниже, чем у VRAM, это приводит к катастрофическому падению производительности, увеличивая время генерации изображения с секунд до минут.
### Решения для локального запуска
ОПТИМИЗАЦИЯ FP8. NVIDIA и Black Forest Labs сотрудничали для квантования модели в формат FP8, который снижает требования к VRAM на 40% (до ~38–44 ГБ). Флагманская RTX 5090 (32 ГБ) считается лучшей видеокартой для FLUX.2 на потребительском рынке.
КВАНТОВАНИЕ NF4/GGUF Q4. Владельцы карт с 24 ГБ VRAM (RTX 4090, RTX 3090) могут использовать 4-битное квантование, такое как NF4 / GGUF Q4, которое снижает требование до ~20–24 ГБ VRAM.
СИСТЕМНАЯ RAM. Поскольку модель редко помещается в VRAM потребительских карт, системная оперативная память (RAM) становится критически важной. При агрессивном оффлоадинге потребление RAM может достигать 40 ГБ и выше. Для стабильной работы настоятельно рекомендуется иметь 64 ГБ оперативной памяти (RAM).
### Революционные возможности
Мульти-референс. Модель имеет нативную поддержку использования множества изображений в качестве входных данных, позволяя ссылаться до 10 изображений одновременно. Эта функция обеспечивает лучшую согласованность персонажей, продуктов и стиля.
Гиперреализм 4MP. Поддерживается генерация и редактирование изображений в разрешении до 4 мегапикселей (4MP), что позволяет создавать фотореалистичные изображения даже в большом масштабе.
Точная Типографика. FLUX.2 превосходит конкурентов в области рендеринга текста, надежно создавая сложную типографику, инфографику, логотипы и макеты UI/UX с разборчивым мелким текстом.
Хирургический Контроль. Поддерживается структурированный JSON-промптинг для точного контроля над композицией и деталями камеры, а также возможность указания точных цветов, используя HEX-коды.
УПРАВЛЕНИЕ СКОРОСТЬЮ. Версия FLUX.2 [flex] позволяет регулировать количество шагов (inference steps) и шкалу руководства (guidance scale tuning), чтобы обменивать скорость на точность.
ГДЕ БРАТЬ: Открытые веса FLUX.2 [dev] (32B) доступны для сообщества. Модель поддерживается в ComfyUI, который является самой мощной и модульной GUI для диффузионных моделей и имеет функции оффлоадинга и квантования.
*
Представьте, что FLUX.2 — это профессиональная студия фотопечати, которая может работать с изображениями 4MP. Она требует, чтобы исходные файлы (веса модели) были загружены в супербыструю память (VRAM), но объем этих файлов (до 90 ГБ) настолько велик, что ваш домашний ПК не может вместить их целиком. Приходится постоянно подкачивать данные с медленной системной памяти (RAM), из-за чего печать одной фотографии (генерация) занимает минуты вместо секунд.
Пропущено 3 постов, 3 с картинками.
>требует более 80 ГБ VRAM. Даже в режиме с низким потреблением VRAM (lowVRAM mode) требование составляет 64 ГБ VRAM
И как это использовать?
мимобомж 32VRAM 64RAM
Оп и другие, нужна помощь, хочу отредактировать свои фотки, типо сделать себя в другом месте или свануть своё лицо с кем-то другим, но самое важное чтобы это было вообще нельзя было человеческим глазом отличить, какую ИИ мне вы посоветуете?