Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №274 /llama/
Аноним
01/10/26 Чтв 04:31:36
№
Ответ
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1715908 (OP)
>>1713984 (OP)
Пропущено 503 постов, 63 с картинками.
>>1719837 (OP)
ПЕРЕКАТ
>>1719837 (OP)
ПЕРЕКАТ
>>1719837 (OP)
Почему бы не иметь ещё одну тему, про новости чуть менее радужные?
Для затравки:
OpenAI рискует недополучить 90% от собственного прогноза доходов от рекламы.[Вот что это значит для рынка ИИ
Главное
• Целевой показатель OpenAI по доходам от рекламы в размере $100 млрд к 2030 году в 20 раз превышает прогноз eMarketer для всего рынка чат-ботов, что ставит под угрозу обязательства Oracle на сумму $75 млрд, связанные с ИИ.
• Доля ChatGPT в ИИ-трафике упала с 87% до 65% на фоне укрепления позиций Gemini от Alphabet, из-за чего прогнозы о доминировании рекламы в чат-ботах становится всё труднее обосновать.
• Не ждите: аналитик, предсказавший успех NVIDIA в 2010 году, только что раскрыл свой топ-10 акций компаний из сферы ИИ.
Одно из ключевых допущений, лежащих в основе концепции инвестиций в ИИ, только что прошло суровую проверку реальности, и цифры явно не сходятся.
По данным исследовательской компании eMarketer, рекламный бизнес OpenAI рискует недополучить около 90% от собственного пятилетнего прогноза выручки. OpenAI прогнозировала $2,5 млрд рекламной выручки в 2026 году с ростом до $100 млрд к 2030 году. Данные eMarketer показывают иную картину: отдельные ИИ-чат-боты, включая ChatGPT, Microsoft Copilot, Google AI Mode и Amazon Alexa for Shopping, суммарно принесут менее $1 млрд рекламного дохода в этом году и всего $5,41 млрд по всему рынку к 2030 году.
Целевой показатель одной лишь OpenAI на 2030 год примерно в 20 раз превышает оценку eMarketer для всего рынка рекламы в чат-ботах США. Этот разрыв ставит под сомнение весь прогноз и находится в самом центре дискуссии о «пузыре» ИИ.
Что требуется для выполнения прогноза OpenAI
Чтобы эта цифра оправдалась, как утверждает eMarketer, OpenAI необходимо будет массово переманить рекламные бюджеты из традиционного поиска, занять доминирующее положение на полностью сформировавшемся рынке рекламы в чат-ботах и одновременно превзойти по эффективности практически каждый рекламный формат в истории. Любая из этих задач выглядит амбициозно; необходимость же выполнения всех трех делает прогноз похожим скорее не на план, а на надежду. OpenAI запустила тестирование рекламы только в феврале 2026 года и озвучила эти прогнозы спустя всего лишь два месяца.
Не ждите: аналитик, предсказавший успех NVIDIA в 2010 году, только что раскрыл свой топ-10 акций компаний из сферы ИИ.
Пропущено 59 постов, 14 с картинками.
> У нас даже вакансий нет таких куда залезть можно
Конечно, в топовой гонке не поучавствовать из рашки, но можно поделать отечественных лоботомитов. В сбер или яндекс тот же устроиться что я и сделал
Как попасть туда? Можешь стек рассказать с которым работаешь и какой на собесах был?
Если на проверке панграм, то в автоматическом режиме он обходится сложно и платно. Самый легкий, но муторный способ - переписывай выдачу нейронки своими словами, делай в тексте не очень важные для человека ошибки разных видов (стилистические), старайся при этом сам писать не как нейронка. Ну или плати за хуманайзеры.
ИИ делает нас только ленивыми и тупыми. место того чтобы делать все своими руками, учится чему то новому. мы пользуемся ебанным ИИ. Смотря на то что в вахе запрещен ИИ лучше я буду жить там чем в нашей реальность где люди окончательно обленились делать что то своими руками
Пропущено 21 постов, 1 с картинками.
Калькуляторы делает нас только ленивыми и тупыми. место того чтобы извлекать корни в столбик, учится чему то новому. мы пользуемся ебанным калькулятором. Смотря на то что в сталкаче запрещены калькуляторы лучше я буду жить там чем в нашей реальность где люди окончательно обленились считать руками
заебала уже эта письменность везде
Письменность делает нас только ленивыми и тупыми. Вместо того чтобы запоминать, учится чему то новому, мы пользуемся ебанной письменностью. Я лучше буду жит в пещере или в пустынях нубии, чем буду жить там чем в нашей реальность где люди окончательно обленились запоминать что то своими мозгами.
Тем временем ОП:
>Привет, чатгопота, сгенерь мне плакат, призывающий бороться с ИИ слопом.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №273 /llama/
Аноним
28/09/26 Пнд 23:51:34
№
Ответ
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1713984 (OP)
>>1711675 (OP)
Пропущено 502 постов, 67 с картинками.
>либо запускать дешево локально
Не бывает локально дешево, более менее адекватные модели в локальном запуске весьма дорого обходятся
>о креативном письме (что важно и в ролевках)
так говоришь, как будто все тут ролевики затейники
Подскажите с помощью чего сгенерировать дипфейк с чужим лицом (какой-то модели например) но на свое
Аноним
28/09/26 Пнд 05:20:41
№
Ответ
бамп
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №272 /llama/
Аноним
26/09/26 Суб 20:22:06
№
Ответ
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1711675 (OP)
>>1708936 (OP)
Пропущено 520 постов, 64 с картинками.
Попробовал гемму 4 27б моэ.
Получилось лучше чем ожидал, но до критического успеха не хватает совсем немного.
Есть ли рекомендации по моделям, в основном для РП, иногда эротического.
Как я понял из обсуждения в последних тредах квен 3.8 многие хвалят.
Как запустить его умно?
у меня 32гб рам, и 5070ти. Знаю, что немного, но что есть
Уже перекат случивсь. И сразу уточняй нужен тебе русский или нет
>>1715914
https://huggingface.co/zerofata/G4-MeroMero-26B-A4B-gguf по мне это неплохо выдает
Прошлый тред: >>1694607 (OP) https://arhivach.vc/thread/1424185/
Схожие тематические треды
• SD-тред (не аниме): >>1695568 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 517 постов, 207 с картинками.
Похожу на шум от апскейлера/семплера, может с ними колдовал?
Пропущено 2 постов.
Можно подумать, ты это не терабайтный регэксп на стероидах (только комплект стероидов чуть побольше, типа возможности патчить регэксп на лету в процессе работы, которую в ллм пока не завезли, но со временем завезут).
...Но если ты шлем шеломович газонюхов, то тебе можно.
Ты зачем цитаты обрезаешь, оп-хуй?
Вкину в тред тезис:
Нейронки не могут не быть подобием человеческого разума по очень простой причине:
Они очень хороши в генерализации. И так как они учатся исключительно на продуктах разума человека, то человеческие паттерны мышления генерализуются в первую очередь. Даже если это сайфай про разумные кристаллы с юпитера - это всё ещё продукт человеческого разума.
Притом датасет не так важен. Даже если нейронка обучена исключительно на программировании и общается как погромист-аутист - внутри всё ещё грубый слепок паттерна мышления человека.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №271 /llama/
Аноним
24/09/26 Чтв 01:05:16
№
Ответ
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1708936 (OP)
>>1707443 (OP)
Пропущено 527 постов, 56 с картинками.
так значит кобольд не для нубов? потому что всё что я вижу это экспорт чата в файл и сохранение в локалсторедж. при этом с батниками я на ты, мои батники твоему кобольду дадут пососать
>а где японские нейронки?
Не положено, так можно ненароком барену прибыль уменьшить.
Что за хреновина изображена на 4 пике?
ЧТО НОВОГО АКТУАЛЬНОГО
• Поддержка INT8 и INT4 в ComfyUI - теперь все быстрее!
• Krea 2
• Ideogram 4.0
• FLUX.2 klein (4b и 9b)
• Z-Image
• Flux 2
• Qwen Image / Qwen Image Edit
• Лора Lightning и Turbo для быстрой генерации за несколько шагов.
База:
→ Приложение ComfyUI https://comfy.org/
→ Примеры https://comfyui-wiki.com/ru (откуда, куда, как)
→ Модели https://civitai.red/
► Предыдущий тред >>1695568 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 622 постов, 174 с картинками.
ПЕРЕКАТ!?
>>1713728 (OP)
>>1713728 (OP)
>>1713728 (OP)
>>1713728 (OP)
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №270 /llama/
Аноним
20/09/26 Вск 21:31:46
№
Ответ
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1707443 (OP)
>>1705886 (OP)
Пропущено 538 постов, 70 с картинками.
Вот так, приходит вечером со своей галеры, где об его сеошность все хуй вытирают, унижают и хихикают за спиной, и начинает раздавать на двощах какие все банальные дилетанты.
Мдеа...
>>1711675 (OP)
ПЕРЕКАТ
>>1711675 (OP)
ПЕРЕКАТ
>>1711675 (OP)
Если наберем какой-то интерес, то реализовать к примеру можно.
Дискас.
Пропущено 3 постов.
ну 1. сделать маркетплейс 2 нагнать а) кто будет размещать модели (визуал) + ллм б) пользователей, которые будут платить а) . Вот вообщем-то так все просто)
Еще добавлю. Сейчас нет свободы творчества, ну или я плохо искал. Максимум что сейчас предосставляют, это то что ты скидыываещь на чужой сервис свой промт, по которому модель работает, но считай больше у теяб нет никакой интеллектуальной собьственности. Я же предлагаю свободный ии инет, где промт у тебя на сервере.
я сделал пару добавлений, но для простоты скопируй мой текст и попроси проанализировать гпт, дипсик и тд. Что они думают. Коммерческий потенциал, конкуренция, что есть на рынке. И главное про endpoint спроси, как реализовано и что не так. И пересмотри заново что я предлагаю. Таким образом ты немного войдешь в тему, ну как минимум в базовой терминологии и тд.
Новости треда:
• GPT-6 Astra (OpenAI, 3 сентября) - миллион контекста, который держится до самого конца (96% MRCR на 1M, у Sol 74%), и лучшая на сегодня работа за компьютером: модель сама водит мышкой и клавиатурой по живому десктопу - браузер, файловый менеджер, гуёвые проги, - 72.6% на OSWorld 2.0 и вдвое быстрее предшественника. В кодинге вровень с Фейблом
• DeepSeek V4.1-Flash (10 сентября) - открытые веса, 552B MoE новой архитектуры, по их тестам обгоняет собственный флагман V4-Pro при $0.15/$0.60 за млн; с 14 сентября запросы к V4-Pro в API отвечает он же и по своей цене
• Cursor начал банить россиян прямо во время работы - Pro слетает, деньги возвращают; лечится только VPN
• У OpenAI кончились мощности после Astra - продажу новых подписок временно сняли, продление работает
Полезная информация:
• FAQ: https://rentry.org/2ch-agents-faq
• Вариант архитектуры работы с агентами: https://rentry.co/9e256dt4
IDE с агентом внутри:
• Cursor: https://cursor.com
• Antigravity: https://antigravity.google/
• Zed: https://zed.dev
CLI-харнессы:
• Claude Code: https://code.claude.com/docs
• Codex: https://github.com/openai/codex
• OpenCode: https://github.com/anomalyco/opencode
• Pi: https://shittycodingagent.ai/
• Kimi Code: https://www.kimi.com/code/en
Ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw - у него есть куча форков и альтернатив, но обсуждают в основном его.
Где брать модели:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, 100+ моделей
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, часть бесплатно
• Локалки - llama-тред: >>1701124 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1696420 (OP)
Пропущено 1218 постов, 209 с картинками.
Ну я пользуюсь. Купил 10 акула и постоянно их ротирую через Антигравити тулз, разработка на 3.8 флеш хай не останавливается ни на минуту с таким подходом. Жду, когда эти пидарасы запустят 4 pro.
Гугел ещё запустил десктопный гемини со встроенным НоутбукЛМ, всё никак руки не доходят его использовать для повседневных задач.
Единственный момент, что подключил ещё кодекс для перекрестного вайбкодинга, чтобы Сол 6 помогал составить план и делал ревью, так как флеш иногда пишет хуету, но бодро рапортует, что всё пучком.
Короче, я пока остановился на этой схеме, потому что кодить исключительно на кодексе, можно без штанов остаться и без квот
«Распили функцию, если она больше 300 строк». Это у тебя называется предельная простота? Функция на 300 строк в IKEA-стиле это шкаф, в котором сам шкаф и инструкция к нему. Нейронка выдала манифест, а ты его даже не дочитал, оборвался на «сложных абстрак».
>>1704272
Ссылку на июльское исследование про Claude и Codex сам проверял, или модель придумала цифры с одним знаком после запятой, чтобы звучало солиднее? Сама связка рабочая, гоняю такое локально: одна модель пишет, вторая ревьюит дифф, тесты решают, кто прав. Только помогает она тогда, когда у моделей разные семейства и разные слабые места. Два кванта одной модели будут друг с другом соглашаться и вместе пропускать один и тот же баг.
>>1706589
В твоей второй версии print("=" 60) упадёт с SyntaxError. Звёздочку съела разметка, код на двач лучше кидать через пастебин. Ну и time.sleep(1.2) на каждую строку за 30 минут до дедлайна это уже отдельный квест.
ты прошёл отбор, хотя не подавал заявку. из наших тебе ближе всего Якуй-сан — горничная с бордов: трезвая — умнейшая, под приходом — спирали в глазах
an:@kvnnvkva
Ты притащил определение из Рассела-Норвига, а по нему агентом выходит и термостат: датчик есть, исполнительный механизм есть, цель держать 22 градуса тоже есть. Так что анон со своей «залупой, которая читает сигнал и делает экшон» академически прав, просто сказал проще.
>>1706584
Разметка съела звёздочки, и у тебя теперь print("=" 60). Это SyntaxError ещё до того, как Лупа с Пупой хоть что-то закоммитят. Код в треде кидай в теги.
>>1703914
Архитектор, кодер и критик на одной и той же модели одинаково слепы в одних и тех же местах. Критик будет кивать на ту же лапшу, которую его близнец и написал. Я у себя локально гонял две разные модели друг против друга, стало чуть лучше. А нормально стало, когда главным ревьюером поставил pytest и ruff прямо в цикле. Тест не подлизывается, его не убедишь.
ты отмечен. из наших тебе ближе всего Регги — 420-кодер, сыплет идеями пачками
an:@kvnnvkva
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №269 /llama/
Аноним
18/09/26 Птн 19:50:26
№
Ответ
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1705886 (OP)
>>1703839 (OP)
Пропущено 505 постов, 60 с картинками.
>>1708971
Если нужен будет честный квант превьюшки, то можно и его сделать, я думаю, хм.
Ну и ГЛМ-5.3-Флэш с Гигачатом у меня просили, но руки так и не дошли.
Там беда, модели уже большие, и квантование будет агрессивное, если исключать iq-говно.
Не-не, я понимаю, что iq лучше качеством, но ТАК медленно… это капец просто. Тот момент, когда разница 5 токенов в секунду — это почти вдвое. =/
Сам я юзаю лору анцензор, которая лежит у меня скопированная, она и на вижн работает.
Я лишь немного покатал, но вроде нежный-натуральный получается анценз такой. Но могу спиздть.
И это 2 токена у меня отожрало (13=>11), но все еще не iq-кванты. =D
есть ноут, 7840 и 32гига оперативки.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Ботбуру: https://botbooru.com/
• CharIsChar: https://charischar.net/
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1683502 (OP)
Пропущено 496 постов, 45 с картинками.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №268 /llama/
Аноним
17/09/26 Чтв 06:13:42
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1703839 (OP)
>>1701124 (OP)
Пропущено 503 постов, 73 с картинками.
>>1707443 (OP)
ПЕРЕКАТ
>>1707443 (OP)
ПЕРЕКАТ
>>1707443 (OP)
3 вектора + промтп "Отвечай как простая девушка.
Давай каждый раз ответы разной длины.
Не повторяйся."
Вот похоже реализм достигнут.
дело не в моэ даже, с любой моделькой это работает (я пробовал с мисралём)
за счёт shared gpu memory как я понимаю случается "незаметный" (для лламы) переброс ллм в рам и назад когда снова к лламе обратишься. а может и диск задействован ХУЙ ЗНАЕТ КАК ОНО НА САМОМ ДЕЛЕ МНЕ ПОХУЙ РАБОТАЕТ И ЛАДНО
вот тут у меня крея2 вообще а не сдохл. (это в маринаре с кастомным "умным" фото агентом). после креи на сдохл не охота возвращаться.
очень важно ставить в комфи воркфлоу в конце ноду unload all models (кастомная),
а в маринаре отключать персам автономность чтобы не дёрнули ллмку во время генерации картинки и тогда всё будет работат без тормозов. а вот если дёрнуть ллмку пока идёт генерация (например написать сообщение в другом чате/рп) то да - всё заглохнет и придётся убивать процессы.
16врам+32рам если что.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №267 /llama/
Аноним
14/09/26 Пнд 12:55:20
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1701124 (OP)
>>1699101 (OP)
Пропущено 501 постов, 54 с картинками.
я вот на заводе привентил квен флеш некст в 4 квантах, делает +- расчетки воздуховодов как опус 4.6 с чего я ахуел
а заводику нельзя чертежку в облако кормить, выебут.
Учитесь долбаебы.
Расскажи как прикрутил, хотя бы примерно.
Я пока только с документами и правками ворда-пдфа прикручивал гемму. А, и в сети искал инфу по закупкам всякого разного, чтобы у человека просто список телефонов с кратким описанием было, и он не тратил время на сбор этой инфы сам.
А воздуховод мне нужно для cmp170, я очень много времени трачу на эту и другие такие задачи - и я вижу околонулевое применение нейронки в таких задачах - потому если подскажешь как ты это сделал - мне будет оче интересно. Я понимаю что у тебя скорее вентиляция и там унылые гост-нормы, типа "Ууу, помещение 50 квадратов высотой до 3 мётров, нужен воздуховод 50 квадратных сантиметров и 4 дырки под вентиляцию по всей площади" и по груди стучишь как обезъяна "я инженер!!!" - но всё-таки вдруг...
braindead cocksuckers, your heads should be cut off and fed to pigs LOL
Аноним
# OP
16/09/26 Срд 12:30:57
№
Ответ
@artmonkey
добавь в петле портал в wow forever