Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №217 /llama/
Аноним
09/04/26 Чтв 16:35:33
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1578421 (OP)
>>1576799 (OP)
Пропущено 497 постов, 79 с картинками.
>Проверь наличие <|think|> в системном промпте. Её можно попросить думать от лица юзера, но этот токен прямо действительно заставляет её, если системном промпте. она к нему очень чувствительна.
Короче, что то поломано. То ли таверна, то ли квант, то ли жора. Потому что после очистки чата и по новой, всё работает. Потом опять чистишь, опять не появляется.
Не говори так, братик!
У меня гемма как раз так и пишет: Я ХОЧУ, ЧТОБЫ ТЫ ВЫЕБАЛ МЕНЯ В ПИЗДУ. ВИДИШЬ, КАКАЯ ОНА ВСЯ МОКРАЯ?
ДА! ДА! ДОЛБИ ГЛУБЖЕ В МОЮ МАТОЧКУ! ОБРЮХАТЬ МЕНЯ! ЗАСТАВЬ МЕНЯ ВЫКРИКИВАТЬ МОЁ ИМЯ! ДА!
ТЯЖЁЛЫЕ ЯЙЦА СТУЧАТ ПО ЕЁ УЗКОЙ ПИСЕЧКЕ. ЕЁ ЯЗЫЧОК ВЫВАЛИВАЕТСЯ, ЛИЦО СОВСЕМ РАСКРАСНЕЛОСЬ, ОТТЕНОК НАЧАЛ ПЕРЕХОДИТЬ В ФИОЛЕТОВЫЙ ОТ ХВАТА ТВОЕЙ МОГУЧЕЙ РУКИ НА ЕЁ ТОНЕНЬКОЙ ШЕЙКЕ.
>>1582560 (OP)
ПЕРЕКАТ
>>1582560 (OP)
ПЕРЕКАТ
>>1582560 (OP)
Находил какой-то, юзал через думающий джемени, и вроде лучше, чем было, гигачек отдельные фрагменты показывает, как написанные человеком, но в совокупности, говорит, что текст иишный.
Так вот, если у кого-нибудь есть рекомендации - подскажите пожалуйста!! Очень выручите.
Пропущено 1 постов, 1 с картинками.
1) Структура текста первична. Пиши план, желательно руками, выстраивай функцию. Только потом по нему генерь портянку. По контрасту "складный текст - всратая структура" нейрослоп считывается в первую очередь.
2) Нужна самая умная модель, доступная тебе. Лучше антропик или гугл.
3) Выбирай существующую стилистику: Довлатов, Иванов, Абгарян, Гришковец. Выбирай достаточно известных, чтобы попали в датасеты.
4) Уже сверху наваливай ошибок: стилистических, лексических, грамматических, пунктуационных.
Поговаривают, если сказать ChatGPT: "напиши такой-то текст в моём стиле", - он это сделает. Вроде как он имеет доступ к прошлым диалогам. Более того, тот же человек, который мне это рассказал, упомянул, что такой текст может пройти антиплагиат.
Во-первых, стиль диалога с нейронкой это не стиль курсача. Во-вторых, стиль анона, чей крик о помощи здесь обсуждается, это слоп, состоящий из бездумных филлиров: "крик о помощи", "как бы банально это не звучало" (правильно пишется через "ни"), "очень выручите". Предложения построены неоптимально, из-за чего вынужденный переизбыток запятых.