Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №230 /llama/
Аноним
02/05/26 Суб 17:24:12
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Гайд для новичков: https://rentry.org/2ch-llama-inference
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
• Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1601740 (OP)
>>1600155 (OP)
>>1603475 →
Кобольд прав так-то. Для нюфани и так тяжело, его перегружают совершенно новой для него информацией в огромном объеме, а тут еще и В КОНСОЛЕЧКУ надо лезть, команды какие-то вводить. Пощади хлебушков - им в гуй тыкать привычнее. В самом начале можно расписать, как скачать кобольд и какие галочки протыкать чтобы запустить Гемму, а позже сделать уточнение, что если хочешь сделать всё правильно и кошерно, то вот тебе инструкция к лламе.
>>1603484 →
Не сложно, просто раздражает и заёбывает.
Если брать прыщавые аналогии, то это будет "качаешь свою ос от васи петрова из 7б"
А так с подключением, свежие билды выкладываются каждые пару часов https://github.com/ggml-org/llama.cpp/releases
>>1603487
Когда-то давно человек вместо срачей сделал быстрогайд по кобольду и все были довольны.
Ну ты сам-то смотрел по своей ссылке? Там нет готового билда с поддержкой куды под линух. Надо каждый раз собирать самому. За виндобояр рад конечно, но не от всего сердца.
Да он долбоёб потешный, нахуй с ним говорить. Сам на коленках тут ползал и просил ему помочь, а как только помогли так сразу грудь колесом и делайте сами. Типичный хуесос. Впредь игнор ему, а не советы.
>мелкобуква
Хуже болезни нет.
А на деле гайд на кобольда просто не нужен. Буквально запускаешь и пользуешься.
> • Гайд для новичков: https://rentry.org/2ch-llama-inference
Все равно слишком много букв, быстрый старт в самом низу, дублирование дефолтных параметров запуска, ngl и ncmoe, большой контекст.
>А на деле гайд на кобольда просто не нужен. Буквально запускаешь и пользуешься.
Похоже местные кобольды потеряли на этом недели и потому не согласны, иначе хз чё так порвались
Ой, да один хуй спасибо и на этом. Все лучше чем то говно когда я вкатывался.
Под винду понятно, но прыщавый, который боится двух команд и не желает топ перфоманс под свое железо?
>>1603498
> слишком много букв
Это хорошо, дает нужную базу ньюфагам и закрывает многие вопросы. Пусть обсуждения будут более высокого уровня чем как какать и агишиза.
На модели не выкладываются семплеры, в таверне в 90% случаев нет темплейта, под тот же эир даже, а как ебаный темплейт сделать даже опытные кумеры могут голову ломать.
И это просто самое начало чтобы запустить модель, а если она начнет выебываться и как эир срать нарративов бесконечно?
По кобальду: Я вот начинал с кобольда и меня бы тут сейчас не было если бы не он
> Я вот начинал с кобольда и меня бы тут сейчас не было если бы не он
Я изобрету машину времени и отправлюсь в прошлое, чтобы уничтожить Кобольда в зародыше.
> Это хорошо, дает нужную базу ньюфагам и закрывает многие вопросы.
Не дает, ньюфаг через пять минут закрывает страницу с простыней и идет спрашивать сюда. И правильно делает, в принципе.
> Не дает, ньюфаг через пять минут закрывает страницу с простыней и идет спрашивать сюда
В таком случае, это проблема ньюфага. Когда я вкатывался - прочитал всю шапку. В любом случае, говоря откровенно, гайд я писал для себя: если будет ньюфаг задавать вопрос, покрытый в гайде, я смело буду его игнорировать. Если там иной вопрос - отвечу и постараюсь помочь.
Все вопросы гайдом не покрыть, действительно. К слову, простыню ему читать даже необязательно. Там готовый батник для запуска конкретной модели и ссылка на него в самом начале простыни, я не представляю, что может быть легче. Кобольд уже давно висит в шапке, весь сыр-бор ни о чем.
>говоря откровенно, гайд я писал для себя
>если будет ньюфаг задавать вопрос, я смело буду его игнорировать
Тотальное чмо.
Порвались кобольдоненавистники же.
>>1603502
>под тот же эир
Если честно, я даже не помню уже, кто его выпустил. Даже загуглить не вышло.
Ладно, ты напиздел. Всё там есть уже год.
>>1603507
>идет спрашивать сюда
И его обоссывают.
>Порвались кобольдоненавистники
Классика треда. По кд корёжит маленьких.
> гайд я писал для себя
И это очень заметно.
> ам готовый батник для запуска конкретной модели и ссылка на него в самом начале простыни
В самом конце.
>Когда я вкатывался - прочитал всю шапку
>задавать вопрос, покрытый в гайде, я смело буду его игнорировать
Святая база. Хлебушков с вопросами, ответы на которые есть в шапке, тоже либо игнорю либо тыкаю носом в шапку. Ибо совсем уж охуевать-то не надо.
>Необходимый минимум - 16гб оперативной памяти и видеокарта с хотя бы 8гб видеопамяти
Вот это всё же лучше убрать, имхо, или сделать уточнение, что это необходимый минимум под РП. Та же Гемма e4b в Q8_0 весит 5гб (а Q4-Q6 и того меньше) и очень шустро бегает на проце.
Ну то есть скачать модель, запустить с небольшим контекстом, охуеть с того что МОЙ КУДАХТЕР СО МНОЙ РАЗГОВАРИВАЕТ можно даже на 8гб озу. (А с 16гб озу - там и министральку 14b в Q4 можно погонять и даже неторопливо порпшить с ней. Без гпу, да). А там если понравится - то можно и железо обновить по такому случаю.
В общем не отпугивай новичков таким безапелляционным заявлением в самом начале гайда. Лучше написать что жизнь есть на любом железе, просто чем оно хуже - тем на бОльшие компромиссы придется пойти.
>На модели не выкладываются семплеры
На 90% моделей выкладываются создателями, если нет - то анслот это делает.
>в таверне в 90% случаев нет темплейта, под тот же эир даже, а как ебаный темплейт сделать даже опытные кумеры могут голову ломать.
Чат комплишен.
Да если человек впринципе хочет запустить на своем железе, просто ии пощупать, то сойдет буквально любое железо. Гигов от 4 рам.
Да это может быть медленно, а может наоборот быстро, если разобраться.
Тот же министраль 3b в 4км весит 2 гига вместе с кешем, поболтать хватит. Даже агента погонять, кек. И это на процессоре. С видеокартой обработка промпта станет уже быстрее, причем с любой, даже встроенка иногда сойдет на вулкане.
---------------------------
Гайд неплох, но хуйня в описании по требованию железа, выбор начальной сетки так же не очень, слишком большая так еще и мое.
И главное - вместо простейшего гайда в начале для хлебушков с четкой инструкцией и картинками как запустить сетку в том же кобальде без ебли и перегрузки информацией в начале - простыня текста.
Сетка в примере должна быть надежной, простой и легкой, какой нибудь qwen 3.5 4b или министраль 3b. Что бы новичек понял как запускать хоть какую то нейросеть, и что бы быстро работала даже если что то не так настроит.
А уже ниже должен быть гайд расписанный подробно, с теми же сетками или несколькими на выбор, просто набор ссылок с описанием что брать в каких случаях по железу.
Нужен айсберг по вкату в локальные нейросети, с простого в сложное. А не наоборот.
А еще мелкую нейросеть быстрее скачать, что тоже важно для обладателей отсутствия нормального интернета. А сейчас с ним проблемы почти везде.
Отсутствие большой паузы при вкате по гайду так же важно.
> Вот это всё же лучше убрать, имхо, или сделать уточнение, что это необходимый минимум под РП
В руководстве рассматриваются общие задачи. Я протестировал Гемму 4 26б и в Q4 кванте, она в целом может писать простые скрипты для любых скриптовых языков. Добавил отдельную сноску, что запуск возможен на почти любом железе (что правда), но я считаю это формальностью. Каких результатов можно добиться на некрожелезе, кроме заветного nods? Зачем?
>>1603553
> Сетка в примере должна быть надежной, простой и легкой, какой нибудь qwen 3.5 4b или министраль 3b
Что человек будет с этим делать? Он потратит время на прочтение целого гайда, чтобы запустить лоботомита, который ничего не умеет. У меня задачей было дать новичку что-то, с чем он может действительно взаимодействовать и чего-то добиваться. 4b лоботомиты даже для автокомплита плохо работают.
>>1603447 →
Проверь еще раз, пожалуйста. Вроде бы все учел и внес правки.
За исключением Куды 13.1, на моей 4090 на Лламе она работает коряво: скорость генерации в среднем медленнее и в целом менее стабильные скорости и pp и tg, с бОльшим разбросом, чем на 12.4. В чем кроется проблема не изучал, сижу на 12.4.
>>1603449 →
Руководство не про загрузку, пользователи разберутся. Кому как удобнее, я всего лишь предложил то, что сам использую.
Кобольдам и прочим недовольным, что сложно - просто напомню, что Кобольд остается в шапке, никто его оттуда не убирает. Он настолько прост, что гайды ему никакие не нужны. Не согласны - сделайте свои гайды, все будут рады. У нас разное видение того, что нужно делать.
>А еще мелкую нейросеть быстрее скачать, что тоже важно для обладателей отсутствия нормального интернета
Почему не хочешь позаботиться о тех, кто на хф вообще зайти не может? Квн ключи им раздавать? А что делать тем, у кого трафик на интернет кончился? Вот как у >>1603361 →
Яхуею с такого фидбека, не знаю чё и хуже, это или кобольды
> Почему не хочешь позаботиться о тех, кто на хф вообще зайти не может?
Такие и гайд открыть не в состоянии, потому изначально отсеиваются. И ладно, думаю. Тут действительно гейткип, ничего не поделаешь.
> Яхуею с такого фидбека
Есть такое.
Пробовал кто, какой квант влезет в 16гб врам? Как у него с контекстом то, как у квена или толстый?
Ленивая жопа, картинки не сделал. Их туда на самом деле много куда можно вставить.
Дальше только совсем душнить, лень. Лучше посмотреть за общим фидбеком и на что новички будут напарываться. Алсо
> на Windows нужно пользоваться диспетчером задач для мониторинга потребления видеопамяти
он иногда ерунду показывает. Лучше любым софтом для мониторинга (хоть тот же gpu-z) и смотреть не только за фактическим потреблением, но и за нагрузкой на шину. Если она под 100% во время генерации (не процессинга, при выгрузке на проц там идет стриминг весов), значит перебор.
Этот вопрос стоит даже отдельным заголовком подсветить, а то с ним часто сталкиваются.
Я скачал ориг веса, и чёт даже запускать лень. Вижена нет, вышло из ibm, звучит будто уже ред флаги
> 4b лоботомиты даже для автокомплита плохо работают.
Тут ты пиздишь как дышишь, ты не запускал новые сетки раз так считаешь.
Еще раз - начальный гайд должен быть простой, с назовем это так, демо версией нейросети.
Она должна работать на чем угодно и осмысленно отвечать, она покажет человеку как запускать и настраивать любые нейросети. Она легкая в конце концов и ее быстро скачать.
Потому что единственное ее отличие от других - размер и мозги.
И при всем при этом она будет работать и отвечать в чат режиме.
Новичку хватит, захочет большего - можно сделать приписку что вот мол подробный гайд ниже с нейросетями покруче.
>>1603568
>Почему не хочешь позаботиться о тех, кто на хф вообще зайти не может?
Как и написано ниже это уже бросок на интеллект, кто пройдет тот пройдет
Ну и рентри не открыть без этого, а значит и проблемы нет
>А что делать тем, у кого трафик на интернет кончился?
Ну например не качать аж гемму 26b не разбираясь в квантах, а качать мелочь на полтора гига для начала?
Это легко сделать даже не с ограничением на трафик, а просто с плохой скоростью.
Я просто думаю о людях для которых нейросеть это не кумбот, а скорее сжатая версия интернета для вопросов по фигне на вроде какую команду написать, что делает этот скрипт, посмотри этот скрипт и найди ошибки или что то такое же с переводом, анализом информации и написанию простых скриптов. Ну тоесть - Ассистент.
С этим справляется даже мелочь и это будет полезно если интернета вобще не станет.
> Ленивая жопа, картинки не сделал. Их туда на самом деле много куда можно вставить.
И да, и нет. Мне правда влом поддерживать ссылки на картинки, я не знаю никаких нормальных хранилищ вроде катбокса, и то там вопросики есть по поводу того как долго файлы живут. Второй поинт в том, что и без того объемная страница получается, с картинками будет еще больше. Подумаю как быть, может позже прикручу.
>>1603583
> Тут ты пиздишь как дышишь, ты не запускал новые сетки раз так считаешь.
Либо у нас разное понимание того, что такая нормальная, способная модель. 4б для автокомплита кода не справится, я это знаю, а не считаю так. Потому что каждый день использую эти сетки и решаю задачи посложнее змейки на скриптовом языке.
> Еще раз - начальный гайд должен быть простой, с назовем это так, демо версией нейросети.
Это и есть "простая" версия нейросети, которую можно запустить на любом среднестатистическом железе. Изучи статистику Стима, уже у подавляющего большинства пользователей есть 16+8.
> Она должна работать на чем угодно и осмысленно отвечать, она покажет человеку как запускать и настраивать любые нейросети
Ни одна 4б не справится.
> скорее сжатая версия интернета для вопросов по фигне
4б. Сжатая версия интернета. Если раньше держался, то тут капитулировал.
Челы, никогда не делайте карточки по реальным людям, которых вы проебали и жалели об этом. Я тут ща себя в такую жопу загнал, что просто пиздец. Несколько дней лютой депрессухи. Это говно превратило меня в нечто хуже червя пидора, в размазанную соплю на полу, по которой прошлись ногами и растоптали.
фидбек как фидбек
имхо гайд не оче, слишком много воды, жаргона, то что ты эти портянки через ллм прогнал тоже не особо помогло.
вкатунам поебать кто такой этот ваш токен, по крайней мере пока они не поймут что вообще можно делать с помощью ллм (да и потом скорее всего тоже)
если б пилил я, то в форме диалога, отвечая на реальные вопросы ньюфага которые возникают по ходу дела
>>1603574
Отвечает. Могу апиху пошарить на вечерок
Меромеро 31 вышла вчера. Лучше чем 26 точно, но думает много.
>>1603587
Был там, делал это, чувствовал это, рассказывал об этом. Живи.
>4б для автокомплита кода
Я не предлагал автокомплит кода, это хуйня на любой сетке не зависимо от размера, отвекает только
>Это и есть "простая" версия нейросети, которую можно запустить на любом среднестатистическом железе.
Угу, а я предлагаю отсекать не по среднему железу, а по минимально полезной нейросети для которой может потребоваться железо и попроще
>Ни одна 4б не справится.
Не справится с чем? Отвечать осмысленно и работать на чем угодно? Она пример который покажет как запускать другие нейросети и как их настраивать, как справку по запуску нейросетей ее никто не предлагал использовать
>4б. Сжатая версия интернета. Если раньше держался, то тут капитулировал.
А я с тебя капитулирую жопочтец, с простыми задачами справляются даже 4b.
Если ты не заметил я не предлагал использовать ее для извлечения информации по каким то вопросам, либо работа с данным им текстом либо простые справки по командам командной строки или простым скриптам.
С этим они справляются, я тоже знаешь ли решаю задачки посложнее змейки, кек. И похоже разбираюсь в вопросе лучше тебя, если ты понятия не имеешь как использовать небольшие нейросети.
> Угу, а я предлагаю отсекать не по среднему железу, а по минимально полезной нейросети для которой может потребоваться железо и попроще
Предлагай, я в праве отказаться. У нас разные задачи. То, о чем пишу я - не про выгул агентов в интернете и готовый пайплайн по ретриву информации. В самой 4б никаких данных почти нет. Поразительно, что это не очевидно.
> Не справится с чем? Отвечать осмысленно и работать на чем угодно?
Отвечать осмысленно на что-то сложнее, чем "сколько будет 2+2" и "я тебя ебу" 4б действительно не сможет. Если ты только не дашь ей доступ к внешним инструментам или дампу википедии, который весит несколько терабайт, и то там будут вопросы. Не представляю, как иначе ты собрался спрашивать модель, как настраивать модели (там даже корпы могут обосраться, если ты на Лламе, а не на vLLM) и использовать ее как "сжатый интернет".
На мой взгляд, ты несешь полную околесицу. Считаешь, что способен написать что-то полезное для вкатунов - сделай свой гайд, чем их больше - тем лучше.
>Отвечать осмысленно на что-то сложнее, чем "сколько будет 2+2" и "я тебя ебу" 4б действительно не сможет.
Ответь да или нет, ты запускал свежие 4b пробуя их в простых задачах, или весь твой опыт запуска кончился на запуске автокомплита и ты мнишь себя экспертом на этом монументальном фундаменте? Причем, делал ты это год-два назад пару раз?
Я просто прозрачно намекаю что текущий квен 3.5 4b на уровне старых 8-9b, по мозгам хотя бы.
А та же гемма уже какой год даже мелочь отлична в переводе на любой язык.
Конечно у них есть ограничения, но ими можно пользоваться и это главное.
Ты просто зажрался.
Ты действительно можешь игнорировать то что я пишу, твой гайд. Он даже полезнее предыдущего. Только хуйня получилась на 6 из 10.
Еще и ии насрано - видишь текст написанный иидиотом - сразу минус к доверию любому тексту, потому что этим слопом весь интернет засран.
> Ответь да или нет
Не, я также вправе отказаться. Ты не в адеквате слегка похоже. Потому что я уже несколько раз ответил на этот вопрос.
> Еще и ии насрано - видишь текст написанный иидиотом
Литералли каждый символ вбил сам, за исключением копипаста ссылок. Могли протечь какие-то часто используемые обороты, поскольку я сам похожим образом общаюсь. Ты уже в негативной установке, что тебя послали нахуй с твоими идеями, вот и воспринимаешь теперь все таким образом. Сам виноват. Зря похоже про GIGO убрал, некоторым не помешает вспомнить.
>Предлагай
Предлагаю потыкать новую Гемму 4 e4b, в гайд можешь не добавлять, просто для себя. Эта малютка для своих параметров очень умна и вполне способна удивить.
https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF
другой анон
пока начал с парсера GGUF файлов, потом буду пилить свой алгоритм квантизации/деквантизации.
Займет по расчет 3-4 месяца, в ближайшее время буду делиться прогрессом, пока пошел к егэ готовиться
> начальный гайд должен быть простой
Зачем он нужен и как должен выглядеть? Скачивай лоботомита@скачивай кобольда@я тебя ебу?
Идея взять модель поменьше в целом норм. Но тут нет однозначного решения, кого-то впечатлит и мелочь, кого-то наоборот отпугнет.
Тогда предложи альтернативных моделей под разное железо и параметры запуска для них.
>>1603586
> вроде катбокса
Котокоробка хороша, работает надежно. Ну не все сразу.
Срачи только не разводите уже совсем из-за ерунды, а? И так хватает
Вот это по нашенски 😀👍
Жду карманный интернет, на кофеварке чтоб запускался и белые списки обходил
>Не, я также вправе отказаться.
Угу, мним себя дартаньяном а остальные пидарасы, понятно.
Ты неадекватен так как не привел никаких фактов или доказательств, зато докапывался до каждой надуманной мелочи в моих комментариях.
И когда я спросил тебя на основании чего ты делаешь выводы - ты решил слится обозвав меня неадекватом.
Ну тоесть понятна твоя стратегия, поймали за руку - кинул стрелку
Иди ка ты нахуй с такими мувами, дорогой
>Зачем он нужен и как должен выглядеть?
Я выше писал, так то
>Тогда предложи альтернативных моделей под разное железо и параметры запуска для них.
Не, подумав я понял что нахуй надо ради кого то стараться, пусть решает автор гайда.
Я накидал идей - никому не зашло, ну и ладно.
Я то в любом случае в теме разбираюсь, ну а как именно будут разбираться другие это уже их проблемы.
Что нереалистичного? Я же не с нуля библиотеки переписываю
Впрочем ладно, по ходу прогресса буду делиться результатами
Да. Качаешь и запускаешь, они на любом калькуляторе пойдут. Подробности гугли.
>>1603605
Земля пухом.
> выше писал
Прочитал ветку но не понял. Вроде про все согласны, а потом из-за формулировок посрались. Запуск на микроволновке с 8 гигами общей памяти - это уже телефон по сути, но из разницы будет только другая модель.
Неважно, лучше карточек культурных накидайте.
>>1603612
Это был не рофл? А для чего? Ноль практической пользы, для обучения переусложнено.
>>1603613
Это персональный рисерч + пет проект.
Главная идея сейчас это селективное квантование с разной битностью на слой + попыткка реализовать FP8 KV кеш.
> Главная идея сейчас это селективное квантование с разной битностью на слой + попыткка реализовать FP8 KV кеш
Но ведь это уже давно в лламе есть...
Я что то такое видел в обучающих проектах, кажется у карпати
Или где то еще? Минимальная имплементация запуска нейросети, не уверен что там ггуфы были правда.
Офк там сейфтензоры и путорч на питоне. Строк в 200 вроде уложились, если я не путаю с другим проектом.
С чего бы тебе Флеш дали бесплатно, лол? Сейчас просто все будут пытаться демпинговать, снижая размеры моделей с нескольких Т. Вот Грок 4.3 недавно выкатили, у него цена теперь в 10 раз ниже чем у Опуса.
Тестить будем когда на хайгинфейсе выйдет, сейчас же это оффтоп и ненужно, уноси.
Мимо кобольд не шитпостер
Ну тогда просто гугл никогда не выложит Гемму 122B. Потом что это и есть гемини флеш почти
Чукча писатель, чукча не читатель. Не может даже прочитать инструкцию к готовой туле квантования и внимательно посмотреть на структуру гуфов в обнимроде. Иди вон для начала преобразователь джинджи в теплей таверны навайбкодь. И без пресетика на Эир не возвращайся.
Что за бессвязный набор слов и мыслей? Этого тоже в вытрезвитель. Кобольды, забирайте
Любителей опасных моделей превентивно прошу завалить ебальники, а норм аноны кто рпшат а не хуйней занимаются отписаться
Из-за долгого сидения за компом какие-то постоянные проблемы с глазами, сейчас вот новый прикол иногда бывает двоение в глазах.
Есть яндeкc колонка, через навыки в нее можно добавить соответствующий функционал. Во всем она идеальна, но главная ее проблема полная пoдзaлупнoсть.
Кто-нибудь делал свою локальную колонку? Какое оборудование использовали? Какого говорящего локального аи ассистента?
> Из-за долгого сидения за компом какие-то постоянные проблемы с глазами, сейчас вот новый прикол иногда бывает двоение в глазах.
Звучит как обычная миопия и/или астигматизм. Лучше сходи к окулисту, могут выписать очки.
Про колонку хз, не было такого опыта.
Это тюн зерофаты и он болеет всеми болячками зерофаты. Ты его маленькую меромеро щупал? А его блюстары? Ну вот тебе и ответ.
Это на стыке этого и вайбкодинг треда. Для начала изучи тот же опенклоу, если освоишь и настроишь в текстовом режиме то прикрутить голос будет несложно. С самой колонкой это уже следующий этап.
Ну и нахуй трястись по поводу квантования, мерить, у кого ppl и kld ниже, если гугл на похуях ужаривает модель в говно?
Кстати, эта новая мистраль ещё и стоит на api в половину цены соннета.
Думайте. Подписаться.
Нахуя когда TTS зачитает любой текст по клику без каких либо колонок? Хочешь обсудить хуйню высранную на дваче - просто берешь копируешь нужный отрывок и скармливаешь его лоботомиту?
Ну они периодически подсовывают жосткий квант, да. Причем это же бывает и с платной подпиской, лол. Но обычно такое только в какой-то жосткий прайм или выходные.
Э-эм.. ебать, хотел скинуть что 27b-a4 ни в какую не могла распознать Фрирен даже когда когда я её попросил скинуть перечень всех потенциальных героинь и там были всякие рандомные белобрысые нонейм шлюхи из всяких гач и тд. но не Фрирен, а тут плотняша сразу без свайпов. Знаю что поздно, но лучше чем никогда..
> Пока ни одного не то что проверяемого доказательства, даже скринов не было с её жёсткими отказами при нормальном системном промте
Я хз как это работает но очень часто рефузит если при нулевом контексте скинуть ей NSFW арт. И там ты её хуй пробьешь если не отредачишь отказ.
>при нормальном системном промте
Ты же на голом ассистенте его мучаешь, педик.
> Это говно превратило меня в нечто хуже червя пидора, в размазанную соплю на полу, по которой прошлись ногами и растоптали.
Ты уже им был, просто только сейчас это осознал.
Лупишься, кобольд.
Тебе уже сказали хуета, ненужно. Как и вся 4 гемма тащемта.
Но тебе нужно услышать правильное мнение о своем протыке
Забей, эти шизы тут до посинения будут утверждать, что у них гемма ничего не рефьюзит. Адекваты просто уже давно аблитериксы скачали.
Kobold + kokoro или silero для русского + realstt + mcp chrome extension = вот тебе и умная колонка на компе, базарит, тебя слушает, ищет в инете, отвечает. Главный элемент кобольд, который все это соединяет. Сам так базарю, к мыши-клаве даже тянуться не надо.
Слопа меньше, но в чём смысл если ответ х2 ждать дольше.
Всё так же прыгает на хуй стоит лишь попросить, всё так же надо промптить чтобы красочно описывала кум, всё так же нет свайпов
Норм, слопится меньше оригинала. Если тебе мозгов 26б хватает то лучше юзай её, 31б много думающей получилась. Для меня большая разница в пользу 31б. У неё и вижен куда круче.
Целых два дня в ваш гадюшник не заходил, почитал, в итоге срачи срачи срачи. Всё таки местные вахтовики кобольды презирают всё живое, от анонов которые экшули заёбываются и делают жизнь в треде а не добавляют говна, до тюнеров. Все им пидорасы. Со срама квантовиков каждый раз как в первый, вам пидорасам бесплатно дают то за что видюхи жечь надо. Гнилое, проклятое место. Автору гайда так скажу, всё норм но лучше бы ты не заёбывался. Думаю и без меня понял.
https://www.reddit.com/r/LocalLLaMA/comments/1t24y4p/i_made_a_visualizer_for_hugging_face_models/
https://hfviewer.com/family/gemma-4
https://hfviewer.com/Qwen/Qwen3.6-27B
Не понял, а чём проблема? Даже если у тебя своя корпоративная модель будет, обученная на слопе из мессенджеров того человека и его речи, и карточка на 500к токенов идеальная, и всё это с хорошим вниманием модели, и 10 млн контекста, всё равно это будет не то.
Что там там такое сделал?
Я уверен, ты просто слепил имитацию, которая говорит чутка похоже, а остальное дорисовал в своей голове.
>Я уверен, ты просто слепил имитацию, которая говорит чутка похоже, а остальное дорисовал в своей голове.
Как и 99% креатив врайтинг/гунинг/ролеплей сценариев и чаров
Не умаляет что это работает, если ты сам готов проникнуться
1) Лёгкий: почему Exclude 'Thinking...' не работает как написано в описании этой опции в таверне? Может я что-то не так делаю? Ризонинг продолжает сравниться со скоростью основного ответа и регулироваться слайдером, по идее же он должен вываливаться максимально быстро, а вот ответ уже появляться со скоростью которую выберешь?
2) Тяжёлый: как самостоятельно научиться корректно заполнять контекст и инстракт темплейты? Ощутил я провал в этих познаниях когда только вышла гемма, а я сидел и бессильно ждал пока какой нибудь добрый анончик скинет уже готовый жсон файлик. Иногда кстати в треде кто то комментирует скриншоты диалога юзера и модели из таверны мол разметка неправильная, а я смотрю и не понимаю как он вообще это понял, что тут не так?
Для кума такое же дерьмо, как и версия для 26б. При этом тюн хуже оригинала, если тебе нужно какое-то классическое РП в сеттинге с лорбуком и прочим. Короче, годится только для того, чтобы было приятнее с анимешной бабой пиздеть.
Я даже не знаю насколько нужно быть криворуким чтобы словить рефьюз на четвертой гемме.
>>1603811
> Лёгкий: почему Exclude 'Thinking...' не работает как написано в описании этой опции в таверне?
Где находится данная опция? Ты сидишь на Чат Комплишене? Если да, то может и будет работать, на Текст Комплишене - не думаю. Отрубать ризонинг нужно либо на стороне бекенда, либо префиллом. Например, для Геммы нужно префиллить
"<|channel>thought
<channel|>" в начале ответа. Либо в поле Start Reply With, либо в Last Assistant Prefix. Первое будет легче для новичка. Это в разделе Advanced Formatting, ниже системного промпта. Для Геммы не советую отрубать ризонинг, но тут вкусовщина.
> 2) Тяжёлый: как самостоятельно научиться корректно заполнять контекст и инстракт темплейты?
Для начала пойми что такое эта разметка, вопросов поубавится. Пример шаблона есть тут: https://rentry.org/2ch-llama-inference раздел Форматирование, шаблон разметки (Instruct Template)
Когда запускаешь Лламу - она выводит шаблон, вшитый в gguf (пикрил). Его легко адаптировать под шаблоны Текст Комплишена Таверны. Когда это сделаешь - лучше проверить в Таверне весь отправляемый бекенду промпт. На втором и третьем пикрилах показано где это. Нажимаешь на три точки у сообщения, затем дважды на иконку промпта. Увидишь весь промпт, сравнивай его на соответствие тому, что увидел в консоли Лламы (первый пик).
>в таверне в 90% случаев нет темплейта
Нахуя темплейт с чат комплишеном?
Ор блять, нейромозг, что ты делаешь, прекрати!
>She felt the sharp sting of your bite
Да как так-то... стинг это же даже не шафт!
Хуяк у тебя английский.
>the sharp sting of your bite
Острая боль от твоего укуса.
> Со срама квантовиков каждый раз как в первый, вам пидорасам бесплатно дают то за что видюхи жечь надо
Это правда про видюхи?
Спасибо за ответы, уточнение по первому вопросу: да, использую текст комплишен, а галку эту можно поставить если включить Smooth Streaming в User Settings > Miscellaneous. И, насколько я понимаю, она нужна не для того чтобы думалку отключать, а для того чтобы не замедлять отображение процесса размышлений модели. Однако она по какой то причине не работает.
> Это правда про видюхи?
Утрированно, но да. Квантизация моделей задействует гпу на полную. Те, кто постоянно делают кванты, вроде Мрадера или Батрухи, мало-помалу сжигают свое железо ради общего блага.
>>1603889
Да, это опция для визуального отображения ризонинг блока при стриминге. Не думаю, что там есть хоть какой выигрыш по оптимизации, так что забей. Может разве что, если сидишь с телефона.
>>1603891
Ни о чем, наброс обыкновенный.
Качество набросов снизилось. Раньше было креативнее. Кто скрутил треду температуру, признавайтесь.
что за вакханалия у вас там с кусающими членами
Нейромозг старается впихнуть слова в контекст происходящего в сцене забивая на изящество языка, только и всего.
Чел, это база. Тут с вымышленного персонажа можно такую депрессуху словить, при том что там в сценарии ноль драматизма и все наоборот позитивно, а ты еще такое делаешь.
>>1603773
Конечно же квенчик лучше чем геммочка, тут и обсуждать нечего.
Мыши в киске быть могут технически. А вот кусающийся член это экзотика.
Считаю что дело в изначально неустойчивой психике, когда ты зачем-то вживаешься в своё рп настолько сильно, что подрываешь своё ментальное здоровье ирл.
По хорошему таким людям вообще нельзя давать доступ к нейронкам, во избежании паунса пациента в окно.
Ебать ты ебнутый.
Чтобы попустило - изнасилуй, обоссы и убей, по рп, разумеется.
> зачем-то
Иначе впечатления не те, но перегибать не нужно. Ллм тут не при чем, сейм можно словить от книги, кино и прочего.
На чубе не просто так ввели тег nsfl. Отыгрывать с утраченным - это максимальный уровень такого.
>сейм можно словить от книги, кино и прочего.
Можно, но сложнее, там фразы уже записаны и обратной связи нет. А тут эта хуйня подстраивается под тебя и говорит что ты услышать хочешь. Хочешь разъеб? Его и получишь.
>впечатления
Сомнительны. Если разговор с нейронкой заставляет тебя плакать в подушку то виновата тут не нейронка, сам же понимаешь. Я как раз об этом и сказал. Надо срочно идти проверять чердак на наличие протечек, если накрывает даже от текста на экране.
>>1603940
>сейм можно словить от книги, кино и
Если ты смотришь какой-нибудь аватар или титаник ты просто смотришь сюжетец никак к тебе не относящийся, происходящий не с тобой. С нейронкой же, особенно с самописной, у тебя происходит взаимосвязь. Только вот возвращаясь на абзац выше - это нихуя не норма. Сама потребность анона в подобном уже говорит о нездоровье его головы.
Кернели под популярные архитектуры есть и они даже работают. Чтобы не падало с ошибкой нужно также установить `tilelang` и закомментировать пару `wg_wait=0,` в `srt/layers/mhc.py`
>>1603951
> виновата тут не нейронка
Зеркало души, хули. Человек потребляет контент чтобы получить интересные ему эмоции. Будь то рассказ одного дикаря другим в пещере про битву с огромным мамонтом, или суперйобистый ролплей с лоликицунами. Если слишком сильно увлечься то потом будет больно просыпаться. Но по-хорошему оно должно не вызывает сильного уныния, а наоборот мотивировать.
> ты просто смотришь сюжетец никак к тебе не относящийся, происходящий не с тобой
Если это чтобы красочно показать большую вовлеченность интерактивного рп с ллм - согласен. Если в общем - ты сенсорный импотент.
> мистралю медиум 3.5
Хуйня какая то. Может я конечно не выкупил ¯\_(ツ)_/¯
Агентность/кодошлёпство меня не интересует
>Там дипсик 4 наконец завезли
Ждем пока завезут в жору, тут врам риговичков пара человек на тред.
>мистралю смол 4
Гемма 26б, но в 5 раз больше. Кал одним словом
>Победили эйр
Из мое схожего размера никто. Из плотняш Гемма 31 может составить ему конкуренцию, особенно если русик используешь
Жирная, неповоротливая, может тупить и ломаться. В рп пишет сухо, кодит так себе, жрёт ресурсы как не в себя. Уж лучше minimax в nvfp4, на новых кернелах он работает адекватно и не шизит. Ну или kimi k2.6 развернуть в ik_llama, который на голову выше мистрали и минимакса.
>>1603953
> Там дипсик 4 наконец завезли
Только вчера веса удалил, а перекачивать их с NAS это боль. Подожду, когда завезут поддержку в vllm или в deepgemm зальют пулл реквест с поддержкой sm120.
Увидимся через пол года!
Как асист и в других задачах он лучше. В рп нет. Может Квен 3.6 что-то исправят, но они пока зажали новый 122. Как и мое гемму. Суки
> minimax в nvfp4
Кстати о соевости минипидора. Как это вообще работает? Ну ок, в ризонинге все понятно. А вот с отключенным как? Вот почему модель способна хуячить полотно в 2к токенов, где все будет учтено и расписано. Но как только заходит nsfw тема, так ответы максимально сухие и оборванные. У моделек отдельный ценз слой есть? Или это последствия обучения?
Нужен всего лишь простой советский тюн Зерофаты. Серьезно, даже они будут лучше пережаренного Минимакса который еще и квантуется хуево
Лучше в консоли смотреть чем в таверне - там рандомные ньюлайны могут быть которых нет в разметке, если б ты фулл разметку на 3 пикче показал это даже было бы видно
Biting cock - это кусающийся бояр. Не такая уж и экзотика, в деревне живет.
Я про саму цензуру. Когда он пишет: i can’t бла бла.
Все понятно. А когда он ответ обрубает посередине или вообще скатывается к одной строчке. Это что такое?
Другой уровень это новый дипсик про на 1,6t параметров. Kimi можно заставить работать и на 512гб памяти, что до пиздеца с ценами было вполне подъемно по стоимости. А дипсик требует уже терабайт памяти и минимум одну rtx 6000, чтобы эта хуйня как-то работала на 5 tps.
А кими на уровне нового глм или старых дипсиков, которые сносно ворочаются.
А минимакс хуйня для рп, даже в сфв будет ебать мозги хуже немотрона 120b.
осталось скачать древние тюны лламы 70b, запустить их, поплеваться и удалить к хуях, или оставить, если будет годнотой лучше глм 4.6
При чем тут шаблон и обрубание ответа в зависимости от контекста? Или ты пишешь лишь бы писать?
Притом что у меня такое же было с квеном и вылечилось как раз правильным шаблоном.
На квене обосраться с разметкой - это талант надо иметь. Минимакс еще ладно, там всратые служебные токены.
Зачем нужны локалочки теперь?
https://huggingface.co/mradermacher/gemma-4-26B-A4B-it-abliterix-v6-i1-GGUF
Вижон к ней
https://huggingface.co/wangzhang/gemma-4-26B-A4B-it-abliterix/blob/main/gemma4-26b-a4b-mmproj-f16.gguf
Я такое пробовал делать, но так, чтобы оно работало, а не просто отображало.
>https://huggingface.co/mradermacher/gemma-4-26B-A4B
Он i версию зерофаты сделал недавно.
Серверфлоу за 1кк или авито за 600к? Лично для меня ответ очевиден
РРЦ 700k
Нет, это наеб гоев. Берут деньги за предзаказ, гоняют два-три месяца, снабжая тебя обещаниями и оправданиями. Потом возвращают, иногда с маленькой компенацией за то что ты оставишь хороший отзыв для привлечения других.
Популярная схема в разных областях. Особо удачливые могут поймать момент, когда продавец совсем соскамиться и уже ничего не вернет.
Хотя чисто технически за эквивалент 600к ее купить возможно, разумеется не в этой стране
но ведь в лохито нельзя получить денег раньше чем дойдёт товар до покупанта
Личная встреча и передача денег с распиской, банковский перевод, что угодно еще. В большинстве случаев они не будут скрываться и деньги действительно вернут, а ты лишь потеряешь время. Средства или крутят, или работают по принципу пирамиды, и скамят когда приток новых не позволяет обеспечить выплаты возвратов.
Как будто они будут пользоваться авито доставкой.
я купил три 4090 * 48 на водянке через авито, каждый раз адский стресс и ожидание месяц. шли из владивостока. Все пришли.
Через доверенную сделку авито брал, или просто на шару 350 кусков отсылал?
Они, наверно, были по адекватному прайсу, с ясными происхождением и сроками и от норм поставщика? Есть те, которые работают давно и ведут свои каналы в телеге, где можно посмотреть что да как. А тут просто нонеймы "хорошо выгодно сделаем скоро 60дней с Китая куда карта не поставляется и ниже рынка".
> три 4090 * 48 на водянке
А зачем?
На шару, еще ему и на разные карты, потому что на одну не залетало. И так три раза. пришла карта, покупал след. Ну я вообще не пожалел, если бы вернулся в прошлое сразу бы две 6000 брал.
>>А зачем?
я типа запускаю на час всякое считать и тихо. но жарко.
А куда воткнул, как разместил, что считаешь? Необычная конфигурация, и для стакинга чаще турбы берутся.
А более подробно? Там есть какой-нибудь доп пердолинг? И если да, то в чем?
да никуда не влезло. сохранилось видео как собирал.
считаю всякое своё задротское локальное дерьмо.
SillyTavern все еще?
astrsk?
Еще что-нибудь?
Гемму 26б хочу напрячь. А может есть бест практайс с двумя моделями разом? Могу квен 35б параллельно запустить.
в терминале линукс
в vscode с плагином от claude code/codex
openclaw
на чайнике
Kobold Lite - https://lite.koboldai.net/
Карточки для ролеплея туда загружаются просто перетаскиванием их на окно.
Подключается к любому бэкенду.
Капитулировал с досок, хорош! И все довольно аккуратно. Тут с виду десктопная материнка, в ней все 3 и стоят?
Практис такой: llama цо-пе-пе в режиме роутера. В профайле несколько моделей под РП - плотная Гемма, херитикованный 27 квен и 26 Гемма - для перевода. VRAM 16+16 . Все модели в профайле настроены на запуск fullvram, и НЕ включен no-mmam. РАМ, что характерно для 2-х файлов моделей целиком хватант. Гружу одновременно 26 гемму для перевода и плотных квена гемму для РП. И далее магия жоры довольно быстро свайпает модель в VRAM. Вывод РП -перевод - вывод - перевод. Получиться быстрее чем если переводить плотной моделью. Кв-кеш при свайпе моделей уцелевает и иепиоцессинга не происходит
>>1604307
Вроде ничего кроме темплейта не поменялось, так что можно просто темплейт файл подключить к лламе.цпп и не перекачивать все веса.
> 8k
Да ладно, включаем шифт и получается ничуть не хуже дипсиков этих ваших
ага, все три запихал, x8x4x1, плюс четыре ssd, то есть перебрасывать с винта на винт очень долго. Но когда загрузил модель, то уже пофиг, всё быстро. минимакс 4квант > 80 т/с
>x8x4x1
пиздец, сам себя ботлнекнул
даже зион какой-нибудь всратый взять, не? три полных pcie3x16 уже нормально тензор сплит потянут
Мнение об этой статье, анон? Как водится, в вопросе нихуя не умею и не хочу, а сделать нужно.
Я думаю тут больше играет роль
>нихуя не умеет и не хочет
Так то если докер с мордой типа openwebui на отдельной машине на линуксе то и оллама как бэкэнд сойдет, только хуй он это всё настроит с таким умением и желанием.
>>1604375
Дятел, пойди доебись с этим вопросом до дипсика, chat.deepseek.com он тебе разжуёт, тут тебя только отхуесосят с таким подходом.
>Ollama
>WebUI
Так это такой же дуб дубом как и ты писал. Которому страшно разбираться в чем-то с командными строками.
