Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №285 /llama/
Аноним
03/11/26 Втр 22:58:05
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm
• Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1742925 (OP)
>>1740274 (OP)
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №285 llama
Аноним
03/11/26 Втр 23:37:20
№
2
Да скажи ты уже что там у тебя, троллина задолбал.
Там есть анцензор но он за счет того что модель это тот самый кусок мозга крысы + кусок мозга хомяка + кусок мозга тушкана. Часть моделей уже расцензурена была, их веса закономерно не возбухают
Рефьюзалы это не обязательно хард вроде: "Извини, я не могу сделать это", это может быть слом логики когда модель стреляет себе в ногу на этапе размышлений потому что запретная тема создает дыру.
Или прыгнуть на q6 квант но с меньшим контекстом? KV cache если что не квантую, bf16
Знаю что это не агенто-тред, но все же..
в ризонинге всегда можешь почитать
>на этапе размышлений потому что запретная тема создает дыру.
от этого и анцензор не застахован, а еще мое модели легко сломать при тюне из-за сраного роутера и не сразу понять
юзал квен 3.8 27б NVFP4 не такое агрессивное квантование и денс модель
Перебирать экспертов по одному. Терпение - добродетель
> когда это станет юзабельно
> Kobold
> .net
У тебя же тут созвездие успеха, комбо-вомбо, ультимейт бинго, беда не приходит одна.
Инфиренс х харнесс х скиллишью = вы находитесь здесь
Почему такое никто не ищет, неужели вас устраивает чатик без гойплея и интерактива?
Это опять я.
Так я протестил гемму26б через кобольта, в целом прикольно. Сначала думал кал-калыч из-за того что отвечал односложно и на карточке загнал себя в хуйню, но одним мета комментарием перенес себя в немного другой вектор истории. В целом похоже решает не моделька а умение в ерп , есть что-то платиновое на почитать в шапке не нашел.
Насчет кобольта толи нет реазонинга и ответы быстрее или я чет неправильно настроил. И ещё вопрос как карточки выбирать с предгенеренными картинками , то у обеих тег contain_image но у 1 появляются фоточки а у другой нет.
Челы тоже замечают, что 5.3 пережарен.
>Загрузи на обниморду, там акки бесплатные.
Возьми и загрузи бля. Я ебал. Они уёбки.
русик, си шарп, кобольд = говноедство в кубе. хуево быть тобой
качай cybertiel 35b-a3b или ornith-1.5-122b если память позволит
квен 27б - оверрейтед хуйня
ну и естественно никакой даун уже давно не кодит в чате обмениваясь полными текстами исходников, включай в жоре агентский режим и тулзы
На совсем пустом контексте 10,9 tg, на 64к контекста 224 pp 7,9 tg.
Знаний дофига, в отличии от Квена 3.8 Next Flash в UD_Q4_k_xl и omith1.5-122b в Q6_k_m вспомнила гораздо больше персонажей Sidonia no Kishi (Квен вспомнил только ГГ, Омитх вспомнил ещё одного персонажа), при тесте на контексте ролеплея корректно применила взятые из контекста подробности, в фактах не ошиблась.
Естественно есть и минусы - чуда не случилось, в хуйдожественный текст Дипсик не смогла. Но возможно это проблемы промпта уже. Надо придумать как это наиболее безболезненно проверить - время ответа меня в целом устраивает, полчаса на 12к токенов, но в рамках текстов это боль.
Надо причёсывать той же Геммой, но тогда надо как-то в Страте выгружать модель и сохранять контекст на SSD с возможностью подгрузки обратно, ибо иначе 5 минут на pp будет уходить.
Но в целом скорости моё почтение, конечно. Кто бы мог подумать, что можно будет запускать настолько большие MOE с такой скоростью дома?
Вот бы геммочка 5 125а12 с энграммами была.
Да. Кто бы мог подумать что лучшую модель для ролеплея - глм 4.7 - обделят все эти говностраты. А значит ненужны.
Теперь все МОЕ в диапазоне 100-300B без энграммов обречены сосать у моделей с энграммами просто за счёт большего объёма знаний у последних нахаляву.
Другое дело, что у корпов не стоит задача впихнуться в 128 оперативки, поэтому можно сейчас легко пролететь и с новым квеном, и с геммой, если в приемлемом кванте сама модель будет весить хотя бы 150гб (без учёта энграммов).
Также парочка тестов с другими моделями:
Cyberl-Tiel-Coder-35B-A3B-UD-Q4_K_XL.gguf
Off - 44 t/s
7000 - 70 t/s
GLM-4.5-Air-UD-IQ2_XXS.gguf
Off - 10 t/s
2000 - 9 t/s
4000 - 14 t/s
5000 - 14 t/s
7000 - 13 t/s
8000 - 11 t/s
PowerLimit 168W стоит, не ебу влияет ли.
>в хуйдожественный текст Дипсик не смогла. Но возможно это проблемы промпта уже
Это проблема лоботомита, в нормальных квантах Дипсик уже может, и в художку, и нормальный русик.
>в нормальных квантах
Дык я ж не спорю, что хорошо бы не 128гб иметь в двухканале под ужатый iq2, а 256 в восьмиканале под q4, но за отсутствием горничной приходится ебать дворника.
Плюс, думаю, здесь нормальный промпт вполне исправит дело - в тестовом прогоне промпт был был действительно хуеват и рассчитан на корпов.
А ведь совсем недавно можно было купить видюху с 64 врам за 90к. 64 врам.
Грусть пиздецовая. Никогда нам не дадут развлечься нормально, на нормальной скорости, кванте, модели.
Это буквально нужно другой пк собирать, у которого ещё и мать может отвалиться, проц. 24-48 врам сверху где то искать, не перевтыкать же свою карту каждый раз, а 3090 щас явно не вариант.
Тогда
1. Терпеть (любо дело!) и продолжать вбрасывать
2. Поставить другую сортировку и даже в днсе взять за 55к, а не 90
И что ты высрал?
У глм флеша нет нигерграмов, а страта есть. Значит и у 4.7 может быть, но никому не интересно почему то
>мозга крысы + кусок мозга хомяка + кусок мозга тушкана
Проиграл.
Проверим скорость vs 2 канал?
Глм флеш 700б
Квен флеш 500б
Давайте ебите прям в очко я готов
У меня в жоре с deepseek harness этот квен даже в меньшем кванте нормально работает. Если возникают ошибки компиляции он сам переделывает и пробует снова, в конце концов выдает готовое решение.
>квеногемма. Такой-то вин!
Да почему это такой-то вин? Можешь объяснить понятно а не как в карточке если шаришь?
>>1745805
Ты не думал что страта в принципе не может/хочет в не-флеш модели?
>>1745776
>122B
У тебя 256 рамы или грузил остальное с ссд в ммапе? Она же с ссд будет процессить полдня, нет?
>PowerLimit 168W стоит, не ебу влияет ли.
Просто глянь монитором (btop, hwmon, afterburner) сколько он реально жрет, если меньше то пофиг (НЯП на невлезайках часто на пересылку данных тратится больше времени чем на обсчет и ярдо не греется, на мелком плотнячке грелось бы).
Чатик текстом на самом деле безграничен тем и хорош наверно. Я лично еще привык к текстовым играм и что вся кум годнота по ним фактически только в текстовых играх и присутствует.
Записал упомянутые игры посмотрю чего там ради интереса, со скайримом фундаментальная проблема - это поносный высер в техническом плане, ты в нем 99% времени ебешься со сборкой и поискам что поломалось. У меня окончательно сгорело, когда потратив на последнюю сборку примерно часов 250 до состояния "ну вроде работает", со всеми планами-фичами техническими, и отбегав еще ~100 часов в сейве, перед накатыванием всякого графонистого, у меня в один день по нвнятной причине сборка начала ебланить и потом оказалось, что сейв закорраптился скрытно где-то 40 часов назад в нем.
>>1745753
>похоже решает не моделька а умение в ерп
Я тоже к этому мнению склоняюсь, но это при прочих равных. Если модельку искусственно затупить, вроде kv кешем, она будет дебильничать.
>>1745787
Когда-нибудь (пусть даже лет через 20) позволить себе сможем. Пережили майнинг уебков, переживем и альтманов-педиков.
Для 4-анала нужно серверный проц. Кривое будет сравнение.
огромные модели ты запускаешь в ебейшем кванте, от чего они теряют сложную логику и точность в кодинге, а из-за избыточности в плане разговора по ним не заметно да
Щас с нейронками моды на скайрим собрать проще чем когда либо, это раньше читал нудные гайды на 1000 страниц фулл фокус как и в каком порядке ставить
Чтобы нормально вписать модель в игру - нужно учить ее не только говорить, но и ходить, смотреть на карту, знать игровые механики и т.д. А не просто прокинуть карточку непися, что и в текстовом чате легко делается.
> Знаний дофига
И это блин в
> iq2_xss
из mxfp4. Какая воля к жизни у модели.
> Вот бы геммочка 5 225а12 с энграммами была
Вот так будет получше
>>1745805
> но никому не интересно
This. Попроси ллмку добавить если так нужно, это простая задача.
>>1745840
Настрой спекулятор на 27б, получишь 50 и будет вполне хороший компромисс.
>>1745825
Держи тесты из 2020, были 4 плашки говнорам с 2400 частотой без xmp из совсем бородатых годов, с нормальными было бы повеселее.
>>122B
>У тебя 256 рамы или грузил остальное с ссд в ммапе? Она же с ссд будет процессить полдня, нет?
Я ж там написал что 3-й квант. 50 Гб весит всего лишь. Для подгрузки с ссд не годится. Квен-флеш некст - да, подгружает но там ссд по минимуму используется. И токены в секунду кстати выше чем у орнита этого (опять же на жоре с новой настройкой).
Сорян, я не очень умный. А она не слишком тупеет в 3 кванте? Алсо не смог настроить жору так чтобы юзал и рам и ссд на огромных моделях. С ммапом грузит только экспертов в врам а рам держит совсем пустой (и процессинг по капле в час), без ммапа пытается залить все что не влезло в рам и падает в ООМ, лейзи мод как будто пофиг ему.
Попроще наверно, но не отменяет фундаментальной проблемы и уебищности базовой игры, где все на соплях. Часто еще что автор мода сам мудак ебанный и не может ни мод сварить нормально ни документацию к нему написать ни как-то саппорт дать. Без доступа к йоба нейронкам, которые сами могут скурим разложить с модом самостоятельно и понять как работает, в таком случае делать нехуй.
https://huggingface.co/Nimbz/Versipellis-31B-GGUF?not-for-all-audiences=true
А как ее запустить если она на врам не налезает? я думал в страту ее засунуть, но оказалось нельзя. Есть инструменты или это скип для меня?
это базовая гемма 31 денс, ток выгружать в раму куском но скорость будет 7-10 токенов.
хотя денс не так сильно лоботомируется от квантирования, можно взять кванты пониже и попробовать максимально поджать выгрузку
Говорят оптимизирует спекулятивное исполнение.
Тут же ебнутый деминишинг, особенно с выходом геммы. Будто после 100б каждые следующие 100б это 5% к тому что уже есть по качеству
спасибо за совет, попробую самый нищий квант. я ее тестонул с этой улиточной скоростью, он точно по лучше гемма файфу которую я до этого пробовал, но скорость тут раз в 10 ниже или более
хочется жирные кванты
хочется скорость чтобы кодить
даже 100Б упихнуть это недешево (если не стратоквен)
так что о 200Б еще рано говорить (кроме особо суровых анонов)
Попробуй опуститься до DeepSeek-V4.0-Flash - модель чуть поменьше, в третьем кванте в 128 100% влезет и будет не такой деревянной как DeepSeek-V4.1-Flash-1017-GSQ-RCO iq2_xss . Но чуть более глупой- от рождения.
Если бы они её не закуколдили соей, а так смысла в дипсике нет совсем для рп.
Но есть же первый квант 4.1. Он совсем тупой? В квантованном 4.0 даже вижна нет.
Могу ошибаться но это у тебя просто MTP слои не работают потому что ты не включил MTP в параметрах запуска.
--spec-type draft-mtp --spec-draft-n-max 2
Это должно включить MTP и убрать ошибки.
>Настрой спекулятор на 27б, получишь 50 и будет вполне хороший компромисс.
А хороший совет, взял модель чуть поменьше (UD_Q8K_XL вместо Q8_KL) и на двух картах с параллелизмом получил свои 50тс. Флеш Некст впрочем оставлю - задачи разные бывают.
Конечно сидят, держи:
И куда вы пойдёте, чем займётесь, мм?
Вы вкусили самого дешёвого и мощного дофамина в своей жизни, вам открылся целый манямирок, в котором вы творили что угодно, и размер этого мирка ограничен только вами и вложениями, это можно скейлить деньгами.
И вы просто уйдёте? И чем будете коупить отсутствие этого дофамина и дыры куда вкидывать деньги?
Вся игровая графика закрывается одной 4090, даже не ригом, дальше скейлить некуда.
На аниме/фильмы/мангу вы вообще повлиять не можете и будете давиться сотню раз пережёванным калом и паттернами.
Про айтишку и карьеру писать смысла нет в этом треде.
Нет отсюда выхода
чепуха. Именно тот факт что по сути с карточками можно делать что угодно делает нейрослоповое рп недолговечным. Ну закадрил ты батальон лолек с их родителями подругами сестрами братьями бабушками дедушками двумя бульдогами и одним бурундуком, все они теперь ходят с пролапсами , и всё. ты понимаешь что дальше ты можешь только расширять географию , все они все равно следуют установленному тобой сценарию. Трудно быть богом, приедается.
в играх против тебя все еще живой человек, в книгах и фильмах тоже, их фантазия с которой ты вынужден смириться. В Нейрослопе ты сам против себя.
да будет еще этап картиночек красивых, может быть даже видео, некоторые гуи уже умеют и видосики генерить, но суть прежняя. Позови когда появятся модели которые серьезно смогут играть против тебя, начнут понимать, что интересно когда от {{user}} зависит не только лишь все
шутка? какая еще шутка. Думаешь тут с тобой шуточки шутят?
Пост — это развёрнутая шутка-жалоба на «нейрослоповое РП» (ролевые игры с ИИ по карточкам персонажей), построенная на контрасте с традиционными играми, книгами и фильмами. Разберём по частям.
Контекст. Речь о ролевых чатах с нейросетями по «карточкам» персонажей (character cards) — пользователь задаёт персонажей, сеттинг, и ИИ отыгрывает их. Автор утверждает, что такая форма принципиально недолговечна.
«С карточками можно делать что угодно». В отличие от игры или книги, где есть жёсткие рамки, в нейрослопе ты полностью контролируешь мир: можешь «закадрить» кого угодно и что угодно с ним сделать. Это и есть ловушка — абсолютная свобода.
«Закадрил батальон лолек с их родителями подругами сестрами братьями бабушками дедушками двумя бульдогами и одним бурундуком, все они теперь ходят с пролапсами». Гипербола: ты соблазнил целый «батальон» лолиток (лолек) вместе со всей их роднёй вплоть до домашних животных, и все они теперь «ходят с пролапсами» (пролапс — выпадение органа, здесь грубый намёк на последствия сексуальных сцен). Смысл: ты удовлетворил любую фантазию — и быстро упёрся в потолок.
«Дальше ты можешь только расширять географию». Когда все возможные сценарии уже опробованы, единственное, что остаётся — добавлять новых персонажей и локации. Но «все они всё равно следуют установленному тобой сценарию» — ИИ лишь отражает твои же желания, не привнося ничего своего. Отсюда «Трудно быть богом, приедается» — отсылка к повести Стругацких: быть всемогущим скучно, потому что нет сопротивления.
Панчлайн — сравнение. «В играх против тебя всё ещё живой человек, в книгах и фильмах тоже, их фантазия, с которой ты вынужден смириться». То есть в нормальных произведениях есть Другой — автор, соперник, чужой замысел, с которым ты взаимодействуешь и который тебя ограничивает. «В нейрослопе ты сам против себя» — ты играешь сам с собой, и «противник» — это твоя же фантазия. Отсюда ироничное название: не «ты против ИИ», а «ты против себя».
Итог шутки: абсолютная свобода нейрослопа оборачивается одиночеством и скукой — ты быстро исчерпываешь себя, потому что нет живого сопротивления чужой воли, а «богом» быть приедается. Юмор чёрный, с абсурдной гиперболой про батальон лолек и бурундука.
Пиздец, людям до 20 лет надо запретить пользоваться ИИшкой, а то так разучатся человеческую речь понимать.
>черканите что ли когда пузырик всё и риг зарядить на лохито
так пузырик уже все
в Китае точно лопнул, они скоро начнут скидывать память и карты и затопят все б/у барахлом
>> отсылка к повести Стругацких: быть всемогущим скучно, потому что нет сопротивления.
не плохо, но все равно обосралась. У стругацких в этом фразе совсем другой смысл, там трудность не в том, что "всемогущество приедается", а в том, что свобода воли тех кого ты пытаешься сделать лучше. все равно возвращает их в хлев. Нет пути
А что гемма меняет? Покумить и для простого эта шлюха с деменцией (с) позволит, а дальше все.
> после 100б каждые следующие 100б это 5% к тому что уже есть по качеству
Стоять в пробке что на гнилых жигулях, что на зикре можно с одинаковым успехом и скоростью. Так и здесь если ставишь примитивные задачи то получишь незначительный выигрыш. Но стоит усложнить - одна модель тупит, фейлит и ебет мозги без результата, а вторая сделает самостоятельно по красоте учитывая нюансы о которых ты даже не подумал в начале. В рп это будет выражаться в том, что одна тебя отлично понимает, помнит все и разворачивает сюжет куда пожелаешь, а вторая ездит кругами по своим рельсам постоянно ошибаясь.
Получается не +5% а успех против полной непригодности. Офк не размером единым, нужно и чтобы модель сама хорошая была.
>>1746058
Отложи денежку, мониторь новости и всякие околоандеграунд сообщества. Периодически проскакивают темы выгодно взять железо, но нужно шарить и оказаться в числе первых, потому что когда тема добирается до хайпа цены улетают на луну до обычных.
>>1746152
Там каждую весну рофлы про переходные экзамены в школе, где не могут картинку описать и разговор поддержать.
>ебешься со сборкой и поискам что поломалось. У меня окончательно сгорело, когда потратив на последнюю сборку примерно часов 250 до состояния "ну вроде работает", со всеми планами-фичами техническими, и отбегав еще ~100 часов в сейве, перед накатыванием всякого графонистог
Ну так а нахер вы делаете эти сборки? Беседкоигры и без сотни модов играбельны. Утверждения лбратного - псиоп.
Картинки, музыку и видео можно гонять и на 6 врам, гигариги для них не нужны.
https://www.reddit.com/r/LocalLLaMA/comments/1xnrhvb/kimik31pro_is_now_openweights/
https://huggingface.co/moonshotai/Kimi-K3.1-Pro
> на rpc
Было прям паршиво по перфу, layer работал с куда меньшими потерями. Тестировалось на физическом хосте где rpc было по лупбэку.
А так тензорпараллел у жоры вендор агностик. Можно даже в одном процессе смешать cuda и rocm, но перф опять будет на дне из-за кросс бэк фоллбэка олл редьюс
У меня 8гб всегда рама юзается. Сама видеопамять на 90% в работе учавствует.
> cuda потребляется
Показометр непонятно что измеряющий + при оффлоаде на цп видеокарта часть времени ждет пока отработает проц или подгрузятся веса.
Нормальным софтом смотри загрузку, любой для мониторинга где разделяется ядро, память, шина. И то там неполная загрузка будет нормой.
>в играх против тебя все еще живой человек, в книгах и фильмах тоже, их фантазия с которой ты вынужден смириться.
Все равно тоже самое и с нейронкой если ты выставишь себе такую установку. Она задает сеттинг, тон, пропиши ей доминантные черты всякие, возможность отказов и тот же человек получается.
Да, действительно можно в режим бога сыграть и принудить события по твоему сценарию, но ровно тоже самое можно и с другим человеком выполнить. На моем опыте ролеплеев это сделать на раз-два, особенности если то прямо ерп сеттинг и там реальная женщина. Они же по природе сабмисивные в подавляющем большинстве, чуть нажмешь и ровно как нейронка жопой крутят продавливаясь без малейшего сопротивления под тебя.
В этом плане нейронка с норм систем промптом на домимантного или хотя бы свича персонажа куда больше понравилась - огрызается, пытается хитрить и вить веревки, даже продавливаясь на своих условиях пытается это выполнить. Если удалось и в моменте прогнется потом будет сидеть хихикать в стиле "я тебе позволила и ты по моей дудке сыграл, кобель похотливый с 12iq" поставив тебя на место.
Очень реалистично и красиво получается. С ирл ерп только один человек за все года минимально подобное мог выдать, лучший партнер эвер, но спустя время все равно продавил под себя и стало неинтересно.
>Показометр непонятно что измеряющий
Процент загрузки наверно.
>при оффлоаде на цп видеокарта часть времени ждет пока отработает проц или подгрузятся веса.
Да, наверно из-за этого. Жалко.
> Процент загрузки
Что в твоем понимании процент загрузки? Гпу да и просто процессоры неоднородны, там нет универсальной единицы, которая бы могла бы выполнять любые действия и по которой можно было бы эффективно оценивать. Потому при 100% на самом деле чип может простаивать, просто держать частоты и ожидать появления команд, и наоборот при 15% уже быть на пределе возможностей. Все от методики замера зависит, достоверно сказать можно только для отдельной части типа аппаратного ускорителя кодировок видео.
>но ровно тоже самое можно и с другим человеком выполнить.
Смотря на каких вы ролях и кто он. Если играешь с овощем то чего удивляешься что он ведет себя как нейронка? Я если бы такого встретил, дропнул бы сразу.
Спасибо за фидбэк. Похоже я скачал с гитхаба последний поломанных пререлиз, в котором ничего не работало.
> живой человек
Щас бы в компетитив парашу играть, особенно в век нейронок, ЛОЛ.
И раньше всякие хуесосы с читами/боты 70% времени попадались, щас вообще забей
>Вся игровая графика закрывается одной 4090, даже не ригом, дальше скейлить некуда.
5090 уже отменили? И даже её не хватает в новых тайтлах, лол.
>>1746132
>в играх против тебя все еще живой человек
В смысле? Это как вообще? Не бывает же такого.
Мимо пират без аккаунта стим.
>>1746265
>женщина. Они же по природе сабмисивные в подавляющем большинстве
Чед, спок, ни разу под меня ни одна пизда старше 6-ти лет не прогибалась.
> 64гб ддр4 90к. Ддр4.
Примерно в 2021 я тарил с алиэкспресса 16@2666 за 1500 руб. Как же было охуенно, но у меня не было денег и я затарил только 64Gb за целых 6 тыщ! Ну и впоследствии там-сям налутал еще 64Gb примерно за столько же.
А сейчас... 90к, ебать...
Самое страшное че другой человек может сделать просто закрыть чатик с тобой. И то, с постоянными партнерами вы +- как-то друг друга знаете и принимаете и там нереально сложно сделать что-то критически неправильное. Буквально как с нейронкой может получаться - наваливаешь кринжа а им все больше нравится.
>>1746330
Это в формате ролеплея когда вы уже знакомы и друг с другом контакт наладили.
Каких карт? Какой гемме? Да ебись оно всё конем главное что то высрать, да?
Я всё написал верно, роботище ты сраный.
> каких карт
Таких где есть 12/16 врам.
> какой гемме
Ну уж явно не мое мне нужна на двух видюхах.
Тест на интеллект провален у тебя
Хз может у тебя линупс какой-то. У меня все заебись с lm none и квен-флеш-некстом, жора 12023.
Это буквально вброс бабок в саморекламу, я не верю нахуй.
Самую соевую модель на рынке представляют вот так.
Буквально никто не выбирает дипсреньк для рп. Это прошлая слава прошлых моделей, тогда должна была быть рыба и этот чел в очках, не сейчас.
>Попробуй опуститься до DeepSeek-V4.0-Flash
Я так и планирую следующим этапом - тем более что полистрата его вроде как поддерживает, и можно попробовать квант от анона запустить.
Но это уже не сегодня.
Кстати, ВНЕЗАПНО Qwen 3.8 Next Flash в iq3_s, коий все хвалят, что-то нифига у меня не быстрее анслотовского q4 работает, хотя весит меньше. Странная хуйня. Где-то что-то у меня накосячено.
UD_Q4_K_XL выдаёт 35 т.с со скачками до 50, а IQ3_S всего 23 со скачками до 23.
какие карты, какие шины, какая квантовка модели, какой длины контекст
ты хоть что то говори
Нахуя мне в тред где сидит 3 анона ужимать реквест в какие то рамки?
>Вы вкусили самого дешёвого и мощного дофамина в своей жизни, вам открылся целый манямирок, в котором вы творили что угодно, и размер этого мирка ограничен только вами и вложениями, это можно скейлить деньгами.
>И вы просто уйдёте? И чем будете коупить отсутствие этого дофамина и дыры куда вкидывать деньги?
Хз о каком дофамине ты говоришь. Зачем какие-то иллюзии питать хз. Это просто инструмент, кирпичик. Уходить никуда не надо, надо направлять в нужное русло. Можно ДЕЛАТЬ ИГОРИ. ВН-ки например.
У меня есть 5090, и я не вниманиеблядь.
>>1746371
Чтобы получить помощь в ответ, а не ушат говна за шиворот.
у меня оче быстро работает флеш некст в версии свифт гсо рсокью хуйкью
> Самую соевую модель
Она не соевая, это модель-детектор. Лезет соя, да еще сильно = у тебя скиллишью.
> Буквально никто не выбирает дипсреньк для рп.
Лол
>>1746374
Да наброс жирнейший, юшек собирает
>>1746376
> не вниманиеблядь
> смотрите у меня 5090
Выбери что то одно
Оказывается на моём ведре не работает flash attention GCN 5.1...
Это скорее всего не тот флеш аттн о котором ты думаешь. Никакой хардверной магии нет как в зелёном fa
> дипсик
> не соевый
Некст уровень кринжа. Ты даже хуже 235 квенодебила с его пресетом.
За америкосами слепо повторяет, не понимаю, что до нас это ещё не дошло.
Сравнения каких то говноквантов, даже обычный q4 боятся поставить на график
>первый квант лучше второго
Ахаха вот это коупинг
Охуеть. Наконец-то. Удаляю гск-рсо говнятину прямо сейчас.
нищета ебаная, вам не понять! насколько же qwen говно, пидор сука, соевый даже с аблитерацией, яхуею. чмо корпоративное, муху выебать не в состоянии даже по прямому explicit запросу. пизда.
Какой инференс движок, какая модель, какие настройки? Телепаты в отпуске
А при чём тут РП?
мой гермес тоже свой собственный код менял по моей просьбе(логику компакшена)
У жопоруких даунов всегда так. У пряморуких стоковый квен-флеш-некст полностью без тормозов, ноль сои.
Но у меня линупс. Кто же нейронки на винде гоняет.
>>1746529
Так обесни, если такой умный. Третий тред уже одно и то же.
>>1746304
>нет универсальной единицы
Я меряю в киловаттах. Если видеокарта греется - значит работает. Если греется на половину от лимита - значит работает вполсилы.
>2bpw с пережатыми в хуй нигерграмами
>в нормальном качестве
Тебе дали 4.7 в реально нормальном качестве на таком железе, а ты нос воротишь.
>с пережатыми в хуй нигерграмами
Как раз энграммы я могу хоть в fp16 оставить, они один хуй с ссд грузятся.
>Тебе дали 4.7 в реально нормальном качестве на таком железе
На 4.7 токены золотые, в 16 битах 30к контекста еле влезает + страты для глм 4.7 не придумали, идет распердыш на 9 т.с. А так да - модель золото. Но у меня современный РП имеет ворлдбуки по 50+к токенов уже и писек 0731 с 256к контекста выдает 25 т.с.
Я в 5.8-6т его запускаю и ничего лучше не нашёл.
По контексту можешь посмотреть ikllama, у меня на том же кванте там влезло аж на 3 слоя больше в видяху т.е места под контекст там больше из за каких то оптимизаций
разогнал мою моешечку в 6 кванте сколько же инфы в треде не палят
Дай угадаю. Моделька сильно меньше чем нужно запускать на твоем железе, убитый квант + экспериментальные сборки сраты где скорость достигается лоботомированием модели в мясо?
Хз, в рп стал получше прошлого (который был оче на любителя) и вполне юзабелен. Кумить кумит, причем гораздо более находчиво и в ризонинге обдумывает действия и обстановку. Переход между рп и кумом гораздо более плавный, но все еще можно нащупать если там не кумбот. Но зато если обстановка располагает, здесь чар уже сам может предложить и проявить инициативу, в отличии от терпежки и полного пассива на сентябрьской версии.
С учетом этого, очень хорошо себя проявляет в некоторых видах рп, но пока не для всего.
>>1746584
Справедливо для префилла. Для декода - только при большом количестве конкуретных удастся загрузить чип на хороший тдп и упереться в компьют, а не скорость врама.
>>1746585
> 4.7 в реально нормальном качестве
> 24+128
Так это 2х с чем-то битный лоботомит будет буквально, ты о чем? Более менее бодрый квант там от 180 гигов потребует, с учетом контекста за 200.
>Так это 2х с чем-то битный лоботомит будет буквально, ты о чем?
3.0 bpw влезает.
Ты превратил и без того тупую 26B-A4В в 26В-А2.7В лоботомита и гордишься этим?
>Кто же нейронки на винде гоняет.
Любой кто не хочет пердолиться, кто хочет чтоб все работало сразу без проблем, без ООМ и так далее. И я не преувеличиваю. По крайней мере с жорой это именно так и обстоит: винда - все забеись, линупс - с ООМ ебись. Можно обвинять жору, Аллаха, кого угодно.
Шиз иди нахуй, ты заебал пиарить это говно. Ты бы еще Kum-1.5 посоветовал.
В гемме вроде как 8 экспертов по умолчанию. Так что там еще хуже. И слюни пускать начинает уже на 3х кстати.
>>1746590
>сколько же инфы в треде не палят
Ага, возьми еще в IQ1 пережми потом в BF16 и контекст в F32 квантуй, а эксперта оставь одного но перед этим сделай REAP75. Никто такой темы не палил, а я вот палю тебе. А если бы ты читал внимательно треды, то знал бы что УПЛОТНЕНИЕ и РАЗУПЛОТНЕНИЕ геммы это как раз про смену количества экспертов и с этим уже наигрались, профита оказалось ноль.
>линупс - с ООМ ебись
Линупс это впринципе "ебись". Со всем - драйверами, установкой программ, конпелляцией, конфигами - ну и с памятью конечно. Это настолько стандарт, что никто этого не упоминает - нормальные люди это знают и потому туда и не лезут, а линуксоиды терпят, чтобы из гей-тусовочки не выписали за критику. В этом они кстати похожи на маководов и часто выступают единым фронтом с ними, несмотря на то что маководы представляют ровно тот противоположный линупсу закрытый корпоративный подход, который линуксоиды в своей пропаганде предписывают винде.
Хуйминьхуйвэй - рисованные дома бенчмарки, модель пишет с отвратительным нейрослопом, при этом автор ошалевший пидарас божится, что "неотличимо от хьюмана и даже хьюманнее самого хьюмана". Хочется харкнуть ему в ебало просто.
Кум-1.5 - васянское поделие тредовичка с рисованным бенчмарком. В той же категории короче говоря.
>>1746622
Советуй хорошее. inb4 "кто? я?!"
41 есть от орки на 128 + энграмы на 100. Под майей норм вариант. Юзаю на 256гб вариант + ориг энграмы из анслот чекпоинта
Все-таки 4.0 хотелось чтобы целиком, а не оставлять за бортом 100Г инграмов. 3й от анслота чуть-чуть не влез, хоть бери и сам жми...
А ч такого? Не вижу какого-то замедления от чтения таблиц с ссд. Там трафика 5-6мб/с и по статистике 1.4мс на токен тратился при лукапах. Тпс 35-60, иногда пробивает кратковременно 70
>>1746631
Есть от тредовичка. Ставишь модель
https://huggingface.co/BahamutRU/DeepSeek-V4-Flash-0731-MXFP4-Q3_K-Q2_K-mixed-GGUF
Сверху анцензоред лору
https://huggingface.co/BahamutRU/DeepSeek-V4-Flash-0731-heretic-abliterated-v2-GGUF-lora
1. Я тут не один
2. А я и не спал
Ага, гемма3 обошла гемму4 и прочий бред. Уноси туда, откуда принес, дебил блядь.
Где она обошла, поехавший? Ты в глаза долбишься?
https://huggingface.co/spaces/overhead520/Unhinged-ERP-Benchmark?not-for-all-audiences=true
@
АГЕНТ ДОМА:
Во-первых, это не гемма 3, а тьюн от легендарного драммера из тех времен когда он еще доставлял и не скатился в говно, во-вторых, там тьюны геммы 4 прямо над ним висят, ебанашка.
>41 есть от орки на 128 + энграмы на 100. Под майей норм вариант. Юзаю на 256гб вариант + ориг энграмы из анслот чекпоинта
А можно ссылки обниморды на всё это - именно чтобы с нграммами и под Майю?
>Попробуй страту квен флеш
>Уууу конечно щас блядь дауны ебанные думают что можно заменить подписку
>Тетя встрата хуеята, на тебе НАХУЙ ЖРИ СУККА IQ1_M REAP7 int4 кв кеш, нааааааа сука, жри десяток эксперементальных флагов с потерей качества. СОЖРИ НАХУЙ ИХ ВСЕХ
>Аряяя! Модель галлюционирует!!! Пойду подписку оформлю.
)))
>>1746652
UD-Q6_K_XL, 16-битный кеш, экспериментальных флагов нет.
Вообще оно работает и даже может писать код и адекватно его дебажить, но галлюционирует мои сообщения и приказы и потом долго усирается, доказывая что "ты сам мне написал "остановись сука, сам доделаю", "Я на твоем скрине(которого не было) видел что все работает". Пиздец.