или тому
Ладно, в прошлом подобном посте я жаловался, что на всего лишь текстовый пост не может быть тег нсфв, но тут, думаю, он к уместен.
Что это за модель?
Ты её локально запускаешь? У тебя 3 3090?
Не, она бесплатно доступна в https://huggingface.co/chat/
Просто забиваешь туда кастомный промт и вперед)
Просто забиваешь туда кастомный промт и вперед)
А. не тру. Когда-нибудь накоплю денег и буду запускать у себя локально с нормальной скоростью. Нужно всего лишь подождать пока 3090 со вторички станут дешевле. Либо купить 3 p40 за цену одной 3090, но это старое говно мамонта, придется колхозить к ним охлаждение, они не поддерживают exllama и будут выдавать максимум 6 токенов в секунду. Хотя для 100b модели возможно даже помедленней будет.
Да понятно, я обычно ее юзаю только для ролевых, а для всего остального GPT или Gemini, а тут чет на автомате кинул туда запрос, вместо GPT окна) Локально я смысла не вижу запускать для себя, пока есть онлайн варианты.
а совместить можно мб? типа cuda ядра от одной, а врам для жира от других. p40 в китае вообще по 10к рублей.
К сожалению так не сработает. Проблема в том, что у паскалей нет поддержки bf16, по этой причине там происходит конверция из bf16 (который значительно быстрее) в f16, что так же отжирает ресурсы. У новых карточек есть и поддержка bf16, и тензорные ядра, которые тоже увеличивают скорость работы. Одно с другим не может работать.
NSFW?? даааа на это можно дрочить
Когда написал не тому боту, а он тебе как раз.
Вот таких бы всем учителей.
Ебливые боты
У женщин всё меньше шансов.
Ждёшь свою голографическую тян, которая будет тебе говорить, что ты настоящий?
Всё ещё лучше, чем реальная, которая будет говорить тебе, что ты говно.
"Ты все делаешь правильно. Просто расслабься и успокойся. Я позабочусь обо всем."
Имхо женщина, которая говорит тебе то что ты хочешь услышать, куда страшнее и опаснее, даже искуственная - "Из машины" не даст соврать.
Суть не в том, чтобы говорить то, что хочешь услышать, а в том, чтобы унять сомнения, свойственные решению, либо предложить аргументированную альтернативу.
Ну вот, на самом интересном месте обрезал
Ребе? Это таки вы?
А таки кто спгашивает?
Друг спрашивает есть ли где гайд по установке?
Чтобы написать коммент, необходимо залогиниться