Итак, появилась модель которая превосходит GPT 3.5 в переводе с японского на английский.
Хотел добавить тег визуальных новелл, но он заблочен. Поэтому пощу без него, всё же помимо визуальных новелл оно переводит всё, что попадает в буффер обмена, поэтому пригодится и для иных целей.
Видео фрагмент с использованием другой модели.
За сим, сделал небольшой интерфейс для удобства, работает в паре с kobold.cpp и textractor. То есть берет японский текст из буффера обмена который предоставляет textractor и через апи кобольда переводит его.
Вполне себе шустро работает, нужно как минимум 8 гигабайт видеопамяти, чтобы полностью уместить 5 или 6 квант данной модели в памяти.