Как читать иностранные сообщения в окне чата? Перевод без API
Союзники выкрикивают тактики на иностранном языке, зарубежные коллеги присылают задачи в иностранном приложении, зрители трансляции заваливают экран непонятными комментариями — все эти тексты заперты в своих окнах чата. Чат-приложения чаще всего закрытые клиенты: плагин для перевода не установить, интерфейса для подключения нет, а постраничный перевод браузера до них не дотягивается. Эта статья описывает путь, не требующий переделки ни одного приложения: пусть перевод читает экран напрямую — вы общаетесь как обычно, а перевод появляется вместе с сообщениями.
Почему переводить чат сложнее, чем веб-страницы?
С иностранным текстом на веб-страницах в большинстве случаев справляется встроенный перевод браузера; проблема окна чата в том, что оно не в браузере. Три препятствия складываются в одно:
- У закрытого клиента нет «щёлки»: строка текста десктопных чат-программ, внутриигровых чатов и голосовых приложений — это их собственный интерфейс, без API для перевода и без системы плагинов;
- Копирование и вставка ломают ритм общения: сообщения прилетают одно за другим; скопировать, переключить окно, вставить, дождаться результата, вернуться — а тема уже ушла дальше;
- Поток сообщений динамичен: содержимое окна чата меняется постоянно, статический перевод по скриншоту за ним не угонится — каждый скриншот устаревает мгновенно.
Узкое место не в качестве перевода, а в том, что «действие перевода» не влезает в действие общения. Чтобы идти в ногу с ритмом, перевод должен сам следить за экраном.
Идея: вместо подключения перевода к приложению — пусть перевод читает экран
Работа переводчика с экрана обходит проблему интерфейсов: он не спрашивает, открыло ли приложение API, а просто распознаёт текст, отображаемый на экране, возвращает перевод на прежнее место и автоматически обновляет его, как только текст меняется. Приложение работает как работало — без изменения ни строчки кода. В этом и смысл «без API»: точка входа перевода находится не в приложении, а на экране.
Для окна чата это значит: новое сообщение появилось — перевод уже на месте ждёт вас; листаете историю вверх — распознавание следует за прокруткой, прежние сообщения заново захватывать не нужно.
Четыре шага — и можно общаться
На примере VoriTrans: после установки клиента окно чата подключается за четыре шага.
Шаг 1: выбрать тип содержимого. Текст в окне чата обновляется часто и относится к элементам интерфейса, поэтому в «Типе содержимого» лучше всего выбрать «Игровой режим».
Шаг 2: выделить окно чата. Через «Выбор окна» укажите окно чата напрямую (позиция окна отслеживается автоматически) или через «Выбор области» обведите панель чата — в быстром групповом чате лучше обвести только зону сообщений, чтобы распознавание было сосредоточеннее.
Шаг 3: выбрать модель и целевой язык. Для начала возьмите «Локальную модель» перевода — она не расходует кредиты; язык оригинала определяется автоматически, целевой язык выбирайте из 105 доступных.
Шаг 4: включить автоперевод. Включите переключатель «Автоперевод» внизу слева, а в «Режиме перевода» внизу выберите «Наложение на месте» — новые сообщения переводятся сразу при появлении; можно переключиться и на «Строку субтитров»: все переводы собраны в одной строке субтитров и историю чата совершенно не перекрывают.
Четыре частых сценария — у каждого свой способ выделения
Один и тот же процесс в разных чат-сценариях требует разных решений при выделении:
- Внутриигровой чат: возгласы союзников живут мгновение; выделите панель чата и включите автоперевод — каждая фраза понятна сразу, не выходя из полноэкранного режима и не заглядывая в словарь;
- Международная коллаборация: рабочая группа в иностранном приложении — выделите зону сообщений на постоянку, уведомления и задачи обновляются потоком, и перевод прокручивается вместе с ними;
- Комментарии и чат зрителей на трансляциях: стример общается с иноязычными зрителями — держите зону комментариев в постоянном переводе, и ни один момент интерактива не будет упущен;
- Временное окно поддержки: текстовое окно иностранной техподдержки — выделите зону диалога и переводите на ходу; эффективность каждого уточнения меняется кардинально.
Профессиональные аббревиатуры, ID и названия каналов, повторяющиеся в длинных диалогах, добавьте в «Словарь терминов» — оригинал и желаемый перевод; правки сохраняются в реальном времени и вступают в силу при следующем распознавании или переводе. Имена пользователей, которые постоянно распознаются неверно, закрепите через функцию «Исправление OCR», зафиксировав правильное написание — чтобы одна и та же ошибка не повторялась в каждом сообщении. Кнопка «Режим панели инструментов» в правом верхнем углу сворачивает основной интерфейс в компактную плавающую полоску — управляете на ходу, не мешая общению.
Границы и приватность — сразу расставим точки
Два момента стоит прояснить заранее.
Первое — инструмент читает только текст: голосовые звонки и голосовые сообщения не выводят текст на экран, перевести их нельзя — это запрос совершенно другого рода; если история прокручивается вверх слишком быстро, обновление перевода идёт в ритме «ожидания стабильности изображения», настраивается в миллисекундах в настройках.
Второе — приватность: если содержимое разговора чувствительное, выбирайте локальную модель перевода — и распознавание, и перевод выполняются на вашем компьютере; за судьбой данных следят официальные описания, облачная модель расходует кредиты по объёму использования, правила — на странице цен на официальном сайте. Установочный пакет берите на странице загрузки официального сайта, гостю без регистрации доступно 1 000 кредитов на текущий месяц.
Попробуйте пять минут в самом посещаемом вами иноязычном чате: новые сообщения переводятся мгновенно, показываются на месте и не перекрывают историю, профессионализмы переводятся одинаково от раза к разу — и ритм общения почти не отличается от чата на родном языке.
Частые вопросы
Работает ли так перевод в приложениях вроде WeChat и Discord?
Пока иноязычный текст отображается на экране, переводчик с экрана его распознает — он не зависит от того, есть ли в приложении функция перевода, и не переписывает приложение. Качество распознавания конкретного окна зависит от шрифта, размера текста и стиля интерфейса; нагляднее всего один раз выделить собственное окно на практике.
Увидит ли перевод содержимое моих чатов?
Инструмент распознаёт текст с картинки, отображаемой на экране в данный момент. Если беспокоитесь о приватности, выбирайте локальную модель перевода — распознавание и перевод выполняются целиком на вашем компьютере; обработка данных каждой модели описана в официальных материалах, а для чувствительных разговоров облачную модель лучше избегать.
Можно ли переводить голосовые сообщения и звонки?
Нет. Переводчик с экрана читает текст, отображаемый на экране; у голоса нет соответствующей текстовой картинки — распознавать нечего. Если собеседник прислал голосовое, сначала посмотрите, есть ли приложенная текстовая расшифровка, или попросите его продублировать текстом.
