OCR와 번역 모델의 차이: 화면 번역의 2단계 분업
화면 번역을 쓰다 보면 이런 답답함을 느낀 적이 있을 겁니다. 번역문이 어딘가 이상한데, 문제가 어디에 있는지 짚을 수가 없다는 것. 도구가 화면의 글자를 잘못 인식한 걸까요, 아니면 번역 자체가 어긋난 걸까요. 이 두 가지 고장의 해결법은 완전히 다릅니다. '글자 읽기'와 '번역하기'를 두 단계로 나눠 보면 문제가 곧 선명해집니다.
화면 번역은 한 단계가 아니라 두 단계입니다
많은 사람이 화면 번역을 블랙박스로 생각합니다. 화면을 던져 넣으면 번역문이 나온다는 식으로요. 하지만 실제 처리 과정은 두 단계로 나뉘고, 각각 다른 부품이 담당합니다.
VoriTrans를 예로 전체 흐름을 보면 이렇습니다.
- OCR 엔진은 '읽기' 담당: 화면에서 선택한 영역의 이미지 속 글자를 편집 가능한 텍스트로 바꿉니다. 출력되는 것은 원문입니다. 예컨대 일본어 대사「宿は右です」처럼요. 이 단계는 글자를 알아볼 뿐, 의미는 이해하지 않습니다.
- 번역 모델은 '번역' 담당: OCR이 출력한 텍스트를 받아 여러분이 고른 목표 언어로 옮깁니다. 출력되는 것은 번역문입니다. 이 단계는 언어만 다루고, 화면은 보지 못합니다.
두 단계는 파이프라인 관계입니다. 번역 모델의 입력이 곧 OCR의 출력이죠. 여기서 중요한 결론이 하나 나옵니다. OCR이 글자를 잘못 알아보면, 번역 모델이 아무리 뛰어나도 바로 번역할 수 없습니다. 쓰레기가 들어가면 쓰레기가 나옵니다. 상류의 오류는 그대로 번역문까지 전달됩니다.
1단계: 화면 환경에서 OCR이 특히 어려운 이유
OCR(광학 문자 인식) 자체는 새로운 기술이 아닙니다. 스캔 문서 인식은 이미 상당히 성숙했죠. 그러나 화면은 스캔 문서보다 훨씬 까다롭고, 어려움은 모두 '화면'에서 나옵니다.
스캔 문서는 깨끗한 평면입니다. 흰 종이에 검은 글자, 방향은 고정, 글자 크기도 균일하죠. 화면은 전혀 다릅니다. 글자가 그라데이션 배경 위에 얹혀 있을 수도, 반투명 대화 상자에 가려져 있을 수도, 손글씨체나 외곽선 있는 장식 서체일 수도 있고, 화면 요소와 겹쳐 있을 수도 있습니다. 세로쓰기 일본어라면 읽는 순서 처리도 추가로 필요합니다. OCR이 오른쪽 열을 먼저 읽을지 왼쪽 열을 먼저 읽을지 틀리면 문장이 엉망이 됩니다.
그래서 도구는 조정 여지를 줍니다. VoriTrans의 환경설정에는 여러 OCR 엔진을 전환할 수 있는 옵션이 있고, 엔진마다 장식 서체·저해상도 화면에 대한 적응력이 다릅니다. 영역을 지정할 때 글자가 있는 부분만 좁게 잡으면 화면 방해 요소도 줄어듭니다. 인식 결과가 만족스럽지 않을 때는 먼저 화면 조건을 의심하고, 그다음에 엔진을 의심하세요. 이 순서를 지키면 돌길을 덜 돕니다.
2단계: 번역문의 상한선을 정하는 건 번역 모델입니다
OCR이 출력한 원문 텍스트는 번역 모델로 넘어가고, 번역 품질은 이 단계부터 갈립니다.
번역 모델은 두 종류입니다. 로컬 모델은 내 컴퓨터에서 돌아가고, 응답이 빠르며, 네트워크에 의존하지 않습니다. 짧은 대사는 깔끔하게 처리하지만, 대가로 문맥 이해가 제한적입니다. 게임 속 말장난, 밈, 호칭 같은 건 로컬에서는 대체로 보수적으로 처리되는 편입니다. 클라우드 모델(Qwen, DeepSeek, GLM 같은 대형 모델)은 파라미터가 훨씬 많아 긴 문장·문맥·어투가 명확히 낫지만, 사용량만큼 크레딧을 소모합니다.
강조할 가치가 있는 사실 하나. 번역 모델은 OCR의 오류를 만회하지 못합니다. 인식된 텍스트 자체에 글자가 빠지거나 틀리면, 클라우드 대형 모델에 넘어가는 것도 불완전한 입력이고 번역문은 여전히 어긋납니다. '더 강한 모델로 교체'와 '인식 고치기'는 별개의 일입니다. 전자로 후자의 문제를 해결하려 기대하지 마세요.
두 단계로 나눠 보면 점검도 최적화도 헤매지 않습니다
분업을 이해하는 실익은 쓸 때 드러납니다. 문제가 생기면 단계를 특정할 수 있고, 최적화도 정확히 맞출 수 있습니다.
VoriTrans의 인터페이스가 바로 이 분업을 따라 설계되어 있습니다. '인식 원문'과 '번역 결과'가 나란히 놓인 두 패널로, 인식 단계의 중간 산물을 그대로 볼 수 있죠. 점검 요령은 단순합니다.
- 원문 패널에서 이미 틀렸다면: 문제는 OCR에 있습니다. 선택 영역을 줄이거나, OCR 엔진을 바꾸거나, 화면 안정 대기 시간을 조정하세요. 또는 용어 사전에 OCR 교정 항목(원래 단어→대체 단어)을 추가하면 자주 틀리는 고유명사가 다음 번역부터 자동으로 고쳐집니다.
- 원문은 맞는데 번역이 틀렸다면: 문제는 번역 모델에 있습니다. 짧은 텍스트는 로컬과 클라우드로 각각 번역해 비교해 보세요. 고정된 명칭(인명, 지명, 스킬명)의 번역이 들쭉날쭉하다면 용어 사전의 번역 규칙으로 고정합니다.
간단한 예 하나. 캐릭터 이름「ユキ」가 몇 번은「ユヌ」로 잘못 인식되어 번역문도 따라 어긋났습니다. 용어 사전에서「ユキ」를 OCR 교정 항목으로 지정하면, 인식 단계가 먼저 글자를 바로잡고, 번역 단계가 그다음 Yuki로 통일해 번역합니다. 두 단계가 각자 자기 몫을 고칠 뿐, 서로 간섭하지 않습니다. 이런 정밀함이 바로 2단계 구조가 주는 이점입니다.
한 가지 경계: 분업이 다루는 건 화면 위의 글자입니다
2단계 파이프라인의 적용 범위는 화면에 표시된 글자입니다. 자막이 없는 음성, 통화, 순수 오디오 콘텐츠에는 OCR이 읽을 글자가 없으니, 번역 모델이 이어받을 것도 없습니다. 이건 모델 성능의 문제가 아니라, 입력 단계에서부터 인식할 대상이 없다는 얘기입니다.
이 점을 이해하면 도구의 능력 경계도 분명해집니다. 글자가 화면에 나타나기만 하면——게임 대사, 만화 말풍선, 영상 자막, 소프트웨어 UI——2단계 파이프라인이 처리할 수 있습니다. 글자가 소리 안에만 존재한다면 별도의 방법이 필요하죠. VoriTrans가 지원하는 목표 언어는 105개입니다. 2단계 중 후단은 여러분이 고른 언어로 출력하고, 인식 쪽은 원문 언어를 자동으로 감지합니다.
자주 묻는 질문
OCR과 번역 모델 중 어느 쪽이 더 자주 틀리나요?
상황에 따라 다릅니다. 화면이 깨끗하고 글자가 또렷하면 OCR 오류는 드물고, 장식 서체·저해상도·배경에 글자가 얹힌 장면에서는 인식이 특히 취약합니다. 점검할 때는 먼저 인식 원문 패널을 보세요. 원문이 맞을 때에야 번역 모델을 평가할 차례입니다.
더 강한 번역 모델로 교체하면 인식 오류를 만회할 수 있나요?
아니요. 번역 모델의 입력은 OCR의 출력 그 자체입니다. 인식 단계에서 글자가 빠지거나 틀리면 상류의 오류가 그대로 전달됩니다. 올바른 순서는 먼저 인식을 고치는(선택 영역, 엔진, OCR 교정) 것이고, 그다음에 번역 모델 업그레이드를 고민하는 것입니다.
용어 사전은 어느 단계에서 작동하나요?
두 단계 모두에서 쓸 수 있습니다. 'OCR 교정'으로 설정하면 인식 단계에서 자주 틀리는 글자를 바로잡고, '번역 규칙'으로 설정하면 번역 단계의 명칭 번역을 일관되게 고정합니다. 한 항목에는 용도를 하나만 지정할 수 있으니, 해결하려는 문제에 맞춰 고르세요.
다음에 번역문이 이상하면 번역부터 탓하지 말고, 인식 원문 패널을 열어 한 번 보세요. 몇 초면 어느 단계의 문제인지 가려집니다. 분업만 제대로 이해하면 화면 번역의 점검과 최적화는 더 이상 추측에 의존하지 않습니다.
