อ่านข้อความภาษาต่างประเทศในหน้าต่างแชทอย่างไร แปลได้โดยไม่ต้องต่อ API

เพื่อนร่วมทีมตะโกนบอกแท็กติกส์เป็นภาษาต่างประเทศในกลุ่ม เพื่อนร่วมงานข้ามชาติส่งตารางงานผ่านซอฟต์แวร์ต่างภาษา ผู้ชมไลฟ์สตรีมปล่อยคอมเมนต์เป็นแถวภาษาที่อ่านไม่ออก — ข้อความเหล่านี้ถูกขังอยู่ในหน้าต่างแชทของตัวเองทั้งหมด แอปแชทส่วนใหญ่เป็นแอปปิด: ไม่มีปลั๊กอินแปลภาษาให้ติดตั้ง ไม่มีช่องต่อ API การแปลทั้งหน้าในเบราว์เซอร์ก็เข้าไม่ถึง บทความนี้จะพาไปในเส้นทางที่ไม่ต้องดัดแปลงแอปใดเลย: ให้ตัวแปลอ่านจากหน้าจอโดยตรง แชทต่อไปตามปกติ คำแปลเด้งตามข้อความใหม่

ทำไมการแปลแชทจึงยากกว่าเว็บ?

ข้อความต่างภาษาบนหน้าเว็บ เบราว์เซอร์ส่วนใหญ่ก็แปลได้ แต่ปัญหาของหน้าต่างแชทคือมันไม่ได้อยู่ในเบราว์เซอร์ โดยมีด่านกั้นสามชั้นซ้อนกัน:

• แอปปิดไม่มีช่องให้เข้า: ช่องข้อความของซอฟต์แวร์แชทบนเดสก์ท็อป แชทในเกม และซอฟต์แวร์สนทนาเสียง ล้วนเป็นอินเทอร์เฟซของทางผู้พัฒนาเอง ไม่เปิด API แปลภาษา และไม่มีระบบปลั๊กอินให้ติดตั้ง
• การคัดลอกวางทำลายจังหวะการแชท: ข้อความเด้งทีละข้อ ถ้าต้องคัดลอกทีละข้อ สลับหน้าต่าง วาง รอผล แล้วสลับกลับ ครบหนึ่งรอบเรื่องคุยก็เลื่อนไปแล้ว
• สตรีมข้อความเป็นแบบไดนามิก: เนื้อหาในหน้าต่างแชทเปลี่ยนตลอดเวลา การแปลจากภาพหน้าจอนิ่ง ๆ ตามไม่ทัน จับภาพหนึ่งครั้งข้อความก็เก่าขึ้นหนึ่งข้อ

จุดติดขัดไม่ได้อยู่ที่คุณภาพการแปล แต่อยู่ที่ "การกระทำแปลภาษา" ไม่อาจแทรกเข้าไปใน "การกระทำแชท" ได้ ถ้าจะให้ตามจังหวะทัน ตัวแปลต้องเฝ้าหน้าจอด้วยตัวเอง

แนวคิด: แทนที่จะต่อ API ให้แอป ให้ตัวแปลอ่านจากหน้าจอยิ่งดีกว่า

ตัวแปลหน้าจอทำงานโดยเลี่ยงปัญหา API ลงตัว: ไม่สนว่าแอปจะเปิดช่องต่อหรือไม่ ตรวจจับข้อความที่ปรากฏบนหน้าจอโดยตรง นำคำแปลวางกลับที่ตำแหน่งเดิม และอัปเดตอัตโนมัติทันทีที่ข้อความเปลี่ยน แอปทำงานตามเดิม ไม่ต้องแก้โค้ดแม้แต่บรรทัดเดียว — นี่คือความหมายของ "ไม่ต่อ API": ประตูการแปลอยู่บนหน้าจอ ไม่ได้อยู่ในแอป

สำหรับหน้าต่างแชท หมายความว่าข้อความใหม่เด้งขึ้นเมื่อไร คำแปลก็รออยู่ตำแหน่งเดิมแล้วเมื่อนั้น เลื่อนขึ้นดูประวัติการแชท เลื่อนถึงไหนการตรวจจับตามถึงนั้น ข้อความก่อนหน้าไม่ต้องจับภาพซ้ำ

สี่ขั้นตอนเริ่มแชท

ยก VoriTrans เป็นตัวอย่าง หลังติดตั้งโปรแกรมเสร็จ ใช้เพียงสี่ขั้นตอนก็รับมือหน้าต่างแชทได้:

ขั้นตอนที่ 1: เลือกประเภทเนื้อหา ข้อความในหน้าต่างแชทอัปเดตบ่อยและเป็นข้อความระดับอินเทอร์เฟซ เลือก "โหมดเกม" ใน "ประเภทเนื้อหา" เพื่อจัดการได้เหมาะที่สุด

ขั้นตอนที่ 2: กรอบคลุมหน้าต่างแชท ใช้ "เลือกหน้าต่าง" เลือกหน้าต่างแชทโดยตรง (ติดตามตำแหน่งหน้าต่างอัตโนมัติ) หรือใช้ "เลือกพื้นที่" ลากกรอบคลุมแถบแชท — กลุ่มแชทไหลเร็ว กรอบเฉพาะโซนข้อความก็พอ การตรวจจับจะโฟกัสกว่า

ขั้นตอนที่ 3: เลือกโมเดลและภาษาเป้าหมาย โมเดลแปลเริ่มจาก "โมเดลในเครื่อง" ไม่เปลืองเครดิต ภาษาต้นทางตรวจจับอัตโนมัติ ภาษาเป้าหมายเลือกภาษาที่ใช้ประจำจาก 105 ภาษา

ขั้นตอนที่ 4: เปิดแปลอัตโนมัติ เปิดสวิตช์ "แปลอัตโนมัติ" ที่มุมล่างซ้าย แล้วเลือก "วางทับตำแหน่งเดิม" ใน "โหมดแปล" ที่ด้านล่าง ข้อความใหม่เด้งขึ้นแปลทันที หรือจะสลับเป็น "แถบซับไตเติล" ก็ได้ คำแปลจะรวมแสดงในแถบเดียว ไม่บังบันทึกการแชทเลยแม้แต่นิด

สี่ฉากใช้งานบ่อย กรอบยังไงก็ต่างกัน

ขั้นตอนเดียวกัน เมื่อลงไปในฉากแชทต่างกัน การเลือกกรอบก็ต่างกัน:

1. แชทในเกม: เสียงเรียกของเพื่อนร่วมทีมเกิดแล้วหาย กรอบคลุมแถบแชทและเปิดแปลอัตโนมัติไว้ เสียงเรียกเด้งขึ้นเมื่อไรก็เข้าใจได้ทันที ไม่ต้องออกจากฟูลสกรีนไปเปิดพจนานุกรม
2. การทำงานข้ามชาติ: กลุ่มทำงานในซอฟต์แวร์ต่างภาษา กรอบคลุมโซนข้อความให้ติดอยู่กับที่ การแจ้งเตือนและตารางงานเลื่อนอัปเดต คำแปลก็เลื่อนตาม
3. คอมเมนต์ไลฟ์และแชทผู้ชม: สตรีมเมอร์ดูการโต้ตอบผู้ชมต่างภาษา กรอบคลุมโซนคอมเมนต์ให้แปลประจำ บรรยากาศการโต้ตอบไม่ตกหล่นแม้แต่จังหวะเดียว
4. หน้าต่างฝ่ายบริการลูกค้าชั่วคราว: หน้าต่างข้อความของฝ่ายบริการลูกค้าต่างภาษา กรอบคลุมโซนบทสนทนา แปลไปคุยไป ประสิทธิภาพการเช็กกันกลับไปมาต่างกันหมด

คำย่อเฉพาะทาง ชื่อ ID ชื่อแชนเนลที่โผล่ซ้ำ ๆ ในบทสนทนายาว ให้เพิ่มคำต้นฉบับและวิธีแปลที่ต้องการใน "คลังคำศัพท์เฉพาะ" การแก้ไขบันทึกแบบเรียลไทม์ มีผลตั้งแต่การตรวจจับหรือการแปลครั้งถัดไป ส่วนชื่อผู้ใช้ที่ถูกจำผิดไม่รู้จบ ใช้ฟังก์ชัน "แก้คำ OCR" ตั้งคำต้นฉบับเป็นสะกดที่ถูกต้อง ประหยัดการผิดคำเดิมซ้ำ ๆ ในทุกข้อความ คลิก "โหมดแถบเครื่องมือ" ที่มุมขวาบน เพื่อย่อหน้าจอหลักเป็นแถบลอยเล็ก ๆ ควบคุมไปคุยไป ไม่รบกวน

ขอบเขตและความเป็นส่วนตัว บอกให้ชัดก่อน

มีสองเรื่องที่ควรบอกให้ชัดก่อน

หนึ่งคืออ่านได้เฉพาะข้อความ: การโทรเสียงและข้อความเสียงไม่มีตัวหนังสือแสดงบนหน้าจอ แปลไม่ได้ เป็นความต้องการคนละประเภท ถ้าเลื่อนบันทึกการแชทขึ้นเร็วเกินไป การรีเฟรชคำแปลจะเดินตามจังหวะ "รอภาพนิ่ง" สามารถปรับเป็นหน่วยมิลลิวินาทีได้ในการตั้งค่า

สองคือความเป็นส่วนตัว: ถ้าเนื้อหาแชทมีความอ่อนไหว ให้ใช้โมเดลแปลในเครื่องก่อน — ทั้งการตรวจจับและการแปลเสร็จภายในเครื่องของคุณ เส้นทางของข้อมูลให้ยึดตามคำอธิบายอย่างเป็นทางการ โมเดลคลาวด์ใช้เครดิตตามปริมาณการใช้ กติกาให้ยึดตามหน้าราคาอย่างเป็นทางการ ตัวติดตั้งดาวน์โหลดได้จากหน้าดาวน์โหลดอย่างเป็นทางการ แขกไม่ต้องเข้าสู่ระบบก็มี 1,000 เครดิตใช้ได้ภายในเดือนนั้น

ลองหยิบหน้าต่างแชทต่างภาษาที่คุณใช้บ่อยที่สุดมาลองห้านาที: ข้อความใหม่เด้งขึ้นแปลทันที แสดงตำแหน่งเดิมไม่บังบันทึก วิธีแปลคำย่อสอดคล้องกันตลอด จังหวะการแชทใกล้เคียงกลุ่มภาษาแม่แล้ว

คำถามที่พบบ่อย

แอปอย่าง WeChat และ Discord แปลแบบนี้ได้ไหม?

ขอเพียงข้อความต่างภาษาปรากฏบนหน้าจอ ตัวแปลหน้าจอก็ตรวจจับได้ — ไม่พึ่งฟังก์ชันแปลจากแอปเอง และไม่แก้ไขแอปด้วย ผลการตรวจจับของหน้าต่างแต่ละหน้าขึ้นกับฟอนต์ ขนาดฟอนต์ และรูปแบบอินเทอร์เฟซ ลากกรอบหน้าต่างของคุณเองสักครั้งก็รู้ทันทีที่สุด

การแปลแบบนี้จะเห็นเนื้อหาแชทของฉันไหม?

เครื่องมือตรวจจับข้อความจากภาพที่กำลังแสดงบนหน้าจอในขณะนั้น ถ้ากังวลเรื่องความเป็นส่วนตัว เลือกโมเดลแปลในเครื่องได้ การตรวจจับและการแปลเสร็จภายในเครื่อง วิธีประมวลผลข้อมูลของโมเดลแต่ละชนิดให้ยึดตามคำอธิบายอย่างเป็นทางการ บทสนทนาที่อ่อนไหวแนะนำให้เลี่ยงโมเดลคลาวด์

ข้อความเสียงและการโทรเสียงแปลได้ไหม?

แปลไม่ได้ ตัวแปลหน้าจออ่านข้อความที่แสดงบนหน้าจอ เสียงไม่มีภาพข้อความให้อ่านก็ตรวจจับไม่ได้ เมื่ออีกฝ่ายส่งข้อความเสียงมา ลองดูก่อนว่ามีตัวหนังสือถอดเสียงแนบมาหรือไม่ หรือขอให้อีกฝ่ายส่งเป็นข้อความตัวหนังสือเพิ่ม