Hoyoverseゲームのセリフ、全部わかる

KaptionはWindowsのSnipping Toolと同じように画面のピクセルを読み取るだけ。ゲームファイルに触れない、コードを注入しない、ゲームメモリを読まない。ゲームプロセスとの接触が一切ないからアンチチートが検出するものがない。こういうツールでBANされた人はいない。

ダイアログのマッチング精度は約97%。翻訳自体はAIがやってるけど、よくあるGoogle翻訳みたいなやつじゃない。各ダイアログは誰が話してるか、どのクエストか、前に何を言ったかの文脈付きで翻訳される。だからAIはキャラの口調を分かってるし、文法も正しいし、用語も一貫してる。Kaptionはゲーム画面にOCRをかけて、事前翻訳済みの50万行以上のデータベースと照合する。OCRが文字を誤読することはあるけど、マッチングエンジンはそれを想定して作られてる。

CPUにはほぼ影響なし。100msごとに小さなスクリーンショットを撮ってOCRをかけるだけ。アプリ自体はRAMを約2GB使う、ダイアログのデータベースとニューラルネットワークモデルをメモリに載せてるから。GPUには一切影響しない。

今はどのゲーム言語からでもポーランド語に翻訳する。原神やスターレイルを英語、日本語、中国語、何語でプレイしてもポーランド語の字幕が出る。ダイアログ全部、UIテキスト、カットシーンに対応。出力言語は投票結果に基づいて追加予定。

うん、早期アクセス中は無料。

うん。キャプチャ領域にテキストが表示されれば何でも翻訳される。NPCの会話、カットシーンの字幕、選択肢、メニュー。話してるキャラの名前も自動で判別するし、ゲームが文字を一文字ずつ表示するアニメーションにも対応してる。

字幕が出る画面領域を選ぶ。Kaptionがその領域をスクリーンショットして、ローカルのニューラルネットワークでテキストを読み取り、ゲームダイアログのhashmapと照合する。会話の途中なら、ダイアロググラフから次のセリフが何か既に分かってるからOCRをスキップして瞬時に翻訳を表示できる。全部PC上で動いてて、どこにも送信されない。