日英翻訳では、NMTだけでは精度が足りない
NMTの登場で、言語構造が近い言語間では、ほとんど修正不要な訳文が得られるようになりました。一方、日本語と英語のように構造の差が大きい言語間ではNMTの効果は限定的で、翻訳会社の実務ではポストエディットの負荷が依然として大きいままです。
LLMは翻訳だけでなく、既存の訳文を検証し、誤りや不自然な表現を指摘・修正することもできます。NMTの訳文にLLMの修正をかければ、日英のような言語間でもポストエディットの負荷を減らせるのではないか。これが今回の検証の出発点です。
指示文の改善には限界があった
最初に取り組んだのは指示文（プロンプト）の改善でした。指示を厳密にする、段階的に処理させる、役割を指定するといった方法で、修正訳にはある程度の改善が見られました。しかし、同じ指示文でもセッションごとに結果の差が大きく安定しないこと、厳密にするほど指示文が長くなり入力トークンとコストが増えることから、改善効果は限定的でした。
一度で直らないなら、繰り返す
そこで、処理を繰り返して精度を上げる方法を試しました。LLMが自ら修正した訳文を同じLLMにもう一度かけても、さらに修正が入ることがわかりました。セグメント単位では改善するものもしないものもありますが、文書全体では精度が上がっていました。これを続ければ、LLMが修正すべき箇所はないと判断する状態まで訳文を近づけられるはずです。
修正ループの仕組み
仕組みは単純です。修正した訳文を原文と組み直し、同じ検証・修正処理に再度かけます。
検証に使ったファイル
実際の翻訳案件から得た日英翻訳の6ファイルを使いました。適時情報開示の義務化が近かったため決算関連の文書が多く、結果に偏りがある可能性があります。ただし、実際の運用でもおおむね同じ傾向が確認されています。
| ファイル | 内容 | セグメント数 |
|---|---|---|
| A | 会社方針 | 54 |
| B | 決算説明資料 | 671 |
| C | 口頭説明の書き起こし | 51 |
| D | 質疑応答 | 33 |
| E | プレスリリース | 10 |
| F | 決算短信 | 331 |
| 合計 | 1,150 |
修正件数は2〜4回目まで大きく減り、5〜6回目でおおむね頭打ち
各回で修正されたセグメントの割合です（全ファイル合計）。
| ファイル | Rev:1 | Rev:2 | Rev:3 | Rev:4 | Rev:5 | Rev:6 | Rev:7 | Rev:8 | Rev:9 |
|---|---|---|---|---|---|---|---|---|---|
| A | 70% | 48% | 4% | 4% | 0% | 終了 | |||
| B | 77% | 28% | 15% | 11% | 7% | 3% | 1% | 1% | 1% |
| C | 76% | 29% | 24% | 8% | 6% | 4% | 4% | 4% | 2% |
| D | 91% | 67% | 30% | 3% | 3% | 0% | 終了 | ||
| E | 80% | 50% | 0% | 終了 | |||||
| F | 66% | 22% | 9% | 4% | 2% | 1% | 1% | 1% | 1% |
| 全体 | 74% | 29% | 13% | 8% | 5% | 2% | 1% | 1% | 1% |
小数点以下を四捨五入しているため、0%のセルでも修正が続いている場合があります。「終了」はその回で修正が行われなかったことを示します。B、C、Fは便宜上の上限とした9回目でも修正が続いていました。
1回目の修正で、LLMが修正不要と判断したセグメントは全体の26%でした。2回目では71%が修正不要となり、3回目では87%になりました。修正件数だけを基準にすれば、検証と修正を繰り返すことで訳文の品質は上がっていると言えます。また、5〜6回目でおおむね頭打ちになった結果を根拠に、効率の観点から実際の運用では上限を6回にしています。
訳文の精度は1回目で大きく上がり、3回目で95%に
修正の有無は品質を保証しません。エラーの見逃しや、修正による新たなエラーもありえます。そこで、著者が訳文の精度を評価しました。評価方針は次のとおりです。
評価者は著者1名
厳密な方法論に基づく評価ではない点に留意してください。
情報の正確さを重視する
原文の情報が訳抜けや湧き出しなく正確に含まれているかを見ます。
流暢さ・意訳は一定範囲で許容する
不自然な英語や意訳は、意味の把握に支障がなく、原文からの逸脱が上記の範囲内であれば許容します。
セグメント単位で評価する
文脈や訳の揺れは考慮しません。
| ファイル | MT | Rev:1 | Rev:2 | Rev:3 | Rev:4 | Rev:5 | Rev:6 | Rev:7〜9 |
|---|---|---|---|---|---|---|---|---|
| A | 70% | 96% | 98% | 100% | 100% | 100% | ||
| B | 75% | 92% | 94% | 95% | 95% | 94% | 94% | 94% |
| C | 63% | 90% | 90% | 90% | 90% | 90% | 90% | 90% |
| D | 45% | 70% | 73% | 73% | 79% | 76% | 79% | |
| E | 40% | 80% | 90% | 90% | ||||
| F | 90% | 97% | 97% | 97% | 97% | 97% | 97% | 97% |
| 全体 | 77% | 93% | 94% | 95% | 95% | 95% | 95% | 95% |
空欄はその回の処理が行われていないことを示します。Eは10セグメントしかなく、1セグメントの比重が大きいため、2回目の+10ptをそのまま一般化することはできません。
全体で77%から93%に上がりました。NMT訳の精度が低かったD（45%→70%）とE（40%→80%）で改善幅が特に大きくなっています。
全体では2回目と3回目で1ptずつ上がり、その後は変化がありません。Bは3回目までに3pt改善した一方、Fは修正が続いても精度は変わりませんでした。
2回目以降の修正は何を変えているか
数値上は1回で十分にも見えます。そこで、2回目以降の修正の中身を修正ログで確認しました。対象は一般財団法人テクニカルコミュニケーター協会の定款（19ページ、530セグメント、原文16,334文字、1セグメント平均30.8文字）です。
バーの長さは530セグメントに対する割合（82.8%、32.6%、18.5%、8.7%、4.5%、4.0%）。6ファイルの検証と同じ傾向です。
原文の長さと修正回数
定款の530セグメントについて、何回目の訳文で確定したか（次の回で修正されなかったか）を、原文の文字数と合わせて集計しました。「MT」はNMT訳のまま修正されなかったセグメント、「未確定」は上限の6回目まで修正が続いたセグメントです。
↑ 確定した回ごとのセグメント数と原文の平均文字数（定款、530セグメント）
| 確定した回 | 件数 | 最小値 | 最大値 | 平均値 | 中央値 |
|---|---|---|---|---|---|
| MT | 91 | 4 | 52 | 11.5 | 7.0 |
| Rev:1 | 266 | 2 | 132 | 28.4 | 22.0 |
| Rev:2 | 75 | 2 | 103 | 39.8 | 35.0 |
| Rev:3 | 52 | 4 | 147 | 43.7 | 39.0 |
| Rev:4 | 22 | 10 | 76 | 44.1 | 45.0 |
| Rev:5 | 3 | 54 | 79 | 69.0 | 74.0 |
| 未確定 | 21 | 23 | 224 | 61.8 | 53.0 |
最小値・最大値・平均値・中央値は原文の文字数。
↑ 確定した回ごとの原文文字数（最小値・最大値・平均値・中央値）
平均値と中央値はどちらも回を追うごとに大きくなっており、短いセグメントほど早い回で確定し、長いセグメントほど修正回数が増える傾向が見られます。長い文ほど内容や構造が複雑になり、修正の余地が残りやすいためと考えられます。
一方で、長くても早い回で確定するセグメントや、短くても最後まで確定しないセグメントもあります。未確定のセグメントは原文が23文字から224文字まで幅があり、修正が収束しない要因は長さだけでなく、文の構造や内容にもあると考えられます。
事例1：改善（3回修正）
| 版 | 訳文 | LLMによる評価 |
|---|---|---|
| 原文 | ③ ＴＣ技術に関する自主的な調査研究活動および技術開発、ならびにこれらを推進するワーキンググループの設置 | |
| MT | (iii) Voluntary research and development of TC technologies and establishment of working groups to promote these activities | △「調査研究活動」と「技術開発」が research and development に統合されすぎ。「調査」が欠落 |
| Rev:1 | (iii) Voluntary research activities and technological development concerning TC technologies, and the establishment of working groups to promote them | ○ 自然・シンプル |
| Rev:2 | (iii) Voluntary research activities and technological development concerning TC technologies, and the establishment of working groups to promote these activities | △ these activities が冗長 |
| Rev:3 | (iii) Voluntary research and study activities and technological development concerning TC technologies, and the establishment of working groups to promote them | ◎ 最も原文に忠実 |
1回目で「調査研究活動」と「技術開発」が分けて訳され、2回目で一度冗長になった後、3回目で「調査研究活動」が research and study activities になりました。and study は冗長とも考えられますが、定款のように厳密さが求められる文書では明示的に訳出されている方が適切です。複数回処理の効果が表れた例です。
事例2：さらなる改善の余地あり（3回修正）
| 版 | 訳文 | LLMによる評価 |
|---|---|---|
| 原文 | ⑧ 製品・サポート情報に係わる企業および個人間の人的交流を深め、国内外の関連団体と協力する。 | |
| MT | ⑧ Deepen personal exchanges between companies and individuals related to product and support information, and cooperate with related organizations in Japan and overseas. | △ between は複数主体なら among が自然。related to がやや曖昧 |
| Rev:1 | ⑧ Deepen personal exchanges among companies and individuals involved in product and support information, and cooperate with related organizations in Japan and abroad. | ○ 自然・involved in が正確 |
| Rev:2 | ⑧ Deepen interpersonal exchanges among companies and individuals involved in product and support information, and cooperate with related organizations in Japan and abroad. | ○ よりフォーマル。interpersonal が人的交流を明確に示す |
| Rev:3 | ⑧ Deepen personal exchanges among companies and individuals involved in product and support information, and cooperate with related organizations in Japan and abroad. | ○ Rev:1と同じ |
確定訳はMT訳より原文を正確に反映していますが、(inter)personal exchanges among companies and individuals は、企業間の交流が「人的」なものではない点で矛盾を含んでいます。矛盾を解消するなら communication and exchanges among companies and individuals といった訳が考えられ、訳文言語の観点ではさらに改善の余地があります。
interpersonal だけに注目すれば2回目の方が良く、確定訳が各回の中で最善とは限りません。ただし、別のセッションで処理したところ、確定訳は interpersonal を残した「⑧ Promote interpersonal exchanges between companies and individuals concerning product and support information, and cooperate with relevant organizations in Japan and abroad.」でした。この可能性と、各回ともMT訳から改善している事実を考えると、ここでも複数回処理には意味があります。
事例3：部分的な品質低下（1回修正）
| 版 | 訳文 | LLMによる評価 |
|---|---|---|
| 原文 | 第４４条 理事または監事について前条第１項の責任は、当該役員等が職務を行うにつき善意でかつ重大な過失がないときは、…免除することができる。 | |
| MT | Article 44 In the event that the Officers, Etc. have acted in good faith and without gross negligence in performing their duties, the Directors or Auditors may be exempted from the liability set forth in Paragraph (1) of the preceding Article … | △ 条件節と主節の順序が原文と異なる。Officers, Etc. と Directors or Auditors の使い分けが不明確 |
| Rev:1 | Article 44 The liability under paragraph 1 of the preceding Article of a Director or Auditor may, if the relevant Officer, etc. acted in good faith and without gross negligence in performing his or her duties, be exempted … | ○ 原文の構造に忠実・フォーマル・法的文書向け |
| 参考 | Article 44. A Director or Auditor may be exempted from the liability under Paragraph (1) of the preceding Article if the relevant Officer, etc. acted in good faith and without gross negligence in performing his or her duties… | exempt は通常「人」を目的語にとる。Liability may be exempted はやや不自然 |
LLMの評価で挙げられた点は改善されていますが、exempt の目的語が liability になっている不自然さは見落とされていました。この点をLLMに指摘すると、「参考」の評価と訳文が返ってきました。改善した箇所もあるため、品質低下というより、セグメント全体としては改善しなかった例と見る方が適切かもしれません。
次の構築に活かせるポイント
今後の展開
| 項目 | 内容 |
|---|---|
| 改善率の向上 | 品質改善率を上げ、修正による品質低下率を下げる |
| 処理回数の最適化 | 文書の種類・分野ごとに適した処理回数を見極める |
| 費用対効果の検証 | 追加処理のコストと、ポストエディット工数の削減効果のバランスを確認する |
| スキル公開 | Python から LDX hub の RefineLoop API を呼び出すスキルを開発し、公開予定 |
| 項目 | 内容 |
|---|---|
| 使用サービス | LDX hub RefineLoop |
| AIモデル | 【モデル名】 |
| 入力 | 原文とNMT訳文のセット（日英） |
| 出力 | 修正済み訳文、各回の修正ログ |
| 終了条件 | LLMが修正不要と判断した時点、または上限回数（運用上は6回） |
| 検証データ | 実案件6ファイル（1,150セグメント）、TC協会定款（530セグメント） |
| 知的財産 | 特許第7764079号（翻訳支援システム及び、翻訳支援方法） |
| 出典論文 | 星井智「生成AIによる訳文自動修正：翻訳品質の改善ループとその精度」 |