AIの翻訳評価は、同じ訳文でも結果が毎回変わる
翻訳の品質評価では、MQM(Multidimensional Quality Metrics)のように、エラーの種別と重大度を定めた基準を使います。評価者は訳文を読み、エラーの箇所に種別と重大度を付け、ペナルティの合計で品質を数値にします。この作業をAIにさせると、人の評価者と同じ基準で、短時間に大量の訳文を評価できる見込みがあります。
ところが、AIに基準を渡して評価させると、同じ訳文・同じ指示でも、実行のたびに指摘の数や種別が変わります。評価の結果が安定しなければ、品質の数値として使えません。
当社は機械翻訳の後処理で、訳文を1セグメントずつLLMで検証・修正し、修正がなくなるまで繰り返す技術(RefineLoop)を使っています。これと同じ考え方で、評価基準を先に構造化してから、1セグメントずつ同じ手順で点検・修正する方式を作り、評価の結果が安定するかを確かめました。
基準を構造化し、1セグメントずつ点検して収束させる
処理は4つの段階からなります。すべて LDX hub の StructFlow(レコードごとに同じ指示を与えて、決まった形の JSON を返す処理)で動かします。
公開特許の翻訳に、40か所の欠陥を埋め込む
| 項目 | 内容 |
|---|---|
| 対象 | 特表2023-502949(原文 WO2021/096896、半導体計測装置の特許、英→日)。請求項45と明細書347の計392セグメント |
| 評価基準 | MQM Full(MQM Council、2024年3月版、CC BY 4.0)の128種別から、特許翻訳に関係する50種別を選んだもの。種別ごとに判定範囲(セグメント単位/文書全体)、標準の重大度、重大度の注記を付けた |
| 欠陥 | 公開された訳文に40か所の欠陥を埋め込んだ(セグメント単位24、文書全体16。Critical 8・Major 17・Minor 15、ペナルティ合計300) |
| 検出の定義 | 厳密=指摘がそのセグメントを指し、かつ MQM の種別が一致。緩い=セグメントのみ一致。重大度の一致は別に集計 |
| 実行 | 2モデル×3回。モデルは Claude Opus 5.5 と GPT-6 Sol |
埋め込んだ欠陥の例
| 種別 | 原文 | 欠陥を埋め込んだ訳文 |
|---|---|---|
| 過剰な限定 Critical |
… include at least one of an electron-beam metrology tool or an optical metrology tool. | …電子ビーム計量ツール及び光学計量ツールの両方が含まれているシステム。 |
| 過剰な限定 Critical |
For example, a sample 124 may include four metrology targets … | 例えば、標本124に…4個の計量ターゲットを設けなければならない。 |
| 用語の不統一 Major |
correctables | ほかの箇所は「コレクタブル」、この請求項だけ「補正値」 |
| 文体の不統一 Minor |
(明細書の1文) | この文だけ「です・ます」調 |
上の2件はセグメント単位で判定できる欠陥、下の2件は文書全体を見なければ判定できない欠陥。「少なくとも一方」を「両方」にする、「できる」を「しなければならない」にするといった欠陥は、特許では権利範囲を変えるため Critical にしています。
結果1 検出率は Opus で85.8%、GPT で76.7%
種別を問わずセグメントの位置だけで照合すると(緩い)、どちらのモデルでも95%以上。
欠陥の位置は、どちらのモデルもほとんど見つけています。厳密な検出率の差は、主に MQM の種別の付け方で生じています。1セグメントだけでは判定できない文書全体の欠陥(16か所)も、Opus で87.5%、GPT で75.0%を見つけました。
結果2 3回の試行で、結果の差は2.5pt
pt は百分率どうしの差(87.5%と85.0%の差は2.5pt。欠陥1か所分)。
40か所のうち、3回とも同じ結果(検出した、または検出しなかった)だった欠陥は、Opus で38か所、GPT で37か所でした。MQM のペナルティ合計(正解は300)は、Opus で513〜538(幅25)、GPT で915〜987(幅72)でした。ペナルティが正解より大きいのは、埋め込んだ欠陥のほかに、元の訳文への指摘が加わるためです。
結果3 重大度の一致は約90%
検出した欠陥について、AIが付けた重大度が正解と一致した割合は、どちらのモデルでも91〜93%でした。基準に種別ごとの標準の重大度と注記(請求項の権利範囲に関わるものは Critical、など)を書いておいたことで、モデルによらず同じ水準になっています。
結果4 費用と時間
| モデル | 費用/回 | 時間/回 |
|---|---|---|
| GPT-6 Sol | $4.6〜4.8 | 約1分 |
| Claude Opus 5.5 | $7.8〜8.2 | 約7分 |
392セグメント(原文約4万語)を1回評価する費用。LDX hub の単価(Opus 5.5:1,000文字あたり入力120・出力600クレジット、GPT-6 Sol:入力60・出力300クレジット、1クレジット=$0.0001)で計算。基準の構造化の費用(初回だけ。Opus $1.47、GPT $0.61)は含まない。
GPT は Opus の約6割の費用で、時間は約8分の1でした。
修正の例(Opus)
| 版 | 訳文 | AIの判定 |
|---|---|---|
| 原文 | The system of Claim 1, wherein the one or more metrology tools include at least one of an electron-beam metrology tool or an optical metrology tool. | |
| 欠陥入り | 請求項1に記載のシステムであって、前記1個又は複数個の計量ツールのなかに、電子ビーム計量ツール及び光学計量ツールの両方が含まれているシステム。 | 過剰な限定(Critical)。原文は「少なくとも一方」だが「両方」になっており、権利範囲が狭まる |
| 修正後 | 請求項1に記載のシステムであって、前記1個又は複数個の計量ツールのなかに、電子ビーム計量ツール及び光学計量ツールのうち少なくとも一方が含まれているシステム。 | 文書内のほかの請求項の訳し方に合わせて修正。2回目の点検で変化なし(収束) |
修正の理由に「文書内のほかの請求項(16、24、31等)の訳し方に合わせた」とあるように、同じ表現のほかの箇所を根拠にして直しています。
見逃した欠陥:位置は見つけているが、種別が違う
Opus が3回とも厳密に検出できなかった欠陥は、いずれも位置は見つけており、付けた種別が正解と異なるものでした。
| 欠陥 | 正解の種別 | AIが付けた種別 |
|---|---|---|
| 方法の請求項の引用先をシステムの請求項にした | 文書内参照の誤り | 数値の不一致(原文の番号との不一致として判定) |
| may include を「設けなければならない」と訳した | 過剰な限定 | 時制・法の誤り |
| 助詞「が」を重複させた | 文法 | 表記の誤り |
MQM の種別には境界が近いものがあり、人の評価者でも判定が分かれます。正解を複数の種別で認めるか、基準の「確認すること」に境界の説明を足すかは、次の課題です。
RefineLoop でも、同じ水準で評価できる
当社の RefineLoop は、訳文の検証と修正を繰り返す点で StructFlow Loop と同じ考え方の製品です。RefineLoop に MQM の50種別を指示として渡し、修正のノートに種別・重大度・理由を書かせて、同じデータで評価しました(Opus 5.5、3回)。
| 項目 | StructFlow Loop | RefineLoop |
|---|---|---|
| 検出率(厳密、平均) | 85.8% | 85.0% |
| ばらつき(3回) | 2.5pt | 0pt |
| 文書全体の欠陥 | 87.5% | 81.2〜87.5% |
| 重大度の一致 | 91% | 91〜94% |
| ペナルティ(正解は300) | 513〜538 | 512〜543 |
| 費用/回 | $7.8〜8.2 | $5.5〜5.6 |
| 時間/回 | 約7分 | 約3〜5分 |
RefineLoop は、当社の検証用の設定(文書全体の情報を参照させる指示)で実行した値。
検出率、ばらつき、重大度の一致、ペナルティのいずれも、ほぼ同じ水準になりました。
次の構築に活かせるポイント
今後の展開
| 項目 | 内容 |
|---|---|
| 種別の境界 | 判定が分かれた種別について、正解を複数にするか、基準の説明を足すかを決める |
| ほかの分野・言語の向き | 特許以外の分野と、日→英で同じ傾向になるかを確かめる |
| 自動採点への組み込み | MQM と ISO 5060 による翻訳品質評価の第1段階(自動採点)に、StructFlow Loop の評価を組み込む |
| 項目 | 内容 |
|---|---|
| 使用サービス | LDX hub StructFlow(基準の構造化、事前分析、点検と修正)、RefineLoop(比較) |
| AIモデル | Claude Opus 5.5、GPT-6 Sol(LDX hub 経由) |
| 入力 | 原文と訳文の対(JSONL。CSV・Excel・XLIFF も可)、MQM の基準ファイル(Excel、1行=1種別) |
| 出力 | 修正済みの訳文、指摘一覧(セグメント・種別・重大度・理由・修正)、MQM のペナルティ、実行記録 |
| 終了条件 | 修正したセグメントの再点検で前回と同じ結果になった時点、または上限(6回) |
| 検証データ | 特表2023-502949(WO2021/096896 の日本語訳)392セグメント、欠陥40か所。MQM Full(CC BY 4.0)から特許向けに50種別 |
| 実行環境 | 同梱の Python スクリプト(標準ライブラリのみ)から LDX hub の API を呼び出す Skill(AIエージェントの手順書) |
検証に使った Skill のお申し込み
この検証で使った StructFlow Loop の Skill を、お申し込みいただいた方に提供します。Skill は、AI エージェント(Claude Code、Codex、Cursor など)に読み込ませる手順書と Python スクリプトの一式で、お手元の原文と訳文を、お使いの基準で点検・修正できます。
| 項目 | 内容 |
|---|---|
| できること | 原文と訳文の対(CSV・Excel・JSONL・XLIFF)を、基準ファイル(MQM の種別の一覧など。Markdown・CSV・Excel)に照らして1セグメントずつ点検・修正し、指摘一覧(種別・重大度・理由・修正)と修正版、MQM のペナルティを出す |
| 同梱するもの | Skill 本体(SKILL.md、README、Python スクリプト)、この検証で使った MQM の基準ファイル(MQM Full から特許向けに50種別を選んだもの)、評価用の対訳と正解一覧、検出率を出す採点スクリプト |
| 必要なもの | Python 3.9 以上、LDX hub の API キー(開発者ポータルで発行。新規アカウントにはフリートライアル枠があります)、ファイルの読み書きとコマンドの実行ができる AI エージェント |
| 費用 | Skill は無償。LDX hub の利用料は、お使いの API キーのアカウントに課金されます(この検証の条件で1回 $5〜8) |