検証事例|LDXhub

MQMで翻訳を評価するAIの結果を安定させるStructFlow Loopの検証

作成者: Admin|Nov 16, 2026, 4:19:24 AM
背景 設計 データ 結果 RefineLoop 学び ダウンロード
検証事例レポート #【番号】

MQMで翻訳を評価する
AIの結果を安定させる
StructFlow Loop の検証

AIに翻訳の品質評価をさせると、同じ訳文でも実行のたびに指摘が変わります。MQM(翻訳品質の評価基準)を LDX hub の StructFlow で構造化し、原文と訳文の対を1セグメントずつ点検して、修正が収束するまで繰り返す方式(StructFlow Loop)を、欠陥を40か所埋め込んだ特許翻訳で検証しました。検出率、試行間のばらつき、重大度の一致、費用と時間を、2つの AI モデルで確かめています。検証に使った Skill(AI エージェントの手順書)は、ページ末尾のフォームからお申し込みいただけます。

公開日 — 【YYYY.MM.DD】 使用ツール — LDX hub StructFlow 執筆 — 川村インターナショナル
85.8%
検出率(Claude Opus 5.5)
2.5pt
試行間の差(3回)
40
埋め込んだ欠陥(392セグメント)
約1分
1回の処理時間(GPT-6 Sol)

AIの翻訳評価は、同じ訳文でも結果が毎回変わる

翻訳の品質評価では、MQM(Multidimensional Quality Metrics)のように、エラーの種別と重大度を定めた基準を使います。評価者は訳文を読み、エラーの箇所に種別と重大度を付け、ペナルティの合計で品質を数値にします。この作業をAIにさせると、人の評価者と同じ基準で、短時間に大量の訳文を評価できる見込みがあります。

ところが、AIに基準を渡して評価させると、同じ訳文・同じ指示でも、実行のたびに指摘の数や種別が変わります。評価の結果が安定しなければ、品質の数値として使えません。

当社は機械翻訳の後処理で、訳文を1セグメントずつLLMで検証・修正し、修正がなくなるまで繰り返す技術(RefineLoop)を使っています。これと同じ考え方で、評価基準を先に構造化してから、1セグメントずつ同じ手順で点検・修正する方式を作り、評価の結果が安定するかを確かめました。

検証のポイント (1) MQM の基準を構造化し、1セグメントずつ点検・修正する方式で、埋め込んだ欠陥をどれだけ見つけられるか。(2) 3回実行して、結果はどれだけ安定するか。(3) 1セグメントだけでは判定できない欠陥(用語の不統一など)も見つかるか。(4) 費用と時間はどの程度か。

基準を構造化し、1セグメントずつ点検して収束させる

処理は4つの段階からなります。すべて LDX hub の StructFlow(レコードごとに同じ指示を与えて、決まった形の JSON を返す処理)で動かします。

// StructFlow Loop の処理
1
基準の構造化 StructFlow
MQM の各種別を「確認すること・手がかり語・修正方針・判定範囲(セグメント単位/文書全体)・重大度」に分解し、JSON で保存する。基準ファイルごとに初回だけ行い、次からは使い回す
2
分割 プログラム
原文と訳文の対を、1セグメント=1レコード(JSONL)にする
3
事前分析 StructFlow
文書全体を1回読み、複数のセグメントにまたがる問題(用語の不統一、文体の混在、文書内参照の誤りなど)の候補を出す
4
点検と修正、収束判定 繰り返し
セグメントごとに、文書全体の情報と事前分析の候補を参照しながら「問題なし/修正/要確認」を判定し、エラーの種別・重大度・理由を付けて、直せるものは直す。修正したセグメントは再点検し、前回と同じ結果になった時点で終える(最大6回)

公開特許の翻訳に、40か所の欠陥を埋め込む

項目 内容
対象 特表2023-502949(原文 WO2021/096896、半導体計測装置の特許、英→日)。請求項45と明細書347の計392セグメント
評価基準 MQM Full(MQM Council、2024年3月版、CC BY 4.0)の128種別から、特許翻訳に関係する50種別を選んだもの。種別ごとに判定範囲(セグメント単位/文書全体)、標準の重大度、重大度の注記を付けた
欠陥 公開された訳文に40か所の欠陥を埋め込んだ(セグメント単位24、文書全体16。Critical 8・Major 17・Minor 15、ペナルティ合計300)
検出の定義 厳密=指摘がそのセグメントを指し、かつ MQM の種別が一致。緩い=セグメントのみ一致。重大度の一致は別に集計
実行 2モデル×3回。モデルは Claude Opus 5.5 と GPT-6 Sol

埋め込んだ欠陥の例

種別 原文 欠陥を埋め込んだ訳文
過剰な限定
Critical
… include at least one of an electron-beam metrology tool or an optical metrology tool. …電子ビーム計量ツール及び光学計量ツールの両方が含まれているシステム。
過剰な限定
Critical
For example, a sample 124 may include four metrology targets … 例えば、標本124に…4個の計量ターゲットを設けなければならない。
用語の不統一
Major
correctables ほかの箇所は「コレクタブル」、この請求項だけ「補正値」
文体の不統一
Minor
(明細書の1文) この文だけ「です・ます」調

上の2件はセグメント単位で判定できる欠陥、下の2件は文書全体を見なければ判定できない欠陥。「少なくとも一方」を「両方」にする、「できる」を「しなければならない」にするといった欠陥は、特許では権利範囲を変えるため Critical にしています。

結果1 検出率は Opus で85.8%、GPT で76.7%

40か所に対する検出率(厳密、3回の平均)
GPT-6 Sol
 
76.7%
Opus 5.5
 
85.8%

種別を問わずセグメントの位置だけで照合すると(緩い)、どちらのモデルでも95%以上。

欠陥の位置は、どちらのモデルもほとんど見つけています。厳密な検出率の差は、主に MQM の種別の付け方で生じています。1セグメントだけでは判定できない文書全体の欠陥(16か所)も、Opus で87.5%、GPT で75.0%を見つけました。

結果2 3回の試行で、結果の差は2.5pt

同一文書に対する3回の試行における検出率の最小値〜最大値
GPT-6 Sol3回
 
2.5pt
Opus 5.53回
 
2.5pt
 
60%100%
 

pt は百分率どうしの差(87.5%と85.0%の差は2.5pt。欠陥1か所分)。

40か所のうち、3回とも同じ結果(検出した、または検出しなかった)だった欠陥は、Opus で38か所、GPT で37か所でした。MQM のペナルティ合計(正解は300)は、Opus で513〜538(幅25)、GPT で915〜987(幅72)でした。ペナルティが正解より大きいのは、埋め込んだ欠陥のほかに、元の訳文への指摘が加わるためです。

結果3 重大度の一致は約90%

検出した欠陥について、AIが付けた重大度が正解と一致した割合は、どちらのモデルでも91〜93%でした。基準に種別ごとの標準の重大度と注記(請求項の権利範囲に関わるものは Critical、など)を書いておいたことで、モデルによらず同じ水準になっています。

結果4 費用と時間

モデル 費用/回 時間/回
GPT-6 Sol $4.6〜4.8 約1分
Claude Opus 5.5 $7.8〜8.2 約7分

392セグメント(原文約4万語)を1回評価する費用。LDX hub の単価(Opus 5.5:1,000文字あたり入力120・出力600クレジット、GPT-6 Sol:入力60・出力300クレジット、1クレジット=$0.0001)で計算。基準の構造化の費用(初回だけ。Opus $1.47、GPT $0.61)は含まない。

GPT は Opus の約6割の費用で、時間は約8分の1でした。

修正の例(Opus)

版 訳文 AIの判定
原文 The system of Claim 1, wherein the one or more metrology tools include at least one of an electron-beam metrology tool or an optical metrology tool.  
欠陥入り 請求項1に記載のシステムであって、前記1個又は複数個の計量ツールのなかに、電子ビーム計量ツール及び光学計量ツールの両方が含まれているシステム。 過剰な限定(Critical)。原文は「少なくとも一方」だが「両方」になっており、権利範囲が狭まる
修正後 請求項1に記載のシステムであって、前記1個又は複数個の計量ツールのなかに、電子ビーム計量ツール及び光学計量ツールのうち少なくとも一方が含まれているシステム。 文書内のほかの請求項の訳し方に合わせて修正。2回目の点検で変化なし(収束)

修正の理由に「文書内のほかの請求項(16、24、31等)の訳し方に合わせた」とあるように、同じ表現のほかの箇所を根拠にして直しています。

見逃した欠陥:位置は見つけているが、種別が違う

Opus が3回とも厳密に検出できなかった欠陥は、いずれも位置は見つけており、付けた種別が正解と異なるものでした。

欠陥 正解の種別 AIが付けた種別
方法の請求項の引用先をシステムの請求項にした 文書内参照の誤り 数値の不一致(原文の番号との不一致として判定)
may include を「設けなければならない」と訳した 過剰な限定 時制・法の誤り
助詞「が」を重複させた 文法 表記の誤り

MQM の種別には境界が近いものがあり、人の評価者でも判定が分かれます。正解を複数の種別で認めるか、基準の「確認すること」に境界の説明を足すかは、次の課題です。

RefineLoop でも、同じ水準で評価できる

当社の RefineLoop は、訳文の検証と修正を繰り返す点で StructFlow Loop と同じ考え方の製品です。RefineLoop に MQM の50種別を指示として渡し、修正のノートに種別・重大度・理由を書かせて、同じデータで評価しました(Opus 5.5、3回)。

項目 StructFlow Loop RefineLoop
検出率(厳密、平均) 85.8% 85.0%
ばらつき(3回) 2.5pt 0pt
文書全体の欠陥 87.5% 81.2〜87.5%
重大度の一致 91% 91〜94%
ペナルティ(正解は300) 513〜538 512〜543
費用/回 $7.8〜8.2 $5.5〜5.6
時間/回 約7分 約3〜5分

RefineLoop は、当社の検証用の設定(文書全体の情報を参照させる指示)で実行した値。

検出率、ばらつき、重大度の一致、ペナルティのいずれも、ほぼ同じ水準になりました。

使い分け StructFlow Loop は、指摘ごとに該当箇所・修正内容・修正方針(修正/要確認)を構造化した JSON で返すので、採点の自動化や指摘の集計に向いています。RefineLoop は XLIFF をそのまま受け取るので、翻訳の工程に組み込んで訳文を直す用途に向いています。

次の構築に活かせるポイント

基準を構造化してから渡す
MQM の種別の定義をそのまま渡すのではなく、「確認すること・手がかり語・修正方針・判定範囲・重大度」に分解して渡すと、種別の判定と重大度が安定します。重大度の一致率約90%は、基準に標準の重大度と注記を書いたことによるものです。
ばらつきは欠陥1か所分(2.5pt)
3回の試行で、40か所中38か所は同じ結果でした。評価の数値として扱える水準です。
見逃しの多くは種別の境界
位置は見つけているので、種別の境界が近い組(過剰な限定と時制・法、文法と表記など)は、正解の側で複数の種別を認めるか、基準に境界の説明を足すかで対処できます。
モデルは用途で選ぶ
Opus は検出率が高い。GPT は費用が約6割、時間が約8分の1。大量の訳文を一次評価するなら GPT、確定の評価には Opus という使い分けができます。

今後の展開

項目 内容
種別の境界 判定が分かれた種別について、正解を複数にするか、基準の説明を足すかを決める
ほかの分野・言語の向き 特許以外の分野と、日→英で同じ傾向になるかを確かめる
自動採点への組み込み MQM と ISO 5060 による翻訳品質評価の第1段階(自動採点)に、StructFlow Loop の評価を組み込む
項目 内容
使用サービス LDX hub StructFlow(基準の構造化、事前分析、点検と修正)、RefineLoop(比較)
AIモデル Claude Opus 5.5、GPT-6 Sol(LDX hub 経由)
入力 原文と訳文の対(JSONL。CSV・Excel・XLIFF も可)、MQM の基準ファイル(Excel、1行=1種別)
出力 修正済みの訳文、指摘一覧(セグメント・種別・重大度・理由・修正)、MQM のペナルティ、実行記録
終了条件 修正したセグメントの再点検で前回と同じ結果になった時点、または上限(6回)
検証データ 特表2023-502949(WO2021/096896 の日本語訳)392セグメント、欠陥40か所。MQM Full(CC BY 4.0)から特許向けに50種別
実行環境 同梱の Python スクリプト(標準ライブラリのみ)から LDX hub の API を呼び出す Skill(AIエージェントの手順書)

検証に使った Skill のお申し込み

この検証で使った StructFlow Loop の Skill を、お申し込みいただいた方に提供します。Skill は、AI エージェント(Claude Code、Codex、Cursor など)に読み込ませる手順書と Python スクリプトの一式で、お手元の原文と訳文を、お使いの基準で点検・修正できます。

項目 内容
できること 原文と訳文の対(CSV・Excel・JSONL・XLIFF)を、基準ファイル(MQM の種別の一覧など。Markdown・CSV・Excel)に照らして1セグメントずつ点検・修正し、指摘一覧(種別・重大度・理由・修正)と修正版、MQM のペナルティを出す
同梱するもの Skill 本体(SKILL.md、README、Python スクリプト)、この検証で使った MQM の基準ファイル(MQM Full から特許向けに50種別を選んだもの)、評価用の対訳と正解一覧、検出率を出す採点スクリプト
必要なもの Python 3.9 以上、LDX hub の API キー(開発者ポータルで発行。新規アカウントにはフリートライアル枠があります)、ファイルの読み書きとコマンドの実行ができる AI エージェント
費用 Skill は無償。LDX hub の利用料は、お使いの API キーのアカウントに課金されます(この検証の条件で1回 $5〜8)
ご利用にあたって Skill は検証版です。点検・修正の対象は、LDX hub と、LDX hub が利用する AI モデルの提供元に送られます。社外秘の文書は、各社の利用規程に従ってください。AI の判定は試行ごとに変わることがあります。修正と要確認は、人が確かめてから採用してください。
川村インターナショナル — 検証事例レポート #【番号】 — 【YYYY.MM.DD】