変更パターン分析
49件の変更はどう分類されるか
MQM風定性評価
主要な差分の評価
Accuracy（正確さ）・Style（文体）・Fluency（流暢さ）・Terminology（用語）・Format（書式）の5軸で評価しました。
① Accuracy（正確さ）
seg-005 — MTを「machine learning system」と誤訳（汎用MT側の問題）
ACCURACY
Source (JA)
IR文書や法務文書を汎用MTに通すと、数字のフォーマットが崩れる…
汎用MTエンジン
When IR documents and legal documents are processed through a general-purpose machine learning system…
RefineLoop（GPT-5.4）
When IR or legal documents are run through a general-purpose MT system…
✓ RefineLoop優位 — 翻訳業界の専門用語「MT（Machine Translation）」を汎用MTが「machine learning system」と誤訳。RefineLoopが正しく修正。
seg-052 — 「Claude が動く」の意味変化
ACCURACY
Source (JA)
でもつながれば、あとはClaudeが動く。
汎用MTエンジン
but once it's connected, Claude runs smoothly.
RefineLoop（GPT-5.4）
But once it's connected, Claude takes over.
✓ RefineLoop優位 — 「動く」は「動作する」の意。汎用MTの「runs smoothly（スムーズに動く）」は原文にない評価的ニュアンスを付加。「takes over（引き継ぐ）」の方が原文の意図に近い。
② Style（文体）
seg-001 — タイトルの文体
STYLE
Source (JA)
# 「社長がMCPでこれ書いた」——翻訳業界の痛みをAIエージェントで検証した話
汎用MTエンジン
# "The CEO wrote this using MCP" - A story about using an AI agent to examine the pain points of the translation industry
RefineLoop（GPT-5.4）
# "The CEO Wrote This with MCP" — How I Used an AI Agent to Examine the Translation Industry's Pain Points
✓ RefineLoop優位 — タイトルケース（各単語の先頭大文字）に統一。ダッシュを「-」から「—」（emダッシュ）に修正。「A story about…」という冗長な構文を「How I…」とシンプルに。
seg-037 — 一人称の維持
STYLE
Source (JA)
集計してみると、推奨者（NPS 9-10）が37%、批判者（0-6）も37%という二極化が見えてきた。
汎用MTエンジン
The analysis revealed a polarization: 37% were promoters (NPS 9-10) and 37% were detractors (0-6).
RefineLoop（GPT-5.4）
When I aggregated the data, a polarization emerged: 37% were promoters (NPS 9-10), and 37% were detractors (0-6).
✓ RefineLoop優位 — 原文は「集計してみると」と一人称の体験記的表現。汎用MTは受動的・論文的な「The analysis revealed」に変換。RefineLoopが「When I aggregated」と一人称を回復し、ブログらしいトーンを維持。
③ Fluency（流暢さ）
seg-004 — 「地味に厄介」の訳
FLUENCY
Source (JA)
翻訳の現場には、地味に厄介な問題がある。
汎用MTエンジン
There are some subtly troublesome problems in the field of translation.
RefineLoop（GPT-5.4）
There are some quietly troublesome problems in the translation field.
✓ RefineLoop優位 — 「subtly troublesome」は直訳的で英語として少し不自然。「quietly troublesome」はより慣用的。また「in the field of translation」→「in the translation field」と自然な語順に。
seg-052 — 「The MCP」の不自然な冠詞
FLUENCY
Source (JA)
MCPは「つなぐまで」が少し大変だ。
汎用MTエンジン
The MCP is a bit tricky to set up…
RefineLoop（GPT-5.4）
MCP is a bit difficult until you get it connected…
✓ RefineLoop優位 — 固有名詞・略語の「MCP」に定冠詞「The」は不要。RefineLoopが正しく削除。
④ Terminology（用語）
seg-019 — 「詰まった」の訳
TERMINOLOGY
Source (JA)
簡単に見えるが、**ステップ1で詰まった。**
汎用MTエンジン
It looks easy, but I got stuck at **Step 1.**
RefineLoop（GPT-5.4）
It looked simple, but **I got stuck at step 1.**
✓ RefineLoop優位 — 「easy」より「simple」の方が原文「簡単に見えるが」のニュアンスに近い。また**bold**の位置が汎用MTでは文の後半のみに付いている点をRefineLoopが修正。
⑤ Format（書式保持）
両者ともXLIFFフォーマットを完全保持
Markdownの**bold**マークアップ（0件の崩れ）、##ヘッダー（0件の崩れ）ともに、汎用MTもRefineLoopも書式を維持しました。これはXLIFFを入出力形式として使ったことの効果です。プレーンテキストで処理した場合は書式崩れが発生するケースがあります。
総合評価
何が改善され、何が変わらなかったか
✅ RefineLoopで改善された点
- 専門用語の誤訳修正（MT → machine learning system）
- 意味変化の修正（runs smoothly → takes over）
- 不要な冠詞の削除（The MCP → MCP）
- タイトルケースの統一・ダッシュ記号の修正
- 一人称トーンの回復（The analysis revealed → When I aggregated）
- 英語として不自然な表現の改善
△ 変化がなかった・課題が残った点
- XLIFFフォーマット保持は両者とも問題なし（差なし）
- 数値・固有名詞の保護は両者とも正確（差なし）
- 一部セグメントで軽微な調整のみ（大きな改善なし）
- 今回はネイティブ英語話者による評価を含まない
結論：RefineLoopによる改善効果は明確
92.5%のセグメントで何らかの変更が加えられ、特に専門用語の誤訳・意味変化・文体の不自然さという「汎用MTエンジンが苦手とする領域」で顕著な改善が見られました。XLIFFを入出力形式として使うことで書式保持を担保しつつ、翻訳品質を向上させるというRefineLoopの本来の用途が確認できた検証です。
サマリー
| 評価軸 | 汎用MTエンジン | 汎用MT＋RefineLoop | 判定 |
|---|---|---|---|
| 変更率 | — （基準） | 92.5%（49/53） | 大幅改善 |
| Accuracy（正確さ） | 誤訳3件（MT・冠詞・意味変化） | すべて修正済み | RefineLoop優位 |
| Style（文体） | 論文的・一人称欠落 | ブログらしい一人称を維持 | RefineLoop優位 |
| Fluency（流暢さ） | 直訳的・不自然な表現あり | 慣用表現に改善 | RefineLoop優位 |
| Terminology（用語） | MT誤訳・easy/simple等 | 適切な用語に修正 | RefineLoop優位 |
| Format（書式保持） | 完全保持（XLIFFの効果） | 完全保持（XLIFFの効果） | 両者同等 |
この検証の限界
評価者が著者1名（日本語母語・英語非母語）であり、ネイティブ英語話者による独立した評価を含みません。また今回の原稿はブログ記事であり、法律文書・技術文書など異なる文書種別では結果が異なる可能性があります。