ブログ

各ソリューションの詳しい資料はこちら
ChatGPTと機械翻訳の意外な関係:LDX lab翻訳ソリューションブログ

ChatGPTと機械翻訳の意外な関係

昨今、ChatGPTに代表される生成AI(generative AI)が話題になっています。生成AIとは画像、文章、音楽などを生成することのできる人工知能のことです。そのような生成AIの多くが、機械翻訳の分野で培われた技術に基づいている、という事実をご存知でしょうか。この記事では、翻訳会社の視点から生成AIを眺めてみたいと思います。

目次[非表示]

  1. 1.自然言語処理を変えた2つの技術
  2. 2.汎用大規模言語モデル
  3. 3.ChatGPTにできることとできないこと
  4. 4.機械翻訳エンジンとしてのChatGPT
  5. 5.まとめ

自然言語処理を変えた2つの技術

ChatGPTは、GPT(Generative Pre-trained Transformer)と呼ばれる言語モデル※を基盤としています。この「Transformer」は、現在では多くの生成AIに使われている技術ですが、実は機械翻訳の発展の中で生み出されました。

※言語モデル:人間が話したり書いたりする言葉を単語の出現確率でモデル化したもの。文が途中まで与えられたときに次の単語を予測することが可能

2016年に公開され翻訳業界に激震をもたらしたGoogleのニューラル機械翻訳(Neural Machine Translation: NMT)には、2つの革新的な技術が使われました。サブワード分割(sub-word segmentation)注視機構(attention)です。

サブワード分割により、文を単語より細かい単位(トークン)に分けることで、語彙のサイズを抑えながら未知語を少なくすることができます。また、注視機構は、トークン間の関連についての情報を与え、長い文の翻訳精度向上に寄与します。

さらに2017年、Googleは、注視機構に全面的に依存したTransformerモデルを発表し、機械翻訳の性能を大幅に引き上げました。ほどなく、主要な機械翻訳サービスは、弊社の「みんなの自動翻訳@KI」も含め、軒並みTransformerモデルに移行しました。

NMTにおけるTransformerとサブワード分割の成功を受けて、ほかの自然言語処理※でも、これらの技術を使った言語モデルが作られるようになりました。GPTもその1つです。

※自然言語処理:人間が日常的に使っている自然言語を機械に処理させること


汎用大規模言語モデル

NMTは、原文を処理する前半部分(エンコーダー)と訳文を生成する後半部分(デコーダー)に大きく分けることができます。GPTは、NMTのデコーダーと同じ処理を行う言語モデルであり、文が途中まで与えられたときに、その続きを生成できます。

AIに翻訳を学習させるには、教師データとなる対訳集を人間が用意しなければなりません(教師あり学習: supervised learning)。一方、続きの生成なら、人間が書いた文章を大量に与えておけば、AIが自分で問題とその答えを作って学習できます(自己教師あり学習: self-supervised learning)。

このようにして大量の文章を学習させた言語モデルを、大規模言語モデル(Large Language Model: LLM)と言います。LLMは、ある意味で大量の文章を「覚えて」います。いわば、事前学習された(pre-trained)汎用言語モデルです。

LLMを基盤モデルとして、各タスク向けの教師データでファインチューニング※することで、高性能言語モデルをつくることができます。ChatGPTは、GPTをチャット用にファインチューニングしたものというわけです。

※ファインチューニング:学習済みのモデルに別のタスク用のデータを再学習させてモデルを微調整すること

なお、ChatGPTが従来のチャットボットと一線を画す点は、不適切な文の生成を防ぐためにRLHF(Reinforcement Learning from Human Feedback)と呼ばれる強化学習をしていることにあるのですが、この記事では説明を割愛します。


ChatGPTにできることとできないこと

GPTは、いくら高性能といっても、あくまで言語モデルであり、人間と同じ意味での知識は持っていません。したがって、ChatGPTに知識を問う質問をしても、その答えは信頼できません。

たとえば、筆者が住んでいる福岡市の動物園にビントロングという動物がいますが、ChatGPTに「ビントロングは何を食べる?」と尋ねたところ、ビントロングはヒツジだから草を食べると言ってみたり、フクロウだから小動物と言ってみたり、回答を生成するたびに異なった答えが返ってきて、そのほとんどが誤っていました。

また、言語モデルは論理的推論ができません。ChatGPTに次の質問を何度かしてみましたが、正答することは一度もありませんでした。

A: 「Bは嘘つきだ」B: 「Cは嘘つきだ」C: 「Aは正直だ」
この中で嘘つきが一人だけいるとすると、嘘つきは誰ですか?

そのため、言語モデルが生成する文章は、表面上はもっともらしいのですが、内容が論理的に破綻していることがあります。

このような生成AIの限界は、NMTの限界とよく似ています。現在の機械翻訳も、流暢さでは人並みで、表面上はもっともらしい訳文を生成しますが、誤訳や訳抜け・湧き出しがしばしば見られ、正確性では人間の翻訳者におよびません。逆に言えば、ChatGPTは、内容の正確性を、人間が担保できるようなタスクに向いています。具体的には、長い文章の要約や文法的な誤りの訂正などです。とは言え、それらも完璧にこなすというわけではありません。

機械翻訳の性能が向上したとき、翻訳者の仕事が機械に奪われるのではないかと考えた人が少なからずいました。しかし実際には、翻訳者の仕事は、変わりこそすれ、なくなってはいません。現在の機械翻訳が、訳文をそのままエンドユーザーに届けられる水準に達していないからです。

生成AIも同じでしょう。生成AIは副操縦士(co-pilot)だと言われることがあります。最終成果物を生み出す操縦士はあくまで人間であり、生成AIは人間を補助するものと位置付けるのがよいように思います。


機械翻訳エンジンとしてのChatGPT

ChatGPTのような生成AIに人間が与える指示をプロンプト(prompt)と呼びます。プロンプトによっては、ChatGPTに翻訳をさせることも可能です。

試しに、ChatGPTの紹介文をChatGPTに訳してもらいましょう。

次の文を訳してください。We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followup questions, admit its mistakes, challenge incorrect premises, and reject inappropriate requests.

と質問すると、

私たちは、会話形式でやり取りすることができるChatGPTと呼ばれるモデルを訓練しました。対話形式によって、ChatGPTは追加の質問に答えたり、自分の間違いを認めたり、不正確な前提に挑戦したり、不適切な要求を拒否したりすることができます。

と英日翻訳をしてくれます。「challenge」を誤訳していますが、機械翻訳としては及第と言ってよいでしょう。

ChatGPTは、一般的な機械翻訳エンジンと異なり、1つのモデルで多言語の翻訳をこなします。このような多言語翻訳モデルは、一部の機械翻訳サービスでも実用化が始まっていますが、十分な量の対訳データがある言語対では、まだ従来の二言語一方向翻訳モデルに分があるようです。

また、ChatGPTは翻訳専用でないため、「次の文を訳してください」のようなプロンプトが必要です。これは一見デメリットのようですが、逆手にとれば、従来の翻訳エンジンにはない使い方が可能になります。プロンプトを変えることで訳文を変えることができるのです

たとえば、先ほど誤訳した「challenge」の訳語を指定してみましょう。

次の文を訳してください。ただし、「challenge」は「異議を唱える」と訳してください。We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followup questions, admit its mistakes, challenge incorrect premises, and reject inappropriate requests.

と質問すると、下記の回答が得られました。

私たちは、会話形式で対話するモデルChatGPTを訓練しました。この対話形式により、ChatGPTは追加の質問に答えたり、間違いを認めたり、不正確な前提に異議を唱えたり、不適切な要求を拒否したりすることが可能です。


これで誤訳がなくなりました。「唱えたり」と正しく活用しているところは流石ですね。

このようにプロンプトを工夫して望みの結果を得ることを、プロンプトエンジニアリング(prompt engineering)と言います。機械翻訳の訳文をカスタマイズする方法として、追加学習と用語適用がありますが、プロンプトエンジニアリングはひょっとして第3のカスタマイズ手法になるかもしれません。

まとめ

現在、世界中で話題となっているChatGPTと機械翻訳の関係についてご説明しました。少し専門的ではありましたが、理解いただけたでしょうか。弊社が提供するAPIサービス「LDX hub」でもChatGPTを活用したサービスをご案内しております。ご興味のある方はぜひお問い合わせください。

  翻訳とコトバを変革するAPI群「LDX hub」|機械翻訳・AIの有効活用 言語データのデジタル変革を実現【LDX lab】 LDX hubは、自社システムと連携を検討中の企業や、言語サービスの開発に携わるのエンジニアの皆様に、言語の変換を制御するアプリケーションのハブとなるAPI群を提供するサービスです。 2,000通り以上の処理の組み合わせから、課題解決・活用/連携をサポートいたします。新しいAPI連携も継続して拡張し続けます。 LDX lab


関連記事


KIマーケティングチーム
KIマーケティングチーム
川村インターナショナルWebマーケティングチームです。開催予定セミナーやイベントの告知、ブログ運営などを担当しています。

翻訳業務の効率化でお悩みの方は
お気軽にご相談ください

ご不明な点はお気軽に
お問い合わせください。
各ソリューション資料はこちらから
ご請求ください。

人気記事ランキング

カテゴリ一覧

タグ一覧

ページトップへ戻る