第16回 NMTとLLMの現状
小室誠一：Director of BABEL eTrans Tech Lab
米ベンチャー企業のオープンAIが、「ChatGPT」を公開したのは、2022年11月30日のことです。このChatGPTに質問を入力すると、まるで人間が書いたかのような自然な文章で回答を作成できたり、プログラミングコードを短時間のうちに作成できたりすることから、世界の企業や教育現場、医療や官公庁などで利用が急速に広がりました。
さらに、予期していなかった、「翻訳」のようなこともできることが分かり、しかも従来のGoogle翻訳やDeepL翻訳などのニューラル機械翻訳と同等の、場合によってはそれ以上の品質の訳文が出力されることが話題になると、機械翻訳とChatGPTではどちらが優れているかが論争されるようになりました。
ChatGPTの公開から丸2年を迎え、現状はどのようになっているのか、ChatGPTの力も借りながら調べてみましょう。
NMTとLLMの違いは？
機械翻訳も、現在ではニューラル機械翻訳（NMT）が標準的に使われるようになっていますが、長い間、文法規則や辞書を人間が記述するルールベース機械翻訳の時代が続きました。やがて、対訳コーパスから自動翻訳エンジンを自動学習するコーパスベースの機械翻訳が出現すると、目を見張るような速さで進展し、現在のニューラル機械翻訳につながっています。
一方、大規模言語モデル（LLM）は、膨大なデータを基に自然言語の理解や生成を行うために訓練されたAIモデルです。LLMは大量のテキストデータを入力として受け取り、そのデータから単語やフレーズ、文の意味の関連性を学習します。このプロセスにより、文脈を理解し、自然な文章を生成できるようになります。NMTが翻訳に特化して設計されているのに対し、LLMは生成タスクの一部として翻訳を扱えるに過ぎません。そのため、「翻訳ができる」という表現は、誤解を生む可能性がありますが、それでも一般ユーザーから見れば、翻訳もできてしまうということになるのです。
NMTの進化
本年、2024年7月17日に、DeepLは次世代の言語モデルを発表しました。
「DeepLが翻訳でChatGPT-4、Google、Microsoftを上回る次世代LLMモデルを実装」
https://www.deepl.com/ja/blog/next-gen-language-model
この新しいモデルは、特に翻訳の精度を向上させるために開発され、一般的なAIモデルに比べて誤訳や文意のゆがみが少なく、より人間らしい自然な翻訳が可能だということです。DeepLは7年以上にわたる独自データを活用し、プロの言語専門家の指導を取り入れてモデルをチューニングしており、Google翻訳やGPT-4などの他の翻訳ツールと比較して高い評価を得ています。この次世代の言語モデルは、特に英語、日本語、ドイツ語、簡体字中国語の翻訳で優れた性能を発揮し、DeepL Proのユーザー向けに提供されています。
DeepL独自の画期的な大規模言語モデル（LLM）技術と高品質の訓練用データを用いて、翻訳のために設計されたということで、NMTもまだまだ改良され続けているのです。
LLMの進化
OpenAIのGPTシリーズは文章生成の能力が高く、特にGPT-2、GPT-3、GPT-4、GPT-4oでLLMの進化を牽引してきました。GPTは大規模なデータを使った事前学習により、会話、創造的な文章生成、翻訳など幅広いタスクで人間に近い応答が可能になっています。
GPTシリーズの進化は、大規模言語モデルの発展の象徴でもあり、各世代でモデルの能力が大幅に向上してきました。ここで、各バージョンを簡単に見ておきましょう。
1. GPT-1（2018年）
GPTシリーズの最初のモデルとして登場したGPT-1は、OpenAIが初めて公開した自己回帰型（次の単語を順次予測する）トランスフォーマーモデルでした。このモデルは、約1.1億のパラメータを持ち、書籍やインターネットテキストを基に訓練されており、文章生成において初めて一定の文脈を理解できるモデルとなりました。
技術的特徴：次の単語を生成するために順次予測する手法を採用。
課題：生成した文章はある程度自然でしたが、文脈を深く理解するには不十分で、特に長文の一貫性に課題が残っていました。
2. GPT-2（2019年）
GPT-2は大幅にパラメータ数が増加し、約15億のパラメータを持つようになり、文章生成能力が大きく向上しました。GPT-2の登場により、GPTシリーズは広範囲での応用が可能になり、多くのタスクにおいて人間に近い性能を示しました。
生成能力の向上：GPT-2は多様なトピックについて詳しく話せるだけでなく、創造的で独自の文章を生成することができ、前文の内容に沿った長文生成が可能になりました。
懸念と制限：生成された文章があまりにも自然であったため、悪用の可能性が指摘され、当初は部分公開に留められました。
3. GPT-3（2020年）
GPT-3はさらにパラメータ数が増加し、約1750億のパラメータを持つようになりました。この膨大なパラメータ数のおかげで、GPT-3は単なる文章生成だけでなく、質問応答や翻訳、対話、コード生成といった多様なタスクにも柔軟に対応できるようになりました。
ゼロショット学習と少数ショット学習：GPT-3は、事前に特定のタスクについて訓練されていなくても、単語や文脈のわずかなヒント（プロンプト）を与えることで新しいタスクに適応できるゼロショットおよびフューショット学習が可能でした。
応用範囲の拡大：GPT-3の登場により、APIが公開され、生成系アプリケーションやカスタマーサポート、教育、クリエイティブライティングなど、様々な産業でLLMが導入されるようになりました。
4. GPT-4（2023年）
GPT-4は、OpenAIのモデルとしてさらに精度と知識範囲が向上し、GPTシリーズの中でも最も多才なモデルとして登場しました。推定では、GPT-4のパラメータ数はGPT-3を超えるものとされ、さらに多くのデータソースと学習によって、応答の品質が格段に改善されています。
5. GPT-4o（2024年）
GPT-4oは、最新の大規模言語モデルで、テキスト、音声、画像といった複数のモダリティをリアルタイムで処理し、より自然で人間らしい応答を実現しています。
音声入力に対して平均320ミリ秒という短い応答時間を実現し、リアルタイムの会話体験を提供します。
NMTとLLMの特徴
NMTとLLMにはどちらもトランスフォーマー（Transformer）という重要なアーキテクチャーが使われていますが、それぞれ目的や役割が異なります。
NMTにおいて、トランスフォーマーは「エンコーダ・デコーダ構造」を持っています。
エンコーダ：ソース言語（例えば英語）をエンコードし、その文の意味を保持したベクトル表現に変換します。これにより、文脈情報や単語間の関係性を理解しやすくします。
デコーダ：エンコーダからの情報を基に、ターゲット言語（例えば日本語）を出力する役割を持ちます。デコーダでは、すでに出力された単語をもとに次の単語を予測していき、自然な翻訳を生成します。
このように、NMTのトランスフォーマーは「ある言語から別の言語に変換する」ために、エンコーダでソース言語を理解し、デコーダでターゲット言語に変換する役割を担っています。
LLMでは、主に「自己回帰型モデル」としてトランスフォーマーが利用されていることはすでに説明しました。LLMでは、エンコーダ・デコーダ構造ではなく、主にデコーダ部分のみが用いられることが多いです。
自己回帰的生成をもう少し詳しく言うと、テキストを一語ずつ順次生成する方法で、過去の単語（もしくはトークン）を考慮しながら次の単語を予測し、文を構成していきます。
例えば、「Once upon a time」というテキストが与えられたら、次に何が続くかを推測して出力していきます。
試しに、「Once upon a timeの後にはどんな英文が予想されますか？」とChatGPTに聞いてみると、あっという間に、以下のような文を生成してくれました。
Once upon a time, in a small village by the sea, there lived a kind old fisherman who knew all the secrets of the ocean.
Once upon a time, in a land filled with magic and mystery, there was a kingdom where everyone believed in fairies.
Once upon a time, there was a young prince who dreamed of exploring lands far beyond his own.
Once upon a time, high in the mountains, there was a wise woman who could talk to animals and plants.
Once upon a time, there was a great forest where all the animals lived in harmony, protected by an ancient spirit.
このように、LLMのトランスフォーマーは「自己完結的に意味のあるテキストを生成する」ために、入力から出力まで一連の文脈を考慮しつつ、次の単語を予測する役割を果たします。
NMTとLLMにおけるトランスフォーマーの違いまとめると
役割の違い：NMTでは「翻訳」（エンコーダ・デコーダ構造）に特化しており、ソースからターゲット言語への変換に使われます。一方、LLMでは「テキスト生成」に特化し、過去の文脈を基に続きのテキストを生成します。
構造の違い：NMTはエンコーダ・デコーダ構造を使うのに対し、LLMは通常デコーダ部分のみを用いる自己回帰モデルを採用しています。
さて、これまで見てきたように、NMTとLLMでは、同じように「翻訳」ができるといっても、その仕組みは大きく異なります。
したがって、NMTとLLMの翻訳精度・流暢性を単純に比較しても、どちらが決定的に優れているかは判断できません。
NMTとLLMはどちらも良し悪しがあり、どちらか一方に決めるのではなく、上手に使いわけることが現状では有効です。
次回は、翻訳を効率的に行うために、NMTとLLMの特徴を踏まえて、どのように利用したら良いか考えてみたいと思います。
eトランステクノロジー講座（AI翻訳活用編）
https://www.babel-edu.jp/ett-pr/#spb-bookmark-4
BABEL eトランステクノロジー研究室
https://www.youtube.com/channel/UCpwhJgDgTHkwia7EVUvorcg
PDF版
