2024/12/7
第17回 NMTとLLMのの上手な使い分け
小室誠一：Director of BABEL eTrans Tech Lab
前回は、NMTとLLMの現状について説明しました。今回は、この２つを上手に使い分ける方法を検討してみましょう。
NMTとLLMの使い分けのベストプラクティス
NMT（ニューラル機械翻訳）とLLM（大規模言語モデル）の翻訳機能には、それぞれ長所と短所があり、用途に応じてどちらが優れているかが異なります。以下に、両者の特徴と比較をまとめます。
1. 翻訳精度と適応性
NMTは翻訳に特化して訓練されているため、翻訳精度が高く、特に文法や構造の違いを考慮した正確な翻訳が得られやすくなっています。また、トレーニングデータとして一般的な翻訳データセットを使用しているため、特定の言語ペアや専門分野でも適応が可能で、安定した品質が期待できます。
LLMは汎用言語モデルで、翻訳に特化しているわけではないため、専門的な知識が必要な分野や文法構造の異なる言語ペアでは、必ずしも高精度な翻訳が得られるとは限りません。しかし、プロンプトにより翻訳のトーンやスタイルを柔軟に変更できるため、創造的な翻訳や非公式な会話文の翻訳には向いています。
2. 文脈理解と一貫性
NMTは、通常の短文や中程度の長さの文章には優れた精度を示しますが、非常に長い文章や複雑な文章では、文中の要素が抜けたり、意味がずれたりすることがあります。特に多段階で参照関係が続く文脈や会話の流れの維持は、NMTでは課題となりやすいです。
LLMは非常に長い文脈を保持しやすく、複数の文にまたがる文脈や一貫性が必要な翻訳に強みを発揮します。例えば、対話文や小説のような文脈が重要なテキストでも、前後関係を考慮した翻訳が可能です。しかし、これには計算資源を要するため、短文の大量翻訳には不向きです。
3. 特定のトーンやスタイルのカスタマイズ
NMTは通常、標準的な文法と表現に基づいて翻訳を行います。カジュアルなトーンや特定のスタイルでの翻訳には調整が必要で、標準的な文章の翻訳には向いていますが、文体や表現を変える柔軟性は低くなっています。
LLMは、プロンプトでスタイルを指定することで、フォーマル、インフォーマル、学術的、またはクリエイティブな翻訳スタイルに簡単に適応できます。そのため、マーケティングやエンターテインメント分野での翻訳、または個性的な表現が求められるテキストに向いています。
4. 翻訳のスピードとコスト
NMTは翻訳に特化しているため、一般的に処理速度が速く、短文の大量翻訳には特に適しています。コストも比較的低いため、実用的なビジネスアプリケーションで頻繁に使用されます。
LLMはモデルが巨大であるため、計算資源を多く消費し、短時間での大量翻訳にはコストがかかります。そのため、高度な文脈理解や創造的な翻訳を必要とする場合には有利ですが、コストやスピードの面ではNMTに劣ります。
これらの特徴をまとめてみると、以下のような使い方が考えられます。
特定の言語ペアにおける標準的な翻訳にはNMTが向いており、特にビジネス翻訳や法務、技術文書の翻訳など、専門的で高精度が求められる場面で優れています。
文脈理解やカスタマイズ性が必要な場合にはLLMが優れています。例えば、クリエイティブな文章翻訳や、会話の文脈が重要なシナリオでの翻訳などで力を発揮します。
それぞれの特徴を活かして、用途に応じた使い分けが最適なアプローチと言えます。
翻訳プロセスでの活用方法
それぞれの特長を活かして、翻訳プロセスに組み込んで利用しようとすれば、どうなるでしょうか？
翻訳モデルが処理する単位は、モデルの設計や目的に依存しますが、一般的には原文全体に対して処理する場合が多いです。以下、その理由と背景について説明します。
1. 原文全体を入力として処理する理由
翻訳モデル、特にトランスフォーマーベースのモデルは、文脈理解を重要視して設計されています。そのため、1文ずつ処理するよりも原文全体を入力して一括で処理するほうが、文脈をより正確に把握できます。これにより、文と文のつながりやニュアンスを考慮した自然な翻訳が可能になります。
例えば、原文における代名詞の参照（「彼」「それ」など）や話の流れは、複数の文にわたって理解する必要があることが多いため、原文全体を見ながら処理するほうが適切です。
2. 処理の仕組み：一度に処理する範囲
とはいえ、トランスフォーマーモデルには、一度に処理できるトークン数（通常は数千トークン程度）に制限があります。このため、非常に長いテキスト（例：複数のページにわたる文章）を一度に翻訳する場合、テキストを適切な長さで分割して処理する必要があります。しかし、通常の長さの段落やページであれば、原文全体を一度に入力して処理することが可能です。
ちなみに、トークンとは、テキストデータを処理する際の基本単位で、文章や入力データを分解した形を指します。1つのトークンは、単語全体、単語の一部、または記号などを表します。また、トークン化されたテキストは、モデルが処理しやすい形に変換されています。
3. 長いテキストの処理方法
長いテキストを処理する際には、モデルによってはセクションごとに分割して順次処理する場合もあります。分割された各セクションには、前後のセクションとの文脈情報が引き継がれるように調整され、全体として一貫性のある翻訳が得られるようになっています。
一度に処理できるトークンは
トランスフォーマーモデルが一度に処理できるトークン数は、モデルによって異なりますが、一般的な目安は以下の通りです。
トークン数の目安
GPT-3（例：OpenAIのモデル）：4096トークン
GPT-4（例：OpenAIのモデル）：8192トークンまたは32,768トークン（モデルのバージョンにより異なる）
トークン数から単語数への換算
トークン数を単語数に換算する場合、おおまかに以下のように考えられます。
英語では、1トークンが0.75〜1単語程度。
日本語では、1トークンが1〜1.5文字程度。
具体的には、4096トークンのモデルであれば、英語で約3000単語前後、日本語で約2000〜3000文字程度のテキストを一度に処理できることになります。
8192トークンの場合、英語なら6000〜8192単語、日本語なら8192〜12,288文字となります。
トークン数の制限が意味すること
長いテキストを処理する場合は、トークンの制限に合わせて適切な長さに分割することが重要です。分割しても、モデルが文脈を理解しやすいように工夫して処理を行うことで、自然で一貫性のある翻訳や生成が可能です。
Wordファイルをアップロードする場合でも、トークンの制限を超えていれば、ファイルを分割するほうが無難でしょう。途中までしか読み込まれていないかもしれません。翻訳の場合は十分に注意が必要です。
参考例
最近の運用法として標準になりつつあるのは、NMTで翻訳を行い、LLMでポストエディットやレビューを行う方法です。ここでは、NMTとしてDeepL Proを、LLMとしてChatGPT Plusを使用しています。
最初に、原文を読み込ませて用語集を作成します。
用語集をCSVで保存してDeepLの用語集に追加します。
訳文を出力します。
原文と訳文をChatGPTにコピーして、ホストエディットするように指示します。
このようにNMTとLLMを翻訳プロセスにうまく組み込むことで、無理なく効率化を図ることができます。もちろん、最終チェックは専門の翻訳者が行うことが理想です。ただし、使用目的によっては、これで十分という場合もあります。利用者にとって、このような翻訳の民主化は歓迎すべきでしょうが、プロの翻訳者にとっては仕事の内容が変化して来ているので、十分な対応が必要になっています。いよいよ、スーパートランスレーターの出番がやって来たと言えるでしょう。みなさん、準備はいいですか？
eトランステクノロジー講座（AI翻訳活用編）
https://www.babel-edu.jp/ett-pr/#spb-bookmark-4
eトランステクノロジー研究室
https://www.youtube.com/channel/UCpwhJgDgTHkwia7EVUvorcg
PDF版
