Bergamot Translatorを使ってCPUで英語を日本語に翻訳する
X-tech推進本部 黒澤この記事では、Bergamot Translatorを利用して、GPUを使わずCPUだけで英語の短文を日本語へ翻訳する方法を紹介します。
背景
CPUで動作する言語モデルを使った翻訳は、クラウドサービスの障害情報を収集し社内に通知するシステムのために実装しました。
現在、Webサイトの開発や運用では、さまざまなクラウドサービスを活用することが一般的です。当社の案件でも、複数のクラウドサービスを組み合わせるケースが増えています。例えば、ソースコード管理やCI/CDにはGitHub、CDNやサーバー側のプログラム実行にはCloudflareやAWS、記事や画像の管理にはmicroCMSを利用する場合があります。これらのクラウドサービスで障害が発生するとサイトの運用に影響が生じることがあるため、各サービスが一般公開している障害情報を収集し社内に通知するシステムを動かしています。
収集・通知システムは社内のサーバーで稼働しています。クラウドサービスで稼働させると、そのサービスに障害が発生したときに障害情報を収集・通知できなくなるためです。
収集している障害情報は英語がほとんどのため、システムで日本語に翻訳しています。障害情報は文章が短く(数十語から数百語)、表現も直接的です。CPUで動作する小規模な言語モデルでも翻訳できると考え、実装しました。
実装
翻訳エンジンにはBergamot Translatorを使用しました。MPL 2.0でライセンスされており、Firefoxの翻訳機能でも利用されています。
翻訳で利用するモデルもmozilla/translationsのGitHubリポジトリからリンクされているGoogle Cloud Storageよりダウンロードできます(アクセスにはGoogleアカウントへのログインが必要)。モデルもMPL 2.0のもとで配布されています。
今回はmoz-fx-translations-data--303e-prod-translations-data/models/en-ja/llmaatfinetune10Mqe8f2ApiGGQIwTKuF9i_k3n9Q2Q/exported/から以下の4つを利用しました。
- lex.50.50.enja.s2t.bin.gz
- model.enja.intgemm.alphas.bin.gz
- srcvocab.enja.spm.gz
- trgvocab.enja.spm.gz
gzip圧縮された状態のファイルサイズが合計で約36MB、展開後は合計で約50MBです。
Bergamot Translatorの公式npmパッケージである@browsermt/bergamot-translatorは、ブラウザーでの動作時にユーザー操作をブロックしないよう、やや複雑な構成になっています。具体的にはメインスレッドのJavaScriptがWorker(JavaScript)を作り、Worker内でWebAssemblyにコンパイルされた翻訳エンジンを呼び出しています。
本記事の用途ではユーザー操作が発生しませんので、Node.jsのメインスレッドからWebAssemblyを呼び出すことにしました。翻訳したい英語をJSON配列として標準入力から受け取り、日本語をJSON配列として標準出力に書き出します。
> echo '["We are currently investigating this issue."]' | node translate.cjs
["現在、この問題について調査中です。"]
翻訳処理の流れは大きく次の通りです。
WebAssemblyの初期化
まず、WebAssemblyモジュールを初期化します。一般に、wasmファイルを読み込んでインスタンスを作るだけであれば、次のようになります。
// 注意:このコードは動作しない
const fs = require('node:fs');
const path = require('node:path');
const VENDOR = path.join(__dirname, 'vendor');
const wasm = fs.readFileSync(path.join(VENDOR, 'bergamot-translator-worker.wasm'));
WebAssembly.instantiate(wasm);
ですが、このWebAssemblyモジュールでは、この呼び出しでは初期化できません。WebAssemblyモジュールから呼び出されるホスト側の処理(JavaScriptで実装された処理やブラウザーやNode.jsが提供する処理)を、WebAssemblyモジュールにつなぎ込む必要があります。つなぎ込みの大部分はnpmパッケージに含まれるbergamot-translator-worker.jsが行いますので、bergamot-translator-worker.jsに合わせてコードを調整します。なお、このファイルはグローバルスコープで直接実行される想定のコードなので、requireやimportで読み込むのではなく、evalします。
// 注意:このコードは動作しない
const fs = require('node:fs');
const path = require('node:path');
const VENDOR = path.join(__dirname, 'vendor');
const wasm = fs.readFileSync(path.join(VENDOR, 'bergamot-translator-worker.wasm'));
global.Module = {
instantiateWasm(info, accept) {
WebAssembly.instantiate(wasm, info)
.then(({ instance }) => accept(instance))
.catch((error) => {
console.error(error);
process.exit(1);
});
return {};
},
onRuntimeInitialized: main,
};
eval.call(global, fs.readFileSync(path.join(VENDOR, 'bergamot-translator-worker.js'), 'utf8'));
GEMM処理の設定
この段階でも初期化は成功しません。Bergamot Translatorの翻訳処理で最も重いのは、8ビット整数の行列積(GEMM)です。WebAssemblyの標準命令にはこの計算が無く、このWebAssemblyモジュールはwasm_gemmという名前でホスト側の処理を受け取ります。Firefoxの翻訳機能は、独自の高速実装をつなぎ込んでいますが、Node.jsにはその実装がありません。そのため、このWebAssemblyモジュールがホスト側に公開しているフォールバック関数をつなぎ込みます。
const fs = require('node:fs');
const path = require('node:path');
const VENDOR = path.join(__dirname, 'vendor');
const GEMM = {
int8_prepare_a: 'int8PrepareAFallback',
int8_prepare_b: 'int8PrepareBFallback',
int8_prepare_b_from_transposed: 'int8PrepareBFromTransposedFallback',
int8_prepare_b_from_quantized_transposed: 'int8PrepareBFromQuantizedTransposedFallback',
int8_prepare_bias: 'int8PrepareBiasFallback',
int8_multiply_and_add_bias: 'int8MultiplyAndAddBiasFallback',
int8_select_columns_of_b: 'int8SelectColumnsOfBFallback',
};
const wasm = fs.readFileSync(path.join(VENDOR, 'bergamot-translator-worker.wasm'));
global.Module = {
instantiateWasm(info, accept) {
const gemm = Object.fromEntries(
Object.entries(GEMM).map(([name, fallback]) => [name, (...args) => Module.asm[fallback](...args)]),
);
WebAssembly.instantiate(wasm, { ...info, wasm_gemm: gemm })
.then(({ instance }) => accept(instance))
.catch((error) => {
console.error(error);
process.exit(1);
});
return {};
},
onRuntimeInitialized: main,
};
eval.call(global, fs.readFileSync(path.join(VENDOR, 'bergamot-translator-worker.js'), 'utf8'));
データ読み込み
続けて、モデルなどのデータを読み込みます。先に挙げた4ファイルは実行時にgzipから展開しています。
const zlib = require('node:zlib');
const MODEL = path.join(__dirname, 'models', 'enja');
function aligned(name, alignment) {
const bytes = zlib.gunzipSync(fs.readFileSync(path.join(MODEL, name)));
const memory = new Module.AlignedMemory(bytes.byteLength, alignment);
memory.getByteArrayView().set(new Int8Array(bytes.buffer, bytes.byteOffset, bytes.byteLength));
return memory;
}
const vocabs = new Module.AlignedMemoryList();
vocabs.push_back(aligned('srcvocab.enja.spm.gz', 64));
vocabs.push_back(aligned('trgvocab.enja.spm.gz', 64));
const modelMemory = aligned('model.enja.intgemm.alphas.bin.gz', 256);
const shortlist = aligned('lex.50.50.enja.s2t.bin.gz', 64);
翻訳サービスの作成
次に、設定とモデルを与えて翻訳サービスを作成します。
今回利用するモデルは、重みが8ビット整数に量子化されています。各層の行列積では、入力となる浮動小数点数を8ビット整数に変換するための係数(アルファ値)と、重み側の係数が使われます。これらの係数は事前計算済みで、モデルに含まれています。アルファ値がモデルに含まれていることを示すため、設定のgemm-precisionはint8shiftAlphaAllを指定します。
const CONFIG = [
'beam-size: 1',
'normalize: 1.0',
'word-penalty: 0',
'max-length-break: 128',
'mini-batch-words: 1024',
'workspace: 128',
'max-length-factor: 2.0',
'skip-cost: true',
'cpu-threads: 0',
'quiet: true',
'quiet-translation: true',
'gemm-precision: int8shiftAlphaAll',
'alignment: soft',
].join('\n');
const model = new Module.TranslationModel(CONFIG, modelMemory, shortlist, vocabs, null);
const service = new Module.BlockingService({ cacheSize: 0 });
翻訳実行
最後に、入力を与えて、結果を受け取ります。入力は標準入力をJSONとしてパースすることで得ます。パースした結果はJavaScriptの配列ですので、Bergamot Translatorのデータ構造(VectorString)に変換したうえで、翻訳処理translateに渡します。translateの戻り値も、Bergamot Translatorのデータ構造になっていますので、JavaScriptの配列に変換します。JavaScriptの配列を標準出力にJSON形式で書き出します。
function translate(texts) {
const input = new Module.VectorString();
const options = new Module.VectorResponseOptions();
for (const text of texts) {
input.push_back(text);
options.push_back({ qualityScores: false, alignment: false, html: false });
}
const responses = service.translate(model, input, options);
return texts.map((_, index) => responses.get(index).getTranslatedText());
}
function main() {
const texts = JSON.parse(fs.readFileSync(process.stdin.fd, 'utf8').replace(/^\uFEFF/, ''));
process.stdout.write(JSON.stringify(texts.length ? translate(texts) : []));
}
なお、ここでは紹介していませんが、実際には入力値のチェックや標準出力に翻訳結果のJSONのみが出力されるような調整などを行っています。
検証
翻訳の検証は、Statuspageが公開している障害情報のテンプレートで行いました。
We're experiencing an elevated level of API errors and are currently looking into the issue.
は「APIエラーのレベルが高まり、現在この問題を検討しています」と翻訳されました。
The site is currently experiencing a higher than normal amount of load, and may be causing pages to be slow or unresponsive. We're investigating the cause and will provide an update as soon as possible.
は「このサイトは現在、通常よりも負荷が高くなり、ページが遅くなったり反応が悪かったりする可能性があります。 原因を調査しており、できるだけ早く更新情報を提供します」と翻訳されました。
やや不自然な部分もありますが、社内用としては十分と考えています。
また、以下の環境で計測したところ、上記の翻訳にかかる時間は0.8秒程度でした。本記事の用途では問題ないと考えています。
- 12th Gen Intel Core i7-12700H(14コア、20スレッド)
- Node.js v24.22.1
翻訳の一貫性
一方で限界もあります。
例えば、同じ英文でも前後の英文によって翻訳結果が変わることもありました。上記の2文を一度に入力した場合、「APIエラーのレベルが高まり、現在この問題を検討しています」の「検討しています」は「調査しています」になりました。
そのため、頻出する表現の一部は翻訳前にZQX0、ZQX1のような番号付きのプレースホルダーへ置き換え、翻訳後にプレースホルダーを固定の訳文に置換することにしました。例えば「This incident has been resolved.」は「このインシデントは解決しました」に置換しています。
また、障害情報には各社のサービス名や機能名が記述されることが多いのですが、これらが日本語になると不自然です。例えば、GitHubの「Actions」が「行動」、Cloudflareの「Workers」が「作業員」と訳されても、分かりにくくなってしまいます。障害が発生したサービス名や機能名も翻訳前にプレースホルダーに置き換え、翻訳後に元の表現に戻しています。なお、現在収集している障害情報では障害が発生したサービス名や機能名は機械的に取得できています。
同様にURLが翻訳されるとURLとしての意味がなくなるため、プレースホルダー化しています。
なお、プレースホルダーを使った置き換えはBergamot Translatorの機能ではなく、独自に実装したものです。翻訳処理のなかでプレースホルダーが消えたり、書き換えられていたりする可能性もあるため、翻訳前後でプレースホルダーの数と種類を比較し、不一致の場合は英語原文をそのまま出力しています。
他にも、翻訳結果のです・ます調とだ・である調は揺れました。検証した範囲ではです・ます調になることが多かったのですが、だ・である調になることもありました。文体が揺れていても内容は理解できるため、調整は見送りました。
まとめ
Bergamot Translatorを使うと、CPUだけで英日翻訳などが可能です。クラウドサービスやGPUの利用が難しい場合には検討してみてはいかがでしょうか。