こんにちは、ダメっ子のぴぴおです。
このところ、Chat GPTの誕生で生成AIが注目を集めており、翻訳業界においても、Googleがニューラル翻訳を導入したとき以上にAIの能力が話題になっている。
そこで、Google翻訳が注目を集めたころの2019年と現在で、AI翻訳の精度がどう変わったのか、そして今の精度はプロ翻訳者にどれだけ近づいているのかを検証してみようと思う。
2019年9月にこのブログで、当時のWSJの記事の一部を「みらい翻訳」に訳させてみたことがあるので、その時の訳を、現在のいくつかのAI翻訳と比較してみる。
まずは原文を提示する（○で囲んだ数字は文の番号として筆者が追加）。米国がベネズエラに対する制裁を強化したという内容のニュースだ。
①The U.S. imposed more sanctions targeting Venezuela’s oil sector, blacklisting four entities and four related vessels for allegedly transporting oil from Venezuela to Cuba, the Treasury said on Tuesday.
②The designations come after the U.S. blacklisted state-owned oil company Petroleos de Venezuela SA, an important revenue generator for the country, in January, in a move to cripple Nicolas Maduro’s government and empower opposition leader Juan Guaido.
③“Maduro’s Cuban benefactors provide a lifeline to the regime and enable its repressive security and intelligence apparatus,” Treasury Secretary Steven Mnuchin said on Tuesday.
④The Treasury levied sanctions on Cyprus-based Caroil Transport Marine Ltd., which operates three vessels that the Treasury alleged recently delivered Venezuelan petroleum products to Cuba as part of an arrangement involving PdVSA, Cuba’s state-run oil import-and-export company Cubametales and Cuban officials.
⑤The Treasury also blacklisted two Panama-based companies that are the registered owners of two of the vessels operated by Caroil Transport Marine.
次に、2019年のみらい翻訳による翻訳。この翻訳の批評は以前のブログに書いた。
①米財務省によると、米国は、ベネズエラの石油部門に対する制裁を強化し、ベネズエラからキューバに石油を輸送したとして、4つの企業と4隻の関連船舶をブラックリストに載せた。
②この指名は、1月にニコラス・マドゥロ政権を崩壊させ、野党指導者フアン・ガイドー氏に権限を与える動きの中で、米国の重要な収入源である国営石油会社ペトロレオス・デ・ベネズエラSAがブラックリストに載せられたことを受けたものである。
③ムヌチン米財務長官は、「マドゥロのキューバ人支援者は政権の命綱となり、抑圧的な安全保障と諜報機関を可能にする。」と述べた。
④財務省は、PdVSA、キューバの国営石油輸出入会社Cubametales、キューバ当局者らとの協定の一環として、ベネズエラの石油製品をキューバに引き渡したとされる3隻の船舶を運航している、キプロスを拠点とするCaroil Transport Marine Ltd.に対して制裁を科した。
⑤財務省はまた、カーオイルトランスポートマリーンが運航する2隻の船舶の登録所有者であるパナマに拠点を置く2社をブラックリストに載せた。
これが現在のみらい翻訳では、どう変わったのか。
①米国はベネズエラの石油部門を標的とした追加制裁を実施し、ベネズエラからキューバに石油を輸送したとされる4団体と関連船舶4隻をブラックリストに載せたと、財務省が火曜日に発表した。
②ベネズエラ政府は1月、ニコラス・マドゥロ政権の機能を停止させ、野党指導者フアン・グアイド国会議長の権限を強化するため、同国の重要な収入源である国営石油会社ペトロレス・デ・ベネズエラをブラックリストに追加した。
③ムニューシン財務長官は 「マドゥロのキューバ支援者は政権の生命線となり、抑圧的な安全保障と情報機関を可能にしている」 と述べた。
④財務省は、PdVSA、キューバの国営石油輸出入会社Cubametales、キューバ当局者が関与した取り決めの一環として、最近ベネズエラの石油製品をキューバに引き渡したとされる3隻の船舶を運航するキプロスを拠点とするCaroil Transport Marine Ltdに制裁を科した。
⑤財務省はまた、Caroil Transport Marineが運航する船舶のうち2隻の登録所有者であるパナマに拠点を置く2社をブラックリストに載せた。
おお、結構変わっている。
①では、2019年訳に見られたon Tuesdayの訳抜けが解消している。
②では、2019年訳の「”米国”の重要な収入源」という誤訳（原文はan important revenue generator for the country）が「同国の～」に直されている。
また、Guaido氏の仮名表記も「ガイドー」から「グアイド」に修正されている。
その一方で、the U.S. blacklisted state-owned oil companyの部分がなぜか、「ベネズエラ政府は～」と訳されている。これは完全に誤訳なので改悪。国営石油会社の名称の仮名表記も前の方が良かった。
③では、Mnuchin氏の仮名表記が「ムヌチン」から、報道で一般的に使われた「ムニューシン」に改められている。
また「抑圧的な安全保障と諜報機関」が「抑圧的な安全保障と情報機関」になったが、ここについては、intelligenceだけでなくsecurityもapparatusにかかるということを見抜いていない点は変わっていない。ちょっと分かりにくい書き方になってしまったが、要は「抑圧的な治安・情報機関」とすべきだったということ。
④は、大きく変わっていない。どこからどこまでがCaroil Transport Marine社の説明であるのか分かりにくい問題は解消していない。2019年訳には、「･･･船舶を運航している、キプロスを拠点とする」と読点「、」を途中に入れる工夫が見られたが、今回はそれがない。これについては、この点の打ち方を良しとしない人もいるので、どちらが良いとは言い切れない。
⑤は、「運航する2隻」が「運航する船舶のうち2隻」となって正確性が増した。
全体を見てみると、一部に改悪があったものの、総合的に良くなったと言えるのではなかろうか。
しかし、この訳文を作れる力があれば、プロとしてお金を稼げるかと聞かれたら、②の「ベネズエラ政府は～」の大きな誤訳がなかったとしても、ちょっと微妙なところ。もしかしたら翻訳会社に登録はしてもらえるかもしれないけど（僕なら落とす）、コンスタントに稼げるようにはならないな。多くの人に読まれる文章の翻訳に使ってもらえることはないだろう。
続いて、その他の現在のAI翻訳を試してみる。
まずは訳文の質の評判が高いDeepLから。
①米国は、ベネズエラの石油部門をターゲットにさらなる制裁を課し、ベネズエラからキューバへの石油輸送の疑いで4つの事業体と関連船舶4隻をブラックリストに登録したと、財務省が火曜日に発表しました。
②今回の指定は、米国が1月に、ニコラス・マドゥロ政権を機能不全に陥れ、野党指導者フアン・グアイドに力を与えるために、同国の重要な収入源である国営石油会社Petroleos de Venezuela SAをブラックリスト化したことに続くものです。
③「マドゥーロのキューバ人後援者は、政権に生命線を提供し、その抑圧的な治安と情報機関を可能にしている」と、スティーブン・ムニューシン財務長官は火曜日に述べた。
④財務省は、キプロスを拠点とするCaroil Transport Marine Ltd.に制裁を課した。同船舶は、PdVSA、キューバの国営石油輸出入会社Cubametales、キューバ政府関係者が関わる取り決めの一環として、ベネズエラ産石油製品を最近キューバに納入したと財務省が主張した3隻の船舶を運航していた。
⑤財務省はまた、Caroil Transport Marineが運航する船舶のうち2隻の登録所有者であるパナマに拠点を置く企業2社をブラックリストに登録しました。
全体として、大きな誤訳はない。ただし、「です・ます調」と「だ・である調」が混在している文体は問題。これは今のところ多くのAI翻訳に共通する問題のようだ。
③のsecurity and intelligence apparatusを正しく読み取れていないのは、みらい翻訳と同様だった。
一方、④のCaroil Transport Marineの説明部分は、whichの前後で文を切って、読みやすく処理されており、この点はDeepLの方がみらい翻訳より上手だった。ただし、その先行詞を受けた主語が「同船舶」となってしまったのは惜しい。これは会社なので「同社」とすべきところ。
全体的に見ても、みらい翻訳よりもやや質が高いと思われるが、プロの翻訳として通用するかと言われたら、文体を整えたとしても、もう一歩。日本語として誤りではないものの、高校生が英語の授業で訳したような不自然さが散見されるので、日本人の記者が書くような表現にブラッシュアップする必要がある。
次にGoogle翻訳をみてみる。
①米国は、ベネズエラからキューバに石油を輸送したとして、4つの組織と4つの関連船をブラックリストに載せ、ベネズエラの石油セクターを対象とした追加の制裁を課した、と財務省は火曜日に述べた。
②この指定は、米国のブラックリストに載った国営石油会社ペトロレオス デ ベネズエラ SA が 1 月に、ニコラス マドゥーロ政権を無力化し、野党党首フアン グアイドに力を与えようとする動きに続くものです。
③スティーブン・ムニューシン財務長官は火曜日、「マドゥロのキューバの恩人は政権にライフラインを提供し、その抑圧的な治安と諜報機関を可能にする。
④財務省は、キプロスに本拠を置く Caroil Transport Marine Ltd. に制裁を課しました。同社は最近、PdVSA、キューバの国営石油輸出入会社 Cubametales、およびキューバの役人。
⑤財務省はまた、キャロル トランスポート マリンが運航する 2 隻の船舶の登録所有者であるパナマに本拠を置く 2 社をブラックリストに載せました。
これは、過去の機械翻訳に比べたら、かなりまともだが、みらい翻訳やDeepLに比べると全然ダメ。②は構文を読み違えているし、④は分からなくてギブアップした感じ。もちろん、プロの翻訳としては使えない。
さて、話題のChat GPTはどうなのか。
米国、ベネズエラの石油セクターに制裁を追加 キューバへの石油輸送容疑で4社と船舶を追加制裁
①米国財務省は、ベネズエラからキューバへの石油輸送を行ったとして、4つの企業とそれらに関連する船舶を制裁対象に指定したと27日に発表した。
②この指定は、1月に米国がベネズエラの国有石油会社であるペトロレオス・デ・ベネズエラ（PdVSA）を制裁対象に指定して以来、同国にとって重要な収入源の1つである同社を狙い、ニコラス・マドゥロ政権を損ない、反対派指導者のフアン・グアイドに権力を与えるための動きの一環となった。
③財務長官のスティーブン・ムニューシンは、「マドゥロのキューバの支援者たちは、その政権に生命線を提供し、抑圧的な治安・情報機関を支援している」と述べた。
④財務省は、キューバの国営石油輸出入会社Cubametales、PdVSA、キューバの関係者が関与する取引の一環として、最近ベネズエラの石油製品をキューバに配送したとされる3隻の船舶を運行するキプロスに拠点を置くCaroil Transport Marine社を制裁対象に指定した。
⑤また、Caroil Transport Marineが運航する2隻の船舶の登録所有者であるパナマに拠点を置く2社も指定対象となった。
なんと、頼んでもいないのにタイトルまで付けてきた（①の前の1行）！さすが生成系。
①については、「27日に」が原文（on Tuesday）と異なるが、日本の報道では曜日ではなく日にち（記事発行から月をまたがない場合は月を表示せず、日にちのみ）で時期を示すという慣行に従っている。
②は、原文にはないのに、ペトロレオス・デ・ベネズエラ（PdVSA）と（ ）に略称を加えたところが秀逸。この会社は略称で呼ばれることが多く、現に原文では④で断りもなく略称で出てくるので（英語ではこの社名に限らず、分かって当然と言わんばかりに、説明なしで2回目から略称になることがよくある）、ここで説明を入れておくのは適切な措置。
ただし②の訳文自体は、構文が正しく読み取れていないようで、良くない。
③では、みらい翻訳とDeepLではできなかった「抑圧的な治安・情報機関」が訳せている。
④の訳文は間違ってはいないが、ここで制裁対象に指定されたのが、Caroil Transport Marine社だけなのか、それとも同社ならびにCubametalesとPdVSAなのか分かりにくい。よく読めば、正しくCaroil社のみとされていると分かるが、分かりにくい。
翻訳会社のトライアルに通るかと言えば、①、②の気配りにポテンシャルを感じさせてくれるので、合格できるかも。しかし、②の構文の取り間違いがなかったとしても、そのままで商品になるかと言えば、あと一歩。固有名詞の扱い方などが洗練されるとなおよい。
実は、Chat GPTにはほかにもいくつかの記事を翻訳をさせてみた。すると、いつも一定して商品に近いレベルに達しているわけではないことが分かり、全体としてみると、やっぱり今のところ、新聞記事程度の一般的な文章の翻訳でもプロの翻訳者の力は必要だなと感じた。
とはいえ、少し前までは考えられなかったクオリティーが実現しているのは確か。ちょっと人の手を加えればうまくいく段階には達していると思われるので、もう少ししたら、商品にできる品質の訳文がAIだけで作れるようになるかもしれない。くわばら、くわばら！
ちなみに、ダメっ子のサンプル訳は下記。
*****
米財務省は25日（←仮にこうした。実際の仕事では日付を調べる）、ベネズエラの石油セクターに追加制裁を科したと発表した。同国からキューバに石油を輸送したとして、四つの組織ならびに関連する船舶４隻を制裁対象に指定した。
これは、ベネズエラのニコラス・マドゥロ政権を無力化し、野党指導者フアン・グアイド氏の勢力を押し上げることを狙いに、１月に米国がベネズエラの国有石油会社、ペトロレオス・デ・ベネズエラ（PdVSA）を制裁対象にしたのに続く動きだ。
ムニューシン米財務長官は同日、「マドゥロ氏を支援するキューバ人グループが政権の生命線となり、抑圧的な治安・情報機関の運営を可能にしている」と述べた。
財務省は、キプロスに本拠を置くカーオイル・トランスポート・マリーン社を制裁の対象とした。同社は、PdVSA、キューバの国営石油輸出入会社クーバメターレス、キューバ政府関係者が関与した取り決めの一環として、ベネズエラ産石油製品を先頃キューバに輸送したとされる３隻の船舶を運航していた。財務省はまた、カーオイル社が運航する船舶のうち２隻の登録所有者であるパナマ本拠の企業２社も制裁対象に加えた。
*****
