マンガの翻訳が30秒で⁉︎ FANBOXで提供開始の「マンガ自動翻訳エンジン・Mantra Engine」をマンガ家が使ってみた！
FANBOXチーム＆pixivision編集部
2022年4月1日（金）より、pixivFANBOXでプラン作成済みのクリエイターに向けて、マンガ自動翻訳エンジン「Mantra Engine（マントラエンジン）」の有償提供が始まります。「Mantra Engine」を使うと、マンガのページ画像をアップロードするだけで、日本語のセリフが英語に置き換わります。翻訳を確認し、レイアウトを調整すれば、簡単に英語に翻訳されたマンガが完成します。
サービスの提供に先立ち、タダノなつ先生にマンガを提供いただき、Mantra Engineの自動翻訳を試してもらいました。その上で、使ってみた感想や、よかった点、改善してほしい点などをクリエイター目線からお話いただきます。
また、インタビューには、Mantra株式会社の関野さん、FANBOXチームの社員も参加し、機能開発の苦労やFANBOXだけの特別な機能についても教えてもらいました。
- Mantra株式会社
- 「世界の言葉で、マンガを届ける。」ことを目指し、マンガに特化したAI技術の研究開発に取り組んでいる。今回は、Mantra Engineの事業責任者である関野さんにご参加いただきました。
支援者からの継続的な支援でクリエイターを支えるファンコミュニティ。クリエイターが支援プランを作成することで、月額制のファンクラブ、あるいは有料ブログのようなものを簡単に運用できるサービスです。詳しくはこちら。
チュートリアルを見なくても最後まで使えた
── 今回のお試しのためにマンガをご提供いただき、ありがとうございます。さっそくですが、Mantra Engineを使ってみた感想はいかがでしたか？
── 画面を見ながら進めていったんですね。
── 直感的な操作が可能なのは魅力的ですね。
── たとえば、どんなところでしょうか？
タダノ：日本語から英語に翻訳すると、縦書きから横書きになるので、どうしても吹き出しから英語のセリフが横に飛び出してしまいます。なので、改行を追加するんですけど、編集ボックスで改行するだけでちゃんと反映されるところですね。
あとは、日本語から英語に翻訳されたセリフを再度日本語に翻訳して表示してくれる「逆翻訳」も。「これやりたいな」と思ったことは、大体できました。
── 「逆翻訳」は今回FANBOXクリエイター向けに特別に開発いただいた機能なんですね。
関野：はい、英語力に自信のない方でも使いやすいように、特別に追加した機能です。実はMantra Engineは、プロの翻訳者が翻訳効率を上げるために使う想定で開発したものです。プロは翻訳の誤りは自分で見つけられるので、「逆翻訳」は必要ありませんでした。ただ、クリエイターさんは英語に自信のない方もいるかもとFANBOXさんからご指摘をいただき、AIが正しく翻訳しているか、「逆翻訳」で確認できる機能を追加しました。
── しかも、この「逆翻訳」は、英語を修正するとリアルタイムで修正後の日本語訳が反映されますよね。
関野：これ、結構がんばったんですよ（笑）。
── Mantra社さんの力作なんですね。タダノさんは、特にいいなと思った機能はありますか？
修正がほとんどなければ、1ページ1~2分で完成
── 逆に「ここが困ったな」というところはありましたか？
タダノ：作中に「わあ！」というセリフがあって、英語はちゃんと翻訳されるんですが、逆翻訳で「わあああああああ」という大袈裟なリアクションになっていましたね。困ったというか、面白かったのでいいんですが（笑）。
あとは、セリフの中に「正夢」という単語がでてきて、それがうまく翻訳されなかったところですかね。自分でも調べてみたんですが、英語が苦手なのもあり、よくわからなくて。
関野：「正夢」という日本語に、そのまま対応する英単語がないのかもしれません。「夢で見たことが現実になった」など、言い換える必要があるかもしれませんね。
── なるほど、文脈に合わせて意訳する必要がある場合は、ちょっとハードルが高くなりそうですね。
タダノ：基本的に「逆翻訳」を確認しながら、なんとなく頭の中でも翻訳して、「これであっているんだろうな」というものはそのままにして、明らかに意味合いが間違っているものは、Google翻訳でセリフを翻訳して、正しい翻訳を反映しました。
── 翻訳エンジンは完璧ではないので、確認作業は必須なんですね。翻訳作業をしていて、一番大変だった部分はどこですか？
タダノ：やっぱり英語がわからないっていうところですね（笑）。マンガのセリフはざっくりとした口語体なので、英語にしたときに日本語と同じニュアンスになっているのかがわからない。でも、細かいニュアンスまではともかく、伝わればいいのかなあって感じで翻訳してみました。
── 翻訳作業にはどのくらい時間がかかりましたか？
── 自分でゼロから翻訳するのに比べると、かなり時間の短縮になりますね。ちなみに、こんな機能があるといいなというのはありますか？
タダノ：作業を終えて、「ファイル形式を選んで出力する」を選ぶと、「待機中」から「完了」に移動する際に少し時間がかかるんですが、進行しているのか止まっているのかがわからないので、「しばらくお待ちください」などの表示があるといいなと思いました。
翻訳した作品は「入出力」から出力が可能。PDF、 PNG、 JPEG、TIFFなど多彩なファイル形式が用意されている。
関野：出力が完了するとメールで通知が飛ぶようになっているんですが、「完了したらメールが届きます」みたいな説明が書いてあるといい？
タダノ：そうですね。
関野：ありがとうございます。とても参考になります。
手書きのセリフにAIが対応できる日はくる？
── タダノさんは今後も使いたいと思いましたか？
タダノ：よく海外の方から「翻訳していいですか？」と連絡がきて、「いいですよ」と返しているので、今後は自分もMantra Engineを使っていければと思っています。ただ、私は普段は手書きでセリフを書いていまして、手書きのセリフへの翻訳対応ってしていないですよね……？
関野：そうですね……。Mantra EngineのAIが、日本語の文字と認識できるものに関しては翻訳できますが、認識できないと翻訳できません。文字の認識のために、既存の日本語フォントをAIに学習させているんですが、手書きの文字だと、なかなかうまく認識できないという状況ですね。
タダノ：なるほど、すごく丁寧にセリフを書けば、もしかしたらAIが認識してくれるかもってことですね（笑）。今後も翻訳エンジンを使うのであれば、普通にフォントでセリフを入れた方がいいんですね。ちなみに手書き文字が自動翻訳できる世界になるまで、あと何年くらいかかりそうでしょうか？
関野：う〜ん、難しい質問ですね（笑）。Mantra Engineは、世の中に流通している日本語のマンガと英語のマンガのデータを大量にAIに学習させることによって、文字の認識精度と翻訳精度を高めています。
そして問題は、セリフが手書きのマンガが少ないことです。AIはたくさんのデータを学習させるほどに精度が上がっていくので、セリフが手書きのマンガが世の中にたくさん流通していかない限り、AIの精度を上げることが難しいんです。
── いわゆる「教師データ」というやつですね。学習させるデータを大量に集めないと、AIの精度は上がらないんですね。
関野：既成のフォントなら、せいぜい数百程度の種類を学習させれば済むんですが、個人の書き癖などをフォントとして捉えると、その数は膨大なものになってしまうんですね。
ちょっと別のお話ですが、タダノさんの作品内に「わしゃわしゃ」という擬音がありますよね。そういった手書きの擬音や効果音については、弊社でも研究していまして、「ここに文字があるぞ」という場所の判定は7割くらいの精度が出ています。ただ、それが判定できたとしても、翻訳段階までの道のりはまだ長いですね。
FANBOX：ちなみに、海外のマンガ読者に聞いてみると、「手描きの擬音や効果音は日本語のまま残してほしい」という意見も多いんです。擬音や効果音も絵の一部だと感じていて、オリジナルの状態で見たいという需要もあるんですね。
タダノ：私たちにとってのアメコミとかもそうですよね。効果音が描いてあっても読めないけど、なんとなく雰囲気でわかるからそのまま読みたい、みたいな。音のニュアンスに合わせて文字の描き方を変えていることもあるし、そのまま残してもらった方がいい、というのもありそうですね。
── ちなみに、手書きのセリフや擬音も翻訳したいときには、どうすればいいんでしょうか？
関野：擬音は手書きのままを見たいという要望もあるということなので、オリジナルを残したうえで、横に添えるように翻訳を追加してあげるのがいいかもしれません。その際には、「＋」ボタンを押すと自由にセリフが入れられるボックスが生成されます。ただ、手書きの擬音には自動翻訳はかかりませんので、直接英語を入力して、大きさや傾きを調整して配置いただきます。
関野：手書きのセリフを翻訳したい場合は、お手数ですが、Mantra Engineに入稿する前に、手書き文字を消して、かわりに縦書きの日本語フォントで文字を入れておけば自動翻訳がかかります。
「数ページだけすぐに翻訳したい」に対応できる
── 逆翻訳機能のほかに、FANBOXだけの特別なサービスはあるんでしょうか？
── あまり悪いことは考えたくないですが、万一のセキュリティは大丈夫でしょうか？
関野：翻訳協力者のできることは制限ができ、画像のアップロードやダウンロードはできない仕様です。
── 翻訳をサポートしてくれる方には、Mantra Engine上での翻訳作業は存分に協力してもらえるけれど、作品本体を丸ごと渡すリスクは回避できるわけですね。
関野：ありがとうございます（笑）。海賊版などの問題がそうですが、そもそも、クリエイターさんの作品を誰かが勝手に翻訳して、その翻訳作品の収益がまったくクリエイターさんに入らないというケースがあると思います。Mantra Engineでマンガ翻訳のハードルが下がれば、そうした根本的な問題も解消に近づいていくかもしれません。
── 気になるのは料金ですね。いくらくらいで利用できるのでしょうか？
FANBOX：クリエイター優待でのMantra Engineの提供は、月額制となります。ひと月の翻訳上限が16ページまでのプランが3,000円、32ページまでのプランが5,500円なのですが、クリエイターとして金額感はどうですか？
タダノ：自分に英語圏のファンがどのくらいいるかによりますね。ただ、たくさんの人が読んでくれるのがわかれば、問題ない金額だと思います。
FANBOX：2022年4月中は初月ということで、実質800円で16ページのプランをご利用いただけるキャッシュバックキャンペーンを行います。月の利用料として3,000円をお支払いいただいた後、翌月にFANBOXにて2,200円をキャッシュバックします。まずはお試しで使ってみて、読んでくれる人がいるかどうかを確かめる、という使い方をしていただければと思っています。
タダノ：なるほど。試しに翻訳してみて、読んでくれる人がたくさんいるなと思ったら、クリエイターも使い続けると思います。
FANBOX：プロの翻訳会社にお任せする場合、翻訳料のほかに、翻訳したテキストをコマ内に貼り込む作業にも金額がかかる場合もあります。1ページあたりの単価で考えると、翻訳も貼り込みもしてくれる今回のMantra Engineは、かなりお安いとは言えるかと。手前味噌な話で恐縮ですが……。
また、プロにお任せする場合、ページ数としてもある程度のまとまった量がないと頼みづらいですし、納品まで時間がかかるという側面もあります。
タダノ：FANBOXとかpixivとかTwitterに、気軽に数ページのマンガを投稿して、ついでに翻訳したものも投稿したいというときに、プロにお願いするのは確かに難しいですよね。
関野：Mantra Engineなら、ページが少ないから……というのは気にせずご利用いただけます。そういう使い方をしていただいて、新しい需要が生まれたとなれば、開発した側としても大変うれしいですね。
── みなさま、貴重なお話をいただき、ありがとうございました！
2022年4月限定キャッシュバックキャンペーン実施！
FANBOXクリエイター優待でのMantra Engine提供開始を記念して、月の翻訳上限16ページのプランへご入会いただいた方限定で、2,200円分を翌月にキャッシュバックする「キャッシュバックキャンペーン」を実施いたします。
キャンペーン開催にあたり、3月18日（金）12:00〜3月31日（木）23:59まで事前受付を行います。16ページ分の翻訳を実質800円でご利用でき、Mantra Engineを手軽にお試しいただける貴重な機会ですので、ぜひご検討ください。
【期間】
2022年4月1日（金）11：00～4月30日（土）
※3月18日（金）12:00〜3月31日（木）23:59まで事前申込ができます
※Mantra Engineのご利用申込には、事前にFANBOXでのプラン作成が必須となります
※先着500名様まで、人数上限に達し次第終了します
FANBOX✖️Mantra Engineの3つの特長
Mantra Engineは、AIがマンガのページ画像から吹き出しやセリフを自動で検出し、自動翻訳AIによって他言語へ翻訳するクラウドサービスです。FANBOXのクリエイター優待で、月額3,000円（税込）からご利用いただけます。FANBOX用に開発された特別機能も。3つの特長を紹介します！
①1ページ最短30秒！ 画像をアップロードするだけで、日本語が英語に置き換わる
Mantra Enigineの使い方は簡単。日本語のセリフがはいった「写植あり原稿」と、セリフのない「写植なし原稿」をアップロードするだけ。吹き出しの中の日本語をAIが自動で検出し、自動翻訳します。1ページ最短30秒で翻訳が完了し、あとは翻訳の確認やレイアウトの修正を行うだけで、英語のマンガが完成します。多様なフォントを揃え、文字の大きさや色の変更も簡単です。すべての操作をブラウザ上で行うことができます。
②共同翻訳者を2名まで指名可能。友人やファンに翻訳作業を手伝ってもらえる！
利用するクリエイターご自身のほかに、最大で2名まで共同翻訳者を指定することができます。友人やファンを共同翻訳者とし、アカウント権限を付与することで、翻訳作業を手伝ってもらうことが可能です。画像データのアップロードやダウンロードは共同翻訳者にはできない仕様ですので、セキュリティも安心です。
③逆翻訳機能がついているので、英語力に自信がなくても安心
現在、FANBOXだけの特別機能として、翻訳された英語を再度日本語に翻訳し直して表示する、逆翻訳機能をつけています。最初の日本語から英語への翻訳で誤訳があれば、逆翻訳された日本語も元の日本語と違う意味になるため、翻訳の誤りを見つけやすくなります。英語力に自信がなく、翻訳された英語が正しいかの確認が難しいという方でも安心です。
Mantra Engineのエディタ画面。左側に翻訳前のページが表示され、その右側にAI翻訳にて自動翻訳されたページが表示される。右サイドバーでフォントを選んだりフォントサイズを選んだり、さまざまな編集が可能。