「kode-AI翻訳 クラウドAPI」機械学習と評価 について担当者にインタビュー!(前編)
みなさんこんにちは!お久しぶりの(;^ω^)高電社開発室ブログです。
このブログでは、営業担当の佐竹が弊社の開発者に体当たりで取材をし、
様々な開発や製品情報を対談形式でご紹介しています。
本日インタビューに応えてくれたのはこの方!
現在、中国語・韓国語・ロシア語を勉強中の柴田さんです。
(前回My通訳アシストのインタビューにも応えてくれましたね♪)
佐竹:3言語も語学学習中とはすごいですね!
柴田:ありがとうございます、語学学習楽しいですよ!
佐竹:今回は将来、駅構内や商業施設などで多言語放送の用途で活用が期待されている「kode-AI翻訳 クラウドAPI」の
機械学習について色々教えてください♪
柴田:はい、よろしくお願いします。
1.ニューラルエンジンの機械学習とは?
佐竹:まずは読者の方々に、今回の機械学習と評価とはどういうものなのか、簡単にご説明をお願いします。
柴田:はい、これは日本語と英語の文章が対になっているデータ(対訳コーパス)1万件を機械学習させて、
学習させる前のデータと比較することでその学習効果を検証するもので、ニューラルエンジンの機械学習成果を測るものです。
(対訳コーパスって何?という方はこちらのブログをチェック!)
佐竹:機械学習とはどういうものなのでしょう、少しイメージがしにくいです…
柴田:機械学習というのは、「こういう日本語に対しては、このような英語に訳しなさい」というように
機械的に覚えさせる・学習させるものです。
簡単なところだと「お名前をお願いします」という日本語に対して、「May I have your name?」と訳しなさいみたいな感じです。
私たちも外国語を学習するとき、上記のように日本語に対応するその外国語を覚えますよね、それと同じです。柔らかく言うとトレーニングです。
佐竹:なるほど~!分かりやすいです。ところでさっきから出ている「kode-AI翻訳 クラウドAPI」は
通常の翻訳エンジンを用いたクラウド翻訳とは違うんですか?
柴田:AI(人工知能)を用いたニューラル機械翻訳が「kode-AI翻訳」です。
特に英語→日本語の翻訳精度が高いと評判です。
佐竹:へぇ~~。世界最高水準のAI翻訳ということで、翻訳精度も期待できますね!
では次に、学習した結果を具体的にどういう手順で評価したのですか?
2.機械学習結果の評価手順をご紹介
柴田:今回は以下のような手順で、機械学習データと非学習データの比較を行いました。
(1) 1万件の日本語原文を人の手で英語に翻訳し、日英対訳コーパス1万ペアを作成
(2) (1)のうち9,000ペア + 高電社が保有する特定カテゴリーの日英対訳コーパス1,000ペア
= 合計1万ペア を機械学習用のデータとして使用
(3) (1)のうち残り1,000ペアは評価用データとして除外し、機械学習データには含めない
(4) 機械学習前の状態で、(3)の評価用データに対して日英機械翻訳を実行(Before)
(5) (2)の1万ペアのデータで機械学習を実行
(6) 機械学習後の状態で、(3)の評価用データに対して日英機械翻訳を実行(After)
(7) (4)と(6)の翻訳結果に対して、それぞれ訳質を機械的(※)に評価
※(1)の英訳文との類似性(=BLEU値)により評価
(8) (4)と(6)の翻訳結果のうち100件に対して、翻訳者が人手で評価(Before vs After)
佐竹:ずいぶんとたくさんの手順が必要なんですね~!それにちょっと(1)~(6)あたりが
難しくてよく分からないですー(>_<)
さて、機械学習の結果、翻訳精度はどのくらい上がったのでしょうか?
気になる結果については次回のブログで発表します~!