基盤(S)離散構造処理系プロジェクト（北海道大学サイト）

近年，深層学習の台頭により機械翻訳モデルはほぼすべてニューラルネットワークベースのものに置き換えられた．
これにより，これまで難しいとされていたいくつかの問題が解決されたが，同時に新たな問題も発生した．
この一つに，ニューラル機械翻訳では大規模な語彙を扱えないという問題がある．
通常機械翻訳では数十万の語彙を入出力に使用するが，ニューラル機械翻訳ではニューラルネットワークの特徴上多くても10万程度の語彙しか使用できない．
この問題を軽減する方法として，文字列データ圧縮に関する研究を基に，各単語をより小さいサブワードと呼ばれる単位に分割し語彙の異なり数を減らす手法が提案され，翻訳精度が大幅に向上した．
本発表では，これらのニューラル機械翻訳で使われるサブワードに関連する文献を紹介し，ニューラル機械翻訳と文字列情報処理とのつながりについて述べる．
また，私が最近取り組んだ新たなサブワード使用法についても簡単に紹介する．