深層学習

敬語翻訳は元々深層学習の勉強を兼ねて作る事にしたアプリだが、使い所の見つからない状況が長く続いた。

去年の記事では高速化の為にSeq2seqを用いると書いたが、MecabとDartコンパイラーの処理が想定以上に早く、敬語変換辞書が30万語を超えても一瞬で終わるので不要だった。
しかも十分早い為に手を加えていないだけで、まだまだ高速化の余地がある。

また、書いた文章を敬語に変換する為に深層学習を用いるのは、今の技術だと実用的ではないと考えている。
敬語の文章にする事は可能なものの、敬語には人それぞれ好みがある為だ。

例えば「先生が言ったように」は「先生がおっしゃったように」に置換できるが、利用者と先生の距離感は「言ったように」が丁度よい場合もある。
それを判別するには事前に先生との距離感を入力していただく必要があるが、そんな面倒なアプリを使う人はいないと思う。

様々な使い道を調べてみて、BERTを用いた接続助詞（〜の、〜が、〜は　などの、名詞の後に付く助詞）と、名詞の漢字の誤変換の修正が実用的だったので実装した。
ただし、現時点ではiOSのみで、精度の観点から勝手な修正は行わず、候補を提示するだけにしている。
BERTの勉強はこちらの本を読む事で行った。

BERTは自分で事前学習したモデルや、他の人が公開している事前学習済みのモデルに対し、調整 (fine tuning) を加えて利用する手法が一般的だが、他にもOpenAI社の公開しているGPT-3やChatGPTの様に、個人では不可能に近い規模の事前学習をしたモデルを、API経由で利用する方式がある。
こちらは「事前に書いた文章を基に、決められた体裁の文章を生成する」という仕組みなのだが、とにかく文章が自然で、人の手で書かれた物と見分けがつかない事も多い。

来年はこの方式を試す予定だ。
ただし、深層学習は発展の目まぐるしい分野なので、試す前に他の手法が出ているかもしれない。

アプリ調査

2021年の分は去年と同じく6月末に終わり、本数も同様に1万3000本ほどインストールした。
当初は3月中の完了を予定していた。遅れた原因は、アプリを大量にインストールすると発生するiOSの不具合だ。
何故かアプリの本数が2000本を超えた辺りから、何度試してもバックアップからの復旧が出来なくなった。

また、3000本くらいになると突然電源が落ちて二度と起動しなくなる現象も頻発した。
去年は8000本を少し超えるまではなんとか入っていたので悪化している。

どうやらiOS15が原因らしい。
iOSの仕様上バージョンを下げる事は出来ないので、14以前の物を新しく買う必要があるが、既に最低要求バージョンが15のアプリも存在する。
適切な解決策が見つかるまでは進める事が出来ない為、インストール作業が三ヶ月ほど停滞する事態になった。

最終的に、一番動作が安定していた（気がする）iOS13のiPhoneを中古で買い、最低要求バージョンの関係でインストールが出来ないアプリはiOS15の物にインストールする形で進めた。
想定外の手間はかかったが、いくつもの事業を立ち上げたいのであれば、今回の作業を通じて App Store の成功したアプリに共通している要素を調べ、流行り廃りの傾向を見極めてからの方が時間・費用共に効率的だと考えている。