翻訳機を自作してみた ChatGPTやDeepLの元になったTransformer*1をつかって、英語から日本語への翻訳を学習させてみました。 とりあえず現段階で、いくつかの英文を翻訳させてみた結果が以下のとおりです（青字が機械翻訳）。 Your time is limited, so don’…

Google Colabでニューラルネットの学習中に、いかに処理を中断させないかで悩むことは多いと思います。ググるとよく紹介されているのは、 12時間や24時間でランタイムがリセットされてしまう問題：これはどうしようもないので、それまでにモデルや設定を保存…

★めぼしいコーパスをまとめてダウンロードしてクリーニングして統合するPythonのコードを最後にのせてます。 ★少しソースを増やして、最終的には後日のエントリに書いてあるようなコーパス構成にしました。 日英対訳の（なるべく）綺麗なデータを得たい Tran…

Jupyter Labを使ってるのですが、起動しようとするとブラウザでちゃんと開いてくれなくて、変なHTMLファイルがテキストエディタで開くようになってしまいました。そのHTMLファイルに書かれてあるURLをブラウザに入れると使えるのですが。 これはconfigにデフ…