tinkererたちの部屋

今夜は AI Tinkerers Tokyo に行ってきた。形式はゆるくて、みんなデモを持ち寄って作ってるものを話す感じ。廊下での雑談がトークより面白くなることも多い。

マイコン上での整数アテンション

今夜一番印象に残ったデモは、Bothsides TechnologyのYuichi Suzukiによるもの。退院したばかりというのにスマホとRaspberry Pi Picoを持って登場した。

ピッチはこうだ：整数演算だけを使うトランスフォーマー系の小さなモデル。浮動小数点なし。softmaxなし。指数関数なし。割り算なし。整数だけで完結する。

モデルは51kパラメータで、256KBのRAMしかないPico上で動く。キロバイトの話だ、メガバイトじゃなく。ちなみにGPT-2は約500MB。

この手法はconstructive integer attentionと呼ばれている。通常マイコン上でのトランスフォーマー実行を現実的でなくしている、コストの高い浮動小数点演算をすべて回避できるようにアテンションを再定式化するのがキモだ。softmaxもFPUも不要なので、消費エネルギーが劇的に下がる。

実用的な話をすると：電池だけでリモートな場所に展開しても数ヶ月は動く。それは全く違うクラスのアプリケーションを可能にする――環境センサー、電力インフラがない場所でのエッジ推論、クラウドと通信しないウェアラブル。

機械学習における「小さい」の基準を再キャリブレーションさせられるデモだった。