Make Faire Tokyo / Seoul 2026

Maker Faire Tokyo 2026および Maker Faire Seoul 2026に出展しました。

Tokyoではテーブルホッケーロボットとインタラクティブ・ペンプロッタを展示しました。これは３年前とほぼ同じ構成でほぼ同じ（修繕・調整して操作ボタンがついた）でしたが、その後Seoulにはインタラクティブ・ペンプロッタだけ持っていくことにしていたので、それに向けて２点の改善と機能追加が一応できました。

1. ３目並べの枠線検出アルゴリズムの改善

2. LLM(大規模言語モデル)等との接続

２が、今年から始めた新たな試みです。もともとの構想で、ロボット自体はカメラとアームだけの構成として、各種アプリケーションソフトウェアを作ろうというものでした。しかし、昨今のAI技術の進展により、適当な自然言語で人とインタラクションすることがすでにコモディ化しました。実験程度であればやらない理由はないので、ひとまず使えるものは使うという方向でデモの作成を試みました。

画像とテキストプロンプト、および出力形式指定を汎用LLMのAPIエンドポイントに送信し、その結果を描画します。

入力画像はbase64エンコーディング、出力は描画内容として複数の折れ線の点の座標列を出力するものとし、JSONスキーマでフォーマットを指定しました。

LLMとしては最初にGeminiを試しました。一応それらしい結果は得られたのですが、Geminiは無料プランでは利用できる量が限られ、気軽に実験するにはもったいないところがあるので、同じくGoogleがて提供するフリーのモデルであるGemmaを使えるようにしました。

自宅のPC、Ollama (https://ollama.com/)上でGemma4(31B)を動作させ、Google Compute Engineのインスタンス経由のリバースプロキシで中継して外部から使えるようにしました。

このように自分のPCへインターネットからアクセスできるようにするのは、昔ならルーターのポートを開放してdynamic DNSでIPアドレスに直接通信する、などをしていたこともありますが、セキュリティ上のリスクを全部自分で負うことになるので現在ではそれはせず、GCP/GCEを活用しました。

このデータが通るだけの仮想マシンはストレージもいらず大量の計算もせず、推論をしないのでニューラルネットワークプロセッサも不要で最低限の能力で良いのですが、その外部との通信は従量で課金されるので、無尽蔵に通信が増えないようにする注意は必要です。今回イベントではトータル１０回程度の画像認識を使ったと思いますが、１４００円ほどでした。

この構成により、一応一通り、ロボットがカメラで画像を得る-->自宅PCのGemmaが描画内容を決める-->ロボットのモーターが動いて描画する、というループを成立させることができました。但し、今回試した「チェックボックスにチェック記号を書く」というだけの指示内容で推論に３０秒前後かかってしまったので、まだ使い方を再考する必要があります。

元々がチャットボットの画像版、のようにかなり汎用的な内容を処理させることを考えていたのでそのまま汎用AIのGemini/Gemmaに任せる方式で作ってみたわけですが、書いた反応がすぐ欲しいというインタラクション、リアルタイム性を考えるともう少し特化したモデルを作るなど、どちらかというとVLM/VLAなどの制御系の話に近い仕組みも必要なのかな、と思いました。

今後関連分野の勉強をしていきたいと思います。