Timestral：追加学習なしの時系列予測、CPU推論

1. 新しいデータにも転用できる予測モデル

Timestralは、多様な時系列から事前に学んだパターンを新しいデータに転用する。単一系列の過去に当てはめる従来型モデルや、データセットごとに一から学習する深層学習モデルとは、この点で異なる。初めて見るデータも追加学習なしで予測する方式をゼロショット予測という。

2. 公開評価の順位と比較範囲

同社は、事前学習済みのゼロショットモデルの中で、3つの公開予測評価の5指標すべてで1位を記録したと発表した。複数モデルの出力を組み合わせず、単一の学習結果で得た成績だ。

GIFT-EvalとTIMEには評価結果を提出済みだ。

この2つの評価では、パラメーター数2800万のモデルが、約4倍の規模のChronos-2より良い成績を収めたという。

残る評価はfev-benchだ。全結果を収めた技術報告書は後日公開する予定のため、順位は発表時点で同社が示した評価結果として受け止める必要がある。

最大モデルのパラメーター数は2億900万で、それまでの最高性能モデルの約3分の2の規模で、より良い結果を出したと説明した。同社はTimesFM-3とFalcon-2.0より少ないパラメーター数で上回ったと述べた。パラメーター数はモデルの規模であり、実際の運用費そのものではない。

3. 規模の選択は精度とレイテンシーのトレードオフ

モデルはパラメーター数500万、2800万、1億2300万、2億900万の4種類だ。構造と学習方式は同じで、大きなモデルは予測性能が高く、小さなモデルはより高速で低コストだと同社は説明している。

標準的なサーバーのCPUで8スレッドを使い、15分間隔の3週間分の履歴から1日先を予測した場合、レイテンシーは500万モデルが10ミリ秒、最大モデルが140ミリ秒だった。具体的なプロセッサーの機種は示されていない。

同じ推論性能の説明では、2800万モデルは最大モデルより5倍速く、1億2300万モデルは最大モデルの4分の3のレイテンシーで、スコア差が0.2%以内だと述べた。中間の2モデルのミリ秒単位の実測値と、このスコアが指す個別指標は示されていない。

小さなモデルを選ぶと、推論時間とコストを減らす代わりに一部の精度を譲ることになる。そのため、最大モデルの順位よりも、実際のデータでの予測誤差と更新周期に合わせて規模を選ぶほうが妥当だ。

4. 連動する値と将来の条件を扱う

多変量予測は、ポンプの振動・温度・圧力のような関連する系列をまとめて予測する方式だ。各センサーを個別に予測するのではなく、互いの変化を活用する。

出力は単一の予測値ではなく、21個の分位点だ。分位点は予測分布を確率上の位置ごとの値で示したもので、チームはその範囲を見て、不確実性を考慮した警報基準を定められる。

入力には、過去の値だけが既知の補助変数と、生産スケジュールのように将来の値があらかじめ既知の補助変数を含められる。曜日や設備状態のようなカテゴリ値も直接受け取るため、数値に変換して恣意的な順序や大きさを与える必要がない。

内部では観測履歴をコンテキストに残して予測に活用し、補助変数の役割を区別して予測対象の将来値の漏洩を防ぐ。合成データで先に学習した後、実データと合成データを混ぜて追加学習し、最大入力コンテキストは32,768時点だ。

5. 自社データへの適用と運用上の注意点

同社は自社データで実行できるGitHubリポジトリを公開したが、発表文には実行コードや呼び出し方法は示されていない。

ライセンスはModified MITと記載されているが、詳細な条項は示されていない。

Mistral Forgeを利用すれば、自社データでの追加学習、学習データの構成調整、構造の拡張を選択できる。

デプロイ先には自社設備、仮想プライベートクラウド、外部ネットワークから隔離された環境が含まれ、学習パイプライン全体も顧客のハードウェアにデプロイできる。

公開評価の成績が生産現場でも維持されるとは限らない。設備の老朽化や需要変動でデータの傾向が変われば、現場に合わせた再学習が必要になる場合がある。追加学習なしで始められる利点とは別に、運用段階のデータ管理と適応作業は残る。

Timestralは予測を始める負担を下げるが、導入判断ではモデル規模と現場データへの適応を併せて検討する必要がある。