Исследователь проверил модель Timestral для прогноза биржевых данных на обычном ноутбуке

Что произошло. Компания Mistral выпустила семейство моделей Timestral для прогнозирования числовых последовательностей — например, продаж или спроса на электричество. Независимый исследователь протестировал одну из самых маленьких версий модели (28 миллионов параметров) на данных о дневной доходности, объёмах торгов и колебаниях цен четырнадцати акций и нескольких биржевых фондов за период с 2010 года. Эксперимент целиком прошёл на обычном ноутбуке без видеокарты.

Лучше всего модель справилась с прогнозом объёма торгов: без дополнительного обучения она оказалась точнее сравнительной регрессионной модели примерно на 5%. Дополнительное обучение модели на старых рыночных данных почти не улучшило результат — разница с исходной версией оказалась статистически незначимой. С прогнозом доходности акций модель справилась заметно хуже: устойчивого преимущества перед простыми методами прогноза не нашли. Результаты по волатильности (размаху колебаний цены) оказались смешанными и отличались для акций и биржевых фондов.

Что это значит для бизнеса. Для владельца бизнеса это скорее сигнал об осторожности, чем готовое решение. Модели для прогнозирования временных рядов (к ним относится и Timestral) теоретически могут применяться не только к биржевым данным, но и к прогнозу продаж или спроса. Но этот эксперимент показывает: даже у крупного разработчика готовая модель не всегда превосходит простые статистические методы, а дополнительное обучение под конкретную задачу не гарантирует улучшения. Прежде чем вкладываться в сложные ИИ-прогнозы, стоит сравнить их с простыми расчётами на основе прошлых данных — иногда они работают не хуже.

Как попробовать. Исследователь опубликовал полный отчёт и использованные данные, протоколы и расчёты в открытом доступе, включая двухстраничную исследовательскую записку с подробностями эксперимента.