Info-Maker 
Ключевым фактором, определяющим эффективность любой стратегии, является ее устойчивость к рыночным изменениям
Тестирование на истории количественной стратегии торговли является необходимым для определения ее потенциала. Но общеизвестно, что показатели работы в прошлом не обязательно свидетельствуют о будущих результатах.
Устойчивость торговой стратегии
Ключевым фактором, определяющим эффективность любой стратегии (по крайней мере – на бумаге), является ее устойчивость в долгосрочной перспективе. Под устойчивостью понимается способность торговой системы приспосабливаться или противостоять изменениям, происходящим на рынке, сохраняя таким образом положительные результаты работы. Самой лучшей проверкой устойчивости торговой системы является живая торговля. Но на это требуется не мало времени. Можно ли найти какой-то метод тестирования устойчивости торговой стратегии, который опирался бы только на исторические данные? Наверное, да.
Количественные трейдеры часто используют статистические методы оценки устойчивости торговых стратегий. Если стратегия соответствует определенным статистическим критериям, то она должна сохранять свою эффективность на должном уровне. Обычно в качестве таких критериев используют требования к количеству сделок, а также к распределению дохода от сделки к сделке и за длительный период времени. Полезными могут быть также различные интегральные показатели, такие как коэффициент Шарпа и Сортино.
Оценка устойчивости торговой системы
Но несмотря на сложность этих показателей, чаще всего ключевой критерий при оценке устойчивости торговой системы можно свести к относительно простому требованию, а именно: распределение дохода во времени должно быть как можно более линейным. Это значит, что такая стратегия будет иметь примерно одинаковую модель доходности на протяжении выбранного периода. Поэтому, поскольку стратегия работает одинаково хорошо в условиях разного рынка, можно ожидать, что она будет хорошо работать и при изменениях рынка в будущем.
Оппоненты такого подхода всегда приводят примеры, когда определенная стратегия, идеально проявившая себя на исторических данных, терпит неудачу в реальных условиях. К сожалению, таких примеров – множество, и они подтверждают ту точку зрения, что показатели работы в прошлом не гарантируют результативности в будущем.
Хотя прошлые результаты не гарантируют будущих успехов, какие-то методы оценки смоделированных стратегий могут быть лучше, а другие – хуже. Дополнить анализ робастности нужно тем, чего не хватает большинству чисто статистических методов, а именно – анализом эффективности в прошлом с учетом рыночных процессов, задействованных в данной стратегии, и анализом изменения эффективности в зависимости от изменения этих рыночных процессов.
Например, рассмотрим стратегию, которая использует проявления неэффективности на спотовом рынке валют, которые регулярно наблюдаются в результате определенных банковских операций (на открытии бирж, клиринг и т.п.). Если рыночные условия стабильны, то хорошо может работать простая стратегия, основанная на времени. Но если они изменяются, то эффективность стратегии может упасть. Чтобы избежать значительных просадок, нужно знать, какие факторы могли привести к изменению рынка. На рынке валют, например, это могут быть нормативные документы, которые изменяют установившийся порядок банковских операций. Стратегии, созданные до введения в действие новых правил, могут прекратить работать, что никак не будет связано со статистикой тестирования на истории.
Даже если произошли изменения, протестировать стратегию возможно, если имеется достаточный набор исторических данных, относящийся к аналогичным рыночным условиям в прошлом. В этом случае, тестирование стратегии могло бы дать представление о ее возможной эффективности после вступления изменений в силу. Но если кривая баланса за этот исторический период окажется плохой, это вовсе не будет свидетельствовать об ошибочности логики, заложенной в стратегию. Попытка приспособить стратегию ко всем доступным историческим данным, включая период, для работы в котором она не была предназначена, сделают эту стратегию только хуже, что будет обусловлено подгонкой кривой баланса.
Статистических методов оценки робастности не достаточно, чтобы сделать более-менее полезный прогноз относительно будущей эффективности. Важно начать с понимания причин, по которым конкретная стратегия приносит деньги, и реальных, физических рыночных процессов, которые в ней используются. Затем, зная факторы, которые могут повлиять на эти рыночные процессы, и зная, как аналогичные факторы повлияли на рынок в прошлом, мы сможем получить более точное представление о устойчивости торговой стратегии. Понимание того, почему стратегия приносит деньги, позволяет нам остановить торговлю по этой стратегии на ранней стадии, если появятся признаки того, что рыночные условия, в которых данная стратегия успешно работала, начинают изменяться, а значит, нельзя ожидать положительных результатов в дальнейшем.
С этой точки зрения, приемлемая стратегия может демонстрировать непривлекательную кривую баланса, но в то же время – быть вполне устойчивой в смысле способности работать в условиях правильного рынка в будущем. Плавность кривой доходности в такой модели достигается путем выявления наилучших рыночных условий и использования стратегии именно в такие периоды времени.
Сочетая количественный и качественный анализы, можно создавать и эксплуатировать устойчивые в долгосрочной перспективе и модели.