Бесплатные инструменты

Лаборатория переобучения

Лаборатория строит ценовой ряд, который по построению не имеет преимущества, пробует множество настроек пересечения скользящих средних на первых 70% ряда и оставляет лучшую. Затем она запускает ту же настройку на оставшихся 30%, которые поиск никогда не видел. Чем больше настроек перебрано, тем лучше выглядит лучший результат на выборке и тем меньше этот результат говорит о чём-либо за её пределами.

Перебранные настройкиВыбираются случайно из 878 пар быстрая/медленная (быстрая 2–50, медленная 10–200).

ЗерноЗадаёт и ряд, и то, какие настройки выбираются.

Смоделированный ряд.

СИМУЛИРОВАННЫЕ данные: случайное блуждание, индексированное от 100, в котором доходность каждого бара выбирается со средним значением ноль. Реальный инструмент не показан.

Лучшая настройка на выборке—

Её доходность на выборке—

Та же настройка вне выборки—

Медиана на выборке, по всем перебранным—

Медиана вне выборки, по всем перебранным—

Доходности на выборке для каждой перебранной настройки.

Лучшая доходность на выборке по мере перебора большего числа настроек.

Past performance — actual or hypothetical — is not indicative of future results.

These results are based on simulated or hypothetical performance results that have certain inherent limitations. Unlike the results shown in an actual performance record, these results do not represent actual trading. Also, because these trades have not actually been executed, these results may have under- or over-compensated for the impact, if any, of certain market factors, such as lack of liquidity. Simulated or hypothetical trading programs in general are also subject to the fact that they are designed with the benefit of hindsight. No representation is being made that any account will or is likely to achieve profits or losses similar to those shown.

Read our full Disclaimers, including risk and hypothetical performance

Как это работает

Ряд состоит из 1 500 баров. Каждый бар умножает предыдущую цену на единицу плюс случайную доходность, взятую из нормального распределения со средним значением ноль, поэтому ни одно правило не может иметь на нём преимущества иначе как по случайности. Первые 1 050 баров — часть выборки; последние 450 — вне выборки.

Каждая настройка — пара простых скользящих средних. На каждом закрытии правило держит позицию по активу, когда быстрая средняя выше медленной, и остаётся вне рынка в остальных случаях; пока позиция удерживается, оно получает доходность следующего бара. Короткие позиции никогда не открываются, издержек нет. Каждая настройка оценивается начиная с бара 200, когда появляется самая длинная средняя.

Почему лучший результат на выборке растёт

Доходность каждой настройки на выборке отчасти является результатом везения. Выбор наибольшего из многих результатов — это выбор самого удачливого, и наибольший из 500 почти всегда больше наибольшего из 10. Поэтому кривая растёт по мере перебора большего числа настроек, а результат победителя вне выборки остаётся разбросанным вокруг того же места, что и у всех остальных.

Зачем нужны проверки вне выборки и walk-forward

Проверка на данных, которых поиск никогда не касался, — самый простой способ проверить этот эффект. Walk-forward тестирование повторяет её: выбрать настройки на одном окне, проверить на следующем, сдвинуть оба вперёд и оценивать только сшитые тестовые окна. Ни один из этих методов не доказывает, что правило работает; они показывают, какая доля результата на выборке выдержала столкновение с данными, под которые её не подгоняли. Инструменты бэктестинга Analess построены вокруг проверок вне выборки, walk-forward и Монте-Карло; на странице возможностей они описаны, а дорожная карта показывает их сроки.