Повторне тестування та тестування вперед: важливість кореляції

Трейдери, які прагнуть спробувати торгову ідею на живому ринку, часто роблять помилку повністю покладаючись на результати повторного тестування, щоб визначити, чи буде система вигідною. Хоча зворотний тест може надати торговцям цінну інформацію, вона часто вводить в оману, і це лише одна частина процесу оцінювання.

Тестування поза вибіркою та тестування продуктивності роботи надають додаткове підтвердження щодо ефективності системи та можуть показати справжні кольори системи до того, як реальні грошові кошти з’являться на лінії. Хороша кореляція між результатами тестування, вибіркових результатів та результатів тестування в майбутньому є життєво важливим для визначення життєздатності торгової системи. (Ми пропонуємо кілька порад щодо цього процесу, які можуть допомогти уточнити ваші поточні стратегії торгівлі. Щоб дізнатися більше, читайте: Повторне тестування: Інтерпретація минулого .)

Основи зворотного тестування

Під повторним тестуванням розуміється застосування торгової системи до історичних даних для перевірки того, як система працювала б протягом визначеного періоду часу. Багато сучасних торгових платформ підтримують тестування. Трейдери можуть перевірити ідеї за допомогою декількох натискань клавіш та отримати уявлення про ефективність ідеї, не ризикуючи коштами на торговому рахунку. Під час повторного тестування можна оцінити прості ідеї, як-от те, як би виконувався пересувний середній кросовер на історичних даних, або більш складні системи з різноманітними входами та тригерами.

Поки ідею можна кількісно оцінити, вона може бути повторно перевірена. Деякі трейдери та інвестори можуть шукати досвід кваліфікованого програміста, щоб розробити ідею в тестувальну форму. Як правило, це передбачає програміст, що кодує ідею на власній мові, розміщеній торговою платформою. Програміст може включати визначені користувачем вхідні змінні, які дозволяють трейдеру "налаштувати" систему. Прикладом цього може бути проста система кросовер, що рухається середньої середньої величини, зазначена вище: Торговець зможе ввести (або змінити) довжини двох ковзаючих середніх значень, що використовуються в системі. Торговець міг би подати назад, щоб визначити, яка довжина ковзних середніх показників мала б найкращі результати за історичними даними.

Оптимізаційні дослідження

Багато торгових платформ також дозволяють проводити оптимізаційні дослідження. Це тягне за собою введення діапазону для вказаного входу і дозволити комп'ютеру "робити математику", щоб зрозуміти, який вхід був би найкращим. Багаторазова змінна оптимізація може зробити математику для двох або більше змінних, щоб визначити, які комбінації мали б найкращий результат. Наприклад, торговці можуть сказати програмі, які вклади вони хочуть додати до своєї стратегії; тоді вони будуть оптимізовані до їх ідеальних ваг, враховуючи перевірені історичні дані.

Повторне тестування може бути захоплюючим тим, що збиткова система часто може бути магічним чином перетворена на машину для отримання грошей з кількома оптимізаціями. На жаль, налаштування системи для досягнення найбільшого рівня минулої прибутковості часто призводить до системи, яка буде погано працювати в реальній торгівлі. Ця надмірна оптимізація створює системи, які добре виглядають лише на папері.

Підгонка кривої - це використання оптимізаційної аналітики для створення найбільшої кількості виграшних торгів з найбільшою вигодою від історичних даних, використаних у період тестування. Хоча це виглядає вражаюче в результатах повторної перевірки, підгонка кривих призводить до ненадійних систем, оскільки результати, по суті, розроблені на замовлення для конкретних даних та періоду часу.

Повторне тестування та оптимізація дають багато переваг для трейдера, але це лише частина процесу при оцінці потенційної торгової системи. Наступний крок трейдера - застосувати систему до історичних даних, які не використовувались на початковій фазі бетестизації.

Дані проби у порівнянні з вибірковими даними

Перевіряючи уявлення про історичні дані, корисно резервувати часовий період історичних даних для цілей тестування. Початкові історичні дані, на яких тестується та оптимізується ідея, називаються як вибіркові дані. Набір даних, який було зарезервовано, відомий як позабіржові дані. Ця установка є важливою частиною процесу оцінювання, оскільки забезпечує спосіб перевірки ідеї щодо даних, які не були складовою в оптимізаційній моделі. Як результат, на ідею жодним чином не впливатимуть позапробні дані, і торговці зможуть визначити, наскільки добре система може працювати на нових даних, тобто в реальній торгівлі.

Перед початком будь-якого повторного тестування або оптимізації, торговці можуть відкласти відсоток історичних даних, які потрібно зарезервувати для тестування поза вибіркою. Один із методів полягає в поділі історичних даних на третини та окремій третині для використання у вибірковому тестуванні. Для початкового тестування та будь-якої оптимізації повинні використовуватися лише дані проби. На малюнку 1 показано часовий рядок, у якому третина історичних даних зарезервована для вибіркових випробувань, а дві третини використовуються для тестування у вибірці. Незважаючи на те, що на малюнку 1 зображені дані проби, що не є вибіркою, на початку тесту, типові процедури повинні мати вибіркову частину, що безпосередньо передує передній продуктивності.

Рисунок 1: Часовий рядок, що представляє відносну довжину даних проби та вибірок, що не є вибіркою, що використовуються в процесі повторного тестування.

Кореляція означає схожість між показниками та загальними тенденціями двох наборів даних. Кореляційні показники можна використовувати при оцінці звітів про ефективність стратегії, створених протягом тестового періоду (функція, яку надає більшість торгових платформ). Чим сильніша кореляція між ними, тим більша ймовірність того, що система буде успішно працювати у форвардному тестуванні продуктивності та торгівлі в реальному часі.

Малюнок 2 ілюструє дві різні системи, які були протестовані та оптимізовані на даних проб, а потім застосованих до вибіркових даних. Діаграма зліва показує систему, яка чітко підходила до кривих, щоб добре працювати над даними вибірки та повністю виходила з ладу щодо даних, що не є вибіркою. Графік праворуч показує систему, яка працювала як на даних, так і поза вибіркою. Після розробки торгової системи з використанням даних проб, вона готова застосувати до вибіркових даних. Трейдери можуть оцінювати та порівнювати результати діяльності між даними вибірки та вибірними даними.

Малюнок 2: Дві криві власного капіталу. Дані про торгівлю перед кожною жовтою стрілкою представляють тестові вибірки. Торги, створені між жовтою та червоною стрілками, свідчать про тестування поза вибіркою. Торги після червоних стрілок проходять з фаз переднього тестування ефективності.

Якщо між тестуванням у вибірці та поза вибіркою є невелика кореляція, як, наприклад, ліва діаграма на рисунку 2, ймовірно, що система була надмірно оптимізована і не матиме хороших результатів при торгівлі в реальному часі. Якщо існує сильна кореляція результативності, як це видно на правильній діаграмі на рисунку 2, наступний етап оцінювання включає додатковий тип тестування поза вибіркою, відомий як пряме тестування ефективності. (Докладніше про прогнозування див. У розділі: Фінансове прогнозування: Байєсівський метод .)

Основи тестування працездатності вперед

Перевірка ефективності роботи в майбутньому, також відома як торгівля папером, надає трейдерам ще один набір вибіркових даних, за якими можна оцінити систему. Переднє тестування продуктивності - це моделювання фактичної торгівлі та передбачає дотримання логіки системи на реальному ринку. Він також називається торгівлею папером, оскільки всі торги здійснюються лише на папері; тобто записи та виходи з торгівлі документально підтверджуються разом із будь-яким прибутком або збитком для системи, але реальні торги не здійснюються.

Важливим аспектом переднього тестування продуктивності є точне слідування логіці системи; в іншому випадку, важко, якщо не неможливо, точно оцінити цей крок процесу. Торговці повинні бути чесними щодо будь-яких торгових в'їздів і виходів і уникати поведінки, як вишня вибору торгів або не включаючи торгівлю на папері, раціоналізуючи, що "я ніколи не брав би цю торгівлю". Якщо торгівля відбулася б за логікою системи, її слід задокументувати та оцінити.

Багато брокерів пропонують змодельований торговий рахунок, де можна розміщувати торги та обчислювати відповідні прибутки та збитки. Використання імітованого торгового рахунку може створити напівреалістичну атмосферу, на якій можна практикувати торгівлю та додатково оцінювати систему.

На малюнку 2 також показані результати для прямого тестування продуктивності на двох системах. Знову ж таки, система, представлена ​​на лівій діаграмі, не виходить за рамки початкового тестування на вибіркових даних. Однак система, показана на правильній діаграмі, продовжує добре працювати на всіх етапах, включаючи тестування прямої продуктивності. Система, яка показує позитивні результати з хорошим співвідношенням між вибіркою, поза вибіркою та тестуванням ефективності в майбутньому, готова до впровадження в реальному ринку. (Див. Також: Плюси та мінуси торгівлі папером .)

Суть

Повторне тестування є цінним інструментом, доступним у більшості торгових платформ. Поділ історичних даних на кілька наборів для забезпечення тестування у вибірці та поза вибіркою може забезпечити торговців практичними та ефективними засобами для оцінки торгової ідеї та системи. Оскільки більшість трейдерів застосовують методи оптимізації при повторному тестуванні, важливо потім оцінити систему за чистими даними, щоб визначити її життєздатність.

Продовження вибіркових випробувань за допомогою тестування на працездатність забезпечує ще один рівень безпеки перед виведенням на ринок системи, яка ризикує реальною готівкою. Позитивні результати та хороша взаємозв'язок між тестовою вибіркою та вибірковим тестуванням та тестуванням ефективності в майбутньому збільшують ймовірність того, що система буде ефективно працювати в реальній торгівлі. (Для вичерпного огляду технічного аналізу дивіться: Основи технічного аналізу .)