Хорошие данные это очень важно.

Столкнулся с такой проблемой.
Переписываю очередную модель с ТС на питон. Все хорошо.
Только по НЕПОНЯТНЫМ причинам 3х трейдов нету при верификации.
В упор понять не могу почему. ПРОСТО НЕТУ!
Проверил все функции в расчетах до 4 знака после запятой, перепроверил в екселе, никак.
Просто НЕТУ 3х трейдов в середине и все а дальше все как положенно идет.
Вразнобой, проверил на другом инструменте все норм идет.
В общем 30-40 строчек коду самого ядра — где решенье-принимательный модуль вдоль и поперек проверил. Переписал несколько раз.
(если дело не идет, брось и начни сначала — метод)
Пошел по датам пропущенных трейдов проверять.
В итоге после почти суток упражнений всплыла тупейшая вещь.
В данных OHLC от ESIGNALS(interactive data) оказалось 415 ЕРОРОВ суммарно где Клоз/опен выше хая или Клоз/опен ниже лоя. (GOLD 10 лет ЕОД)
Был просто ошарашен. Полез за альтернативным мнением на финам. Там 3 ошибки на этой же глубине. Поднял старые данные у меня даже не помню кто поставщик помойму ройтерс, по 11 год, оказалось 11 Ероров.
Убить 12 часов времени, чтоб узнать что с API Есигнала льется битая дата.

Есть решения что делать если поставщик реал тайма один и выдал неправильные данные? фантазии не хватает.
Самый простой метод просто сортирнуть в препроцессинге, и самому на базе полученных 4 значений выбрать что будет OHLC а потом уже филить БД

9 комментариев

avatar
спасибо, а ошибки на какой год припадают? Тут варианта два — или проверять данные перед подачей на бэктестинг, или же формировать бары самому с низких таймфреймов (в идеале — тиков).
avatar
У меня этим мысли рождались, для низких фреймов.
Но я даже представить не мог что это такая проблема взять 4 дневных значения и заполнить ими их внутреннюю БД.
Это разумно с тиков собирать для минут, часов, или для производных каги/ренки.
По всем годам, основные до 2007 года, но и в последних есть.
НО бл.ть дневки!!! Седня супортов нету, я завтра с утра буду выяснять.Есть мысль что они в бд льют сброд, то в 4,00 по бирже сетлменты то в 00:00 по календарному.
Комментарий отредактирован 2012-11-18 13:11:37 пользователем druidkgm
avatar
У меня часто заказы есть — клиент просит протестить поведение стратегии в разных форекс МТ4 брокерах. Так это просто писец.

Каждый форекс брокер дает котировки какие хочешь — почти все разные:)
avatar
С моего опыта самые грязные и плохие данные:
1.Yahoo
2.Esignal
3.DFN
4.InteractiveBrokers
5.Почти все форекс брокеры.

Более-менее:
1. Barchart

Самые нормальные данные:
1.Equis( он же Reuters)
Комментарий отредактирован 2012-11-20 23:11:48 пользователем uts
  • uts
  • +1
комментарий был удален
avatar
народ восторгается www.premiumdata.net в стоках задёшево делистед есть
PS а вообще минутки хороши тем, что из них качественные дневки свариваются…
я стараюсь всё же иметь меньший тамйфрейм для старшего
avatar
Если кому необходимо будет оперативно сравнить дневные данные, заходите в чат обращайся, у меня есть дневные данные OHLCVOI всех фьючерсов, начиная с ранних лет.
Комментарий отредактирован 2012-11-20 03:38:02 пользователем TrainneR
avatar
Будьте также внимательны: при загрузке с finam.ru минуток по фьючерсу на Brent(FORTS) есть пропуск сделок даже если стоит галка «Заполнять периоды без сделок».
avatar
Если это GOLD дилерский и не мудрено…
Друид — это о какой голде речь идет то? Фьючи обычно более или менее. Хотя там есть проблема (в золоте не очень большая) с роллом на комексе.
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.