Трейдерский Клуб

Общение о рынках, рисках и жизни. Без пиара и без рекламы. Здесь рады только своим.

"Сказка" про дата майнинг.

"Сказка" про дата майнинг.

Сообщение Clawfinger » Вт окт 04, 2011 7:15 pm

[20:18:59] ubertrader: Что интересно про ДатаМайнинг узнать?
[20:19:53] Clawfinger: да буквально все, про что желаешь... Я в этом плане новичок полный *JOKINGLY*
[20:22:30] ubertrader: Ну ДМ - по русски - интеллектуальный анализ данных
[20:23:16] ubertrader: в целом идея такая - есть программа, в нее загружается куча сырых данных, и она в них ищет зависимости и выдает результат
[20:23:53] ubertrader: для начала можно почитать http://forex.kbpauk.ru/showflat.php?Cat ... Post204747
[20:24:05] ubertrader: Чубукова И.А. - Курс лекций по Data Mining
[20:24:13] Clawfinger: вот я как краз и пишу шаблон, чтоб мне только котиры загрузить и получить результаты
[20:24:18] ubertrader: вполне понятная форма без лишней воды
[20:24:44] ubertrader: дальше, тулзы...
[20:24:49] ubertrader: тулзы - наше все
[20:25:11] ubertrader: http://www.basegroup.ru/library/methodo ... ta_mining/
[20:25:30] ubertrader: Пишу про те чем пользовался
[20:25:58] ubertrader: 1. http://www.basegroup.ru/deductor/
Отдельная прога, нейросети, кластеризация, карты Кохонена
[20:26:26] ubertrader: 2. Примочка для Excel 2007
http://www.sqlserverdatamining.com/ssdm ... fault.aspx
[20:26:48] ubertrader: 2й вариант работает только в связке с SQL Server
[20:27:30] ubertrader: мне он больше всего понравился, достаточно простой: залил данные в sql, получил отчет в экселе
[20:27:41] Clawfinger: > SQL Server
в это для чего ? :-[
[20:27:45] ubertrader: советую ознакомиться с сайтом мелкософта
[20:27:55] Clawfinger: ок
[20:27:59] ubertrader: Clawfinger: в SQL движек анализа данных встроен
[20:28:16] Clawfinger: ага...
[20:28:18] ubertrader: при чем нужна Enterprise версия
[20:28:45] Clawfinger: > SQL Server
> Enterprise
правильно понимаю?
[20:28:51] ubertrader: да
[20:29:06] Clawfinger: ок *WRITE*
[20:29:18] ubertrader: дальше все не так просто как кажется на первый взгляд
[20:29:29] ubertrader: все помнят по нейросети?
[20:29:42] Clawfinger: ubertrader: да помню
[20:31:40] ubertrader: ощущение что мы вдвоем общаемся. никому не интересно?
[20:32:18] Clawfinger: ubertrader: не страшно, потом почитают... Мне очень интересно, такое впечатление, что я новый мир открываю, с твоей помощью :-D
[20:32:44] Clawfinger: чувствую себя маленьким ребенком делающим первые шаги :-D
[20:33:14] pupkinus: не-не
[20:33:20] pupkinus: я внимательно читаю
[20:33:26] pupkinus: так что минимум втроем
[20:33:37] Clawfinger: ubertrader: думаю, что всем черным пиджакам будет интересно, даже не только им
[20:34:26] Apprentice: ubertrader: помним
[20:35:27] ubertrader: вернемся к нейро сетям, какое у вас к ним отношение?
[20:35:39] pupkinus: положительное!
[20:35:49] ubertrader: pupkinus: обоснуй
[20:35:56] pupkinus: пока я не доработал метод "белке в глаз"
[20:36:02] Clawfinger: ubertrader: у меня абсолютно никакого... Просто, я детально в этом вопросе не разбирался, потому слушаю внимательно
[20:36:17] pupkinus: я некоторое время ими баловался
[20:36:45] ubertrader: так вот, НС и ДМ близнецы братья, принципы в них заложены как правило очень похожие
[20:36:53] pupkinus: в том смысле что натравливал нейросеть на кусок графа, она обучалась на коротком промежутке
[20:37:08] pupkinus: а потом я действовал строго наоборот ее рекомендациям
[20:37:16] Clawfinger: *WRITE*
[20:37:16] pupkinus: некоторое время работало на ура
[20:37:25] ubertrader: :)
[20:37:37] pupkinus: потом начало плавать "окно оптимизации"
[20:37:42] pupkinus: и я забил на это дело
[20:38:03] pupkinus: работало оно потому что максимально тупая нейросеть или генетический алгоритм
[20:38:19] pupkinus: который работает на коротком отрезке данных
[20:38:30] pupkinus: отлично симулирует метод мышления ритейла
[20:38:31] pupkinus: имхо
[20:38:41] Clawfinger: pupkinus: то есть ты использовал нейронную сеть, как модель поведения тупого лемминга, правильно я понимаю?
[20:38:44] ubertrader: я НС никогда не пробовал, но большинство трейдеров используют НС, как микроскоп для забивания гвоздей
[20:39:09] pupkinus: > но большинство трейдеров используют НС, как микроскоп для забивания гвоздей
QED :-D
[20:39:14] pupkinus: Clawfinger: ага
[20:39:54] ubertrader: ДМ - подход примерно из той же оперы, если его использовать в лоб
[20:40:06] ubertrader: т.е. механически
[20:41:12] ubertrader: давайте теперь поближе с методами ДМ познакомимся
[20:42:01] ubertrader: - Классификация - алгоритм находит в выборке кластеры данных, объединенные по некоторым характерным признакам
[20:42:32] ubertrader: как простой пример: кредитный рейтинг
[20:43:08] ubertrader: на вход подаются данные о заемщике, программа определяет к какому кластеру он относится и выдает вероятность возврата кредита
[20:44:32] ubertrader: Для трейдера искушение кластеризовать рынок: подать на вход кучу индикаторов на выходе получить классификацию булл/веар/флэт, тренд/флэт и пр
[20:45:45] ubertrader: и тут мы упираемся в первый косяк ДатаМининга
[20:46:01] Clawfinger: подобные мысли когда то тоже возникали, не реализовал, их из за неумения :-D
[20:46:45] ubertrader: кластеризация будет использовать все входные факторы как важные свойства процесса.... а это может быть не так
[20:47:18] Apprentice: ubertrader: можно использовать более хитрую метрику
[20:47:58] ubertrader: Apprentice: можно но щас пока не об этом
[20:48:03] Apprentice: которая разным параметрам присвоит разный вес
[20:48:08] ubertrader: дальше идем
[20:48:17] ubertrader: Регрессия
[20:49:06] ubertrader: ДМ в регрессионном анализе ищет факторы наиболее влияющие на результат
[20:50:24] ubertrader: т.е. есть определенная метрика результата - профит, мы подаем входные параметры которые хотим исследовать цену, объем, значения индикаторов и пр... ДМ выдает нам коэффициенты важности для каждого параметра
[20:51:32] ubertrader: трабла этого подхода, что ищется линейная зависимость, а на рынке как правило это не так
[20:51:35] Clawfinger: :)
[20:52:06] ubertrader: некст.... Деревья решений
[20:52:57] ubertrader: Тулза очень понятная человеку.
тулза.png

[20:53:35] ubertrader: Выдает практически готовую ТС, если А > N, X == False - avg profit = Y
[20:53:59] ubertrader: + еще вероятность наступления такого события
[20:57:05] ubertrader: Вопросы есть пока по тому что я рассказал?
[20:58:08] ubertrader: дальше идем
[20:58:08] ubertrader: Регрессия
[20:58:08] ubertrader: ДМ в регрессионом анализе ищет факторы наиболее влияющие на результат
[20:58:08] ubertrader: т.е. есть определенная метрика результата - профит, мы подаем входные параметры которые хотим исследовать цену, объем, значения индикаторов и пр... ДМ выдает нам коэффициенты важности для каждого параметра
[20:58:08] ubertrader: трабла этого подхода, что ищется линейная зависимость, а на рынке как правило это не так
[20:59:16] Clawfinger: ubertrader: ок, спасибо за лекцию, пока вопросов нет. Но буду знать, кого дергать, если вдруг понадобится. ;)
[20:59:29] ubertrader: Мораль сей басни: out the box, софт не подходить для трейдеров в полной степени
[21:00:28] ubertrader: это 1-е
[21:01:05] ubertrader: 2. Намного полезнее поразмышлять над тем как подготовить данные которые будут пихаться в ДМ, это 80% успеха
[21:01:56] ubertrader: 3. Чтобы подготовить данные нужно поставить гипотезу
[21:02:57] ubertrader: 4. Единственная гипотеза как правило не попадает в глаз белке. Поэтому нужно ставить сразу много гипотез в одной предметной области
[21:03:50] ubertrader: 5. Чтобы ставить много гипотез нужно разбираться в предметной области и иметь широкое представление о рыночных процессах. Привет pupkinus *HI*
[21:04:35] ubertrader: 6. Если научитесь делать пункты 2-5, ДМ вам нах не нужен :-D
[21:05:17] Clawfinger: =-0 *WRITE*
[21:05:19] ubertrader: Data Minig By ubertrader = процесс пп. 5 -> 2
[21:06:08] ubertrader: дальше просто технические вещи которые помогают глубже копать и лучше представлять данные. В этой технике ничего от академического не осталось.
[21:07:54] Clawfinger: ubertrader: спасмбо
[21:11:10]pupkinus: ubertrader: огромное спасибо!
[21:12:55]ubertrader: И в заключении: ДМ лишь инструмент, им как и микроскопом можно забивать гвозди или делать научные открытия. Первый шаг в этой эпопее понять что хочешь искать, потом уже реализация намеченного
У вас нет необходимых прав для просмотра вложений в этом сообщении.
Clawfinger
Вечно бродячий ученик
 
Сообщения: 223
Зарегистрирован: Ср янв 12, 2011 10:33 pm
Откуда: С берегов Днепра.

Re: "Сказка" про дата майнинг.

Сообщение Kent » Ср окт 05, 2011 6:20 am

в целом согласен и поддерживаю
только по п.6 не полностью поддерживаю,
методы ДМ могут помочь натолкнуться на те закономерности, которые трудно предположить
Аватара пользователя
Kent
Зубр
 
Сообщения: 420
Зарегистрирован: Пт янв 28, 2011 7:15 am

Re: "Сказка" про дата майнинг.

Сообщение Avals » Ср окт 05, 2011 8:23 am

ещё отмечу, что большинство методов дата мининг, НС и т.д. есть многомерная оптимизация с какой-то целевой функцией. Т.е. инструмент подгонки. Плохо то, что много важной информации по этой оптимизации скрыто в блэк боксе. Поэтому предпочитаю обычную одномерную оптимизацию - проще и наглядней инрепретировать ее результаты, подтверждать или опровергать торговые гипотезы. имха
Avals
Зубр
 
Сообщения: 337
Зарегистрирован: Чт янв 27, 2011 7:55 am

Re: "Сказка" про дата майнинг.

Сообщение Clawfinger » Ср окт 05, 2011 10:20 am

Спасибо за высказанное мнение... *WRITE*

Я вот в принципе так и думаю, что хотя бы базовые и начальные понятия изучить, чтобы идеи проверять. :)
Clawfinger
Вечно бродячий ученик
 
Сообщения: 223
Зарегистрирован: Ср янв 12, 2011 10:33 pm
Откуда: С берегов Днепра.

Re: "Сказка" про дата майнинг.

Сообщение Kent » Ср окт 05, 2011 2:11 pm

не смотря на мое большое уважение к Avals
я, как обычно... с Avals расхожусь в акцентах и нюансах :)

ну например, многомерной оптимизации вы в любом случае не избегаете ;)
Аватара пользователя
Kent
Зубр
 
Сообщения: 420
Зарегистрирован: Пт янв 28, 2011 7:15 am

Re: "Сказка" про дата майнинг.

Сообщение Clawfinger » Ср окт 05, 2011 2:34 pm

Kent, ну и пускай, главное чтобы подгонки под график не было, а чтоб был результат. А вобще беседа, мне сильно на пользу, с сильным мотивом на подумать. В итоге скачал книжку и читаю, книжка хорошая читается легко, что весьма удивительно для учебника и приятно. :)
Clawfinger
Вечно бродячий ученик
 
Сообщения: 223
Зарегистрирован: Ср янв 12, 2011 10:33 pm
Откуда: С берегов Днепра.

Re: "Сказка" про дата майнинг.

Сообщение Avals » Ср окт 05, 2011 4:40 pm

Kent писал(а):не смотря на мое большое уважение к Avals

взаимно *DRINK*
Kent писал(а):я, как обычно... с Avals расхожусь в акцентах и нюансах :)

ну например, многомерной оптимизации вы в любом случае не избегаете ;)

ну если оптимизировать надо к примеру 3 параметра, то наверное это многомерная по факту. Но ведь можно оптимизировать и анализировать результаты отдельно по каждому. И может вообще забраковать что-то :) Т.е. свести многомерную к одномерной, результаты которой проще анализировать
Avals
Зубр
 
Сообщения: 337
Зарегистрирован: Чт янв 27, 2011 7:55 am

Re: "Сказка" про дата майнинг.

Сообщение church » Вс сен 30, 2012 10:54 am

"Подгонка" is such an ugly word. Если оптимизация == подгонка, тогда где тот отрицательный смысл, который вкладывается в слово? Да, результат оптимизации будет носить ограничения конкретного алгоритма и специфицированной cost function (линейность / локальные оптимумы / ...), ну и что с того? Наш мозг учится точно так же - ищет паттерны в сенсорных данных, делает предсказания и рефлексирует на ошибках предсказания.

То, что писал ubertrader в пунктах 2-5 - справедливо, но с 6 я не могу согласиться. Машинное обучение может послужить отличным способом дискриминировать между нашим множеством гипотез. Разумеется, чтобы все работало эффективно, нужно знать теорию, знать алгоритм и ответить на вопросы:
1) что мы хотим предсказать?
2) в каким признаках может содержаться информация, релевантная целевой переменной?
3) как представить данные таким образом, чтобы конкретный алгоритм смог связать предикторы и целевую переменную?
church
 
Сообщения: 37
Зарегистрирован: Пт сен 28, 2012 11:44 am


Вернуться в PUB: Интересные логи и "сказки" из чата.

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

cron