my blog

Олимпиада-2016 уже как почти полтора месяца назад закончилась , но мне только сейчас удалось  написать пост о том, что мне больше всего запомнилось в этих соревнованиях.

Строить текст я буду почти по блокам, где пройдусь по самым интересным видам спорта (для меня)

Плавание

В плавании меня больше всего зацепили спортсмены, которые выступали в этом виде соревнований. Касается это всё американцев, которые на протяжении уже нескольких десятилетий главенствуют в этом виде спорта. И спортсмены у них попадаются просто супер крутые, с интересными историями. Именно на таких атлетов и стоит ровняться и вовсю говорить о них

Энтони Эрвин

Кети Ледеки

Мадлин Дирадо

1. Энтони Эрвин

На этой Олимпиаде, Энтони Эрвин завоевал золото на одной из самых престижных дистанций - 50 метров вольным стилем (аналог 100-метровки в легкой атлетике) и стал самым возрастным пловцом, завоевавшим золото Олимпиады (35 лет и 79 дней). 

До этого он уже выигрывал олимпийское золото: это было еще в далеком 2000 году на играх в Сиднее, где Эрвин стал золотым призером в командной эстафете 4x100.

Тогда, ему было 19 лет и все было впереди и казалось, что вот суперстар плавания, но в 2002 году он впал в депрессию и ушел из спорта. Он даже пытался покончить жизнь самоубийством, проглотив кучу успокоительных. А в 2005-м его так сильно тронуло горе жертв цунами, что он продал свою золотую медаль за 17’000$ и пожертвовал вырученные деньги на оказание помощи пострадавшим. 

Собравшись силами, он начал свое возвращение к жизни. В 2008 он восстановился в качестве студента в Беркли. Он изучал литературу и открыл в себе страсть к средневековым текстам. И, в конце концов, в 2011 он объявил о своем возвращении в мир плавания и квалифицировался на олимпиаду в Лондоне. Выступил он там правда не очень успешно для экс-олимпийского чемпиона, он занял только пятое место. 

Однако, собрав всю силу в кулак, он не бросил любимое дело и дошел до Игр в Рио и выиграл золото.

Источник: Sports.ru  

2. Кети Ледеки 

Чем же примечательна Кети?

А тем, что она первая пловчиха за 48 лет, выигравшая на 200, 400 и 800 метров вольным стилем. Что это означает? Как аналогию, можно привести легкую атлетику и забеги на короткие дистанции (100, 200 и 400 м). Вроде расстояния и схожие, но тактика и стратегия поведения там разная. И если чемпионы 100-метровок, выигрывают 200 м (вспоминаем Усэйна Болта, и рекорды которые он штампует на этих дистанциях), то на 400 м совершенные другие лица. То же самое и в плавании. Но вот Кети сделала почти невозможное, завоевав все три медали. Феноменальный результат!

И еще, ей всего лишь 19 лет. И ради подготовки к Олимпиаде Кэти отложила свое обучение в Стэнфорде, где она будет специализироваться в области истории.

Источник: Eurosport.ru

3. Мадлин Дирадо

Помимо того, что Мадлин завоевала два золота на Олимпиаде ( в плавании на спине), то Мадлин еще окончила Стэнфорд и работает бизнес-аналитиком ... в McKinsey&Company. Она получила оффер в 2014 году, но попросила McKinsey заморозить оффер, чтобы она смогла спокойно подготовиться к Олимпиаде и уже после Игр, со спокойной душой, приступила к работе консультанта. Ребята из McKinsey пошли навстречу и вот результат.

Если честно, то для меня эта история находится за гранью мыслимого. 

Оффер в McKinsey

Степень бакалавра в Стэнфорде

Золотая медаль на Олимпиаде  

Это не человек, это просто машина. 

Источник: Washington Post

Сюда еще можно включить Майкла Фелпса, но он и вовсе не человек, это нечто неземное. Он за всю свою карьеру завоевал ...  23(!) олимпийских золота, причем 13 в индивидуальных дистанциях.

Ради интереса, я проанализировал данные по числу завоеванных американцами медалей по плаванию на Олимпиадах, начиная с 1952 гг. И результат меня впечатлил.

Американцы всегда были лидерами в этом олимпийском виде спорта. Только два раза соперники  выступали лучше американской сборной, не считая олимпиаду в Москве

Мельбурн 1956 – 8 медалей у Австралии

Сеул 1988 – 11 медалей у ГДР

И в Монреале, команда ГДР почти в плотную подобралась к команде США. У американцев было 13 медалей, а у ГДР 11.

Источник: Мой анализ (слайд внизу)

И еще, США взяли порядка 1′000 олимпийских золотых медалей за всю свою историю и 244 были взяты в плавании, то есть каждая четвертая медаль, добыта пловцами.

Идем дальше.

Тяжелая атлетика.

Тяжелая атлетика. исконно является тем видом спорта, в котором армяне представляют существенную силу. 

И для меня самыми важными дисциплинами были 

Мужчины, до 77 кг

Мужчины, до 105 кг

Мужчины, 105+ кг

И результаты армянской сборной оказались более чем достойными - 2 серебра.

Мужчины, до 77 кг

В этом секторе, битву за золото вели сразу три атлета

Люй Сяоцзюнь (Китай)

Нихат Рахимов (Казахстан)

Андраник Карапетян (Армения)

Точнее как, до начала соревнований, я думал что медаль возьмет китаец, но после того, как Андраник Карапетян вышел на помост и взял в рывке 174 кг (олимпийский рекорд равен был равен 175 кг), завязалась интрига. Затем правда вышел Люй [Сяоцзюнь] и побил собственный рекорд и поднял в рывке 177 кг.  Однако, стало понятно, что мы увидим борьбу. Нихат [Рахимов] делал упор на толчок и в рывке показал не лучший результат (165 кг) и на этом отрезке оставался в тени.

Затем пошел рывок. И тут случилось самое ужасное...

Андраник вывихнул себе руку и прекратил соревнования. 

Возьми он этот вес, у Армении была бы гарантированная бронза. Казалось бы, почему бронза? Ведь такой большой отрыв был у армянина от казаха? 

Да потому что после того, как Люй Сяоцзюнь решил не рисковать и остановился на результате 202 кг в рывке,прекратив выступление, Нихат совершил нечто невообразимое. Ему для победу нужно было сделать нечто фантастическое, а именно поднимать 214 кг, чтобы выиграть золото (177 + 202 против 165 + “214”). 

А это на секундочку, на 4 кг больше мирового рекорда, который был поставлен еще в 2001 г. Олегом Перепеченовым. Но Рахимов встал и взял этот вес, тем самым побив мировой рекорд, державшийся 15 лет. На наших глазах вершилась история

Вот видео:

Мужчины, до 105 кг

В этом весе должен был выступать Илья Ильин, который уже взял все что можно в весе до 94 кг, но  незадолго до Олимпиады, его поймали на допинге и до Олимпиады не допустили.

Поэтому, вопрос - кто же станет чемпионом в этой весовой категории был открытым. Участников я особо не знал, но смотреть выступления атлетов было приятно из-за  армянина Симона Мартиросяна. Навязать борьбу будущему чемпиону ему не удалось, но медаль серебряной пробы он добыл.

А чемпионом стал же, узбек Руслан Нурудинов.

Ну и последнее.

Мужчины, 105+ кг 

Королевский вес и просто украшение Олимпиады

Казалось бы, после дисквалификации Алексея Ловчева, результат предопределен. Золото должно было поехать в Иран, к Бехдаду Салими-Кордасиаби, да и еще с олимпийским рекордом. Он специально пропускал чемпионат мира в Хьюстоне, чтобы подойти к Олимпиаде во всеоружии и перебить рекорд другого иранца, Хусейна Резазаде.

Но судьба распорядилась иначе.

Соревнования начались бойко и на толчке, атлеты установили сразу два олимпийских рекорда.

Сначала, Лаша Талахадзе поднял 215 кг и поставил мировой и олимпийский рекорд, который правда продержался не так долго, потому что Бехдад Салими-Кордасиаби в своей попытке поднял 216 кг и стал держателем мирового рекорда. Но тон был задан и стало понятно, что в рывке нас будет ждать что-то с чем-то.А меж тем, наш Гор Минасян шел третьем и претендовал на бронзу.

В этот момент, я вспомнил эпохальную Олимпиаду в Сиднее 200, когда рекорды бились один за другим. Да и состав тот был мега звездный - Резазаде, Веллер, Чемеркин, Даниелян... 

Ну да ладно, вернемся к рывку. И тут началось самое интересное.

После того как Гор Минасян поднял свои 241 кг и взял в сумме 451 кг, к борьбе преступили иранец и грузин. Бехдад сразу начал бойко и принялся покорять 245 кг и ... покорил, но арбитры результат не засчитали. Двое судей против одного. Отдышался и пошел заново брать этот же вес и тут уже загорелись сразу три белых кружочка и на табло отобразилось взятие веса. 

НО(!) меньше чем через минуту, арбитры свое решение изменили и отменили взятие веса. И тем самым, на руках у него было уже две баранки и последняя попытка. Говорить о победе и установлении новых рекордов не приходилось - в лучшем случае, только серебряная медаль.

К сожалению, в третий раз вес иранец взять не смог и уронил штангу, тем самым запоров все три попытки. Это был шок. Непонятно, что произошло и что драйвило судьями. Я не поленился и нашел список судей

Ими оказались: китаец, чилиец и нигериец. То есть именно эти три арбитра, взяли и запороли соревнования. Обидно, что сказать. 

А меж тем, Лаша Талахадзе во второй попытке взял 247 кг, тем самым упрочив свое первое место и уже в третьей попытке заказал ... 258 кг, при взятии которых, он становился мировым рекордсменом по сумме двух соревнований (473 кг) в весе 105+ кг. Прежний рекорд Резазаде был на один килограмм меньше, 472 кг. И Лаша Талахадзе сделал это, тем самым став не только олимпийским чемпионом, но и еще мировым рекордсменом. 

Напомню, что мировой рекорд уже был бит 9 месяцами ранее Алексеем Ловчевым, но из-за применений допинга, результаты выступлений были отменены. а он тогда поднял в рывке аж 264 кг и по сумме набрал 475 кг, что на 2 килограмма больше рекорда Лаши Талахадзе.

Ждем продолжения истории с битьем рекордов на чемпионате мира по тяжелой атлетике 2017 в Анахайме (28 ноября - 5 декабря). Ждать почти год, но что ж поделать. Думаю, что Лаша, что Бехдад подойдут к турниру в хорошей форме и решат кто самый сильный тяжелоатлет. 

В любом случае, конечный результат Рио меня ничуть расстроил, ведь на пьедестале оказались сразу три закавказских атлета. Кстати, четвертым шел армянин Рубен Алексанян

Золото - Лаша Талахадзе (Грузия)

Серебро - Гор Минасян (Армения)

Бронза - Ираклий Турманидзе (Грузия)

Хайлатсы ниже, а полное видео соревнований по ссылке. 

В целом же, тяжелая атлетика сейчас вся держится на допинге и феноменальные результаты почти всегда достигаются за счет химии. Не удивлюсь, что кого-то из нынешних чемпионов поймают на допинге и результаты перепишут. Чтобы понимать всю проблему, покажу только одну картинку, на которой показаны переписанные результаты с Лондонской Олимпиады у мужчин в весе до 94 кг.

Из топ-10 атлетов, дисквалифицировали шестерых, которых и поймали на допинге. Это как-то печально.

Теннис

Скажу честно, хоть я и увлекаюсь теннисом, но ни одного матча я не посмотрел. Но кое-какие моменты запомнились. Тут же хотелось пробежаться на некоторых моментах, не останавливаясь на деталях.

1) Победа Хуана Мартина дель Потро над Новаком Джоковичем в первом же круге и завоеванное серебро.

Победа над Новаком стала истинной сенсацией, ведь все думали, что золото уедет в Сербию, но не получилось. ХМДП только недавно вернувшись в большой теннис, очень неплохо заявил о себе и напомнил нам, что он не зря в свое время победил на US Open 2009. Новака же было жалко, но что поделать и вспоминая Диму Губерниева можно лишь сказать, что это же теннис и тут может произойти что угодно.

Ну и вообще, хотелось бы отменить выступление аргентинца. Он не только выбил основного фаворита из игры, но и еще одолел Рафу [Надалю] в полуфинале и бился с Энди [Марреем], но уступил и добыл для своей страны серебро.

2) Поражение Серены Уильямс от украинки Елены Свитолины

 Серена, как и на любом турнире, была абсолютной фавориткой, но оступилась в 1/8 финале и не смогла завоевать пятую золотую медаль на олимпийских турнирах (3 в паре и одна в одиночке).

А теперь подбираемся к борьбе.

Борьба

Я затрону только греко-римскую часть, так как именно в ней, армяне выступили лучше всего.

Для народов Востока, борьба наверное самое главное соревнование. Ведь каждый народ считает борьбу своей вотчиной и у каждого есть свой уникальный чемпион.

Для грузин - Мамилашвили.

Для армян - Назарян.

Для русских - Карелин

И этот список можно продолжать и продолжать.

Для российской школы вольной и греко-рисмкой борьбы принципиальным был ответ на вопрос  - осетинская или дагестанская школа принесет больше чемпионов для России-матушки. Однако,, победителей выявить не удалось, так как по одной золотой медали принесли, как дагестанец (Садулаев), так и осетин (Рамонов). Ну и еще грузин и русский..

Но меня лично интересовало - возьмет ли Армения золото в этой дисциплине? В прошлом году мы были очень близки к завоеванию золота, когда Арсен Джулфалакян (сын того самого Левона Джулфалакяна) добрался до финала, где уступил Роману Власову. И в этом году, мы выстрелили и Артур Алексанян принес нам долгожданное золото. Ведь до этой победы  Армения брала золото еще на олимпиаде в Атланте-1996 и тоже в греко-римской борьбе. Тогда золото добыл для нас великий Армен Назарян в 52 кг. Один из самых именитых и техничных борцов современности. Ну да ладно, переходим к конкретным кейсам, которые произошли 16 августа, когда в двух финалах по греко-римской борьбе выступали два армянских борца и был большой шанс выиграть сразу два олимпийских золота. То, чего Армении так не хватало. 

Мужчины, до 66 кг.

В этом секторе Армению представлял Мигран Арутюнян, на которого никто не возлагал особых надежд, так как основными претендентами были азербайджанец Расул Чунаев,  кореец Рю Хан Су и чеченец Исламбек Албиев.

Но как бы то ни было, Мигран разобрался как с корейцем, так и с азербайджанцем и вышел в финал олимпийского турнира на серба Давора Штепанека.

Борьба в начале была равная, но Мигран получил одно очко за то, что вытолкнул соперника за ковер. Ведя в счете и всячески атакую, Мигран так и не смог преобразовать свои активности в дополнительный балл. То же самое происходило и у серба, правда он действовал вторым номером.

Однако, именно Миграна два раза поставили в партер из-за отсутствия активности на ковре. Благо, серб не смог воспользоваться ситуацией и получить победное очко. Так продолжалось до последней минуты, пока сербу не дали балл за пассивность соперника и счет стал 1:1 и победителем выходил уже серб из-за правила по которому победа при равном счете присуждается борцу, завоевавшему последнее очко.

Это был вверх судейской произвола и самого настоящего беспредела. Не успев понять что к чему, время закончилось и золото получил серб. Все были в шоке, казалось вот оно долгожданное золото Армении, ан нет...

Мигран начал плакать, Левон Джулфалакян - тренер сборной начал возмущаться на судей, но результат уже был оглашен и победителем стал Давор Степанек.

А вот и видео

Мужчины, до 98 кг.

Здесь же Армению представлял главный фаворит, Чемпион мира 2014 и 2015 годов, трёхкратный чемпион Европы, Артур Алексанян. На крупных турнирах он если и проигрывал то только два раза, на чемпионате мира 2013 и чемпионате Европы 2016 года. И оба раза, одному и тому же борцу, Никите Мельникову. 

Благо, Никиту на Олимпиаду не отправили и за Россию выступал дагестанец Исламбек Магомедов. 

Если говорить честно, то Артур [Алексанян] практически без труда прошел весь турнирный путь и завоевал долгожданное золото.За весь турнир он проиграл только два очка, завоевав 25 очков, то 25-2. Причем в полуфинале, победу он одержал и вовсе досрочно. 

Лучше выступили только, Абдулрашид Садулаев в вольниках до 86 кг со счетом 28-1 и кубинец Михаин Лопес Нунез в греко-римской в супертяжах со счетом 16-0, который не проиграл ни одного очка.

Ниже видео финального поединка против кубинца.

Тем самым, Армении удалось взять золото, да и еще в достаточно престижном состязании.

Вот и все

Есть и еще моменты, которые запомнились, что во время Олимпиады, так и после. Но о них попозже, это была так сказать основная часть повествования.

P.S. Хотелось бы затронуть тему с подарками для олимпийцев. Каждому медалисту Олимпиады была подарена машина luxury класса.

Я произвел на коленке мини-анализ и пришел к выводу, что за последние десять лет было потрачено почти 1,5 млрд. рублей (или 40 млн. долл. США). Также стоит отметить, что среди подаренных олимпийцам машин, отечественных автомобилей не замечено :-)

И напоследок, я обнаружил следующее

Серебряные призёры тех Игр фигурист Евгений Плющенко, бобслеист Александр Зубков и конькобежец Иван Скобрев выразили недовольство полученными за серебро и бронзу машинами и просили обменять их на более дорогие Q7

Наконец-то настал этот долгожданный день, когда на экраны вышел чуть ли не самый эпичный фильм в мире комиксов последних лет. Казалось бы, вот он момент, когда фанаты DC вселенной наконец-то могут плясать на улицах и хлопать в ладошки, но нет...

Этого не произошло. Фильм провалился.

Скажу честно, я такого не ожидал. У этой картины были очень крепкие начальные условия, а именно самые популярные герои в мире комиксов (по версии сайт IGN). И организовать структурированный story-line с кульминацией в виде сражения между Бэтменом и Суперменом, мне казалось делом плевым. Но не срослось.

Почему произошло так? Точного ответа, я не знаю. 

С одной стороны, ответ вроде как лежит на поверхности. Всему виной режиссер Зак Снайдер. Человек , снявший “300 спартанцев” и провальный “Человек из стали”. Вторую картину не смотрел, но первая в свое время меня не шибко впечатлила.

Однако, не все так просто. Так-то, него на руках была картина “Хранители”, которая по моему скромному мнению, является чуть ли не самой лучшей экранизацией комиксов (наравне с нолановским “Темным рыцарем”). “Хранители” очень далеки в сравнении с марвеловским ширпотребом и уж точно, не являют собой простецкое кинцо. И лично я, ожидал увидеть картину, которая была была суперпозицией из нолановских Бэтменов и наработок из “Хранителей” со схожим повествованием.

По факту же, мы получили нечто несусветное.

Битый сюжет

Метания истории из стороны в сторону

Нелепые речи и диалоги главных героев 

И этот список можно продолжать все дальше и дальше. Но главным же минусом является, все же общая беспорядчность. Невооруженным взглядом видно, что история абсолютно не целостная и  не структурированная. И такое “непонятное” повествование ставит зрителя в очень неловкое положение и даже глупое. Вроде ты пришел посмотреть фильм по мотивам комиксов (далеко не артхаус), но ты не очень понимаешь, что происходит на экране. Описывать детали несуразностей я не хочу, ибо придется спойлерить, но в любом случае, это надо видеть, чтобы диву даться тому, как можно так неструктурированно преподнести историю. И находясь в относительной растерянности от происходящего на экране по первой половине фильма, уже с трудом переносишь вторую часть картины, где собственно и начинается что-то интересное, а именно сражение. 

Тут-то хоть постарались на славу и нареканий нет, ибо драки, взрывы очень эпичны. Ну а самое финальное сражение всей троицы с Думсдээем реально очень крутое. Хотя вопрос - почему, зачем и как вылез огромный монстр так и остается без ответа...

В общем и целом, если сравнивать эту картину с марвеловскими Мстителями, то получился достойный фильм, где сюжет отсутствует напрочь, но присутствуют грандиозные спецэффекты. Однако, если выйти за рамки “Мстителей” и прочего булшита, то фильм откровенно слабоват.

На днях сорвался в трип по малазийским джунглям. Как обычно, поездка в Малайзию начинается с перехода checkpoint в Woodlands. Место не самое приятное, потому что очереди порой очень длинные на переход.

В любом случае, пройдя checkpoint оказываешься в JB (Johor Bahru), а именно на автобусной станции, которая больше похожа на автобусную станцию провинциального городишка, нежели города-миллионника. Билеты покупаются в кассах и около этих касс работают люди, которые громко кричат о предлагаемых маршрутах (что-то вроде, Москва-Наро-Фоминск-Балабаново). В-общем все очень колоритно :-)  

Билеты стоят относительно дешево на расстояния порядка 100-120 км (2-3 доллара). Дороги (даже автобаны) кстати очень и очень хорошего качества. Не ожидал такого.

Сев в автобус и проехав часа полтора, мы оказались в маленьком городе Bekok, где оттуда уже на джипах по шероховатой дороге прибыли в camping лагерь, так сказать.

Места реально прикольные и красивые.

Чуток отдохнув, вместе с гидом пошли исследовать местные простора, а именно пошли смотреть на местные водопады. Дорога относительно долгая (4 км по труднопроходимым лесам ). Если честно, то никакого вау-эффекта от этих водопадов я не получил, но поплавать вблизи водопадика все-таки интересно. .

Дорога же туда-обратно заняла где-то около 7 часов ( 5 часов активной ходьбы + 2 часа остановок).  Мне лично понравился трип, особенно активная ее часть с ходьбой.

На следующий день был спуск на псевдо-каяках по речке. Опять же, никакого вау-эффекта из-за не слишком высоких спусков, но тоже  новый опыт как ни крути.

Между всеми этими активностями были всякие перерывы в результате которых, удалось пообщаться с местным населением и опять же как в Бали, я понял, что в Азии главная драгоценность это обычный люд. Местные жители очень и очень милые, улыбчивые и приветливые.  Как пример, на обратном пути, мы не смогли поймать такси от города Bekok до другого населенного пункта, где была большая автобусная станция и наш гид согласился довести нас совершенно бесплатно. А это так-то между прочим порядка 50 км езды на машине! Ясное дело, что мы отблагодарили, но все-таки они молодцы :-) 

Там мы попали в еще более провинциальное местечко. Чего только стоит их фонтанчик в автобусном парке.

Добравшись до JB, нам пришло провести до фига времени в очередях на checkpoint’е ( так как время пересечения границы пришлось на вечер воскресенья ), в очередях на автобусы до самого checkpoint’а. В-общем, ни Сингапур, ни Малайзия не могут толком наладить систему перехода через границу. Была потрачена уйма времени.

Вот и все.

P.S. Ну и напоследок. Чуточек антисемитизма из Малайзии :-)

Временные ряды 

Вот это наверное самый интересный кусок курса и самый полезный. Что такое временной ряд понятно и мы его уже исследовали в топике по автокорреляции. Сегодня же мы начнем постигать временные ряды с самого простого кейса, стационарного временного ряда, то есть такого который особо во времени не изменяются и посему такой ряд будет иметь следующие св-ва:

\( E(y_{t}) = const  \)

\( Cov(y_{t} , y_{t−k} ) = γ_{k}  \) , т.е. не зависит от t 

В общем самым наглядным примером, является белый шум \( \epsilon_{t}\), т.е.

\( E(\epsilon_{t}) = 0  \)

\( Var(\epsilon_{t}) = \sigma^{2} \)  

\( Cov(\epsilon_{t} , \epsilon_{t−k} ) = 0 \)

Графически это выглядит так,

Ясное дело, что это самый простой случай и есть более случайные кейсы, как например

Процесс с детерминистическим трендом

Случайное блуждание 

Первый процесс обычно имеет некую линию тренда и в принципе может быть описан с помощью стационарного временного ряда после ряда преобразований. Так что он не очень то и опасен.

А вот случайные блуждания они более сложно. Задать его можно например так,

\( y_{t} = y_{t-1} + 2 + \epsilon_{t} причем y_{0} = 0 \)

Проблема тут ни сколько даже в мат. ожидании, которая также как в процессе с детерминистическим трендом, а сколько в том, что дисперсия с увеличением во времени только увеличивается и менее все меньше уверены в своих предсказаниях. В нашем случае,

\( var(y_{t}) = t \sigma^{2} \)

и видно что дисперсия растет со временем. 

Ладно, поняли что к чему. Давайте усложним нашу модель белого шума и перейдем к  процессу скользящего среднего или  Moving Average Process.

\( y_{t} = \mu + \epsilon_{t} + a_{1} \epsilon_{t-1}   +a_{2} \epsilon_{t-2} + ...\) 

То есть это процесс, который складывается из результатов белых шумов, которые произошли ранее, а величины {a_{n}} - это некоторые веса. Наблюдаем же мы только \( y_{t} \). Как видно это стационарный процесс. Обычно мы считаем, что \( \epsilon_{t} \sim N(0, \sigma^{2}) \) .

Резонный вопрос. А какое же мат. ожидание, дисперсия и ковариация у данного процесса?

\( E(y_{t}) = \mu \)

\( var(y_{t}) = (1+a_{1}^{2}+a_{2}^{2}+...) \sigma^{2} \)

Что важно тут понимать? А вот что - многое зависит от того, каков у нас порядок процесса скользящего среднего \( MA(q) \) и чем больше порядок, то тем больше у нас “память”  о том, что было ранее. В связи с этим, важно ввести некий параметр, который будет показать нам эту связь данных и этот параметр будет связан через (авто)-ковариационная функция процесса ( \( \gamma_{k} = cov(y_{t}, y_{t-k}) \) ).  Этот параметр именуется  (авто)-корреляционной функцией и записывается как,

\( \rho_{k} = \frac{ cov(y_{t}, y_{t-k}) }{\sqrt{var(y_{t}) var(y_{t-k})}} = \frac{\gamma_{k}}{\gamma_{0}} \)

Ок, определились с параметром, но как же это все интерпретировать?

Допустим у нас есть процесс

\( y_{t} = 2 + \epsilon_{t} + 3\epsilon_{t-1} − 2\epsilon_{t−2}  \)

и для него у нас следующие автокорреляционные функции

\( \gamma_{0} = 14 \sigma^{2} \)

\( \gamma_{1} = -3 \sigma^{2} \) 

\( \gamma_{2} = -2 \sigma^{2} \) 

\( \gamma_{3} = \gamma_{4} = ... = 0 \) 

Ну и  (авто)-корреляционная функция будет иметь такой вид

\( \rho_{0} = 1 \)

\( \rho_{1} = \frac{-3}{14} \)

\( \rho_{2} = \frac{-2}{14} \)

\( \rho_{3} = \rho_{4} = ... = 0 \)

И интерпретация этих коэффициентов следующая. Например для \( \rho_{1}  \). Если величина нашей вчерашней наблюдаемой \( y_{t-1}\)  была увеличена на единичку \( +1 \), то это приведет к тому, что \( y_{t} \) падает в среднем на величину \(  \frac{-3}{14} \). Аналогично для остальных коэффициентов.

По сути, (авто)-корреляционная функция показывает насколько сильно изменение в прошлом сказывается на нас в настоящем.

Ок, разобрались. НО(!) есть проблемка, а точнее вот что. Параметр \( \rho_{2} \) например показывает как изменение \( y_{t-2}\) меняет нынешнее \( y_{t} \), но заодно происходит промежуточное изменение \( y_{t-1} \). А нам хотелось бы узнать непосредственное изменение \( y_{t-2} \) на \( y_{t} \) и вот тут-то нам понадобится  частная автокорреляционная функция.

Эта величина по сути отражает прямой эффект, а не совокупный. Искать его сложно в общем случае и надо решать линейное уравнение, но прочувствовать то как его искать, можно в видеолекции.

Теперь переходим к новому типу стационарных процессов, а именно к процессу авторегрессии,

\( y_{t} =  c + b_{1}y_{t−1} + b_{2}y_{t−2} + . . . + b_{p}y_{t−p} + \epsilon_{t}  \)

или короче

\(  y_{t} \sim AR(p) \)

Также можно посчитать всякие параметры и прочее, но мне кажется лучше всего держать в голове следующую картинку. Она кстати изображена для следующего примера, 

\( y_{t} = 2 + 0.5y_{t} − \epsilon_{t} \)

Что же очень важно? А то что, из одного уравнения для процесса авторегрессии стационарность не следует!

И фишка вот в чем, у него вагон нестационарных решений, но(!) существует еще одно особенное, которое как раз и стационарное. Задать и найти эти решения же можно, дописав начальное условие, которое и обеспечит нам стационарность/нестационарность. И вообще с этого момента, если мы и будем говорить, что процесс стационарный, то это будет означать, что у процесса можно выделить какое-то стационарное решение.

Как же находить это стационарное решение? С помощью характеристического многочлена. Но прежде давайте запишем наше уравнение авторегрессии через лаги. Например,

\( y_{t} = 2 + 0.5y_{t-1} − 0.06y_{t−2} + \epsilon_{t} \)

\(  (1 − 0.5L + 0.06L^{2} )y_{t} = 2 + \epsilon_{t} \)

И вот это блок, который выделился и именуется характеристическим многочленом, 

\( f(L)= 1 − 0.5L + 0.06L^{2}  \) 

И тогда у нас возникает вопрос : Когда у есть стационарное решение?

Ответ получаем в виде теоремы:

Для процесса 

\( f(L) y_{t} = c + \epsilon_{t} \)

Если корни характеристического уравнения AR процесса, \( f (L) = 0 \), по модулю больше единицы, то существует единственное стационарное решение, в котором \( y_{t} \) выражается через прошлые шумы, то есть через \( \epsilon_{t}, \epsilon_{t-1}, \epsilon_{t-2}, ... \)

То есть задача определения стационарного решения у авторегрессионного процесса свелась к решению алгебраического уравнения.

Теперь же самое важное, прогнозирование на несколько шагов (h шагов). Формально это записывается так, 

 \( E(y_{t+h} | y_{t} , y_{t−1}, y_{t−2}, . . .) = \hat{y}_{t+h}   \) 

Чтобы все понять хорошенько, рассмотрим простенький пример,

\( y_{t} = 2 + 0.5y_{t−1} − 0.06y_{t−2} + \epsilon_{t} , \epsilon_{t} \sim N(0; 4) \)

и наши предыдущие данные по 100 временным точкам известны и 

\( y_{99} = 4, y_{100} = 3\)

В чем же наша задача?

Составить точечный прогноз \( \hat{y}_{100+1} ,  \hat{y}_{100+2} \)

Посчитать дисперсию ошибки прогноза \( var(y_{101} - \hat{y}_{100+1}| y_{1}, ..., y_{100}),   var(y_{102} - \hat{y}_{100+2}| y_{1}, ..., y_{100}) \) 

Построить 95-доверительный интервал для будущих \( y_{101}, y_{102}\)

Ну начинаем.

1A. \( \hat{y}_{100+1}  = E(y_{101} | y_{1}, ..., y_{100} )  = \) 

\( = E ( 2 + 0.5y_{100} − 0.06y_{99} + \epsilon_{101} | y_{1}, ..., y_{100} ) = \)   \(  2+0.5 \cdot 4-0.06 \cdot 3 +0 = 3.82 \)

1B. \( \hat{y}_{100+2}  = E(y_{102} | y_{1}, ..., y_{100} ) = \) 

\( = E ( 2 + 0.5y_{101} − 0.06y_{100} + \epsilon_{102} | y_{1}, ..., y_{100} ) = \)  \( 2+0.5 \cdot 3.82-0.06 \cdot 4 +0 = 3.67 \)

2A.  \( var(y_{101} - \hat{y}_{100+1}| y_{1}, ..., y_{100})  =  var(y_{101} | y_{1}, ..., y_{100})   =  \)

\(  var( 2 + 0.5y_{100} − 0.06y_{99} + \epsilon_{101} | y_{1}, ..., y_{100})  = var( \epsilon_{101} | y_{1}, ..., y_{100}) = \)

\( = var( \epsilon_{101} ) = 4 \)

2B. \( var(y_{102} - \hat{y}_{100+2}| y_{1}, ..., y_{100})  = var(y_{102} | y_{1}, ..., y_{100})   = \)

\( = var( 2 + 0.5y_{101} − 0.06y_{100} + \epsilon_{102} | y_{1}, ..., y_{100})  = \)

\(= var( 0.5 y_{101} +\epsilon_{102} | y_{1}, ..., y_{100})  = \)

\( =  var( 0.5 ( 2 + 0.5y_{100} − 0.06y_{99} + \epsilon_{101} ) +\epsilon_{102} | y_{1}, ..., y_{100}) = \) 

\( = var( 0.5 \epsilon_{101} ) +\epsilon_{102} ) =  (0.5)^{2} \cdot 4 + 4 = 5 \)

3.  95-доверительный интервал для будущих \( y_{101}, y_{102}\):

\( [\hat{y}_{100+1} - 1.96 \sqrt{4}; \hat{y}_{100+1} - 1.96 \sqrt{4} ]  = [-0.10 ; 7.74]\)

\( [\hat{y}_{100+2} - 1.96 \sqrt{5}; \hat{y}_{100+2} - 1.96 \sqrt{5} ] = [-0.71; 8.05]\)

Теперь! Все что мы рассмотрели в отдельности, а именно модель скользящего среднего (\( MA(q)\))  и модель авторегрессии (\( AR(p)\)), можно взять и обобщить 

\( y_{t} = c + b_{1}y_{t−1} + b_{2}y_{t−2} + . . . + b_{p}y_{t−p} + \epsilon_{t} + a_{1} \epsilon_{t-1}  + . . . +a_{q} \epsilon_{t-q}  \)

Эта модель именуется

\( ARMA (p,q)\)

 и в принципе, зная только эту модель, мы можем исследовать все что угодно в рамках стационарных моделей. Итого,

коэффициенты не интерпретируемы 

используются для прогнозирования 

И наша задача по сути сводится к оцениваю коэффициентов и мы считаем, что на входе у нас есть \( T \) наблюдений: \( ( y_{1}, y_{2}, y_{3}, . . . , y_{T} ) \). 

Регрессионную модель же строим на базе метода максимального правдоподобия и предварительно предполагаем, что у нас 

\( \epsilon_{t} \sim N(0, \sigma^{2})\)

То есть наша предполагаемая модель имеет вид

\( y_{t} = c + b_{1}y_{t−1} + b_{2}y_{t−2} + . . . + b_{p}y_{t−p} + \epsilon_{t} + a_{1} \epsilon_{t-1}  + . . . +a_{q} \epsilon_{t-q}  \)

А на выходе же мы получаем следующие оценки

\( \theta = (\hat{c}, \hat{a}_{1}, \hat{a}_{2}, ... ,   \hat{a}_{q}, \hat{b}_{1} , ..., \hat{b}_{p} , \hat{\sigma}^{2} )\) 

ну и конечно же  оценку их ковариационной матрицы \( \hat{var} (\hat{\theta})\)

Ну и если данных много, то можем строить доверительные интервалы и строить гипотезы (асимптотически!).

Как помните, мы говорили в начале об (авто)-корреляционной функции, ну и тут мы ее не знаем, но можем прикинуть. И делают это с помощью выборочной автокорреляционной функции -  ACF (autocorrelation function).

Также можно строить и  частную автокорреляционную функцию -  PACF (partial autocorrelation function). 

И вообще алгоритм действия следующий,

Графики ряда, ACF, PACF 

Если ряд нестационарный, то преобразуем 

Выбираем p и q  (из графиков!)

Оцениваем ARMA(p, q) 

Прогнозируем 

Основным пунктом тут является переход от нестационарного процесса к стационарному и делается это так - вместо самой переменной \( y_{t}\) рассматривается разность  \( \Delta y_{t}\). Как пример, можно рассмотреть  не сам валютный курс, а его приращение. Это очень важный момент, потому что именно взятие разностей позволяет нам случайное блуждание  превратить в стационарный ряд, что очень удобно при анализе акций компаний.  

Вообще если в реальности рассмотреть, что ARMA, MA, AR, белый шум, то различить их практически невозможно. Картинки очень схожие, но(!) ACF, PACF помогают нам понять что у нас есть на самом деле. И алгоритм суждений такой.

Если видим, что ACF имеет явно выраженный пик ( пики \( q \) порядка),и остальные величины не отличаются от нуля дальше, то значит имеет место \( MA(1) \ MA(q) \). И если переходя к картинке PACF мы видим тоже схожую картинку - парочку пиков, а остальные величины не отличаются от нуля дальше, то добавляем еще \( AR(p) \) . И в конце имеем, \( ARMA (p,q) \).  

И вообще мораль такая, чем быстрее сходит к нулю, что ACF, что PACF, то это говорит о наличии MA и AR. Ну и надо понимать, что на глаз так вот определить очень сложновато порядок нашего ARMA процесса.

Как же генерить в R ARMA процессы?

# симулируем процесс ARMA(1,1) y_t=-0.5y_{t-1}+\e_t-0.8\e_{t-1} y <- arima.sim(n=100, list(ma=-0.8, ar=-0.5)) tsdisplay(y) y <- arima.sim(n=100, list(order=c(0,1,0))) tsdisplay(y) y <- seq(0, 10, length=100) + arima.sim(n=100, list(ar=0.7)) tsdisplay(y) # симулируем процесс случайного блуждания y_t=y_{t-1}+\e_t # добавим в AR(1) процессу тренд

Примеры.

Озеро.

Первый пример будет основан на базе данных с некого озера и данными являются уровень воды в этом озере. Начать можно, посмотрев данные воочию и на глазок прикинуть какие параметры можно зафигачить в нашу модель. Но так можно делать долго, поэтому в R уже есть специальная функция, которая сама считает и сравнивает по параметру AIC модели и выбираем самый оптимальный (т.е. с минимальным числом AIC). И потом на базе полученной модели, можно построить прогноз

# автоматический подбор модели по штрафному критерию y <- LakeHuron mod_a <- auto.arima(y) summary(mod_a) # прогноз по автоматически подбираемой модели prognoz_a <- forecast(mod_a, h=5) plot(prognoz_a)

Акции Google

Можно глянуть на акции и попробовать спрогнозировать (на самом деле нет). Ну как мы знаем из основ финансовой математики, это типичный пример броуновского движения, так что мы ничем путного не построим, исходя из нашего арсенала. Однако, если мы возьмем разность цен акций, то стационарный процесс все-таки получим. Но все равно, поиграться все же можно.

# шаманское заклинание для перевода дат на английский # чтобы корректно работала загрузка данных под русскоязычной windows Sys.setlocale("LC_TIME","C") getSymbols(Symbols = "GOOG", from="2014-01-01", to="2014-12-01") y <- GOOG$GOOG.Close # поместим цену закрытия в переменную y mod_a <- auto.arima(y) summary(mod_a) # загружаем данные по стоимости акций Гугла head(GOOG) # начало набора данных # автоматический подбор модели

R сам спрогнозировав, говорит нам, что да, это типичный пример случайного блуждания или (Arima(y, order=c(0,1,0))). Картинка же следующая:

Эндогенность

Переходим к новой теме, эндогенности. В чем суть? А суть в том, что одну и ту же модель можно записать бесконечным числом способов. Но однако, наша случайная составляющая \( \epsilon_{i} \) будет иметь некую связь с \( x_{i} \), чтобы будет приводить к нарушению одного из условий, которое позволяло нам использовать оценки посредством МНК, как оценки состоятельные. О чем это о я? Давайте вспомним о чем мы говорили в самом начале.

Если нашу модель можно представить в виде,

\( y_{i} = \beta_{1} + \beta_{2} x_{i} + \beta_{3} z_{i} + \epsilon_{i} \)

и еще \( E(\epsilon_{i}|X) = 0\) и еще куча св-в, то(!)

\( \hat{\beta} \to \beta \) - оценки МНК состоятельны

\( E(\hat(\beta)|X) = \beta,   E(\hat(\beta)) = \beta \) -  оценки несмещенны

Последнее св-во очень важно, ибо

\( E(\hat(\beta)|X) = \beta \to E(\epsilon_{i}) = o , cov(x_{i}, \epsilon_{i}) = 0 \) 

Однако, если нарушить условие ковариции, то есть ввести некую связь между нашим  \( \epsilon_{i} \) и \( x_{i} \), то все наша модель “разрушится”, ибо это приводит к потери св-в несмещенности и состоятельности оценки. 

Вот в чем проблемка того, что одну и ту же модель вроде как можно выразить многими способами.

Так вот, коррелированность регрессоров и случайных ошибок, \( cov(\epsilon_{i},x_{i}) \neq 0 \)   , называется эндогенностью . Собственно эндогенность приводит к смещению нашим результатов оценивания коэффициентов.

Примером эндогенности может служить следующая модель -  заработная плата в зависимости от уровня образования. Почему? На заработную плату влияют способности человека, которые нельзя измерить и которые включаются в ошибку. Уровень образования кореллирован со способностями, так как более способные люди обычно более образованы. 

Зачем возиться с эндогенностью?

Ну иногда бывает так, что мы не в силах реально наблюдать за какой-нибудь переменной, которая в свою очередь меняет нашу модель и мы включаем ее в нашу ошибку. Но эта пропущенная переменная имеет же некое воздействие и поэтому мы на выходе получим корелляцию. То есть уметь работать с эндогенностью надо, ибо не знаешь никогда какие переменные ты получишь для анализа. И поэтому обычно записывают еще несколько причин эндогенности в выборках - 

Ошибка измерения регрессора 

Пропущенный регрессор 

Одновременность определения значения переменных 

Что означает ошибка измерения регрессора? Математически это выглядит так. Есть модель 

\( y_{i} = \beta_{1} + \beta_{2} x_{i} + \epsilon_{i}, cov(x_{i}, \epsilon_{i}) = 0 \) 

Но в реальности, мы не наблюдаем \( x_{i}\), а наблюдаем некую другую величину \( x^{*}_{i}\)

\( x^{*}_{i} = x_{i} + u_{i} \)

где \( u_{i} \) - ошибка измерения. И тогда мы тупо выражаем \( u_{i} \) через \( u^{*}_{i} \) и бомбим видоизменную модель

\( y_{i} = \beta_{1} + \beta_{2} x^{*}_{i} + (\epsilon_{i} - \beta_{2} u_{i} ), cov(x^{*}_{i}, \epsilon_{i} - \beta_{2} u_{i} ) \neq 0 \)

То есть вот и наша эндогенность. То есть в этой модифицированной модели, оценки МНК уже несостоятельны :-(

Идем дальше. Пропущенный регрессор.

\( y_{i} = \beta_{1} + \beta_{2} x_{i} + \beta_{3} d_{i} + \epsilon_{i}, Cov(x_{i} , d_{i}) = 0, Cov(x_{i} , \epsilon_{i}) = 0, Cov(d_{i} , \epsilon_{i}) = 0 \)

Но вот незадача и мы не наблюдаем \( d_{i}\). Пускай мы хотим понять из чего складывается заработная плата и у нас есть \( x_{i}\) - это рабочий стаж, а \( d_{i}\) - некоторые способности, которые мы не можем оценить.

\( y_{i} = \beta_{1} + \beta_{2} x_{i} + (\epsilon_{i} + \beta_{3} d_{i} ), Cov(x_{i} , \epsilon_{i} + \beta_{3} d_{i} ) = \beta_{3} cov(x_{i}, d_{i}), \)

Вот эту модель мы уже можем посчитать с помощью МНК, но вот результаты нас разочаруют, ибо опять получим смещенность оценок и по сути наша величина \( \beta_{2}\) будет отражать не то, что хотелось бы.

Ну и напоследок, одновременность определения значения переменных. Тут примером будет служить классика экономики - модель спроса и предложения (пресловутый крест на картинках (P,Q) ). 

И так вот

\( q_{i} = 3 − p_{i} + \epsilon_{i} \)  - логарифм спроса 

\( q_{i} = 3 + 2p_{i} + u_{i} \) - логарифм предложения 

Ошибки \( u_{i}, \epsilon_{i}\) независимы и нормальны \( N(0, 1) \). И вот тут возникает резонный вопрос. К чему стремится оценка коэффициента при цене при оценке уравнения спроса с помощью МНК?

\( \hat{q}_{i} = \hat{\beta}_{1} + \hat{\beta}_{2} p_{i} + \epsilon_{i} \)

А вот нельзя тут так оценивать, ибо имеет место эндогенность :-( Надо искать другой путь и этот путь именуется методом инструментальных переменных. Есть модель

\( y_{i} = \beta_{1} + \beta_{2} x_{i} + \beta_{i} d_{i}+\epsilon_{i} \to Cov(x_{i} ,   \epsilon_{i}) \neq 0 \)

Есть явная эндогенность и обойти ее можно, использовав “инструментальную переменную” z и св-ва ее такие,

\( Cov(z_{i} , \epsilon_{i}) = 0 \)

\( Cov(z_{i} , x_{i}) = 0 \)

И еще раз, почему нельзя использовать метод МНК, когда у нас есть эндогенность? Пусть я хочу узнать как у меня связан спрос на сигареты от цены. Я вбиваю в R следующее,

h <-CigarettesSW h2 <- mutate(h, rprice = price/cpi, rincome = income/cpi/population, rtax=tax/cpi) h3 <- filter(h2, year=="1995") model_0 <- lm(data=h3, log(packs)~log(rprice)) summary(model_0)

И вот R получил коэффициенты, но(!) R автоматом предполагал, что никакой корреляции нет между нашей переменной и случайной составляющей. И тогда, ответ на вопрос, что происходит при изменение цены на одну единицу, включает в себя некое значение спроса, но(!) там учтено еще то, что при увеличении цены, меняется еще какой-то параметр и т.д. Что-то вроде принципа домино. Но меня интересует только изменение цены на сигареты при фиксированных остальных переменных. Ну и в силу эндогенности, нам нужна “инструментальная переменная”.

 Чтобы лучше понять, что есть что, вот примерчик удачной пары “переменная и инструментальная переменная” -  производство самогона и покупка сахара домохозяйством в регрессии потребления самогона на его производство. А почему?  Потребление самогона зависит от склонности человека к потреблению спиртного, что не коррелирует с объёмами покупок сахара. А так как сахар является ингредиентом при производстве самогона, то эти две переменные скореллированы. 

Поняли что к чему, теперь давайте построим эту модель. И сначала

Строим регрессию каждого \( x_{i} \) коррелированного с \( \epsilon_{i} \) на инструментальные переменные и получаем прогнозы \( \hat{x}_{i}\) на первом шаге. 

Оцениваем исходную модель, заменив \( x_{i} \) на \( \hat{x}_{i}\)

\( y_{i} = \beta_{1} + \beta_{2} \hat{x}_{i} + \beta_{i} d_{i}+u_{i} \) 

Получаем \( \hat{\beta}^{IV}_{1} , \hat{\beta}^{IV}_{2} , \hat{\beta}^{IV}_{2} \). 

С этого момента начинаются непонятки ... Тут нужен конкретный пример, чтобы расставить все точки над i

\( y_{i} = \beta_{1} + \beta_{2} x_{i} + \beta_{i} d_{i}+\epsilon_{i} \)

\( d_{i}\) не наблюдается и мы тупо заменяем блок \( \beta_{i} d_{i}+\epsilon_{i} \) на случайную величину \( u_{i}\)

\( y_{i} = \beta_{1} + \beta_{2} x_{i} + u_{i} \)

\( var (x_{i}) = var(d_{i}) = 9 \)

\( var(\epsilon_{i}) = 1 \)

\( cov(x_{i}, d_{i}) = -6 \)

\( cov(\epsilon_{i}, x_{i}) = 0 \) 

Ну и есть у нас некая инструментальная переменная \( z_{i} \), 

\( cov(z_{i}, x_{i}) = 1 \)

\( cov(z_{i}, u_{i}) = 0 \)

Считаем \( \hat{\beta}^{IV}_{2} = \frac{s cov(z,y)}{s cov(z,x)} = \beta_{2}\)

Суть в том, что ранее мы искали оценки (так сказать напрямую с помощью МНК, без какой бы то ни было инструментальной переменной), по формуле

\( \beta = \frac{s cov(x,y)}{s var (x)}\)

Тут же когда на передний план выходит некая инструментальная переменная, то все резко меняется и мы уже в силах посчитать состоятельную оценку. Графически все выглядит так. Есть наша модель, где наблюдается эндогенность

\( y_{i} = \beta_{1} + \beta_{2} x_{i} + \epsilon_{i} \)

Реализовать все в R довольно просто. Опять возвращаемся к примеру с сигаретами. 

model_iv <- ivreg(data=h2, log(packs)~log(rprice) | rtax )

Мы предполагаем, что нашей инструментальной переменной являются налоговые сборы (акцизы) и при увеличении акциз, цена на сигареты увеличится и спрос изменится.

Итого, наша случайная составляющая влияет на переменную и регрессор, что и приводит к проблемам. Но с появлением инструментальной переменной, которая только влияет на нашу переменную, все резко меняется. И весь вопрос состоит в том, как найти инструментальную переменную? И ответа на этот вопрос у меня нет :-( Это своего рода скилл, который нарабатывается годами и иногда просто понятен из данных, которые мы исследуем. 

Несколько продвинутых топиков

1. Медианная регрессия.

Мы все это время, пытались найти модель для среднего значения исследуемой величины. Однако можно пойти иначе и вместо среднего, поиграться с его почти эквивалентом, медианой. Вспомним что это такое.

Математическое ожидание — среднее арифметическое значение объясняемой переменной \( y_{i} \) при заданном \( x_{i} \)

 Медиана, \( med(y_{i} |x_{i}) \) — число, больше которого оказывается ровно половина yi при заданном \( x_{i} \) 

То есть раннее у нас было

Предпосылки классической модели:

\(  y_{i} = \beta_{1} + \beta_{2} x_{i} + \epsilon_{i} \)

экзогенность, \( E(\epsilon_{i} |x_{i}) = 0 \) и куча  других предпосылок 

Следствие: \( E(y_{i} |x_{i}) = \beta_{1} + \beta_{2}x \)

Оценки  \( \hat{\beta}_{i}\) высчитываются по МНК и в конце концовмы получаем состоятельные оценки.

С медианной регрессией все чуток иначе.  Наша модель уже

\( med(y_{i} |x_{i}) = \beta_{1} + \beta_{2} x_{i} + \epsilon_{i} \)

И главное отличие заключается в том, что МНК  уже не прокатывает и состоятельные оценки надо искать иначе. И ищут их с помощью минимизации суммы модулей остатков.

\( M(\hat{\beta}_{1}, \hat{\beta}_{2} ) = \sum\limits_{i} |y_{i} − \hat{y}_{i}|  \)

Ну и важно понимать, что медианная и средняя модели отличны просто по своей сути, ибо получение средней величины может вызвано одними факторами (переменными), а разделение чего-то пополам другими.

Это все хорошо, но есть еще более интересный подход, квантильный. Тут мы разбиваем нашу дату на 2 части и разбиение не симметричное, например 90 на 10. В чем соль? Допустим у нас есть дата по ценам и площадям квартир в Москве, и очевидно, что чем больше более дорогое жилье, то с увеличением площади, стоимость его будет увеличиваться быстрее чем для более дешевого жилья. То есть, зависимость для разных квантилей разная! И тогда наша модель

Модель: \( q_{\tau} (y_{i}|x_{i}) = \beta^{\tau}_{1} + \beta^{\tau}_{2} x_{i} \)

Например в примере с жильем, модель такая:

недорогое жильё (10%-ый квантиль): \( price_{i} = 3.9 + 1.3 totsp_{i} \)

 дорогое жильё (90%-ый квантиль): \( price_{i} = −102.4 + 3.6 totsp_{i} \)

2. Алгоритм случайного леса

Это уже очень серьезная штука, которая отлично прогнозирует, хотя и не объясняет, как устроены данные. В чем же суть?

Допустим у нас есть набор данных, которые мы должны объяснить и куча объясняющих переменных. Рассмотрим наш набор данных и посчитаем для него арифметическое среднее. Имея на руках кучу и данных и арифметическое среднее, мы в силах посчитать RSS, сумма по разностям \( y_{i}-\hat{y}_{i} \) . И теперь следующим шагом, мы должны произвести разбиение нашей кучи данных так, чтобы RSS теперь уменьшился как можно сильнее. Очевидно. что RSS будет самым наименьшим, когда мы разобьем нашу кучу почти(!) наполовинку. Ну а чтобы точно получить наименьшее RSS нужно сказать R, чтобы он это сделал. Да и надо помнить, что если есть под-ва A и B, общее RSS для них равно тупо сумме, то есть

\( RSS_{A+B}=RSS_{A}+RSS_{B} \)

Разбили нашу кучу на два подмн-ва и теперь бросаем наш взор объясняющие переменные, коих много  \( {x,z,k,l,l...}\) и взяв один из них, допустим \( {x} \), где для него произошло разбиение конструируем условие, типа

\( x > x_{0} \) - влево

\( x < x_{0 }\) - вправо

Ну и так далее, для последующих подмножест, привлекая все новые и новые объясняющие переменные. 

Но это все слова и проще показать все на простеньком примерчике картинкой.

3. Байесовский подход.

Это совершенно другой подход и вообще другой мир так сказать. А фишка в том, чтобы поиграться с функцией распределения, но предварительно обозначить ее каким-то образом, а затем на базе имеющихся данных и нашей гипотезы, построить уже более ли менее правильную. То есть, мы  описываем наше незнание параметра в виде априорного закона распределения! Итого, 

Определяем: 

Априорное распределение, \( f(\theta) \) 

Модель для данных, \( f(y|\theta) \) 

По формуле условной вероятности получаем: 

Апостериорное распределение, \( f \theta |y)  \), где \( f(\theta |y) \sim  f(y|\theta)   f(\theta) \)

Ну и тут как обычно лучше всего нам поможем понять, что к чему примерчик. Допустим мы выловили в речке 2 карасей и 1 щуку (это наша модель для данных!), но мы особо ничего не знаем о том, какая именно рыба водится в речке и предполагаем что априорное распределение равномерное. Ну и считаем на базе этого наше апостериорное распределение.

\( f(\theta) = 1 \) при \( 0<p<1\)

\( f(y |\theta) = p^{2} (1-p)\), где \( p \) - вероятность поймать карася

Ну и если отнормировать эту величину мы получаем для апостериорного распределения,

\( f(\theta|y) = 12 p^{2} (1-p)\)  или

Как видим наше распределение изменило вид, была прямая (равномерное распределение), а теперь кривоватый колокол с уклоном на то, что карасей больше чем щук. То есть на базе наших знаний, мы получили другое распределение(модель).

Теперь давайте предположим, что мы поболтали с бабушкой и она нам сказала, что по ее опыту житья-бытья близ озера карасей водится больше. Что мы должны сделать? Мы должны изменить наше предположение о том, что наше априорное распределение равномерное и заменить его, допустим на линейной от нуля до единицы. Проделав то же самое, что мы сделали для первого случая, мы получим

\( f(\theta|y) = 20 p^{3} (1-p)\)  или

Как видим, его сдвиг вправо более сильный чем в предыдущем случае. 

То есть суть в том, что многое зависит от комбинаций знаний - от того что мы предполагали теоретически и от того, что мы увидели эмпирически.

В реальности никакой функциональной зависимости мы получить не можем на апостериорное распределение и мы работаем с массивом данных и этот массив точек получается посредством очень сильного инструмента MCMC (Markov Chain Monte Carlo). Как этот алгоритм работает, я пока что не знаю, но мне кажется, что знать надо. И по сути с помощью MCMC, мы имеем 

На входе

Априорное распределение, \( f(\theta) \)

Модель для данных, \( f(y|\theta) \)

На выходе

Апостериорное распределение, \( f (\theta |y)  \)

Ну и напоследок, в байесовском подходе, можно задавать вопросы про неизвестные параметры: \( P(\beta_{3} > 0|y), P(\beta_{3} = 0|y), E(\beta_{3}|y) ?\) и получать ответы на выходе

Ну и апостериорное распределение есть всегда! Даже при жесткой мультиколлинеарности и полном отсутствии наблюдений, не заботясь о соблюдении всяких св-в.

Гетероскедастичность

Сейчас мы выходим на тропу отступлений от наших предположений, благодаря которым мы можем влет проводить анализ с помощью МНК. И вот, одно из них, это отказ от гомоскедастичности, т.е.

\( var(\epsilon_{i}|X) = \sigma^{2} = const \)

Теперь у нас все иначе (гетероскедастичность) и мы считаем, что

\( var(\epsilon_{i}|X) = \sigma^{2} \neq const \)

Касаемо самих данных, это означает, что наши данные распределены по-разному и скорее всего зависимы. Но более важно смотреть на этот вопрос с точки зрения самих остатков. И гетероскедастичность можно выявить, если наша переменная меняется от размеров нашего регрессора. Хороший пример, это зависимость стоимости жилья от площади. Для квартир с малой площадью разброс цен не особо отличается друг от друга, но все резко меняется для больших квартир (пентхаусов). Это и есть проявление гетероскедастичности в быту, так сказать.

Хорошо это или плохо?

В принципе плохо, ибо гомоскедастичность входила в наш Большой Список Хороших Свойств, а теперь нам надо от него отказаться. Что же это влечет за собой? Начнем с того, что мы имеем два типа св-в

Св-ва для конечных выборок

Асимптотические св-ва

Начнем с конечных выборок. Тут нам придется распрощаться с тем, что  наша оценка самая эффективная. Теперь это не так. Но все равно как искать ту самую, самую эффективную , мы и знать не знаем, поэтому все ok. Но тут нет предположения о нормальности остатков \( \epsilon \). Если же нормальность остатков имеет место, то мы отказываемся сразу от следующих трех предположений

\( t \sim t_{n-k}\)

\( \frac{RSS}{\sigma^{2}}|X \sim \chi_{n-k}^{2} \)

\( F= \frac{(RSS_{R}-RSS_{UR})/r}{RSS_{UR}/n-k} \sim F_{r, n-k}\)

Этого всего уже нет и мы вот так влегкую построить гипотезы не сможем.

Ну и касаемо асимптотических св-в, то тут мы теряем

\( \frac{\hat{\beta}_{j}-\beta_{j}}{se(\beta_{j})} \to N(0,1)\)

\( F= \frac{(RSS_{R}-RSS_{UR})}{RSS_{UR}/n-k} \to \chi_{r}^{2} \)

Однако, остальные св-ва работают, но мораль в следующем.

Мы можем использовать наши построенные модели и коэффициенты скорее всего будут очень приближены к реальности, но вот их стандартные ошибки (элементы ковариационной матрицы, то есть) будут несостоятельны и толковые доверительные интервалы мы построить уже не в силах.

С этим надо бороться, но как? Перейти к новым стандартным ошибкам

\( se(\hat{\beta}_{j}) \to se_{HC}( \hat{\beta}_{j}) \)

где HC- heteroskedasticity consistent

Считаются эти новые стандартные ошибки по сложным формулам, предложенным Уайдом в 1980 и с помощью вот такого подхода мы можем решить проблему  с асимптотическими св-вами, а именно теперь у нас есть то, чего не было ранее,

\( \frac{\hat{\beta}_{j}-\beta_{j}}{se(\beta_{j})} \to N(0,1) \)

А это нам позволяет строить гипотезы. Однако не стоит забывать, что сами оценки коэффициентов  \( \beta \) продолжают оставаться не эффективными! В R посмотреть на новую ковариационную матрицу можно так

model <- lm(y~x, data=data) vcovHC(model)

Хорошо, у нас есть модель с данными и вроде как есть проблема с “размерностями”. Как быть?

Сразу строить график квадратов (или модулей) остатков в зависимости от регрессора и потом проводить тесты на уже точечное обнаружение гетероскедастичности. В R графики остатков строятся так,

h <- read.table("flats_moscow.txt", header=TRUE) h <- augment(model,h) glimpse(h) # смотрим, что добавилось в таблицу h qplot(data=h,totsp,abs(.resid)) # строим зависимость модуля (функция abs) остатков от площади

Что касается же тестов, то их много, но мы будем использовать только два - тест Уайда и тест Голдфельда-Квандта(Goldfeld-Quandt). В чем их разница?

Для анализа теста Уайда нужно много данных, однако нормальность остатков не требуется. А вот в случае теста  Голдфельда-Квандта нужно

Есть переменная, от которой условная дисперсия ошибок предположительно зависит монотонно

Требуется нормальность ошибок

Тест подходит для малых выборок

В принципе анализ тестов сложный и в общем виде их так легко не возьмешь, однако давайте рассмотрим простенький пример и посмотрим как работает, как один, так и другой метод.

По 200 киоскам мороженого и исследователь оценил зависимость спроса (q) от цены (p), разнообразия ассортимента (a) и удаленности от метро (d).

Наша модель :

\( q_{i} = \beta_{1}+\beta_{2}p_{i}+\beta_{3}a_{i}+\beta_{4}d_{i}\)

Наши гипотезы :

\( H_{0}: var(\epsilon_{i}|X) = \sigma^{2} \)

\( H_{1}: var(\epsilon_{i}|X) \neq \sigma^{2} \)

Тест Уйада.

Step 1. Считаем наши остатки \( \hat{\epsilon}_{i}\) тупо по исходной модели

Step 2: Записываем вспомогательную модель, дописывая в исходную модель всякие полиномиальные члены и считаем остатки для нее

\( \epsilon^{2} = \alpha_{1}+\alpha_{2}p_{i}+\alpha_{3}a_{i}+\alpha_{4}d_{i} + \alpha_{5}p^{2}_{i}+ \alpha_{6}a^{2}_{i} + \alpha_{7}d^{2}_{i} + ...\)

На основе этой вспомогательной (auxilary) модели, мы получаем

\( R_{aux} = \frac{ESS_{aux}}{TSS_{aux}}\)

И уже потом генерим, величину

\( W = n R^{2}_{aux} \)

\( W \sim \chi^{2}_{m-1}\)

где \( m \) - число параметров во вспомогательной регрессии (у нас например 10 = 1+3+6)

Ну это число \( W \) и является нашим индикатором состоятельности той или иной гипотезы. Т.е.  если наблюдаемое значение статистики \( W \) больше критического \( \chi^{2}_{cr}\), то \( H_{0}\) отвергается.

Как реализовать в R?

model <- lm(price~totsp, data=h) # простая модель парной регрессии vcov(model) # неверная в условиях гетероскедастичности coeftest(model) # тесты для обычной оценки ков. матрицы confint(model) # доверительные интервалы по формулам корректным для гомоскедастичности vcovHC(model,type="HC0") # формула Уайта coeftest(model,vcov. = vcovHC(model)) # тесты для робастной оценки ковариационной матрицы: # построение доверительного интервала conftable <- coeftest(model,vcov. = vcovHC(model)) ci <- data.frame(estimate=conftable[,1], se_hc=conftable[,2]) ci <- mutate(ci,left_ci=estimate-1.96*se_hc, right_ci=estimate+1.96*se_hc) # # тест Уайта во вспомогательной регрессии квадраты остатков bptest(model, data=h, varformula = ~ poly(totsp, 2) )

Тест Голдфельда-Квандта(Goldfeld-Quandt)

Тут чуток хитрее и для начала требуется переменная, которая и вызывает эту гетероскедастичность, поэтому

Step 1.Сортируем наблюдения по предполагаемому убыванию условной дисперсии

Step 2. Выкидываем часть наблюдений посередине (например, 20%)

Step 3. Оцениваем исходную модель отдельно по первым и по последним наблюдениям

Step 4. Считаем величину

\( GQ = \frac{RSS_{1}/(n_{1}-k)} {RSS_{2}/(n_{2}-k)} \sim  F_{n_{1}-k, n_{2}-k} \)

Ну и как в прошлом методе  если наблюдаемое значение статистики \( GQ \) больше критического \( F_{cr}\), то \( H_{0}\) отвергается.

model <- lm(price~totsp, data=h) # простая модель парной регрессии vcov(model) # неверная в условиях гетероскедастичности coeftest(model) # тесты для обычной оценки ков. матрицы confint(model) # доверительные интервалы по формулам # тест Голдфельда--Квандта gqtest (model, order.by = ~totsp, data=h, fraction = 0.2)

Итого, нарушение предпосылки об условной гомоскедастичности (т.е. гетероскедастичность ) почти всегда имеет место в случайной выборке, но с этим мы боремся с помощью новых робастных стандартных ошибок. Однако, наша модель все равно не будет самой эффективной и чтобы уж точно получить самую эффективную, то надо знать структуру гетероскедастичности.

Автокорреляция.

Все начинается с того, что мы опять предполагаем, что нарушено одно из условий хороших св-в. Теперь это будет

\( cov( \epsilon_{i}, \epsilon_{j} | X) = E ( \epsilon_{i}, \epsilon_{j} | X) \neq  0 \)

Что это означает и когда это имеет место?

По сути, это означает, что есть зависимость между остатками и проявляется это в том, что наши наблюдения “близки” в пространстве и/или во времени. Допустим, мы будем записывать стоимость акций Газпрома каждые 10 секунд и это будут наши наблюдения, то наблюдение 1 будет в принципе довольно близко к наблюдению 2 и между ними явно есть какая-то зависимость (в данном случае стохастическая). То есть, это говорит о наличии ненаблюдаемого фактора, действующего на “соседние” наблюдения.  

Если говорить честно, наличие автокорреляции это плохо и чтобы правильно и целостно бороться с ней, существуют целая наука - анализ временных рядов. Но мы так далеко копать не будем, а то посмотрим на все это дело поверхностно.

Какие же минусы?

Сразу же получаем несостоятельность оценок \( \hat{\beta} \)

Суть в том, что как не увеличивай число наблюдений, при наличии автокорреляции наши оценки будут всегда несостоятельны. То есть будут накапливаться ошибки и они их величина не спадает с числом наблюдений. Это так-то плохо :-(

Давайте-ка оставим проблемы в сторонке и попробуем прочувствовать проблему математически, задав функциональную зависимость нашим ошибкам. А именно,

\( y_{t} = \beta_{1} + \beta_{2} x_{t} + \epsilon_{t} \)

где

\( \epsilon_{t} = \rho \epsilon_{t-1} + u_{t}\)

\( u_{t} \) — независимы между собой

\( u_{t} \)  независимы от регрессоров

\( u_{t} \)  одинаково распределены

E( \( u_{t} \) ) = 0

\(  Var( u_{t} ) = \sigma^{2} \)  

\( -1 < \rho < 1 \)

В общем, мы придали какую-то зависимость нашим оценкам и теперь если правильно все посчитать, то можно убедиться для \( \rho = \frac{1}{2}\), что

\( \epsilon_{t} = u_{t} + \frac{1}{2} u_{t-1} + \frac{1}{4} u_{t-2} + \frac{1}{8} u_{t-3} + ... \to var(\epsilon_{t}) = \delta^{2}_{\epsilon} \)

Это означает, что дисперсия постоянна и не зависит от времени и равна некой величине.

Давайте глянем на это с другой стороны, т.е.

\( var(\epsilon_{t}) = var(\rho \epsilon_{t-1}) + var(u_{t}) + 2 cov(\rho \epsilon_{t-1} , u_{t}) \to \delta^{2}_{\epsilon} = \rho^{2} \delta^{2}_{\epsilon} + \delta^{2}_{u} \)

Отсюда можно заключить что,

\(  \delta^{2}_{\epsilon} = \rho^{2} \delta^{2}_{\epsilon} + \delta^{2}_{u} \to \delta^{2}_{\epsilon} = \frac{\delta^{2}_{u}}{1-\rho^{2}} \)

Толку от этого всего немного, а самое главное же св-во такого представления ошибок в следующем  

\( cov(\epsilon_{t}, \epsilon_{t-k}) = \rho^{k} \)

То есть чем дальше расположены (во времени) наши ошибки, тем меньше их связь (корреляция), т.к. мы говорили, что \( -1 < \rho < 1 \). Ну это по сути означает, что такое линейное представление о функциональной зависимости наших ошибок, имеет право на жизнь.

Теперь возвращаемся к нашим проблемам. И получается так, что МНК уже не дает самую лучшую модель и это наводит нас на мысль (впервые!), что можно использовать совершенно иной метод (метод правдоподобия). Но об этом позже, а пока. Как мы помним св-ва мы делили по группам

конечная выборка без предположения о нормальности ε

конечная выборка с предположением о нормальности ε

асимптотические свойства без предположения о нормальности ε

Для каждого случая свои неприятности, но если смотреть в целом, то все очень плохо.

Когда конечная выборка без предположения о нормальности ε , то сохраняется линейность и несмещенность. Однако оценки не эффективны.

Теперь если конечная выборка с предположением о нормальности ε , то тут все св-ва рушатся.

Ну и наконец, когда имеют место асимптотические свойства без предположения о нормальности ε , то

оценки очень похожи, т.е. \( \hat{\beta} \to \beta \) и

\( \frac{RSS_{R}}{n-k} \to \sigma^{2} \)

Однако не выполняются следующие

\( \frac{\hat{\beta}_{j}-\beta_{j}}{se(\beta_{j})} \to N(0,1)\)

\( \frac{(RSS_{R}-RSS_{UR})}{RSS_{UR}/n-k} \to \chi_{r}^{2} \)

И это опять говорит о том, что гипотезы мы проверять не можем.

Итого, что мы имеем?

Сами \( \hat{\beta}_{j} \) можно интерпретировать и использовать

Стандартные ошибки \( se(\hat{\beta}_{j}) \) несостоятельны

Не можем строить доверительные интервалы для \( \beta_{j} \) и проверять гипотезы о \( \beta_{j}\)  

Как же поступать? Так же как и прежде - исправить стандартные ошибки, введя пресловутые робастные стандартные ошибки

\( se(\hat{\beta}_{j}) \to se_{HAC}(\hat{\beta}_{j})  \)

HAC -  heteroskedasticity and autocorrelation consistent

Ну тогда у нас изменится и ковариационная матрица, формула для которой очень громоздка (Newey-West, 1987), но нас это не сильно волнует, ибо у нас есть R :-) Вот с помощью новых робастных ошибок, мы вновь восстановим потерянное св-во  

\( \frac{\hat{\beta}_{j}-\beta_{j}}{se(\beta_{j})} \to N(0,1)\)

и опять сможем проверять гипотезы и строить доверительные интервалы. НО! Не стоит забывать о том, что так и не решена проблема со статистиками (\( t, \chi^{2} \)). В R все выглядит вот так,

packege (sandwich) package (lmtest) model <- lm (data=data, y~x+z) vcovHAC(model) coeftest(model, vcov. = vcovHAC)

Ну и как же понять что имеет место автокорреляция? Просто построить графики { \( \epsilon_{t-1}, \epsilon_{t} \)} и узреть, есть ли там корреляция, т.е.

В этом случае, корреляция положительная.

Ну и все, последняя часть. Как проводить тесты и какие собственно тесты существуют?

Так то их много, но мы как обычно ограничимся только двумя

Durbin-Watson test

Breusch-Godfrey test

Начнем с DW test’а. Начнем с предпосылок,

Работает только для автокорреляции первого порядка \( \epsilon_{t} = \rho \epsilon_{t-1} + u_{t}\)

нормальность ошибок \( \epsilon \)

экзогенность \( E(\epsilon_{i}|X)=0\)

Ну и берется нулевая гипотеза об отсутствии автокорреляции, \( \rho = 0\). То есть альтернативная же будет говорить о наличии автокорреляции только первого рода, но никак не более высокого. То есть если в реальности будет автокорреляция 5ого  порядка, то мы этого определить не сможем :-(

Ну а численно, все выражается в такую мантру.

Step 1. Высчитываем на базе нашей обычной модели \( \hat{\epsilon}_{i} \)

Step 2. Считаем следующее выражение

\( DW = \frac{ \sum\limits_{i=2}^n  (\hat{\epsilon}_{i} - \hat{\epsilon}_{i-1})^{2} }{\sum\limits_{i=1}^n \hat{\epsilon}_{i}^{2}} \)

Функционально эта статистика очень сложна, но сделав кое-какие манипуляции мы получим, что

\( DW = 2 (1-\rho )\) и тогда

\( DW \approx 0 \to \hat{\rho} \approx 1 \)

\( DW \approx 2 \to \hat{\rho} \approx 0 \)

\( DW \approx 4 \to \hat{\rho} \approx -1 \)

В R это реализуется таким образом.

# Durbin-Watson # H0: нет автокорреляции # Ha: автокорреляции 1-го порядка dwt(model)

Ну и более мощный тест, Breusch-Godfrey test . Предпосылки следующие:

работает для любого порядка автокорреляции

экзогенность \( E(\epsilon_{i}|X)=0\) не требуется

А проверка идет по следующей последовательности

Step 1.  Высчитываем на базе нашей обычной модели \( \hat{\epsilon}_{i} \)

Step 2. Параллельно строим вспомогательную модель взяв уже больше регрессоров, а именно \(  (\hat{\epsilon}_{t-1}, \hat{\epsilon}_{t-2} )  \) в зависимости от порядка автокорреляции  и считаем \( R^{2}_{aux}\)

Step 3. Считаем \( BG = (n-p) R^{2}_{aux} \sim \chi^{2}_{p} \)

Ну а дальше как обычно, сравниваем с критическим и делаем выводе о целесообразности гипотезы. Опять же. Нулевая гипотеза говорит о том, что автокорреляции нет, а вот альтернативная напротив, утверждает, что имеет место автокорреляции n-ого порядка. Порядок устанавливаем сами. Ну и в R? тест проводится в одну строчку

# Breusch-Godfrey test # H0: нет автокорреляции # Ha: автокорреляция k-го порядка bgtest(model,order = 2)

Как контрольный пример, рассмотрим зависимость цены акции от макропараметров, а именно interest rate и GDP grow на базе 19 данных (n=19).

\( \hat{T}_{t} = -12 - r_{t} +0.16 GDP_{t} \)

Для проверки Durbin-Watson test’a  мы говорим, что \( \epsilon_{t} = \rho \epsilon_{t-1} + u_{t}\) и если посчитать DW параметр, то имеем

\( DW = 1.32 \to DW=2(1-\hat{\rho}) \to \rho = 0.34 \)

Ну это говорит о том, что корреляция имеет место и положительна.

Что касается же второй модели или Breusch-Godfrey test, то тут главную роль играет то какого порядка у нас автокорреляция и пускай она будет второго порядка \( (p =2) \),

\( \epsilon_{t} = \gamma_{1} \epsilon_{t-1} + \gamma_{2}\epsilon_{t-2} + u_{t} \)

Ну и тогда наша вспомогательная регрессия построится на базе 4 регрессеров - (\( r_{t}, GDP_{t}, \hat{\epsilon}_{t-1} , \hat{\epsilon}_{t-2} \)) и \( R^{2}_{aux} = 0.075 \). Тогда по формулке имеем

\( BG = (n-p) R^{2}_{aux} \to (19-2)0.075=1.78 \)

Критическую же величину ищем опять с помощью R

qchisq(0.95, df=2)

и равно оно 5.99, то это говорит о том, что отвергнуть нулевую гипотезу мы не можем.

Ну и вопрос напоследок, вопрос на понимание. Допустим мы посчитали и определили, что следуя Durbin-Watson test, у нас нулевая гипотеза отвергается и автокорреляция имеет место. Однако, мы воспользовались Breusch-Godfrey test для более высокого порядка (p=2) и тут нулевая гипотеза не отвергается. Как быть? Тут получается, что нулевая гипотеза все-таки отвергается, так как DW test хватило данных, чтобы отвергнуть, а вот BG test’у нет и если мы снабдим его большим числом данным, то нулевая гипотеза (скорее всего) будет отвергнута.

Итого, что мы узнали нового? А то что, если мы имеем наблюдения, которые были измерены в относительной близости друг от друга, то это влечет за собой зависимость ошибок, что в свою очередь сильно портит всю нашу модель.  Выходом же являются робастные стандартные ошибки, но все-таки лучше попробовать заменить МНК на что-то более мощное. Этим и займемся в следующем топике.

Метод максимального правдоподобия.

И вот теперь будем работать с новым методом определения наших коэффициентов в регрессионной модели. Именуется от метод макс. правдоподобия или ML. И фишка в том, что рассмотреть вероятность события, которое заведомо зависит от некого параметра и найти такое значение параметра при котором вероятность события будет максимальна. Рассмотрим общий кейс для непрерывных случайных величин и запишем для них плотность вероятности, которую мы и будем максимизировать,

\( f(y_{1}, y_{2}, ...y_{n} | \theta) = f(y_{1}| \theta) f(y_{2} | \theta)...f(y_{n} | \theta) \)

Обычно рассматривают логарифм данной величины, в силу удобства,т.е.

\( I(\theta) = ln( f(y_{1}, y_{2}, ...y_{n} | \theta) )\)

Чтобы лучше понять, что к чему, давайте рассмотрим примерчик. Пускай мы имеем колл-центр, который с некой интенсивностью принимает звонки и таких звонков было сделано 100 в течении дня и суммарно они длились 200 минут. Т.е. наша модель это пуассоновский процесс  \( f(y) = \lambda e^{-\lambda y}\) с набором данных - 100 и \( \sum\limits_{i=1}^n y_{i} = 200\). Итого,

\( f(y) = \prod\limits_{i=1}^n   \lambda e^{-\lambda y_{i}} \)

Т.е. взяв логарифм, то выскочит сумма и мы получим

\( l(\lambda) = 100 ln( \lambda) - \lambda \sum\limits_{i=1}^n y_{i} \)

Ну и взяв производную, имеем,

\( \frac{\partial l(\lambda) }{\partial \lambda } = 100 \frac{1}{\lambda} - 200 = 0 \to \lambda =   \frac{1}{2} \)

Вот и вся математика ;-)

Теперь пришло время определение св-в оценок методом ML. И так вот,

Состоятельны: \( \hat{\theta}_{ML} \to \theta  \) при n \( \to \infty \)

Асимптотически несмещены: \( E(\hat{\theta}_{ML}) \to \theta θ \) при n \( \to \infty \)

Асимптотически эффективны, то есть ни один другой метод не сможет дать оценки более точные, чем ML  или другими словами, \( var (\hat{\theta}_{ML}) \) самая минимальная!

Еще один плюс - оценки \( \hat{\theta} \) имеют нормальное распределение при большом количестве наблюдений, т.е.

\( \hat{\theta} \sim N(\theta, I^{-1}) \), где \( I(l) \) - информация Фишера (некая матрица) или в 1D \( I(l) = -E(l’’(\theta)) \). Это св-во позволяет нам строить доверительные интервалы.

Вернемся к примеру с нашим колл-центром и определим доверительный интервал для параметра \( \lambda \).

\( l(\lambda) = 100 ln( \lambda) - \lambda \sum\limits_{i=1}^n y_{i} \)

\( \frac{\partial l(\lambda) }{\partial \lambda } = 100 \frac{1}{\lambda} - 200 \)

\( \frac{\partial^{2} l(\lambda) }{\partial^{2} \lambda } = -100 \frac{1}{\lambda^{2}}  \)

И тогда информация Фишера в нашем случае \( \lambda =   \frac{1}{2} \),

\( \hat{I} = -l^{’’}(\hat{\lambda}) = 400 \)

и

\( \hat{var} (\hat{\lambda}) = \hat{I}^{-1} = \frac{1}{400}  \)  \( se(\hat{\lambda}) = \\sqrt{\frac{1}{400}}= \frac{1}{20}  \)

Т.е. 95% доверительный интервал будет иметь такой вид:

\( [0.5-1.96 \frac{1}{20}; 0.5+1.96 \frac{1}{20} ] = [0.4,0,6] \)

Ну и теперь переходим к гипотезам. Тут условия накладываются на наши параметры \( \lambda \) и тогда

\( H_{0} \): Система из \( q \)  уравнений на неизвестные параметры

\( H_{a} \) : Хотя бы одно из q условий не выполнено

Ну и отправной точкой тут является статистика Likelihood Ratio, LR:

\( LR = 2 (l(\hat{\theta}) - l(\hat{\theta}_{H_{0}})) \sim \chi^{2}_{q} \)

Если вернуться опять к нашему примеру, то нулевой гипотезой может быть что угодно (допустим, что \( \lambda=1 \) )и если мы посчитаем все честно, то можем сказать эта гипотеза отвергается.

Теперь наконец-то к самому интересному -  логит и пробит модели. Пускай у нас имеется величина, принимающая исключительно бинарные значения - \( 1 \) or \( 0\). Это наша объясняемая переменная \( y_{i} \). И мы предполагаем, что имеется некая скрытая переменная \( y^{*}_{i}\), которая задается таким образом,

\( y^{*}_{i} = \beta_{1} = \beta_{2} x_{i} +\epsilon_{i} \)

и фишка в том, что если \(  y^{*}_{i} > 0 \to y=1 \) и  \(  y^{*}_{i} < 0 \to y=0 \)/ После того, как мы определили нашу модель, то работаем мы исключительно с величиной \(  y^{*}_{i} \) и вся соль теперь заключается в том, как мы определим случайный довесок, \( \epsilon_{i} \)

\( \epsilon_{i} \sim N(0,1) \) -  пробит-модель

\( \epsilon_{i} \sim logistic \)  - логит-модель  \( f(t) = \frac{e^{-t}}{(1+e^{-t})^{2}} \)  

Вот сейчас мы поиграемся в вероятностью и плотностью, а именно

\( P(y_{i} = 1) = P(y^{*}_{i} \geq 0) = P(\beta_{1} + \beta_{2} x_{i} + \epsilon_{i} \geq 0) = \)

\( P(−\epsilon_{i} \leq \beta_{1} + \beta_{2} x_{i}) = P(\epsilon_{i} ≤ \beta_{1} + \beta_{2} x_{i})  = F(\beta_{1} + \beta_{2} x_{i}) \)

Итого, \( F(t) = P ( \epsilon_{i} \leq t ) \)  

\( \int_{- \infty}^{t} f(u)du = \int_{- \infty}^{t}  \frac{e^{u} du }{(1+e^{u})^{2}} = \frac{e^{t}}{1+e^{t}} \)

Ведет эта функция обычно, возрастает от нулю до единицы.

Ну и вот, значение данной функции в точке \( F(\beta_{1} + \beta_{2} x_{i}) =  P(y_{i} = 1) \), или

\(   P(y_{i} = 1)  = \frac{e^{ \beta_{1} + \beta_{2} x_{i} }}{1+e^{ beta_{1} + \beta_{2} x_{i} }}\)

\( P(y_{i} = 0)  = \frac{1}{1+e^{ \beta_{1} + \beta_{2} x_{i} }} \)

Теперь введем такое интересное соотношение, как отношение шансов,

\( ln \frac{ P(y_{i} = 1 }{ P(y_{i} = 0 } = \beta_{1} + \beta_{2} x_{i} \)

То есть вот эта величина с бетами в логит-модели, есть логарифмическое отношение шансов. Что же такого в этой величине? А вот что. Мы же сказали, что наблюдаемая величина задается через ненаблюдаемую,

\( y^{*}_{i} = \beta_{1} = \beta_{2} x_{i} +\epsilon_{i} \)

\( ln \frac{ P(y_{i} = 1) }{ P(y_{i} = 0) } = \beta_{1} + \beta_{2} x_{i} \)

То есть коэффициент \( \beta_{2} \) по сути говорит нам о том, что при повышении \( x_{i} \) на единичку, логарифм шансов повышается именно на коэффициент  \( \beta_{2} \) и уже отсюда можно получить процентную величину данного роста.

Как строится модель с переменными 0 или 1? Ну как обычно.

\( P(y_{1} = 1, y_{2} = 0, ...) = P(y_{1} = 1) P(y_{2} = 0) P(y_{3} = 1) · ... \)

Но вот считать это все сложно и используются численными методами в R.

Теперь давайте рассмотрим все на конкретном примере, а именно пускай у нас имеется набор данных с выжившими/погибшими на корабле “Титаник”. Это и будет наша наблюдаемая величина \( y_{i} \), которая принимает значения 1 или 0. И на базе этого мы строим скрытую переменную \( y^{*} \), которая зависит от кучи параметров, таких как пол пассажира, возраст, класс в котором был куплен билет и сама цена билета. Как видим, некоторые из них дамми переменные, как пол пассажира и класса билета, а некоторые непрерывны. И в R задать все это можно следующим образом,

m_logit <- glm(data=t, survived~sex+age+pclass+fare, family = binomial(link="logit"), x = TRUE) m_probit<- glm(data=t, survived~sex+age+pclass+fare, family = binomial(link="probit"), x = TRUE)

Это нам выдаст следующую модель со следующими коэффициентами,

\( ln \frac{ P(y_{i} = 1) }{ P(y_{i} = 0) }  =3.48 -0.03 age_{i} -2.49 sexmale_{i}+ 0.0003 fare_{i}  \)

Что же эти цифры означают? Ну например для непрерывных величин, как возраст, при увеличении возраста пассажира на 1 год, отношение шансов падает на 3 % . Для дамми-переменных чуть хитрее и тут надо поиграться с логарифмом и тогда получим, что при переходе из состояния “мужчина”  в состояние “женщина”, наше отношение шансов резко возрастет и будет равно 12.

Итого, наши финансовые показатели (pclass и fare) очень важны. Однако, давайте предположим, что это не так и проверим нашу нулевую гипотезу о том, что выживание зависит только от sex и age и никак не от fare и pclass.

m_logit <- glm(data=t, survived~sex+age+pclass+fare, family = binomial(link="logit"), x = TRUE) m_logit2 <-glm(data=t2, survived~sex+age, family=binomial(link="logit"), x = TRUE) lrtest(m_logit, m_logit2)

Есть еще фишки с предельными эффектами, но я пока что не слишком то понял, но суть вроде в следующем.

# предельные эффекты для среднестатистического пассажира maBina(m_logit) # усредненные предельные эффекты по всем пассажирам maBina(m_logit,x.mean = FALSE)

Получили некоторые цифры (коэффициенты), которые надо бы правильно интерпретировать и так вот:

Что все это значит? Возьмем число перед age и его надо интерпретировать следующим образом:

\( \frac{\partial P(y_{i}=1)}{\partial age} |_{\overline{x}} = -0.008 \)

и означает эта величина, то что при увеличении возраста среднестатистического пассажира(!) на один год, вероятность выжить уменьшится на 0.8 %.

\( \overline{\frac{\partial P(y_{i}=1)}{\partial age}} |_{\overline{x}} = -0.008 \)

Тут чуть иначе. Для всех элементов увеличивается возраст на единичку и считается эффект и затем для всех этих величин, считается среднее арифметическое. Тут уже  вероятность выжить уменьшится на 0.5 %.

А что же с sexmale?

Тут считается следующее:

\( P(y_{i}=1|sexmale_{i}=1) - P(y_{i}=1|sexmale_{i}=0) = -0.551\)

То есть вероятность выжить для мужчины на 55% меньше чем для женщины.  Ну и напоследок, ROC-кривая.

Последовательность действий тут такая - считаем на базе наших данных спрогнозируемые вероятности (выжить / не выжить) и сравниваем с тем, что у нас в реальности - данные то есть, как-никак. И если мы посмотрим, то заметим, что  есть некая величина, которая как бы отсекает наших пассажиров на выживших/не выживших и ее можно рассматривать как пороговую. И вопрос в том, что считать пороговой величиной? Тут однозначного ответа нет, и подбором предполагаемых величин занимается R,

Начало

Я тут взял курс на Coursera по эконометрике, чтобы и предмет подтянуть, так и R освоить. Как-никак полезно в Data Science.

Ну так в чем же соль?

Допустим у нас имеется куча данных, вот прям реально до фига по какому-то элементу и с большим количеством характеристик. И нам надо понять, что с чем связано и построить модель для последующих предсказаний.

То есть, имеется набор данных {\( y_{i}, x_{i}, z_{i}, .... \) }  с числом исследований n, то есть если таких характеристик k, то у нас тупо матрица n на k. И цель в следующем, найти такую линейную(!) зависимость,

\( y_{i} = \beta_{1} + \beta_{2} x_{i} + \beta_{3} z_{i} + \epsilon_{i} \)

В реальности же, именно такую мы построить не можем, так как случайный член \(  \epsilon_{i} \) мы никогда не посчитаем и поэтому мы довольствуемся следующей моделью,

\( \hat{y}_{i} = \hat{\beta}_{1} + \hat{\beta}_{2} x_{i} + \hat{\beta}_{3} z_{i} \)

Вот такое выражение мы можем получить методом МНК. Ничего хитрого в этом нет, так что можно почитать Вики, если что.

Все что у нас есть, можно изобразить 3 величинами -  { \( y, \bar{y}, \hat{y} \)}, где y - тупо наш вектор реально наблюдаемых величин, \( \bar{y} \) - среднее арифметическое этих величин и \( \hat{y} \) - прогнозируемая величина. Все это можно красочно изобразить геометрически, только правда придется вылазить в \( R^{n} \). В любом случае, чтобы то ни было, надо держать в голове, что прогнозируемые величины лежат в \( R^{n-1} \) , то есть в гиперплоскости. Вот картинка.

Ну и конечно же, чуть не самую важную роль играет такая величина как ошибка прогноза \( \epsilon_{i} \), которая равна \( y_{i}-\hat{y}_{i}\). Ну и квадрат этой величины по всем переменным, именуется \( RSS \) . Помимо этой величины есть еще и \( TSS = |y-\bar{y}|^{2} \) и \( ESS = |y-\hat{y}|^{2} \). И между этими ребята есть прямая связь,

\( TSS= RSS+ ESS \) \(   R^{2}=\frac{ESS}{TSS} \)

Идем дальше, главным так то в модели \( \hat{y}_{i} = \hat{\beta}_{1} + \hat{\beta}_{2} x_{i} + \hat{\beta}_{3} z_{i} \), является набор \( (\beta_{1}, \beta_{2}, ...) \) и у них есть некий разброс. Математически, этот разброс величают матрицей ковариации и там сидят еще и корреляции между параметрами. И чем больше у нас наблюдений и наша модель более ли менее осмысленная, то этот разброс меньше. И как же всего это искать? С помощью R :-) Можно найти и параметры и оценочную ковариационную матрицу. Высчитывается же эта матрица на базе предпосылок, вроде того, что \( E(\epsilon_{i}|X)=0\) и т.д.

h <- cars model <- lm(data=h, dist~speed+wt) vcov(model)

Гипотезы и доверительные интервалы

Итого, имея на руках модель и оценочную ковариационную матрицу, мы можем с полной уверенностью выдвигать всякие гипотезы и проверять их. Делается прямо так же, как и в статистике, то есть формулируется нулевая гипотеза наряду с альтернативной. Определяется уровень достоверности и вперед. В основном нас будут интересовать гипотезы со значимостью какого-то параметра, то есть коэффициент \( \beta_{i} \)  нулевой или нет. То есть,

\( H_{0}: \beta_{A} =0 \)

\( H_{A} : \beta_{A} \neq 0 \)

Сразу оговорюсь, что анализ проводится на основе того, что ошибки прогноза при большом числе наблюдений у нас имеют t-распределение, то есть

\( t= \frac{\hat{\beta}_{A}-\beta_{A} }{se( \hat{\beta}_{A} )} \sim t_{n-k} \)

Как я говорил раннее,мы точных величин не знаем, но зная поведения всей этой массы, мы можем найти промежуток, где точно сидит наша искомая величина. Именуется это доверительным интервалом и процедура его нахождения следующая.

 \( -t_{cr}< \frac{\hat{\beta}_{A}-\beta_{A} }{se( \hat{\beta}_{A} )} < t_{cr } \)

\( -t_{cr} se(\hat{\beta}_{A})< \hat{\beta}_{A}-\beta_{A} < t_{cr } se(\hat{\beta}_{A})\)

\( \beta_{A}-t_{cr} se(\hat{\beta}_{A})< \hat{\beta}_{A} < \beta_{A}+t_{cr } se(\hat{\beta}_{A}) \)

В принципе, в R вот это вот можно получить влет, воспользовавшись функцией

confint(model, level=0.95)

В принципе так же легко и непринужденно можно проверять и гипотезы на незначимость и делается специальной функцией выдается p-value.

summary(model)

И при вызове вот этой команды мы увидим такую табличку:

Estimate - наша величина \( \hat{\beta}_{i} \)

Std. Error - \( var({\hat{\beta}_{i}}) \)

t-value - \( t_{observable} \)

\( Pr(>|t|) \) - наши p-values

Все конечно отлично, что R все считает, но по мне помимо всех этих чисел, лучше держать в голове следующий, так сказать framework

Вычисляем критические величины \( ( t_{critical}\ = t_{n-k}) \), где n - число наблюдений, а k-число регрессоров, которые даются исключительно на основе числа наблюдений, так как мы знаем что будет t-распределение. Вопрос только в числе степеней свобод.

Затем на базе конкретных ковариационных элементов высчитываем \( t_{observable} = \frac{\hat{\beta}_{A}-\beta_{A} }{se( \hat{\beta}_{A} )} \)

Далее идет их сравнение и если

\( t_{observable} > t_{critical}\), то нулевая гипотеза отвергается

\( t_{observable} < t_{critical}\), то нулевая гипотеза не отвергается

По факту, имеется следующая картинка для запоминания

Или абсолютно эквивалентный подход с p-value

\( H_{0}\) отвергается, если \( p<0.05 \)

\( H_{0}\) не отвергается, если \( p>0.05 \)

Все это, одного поля ягоды. Однако, я хотел бы остановиться тут и прояснить один момент. P-value ничего нам не говорит о вероятности исхода событий. P-value говорит лишь следующее, что если нулевая гипотеза верна (а вот верна она или нет, мы не знаем. Мы можем лишь отвергать или не отвергать ее), то получить то, что мы видели, можно с вероятностью p. А вот ограничения, вроде 0.05 или 0.01, говорят лишь о границе отмены и даже если полученное нами p-value больше 0.05 или 0.01, то альтернативная гипотеза все равно имеет право на существование, но отвергнуть нулевую гипотезу мы не можем и с ней как-то да надо считаться. Это очень важно понимать.

Опять же, в R на все такого рода вопросы у нас отвечают следующие функции:

confint(model, level=0.95) summary(model)

Сравнение вложенных моделей

В данной главе мы будем рассматривать одну и ту же дату и строить по ней разные модели, выдвигая всякого рода гипотезы. Прежде чем переходить к анализу, давайте введем новый вид переменных - dummy variables. Это такой вид переменных, которые принимают либо нуль, либо единичку. Например, пол респондента в опросе, переменная \( male_{i} \) , равная 1 для мужчин и 0 — для женщин. 

Как базовый пример, рассмотрим модель, где предполагается. что  зарплата мужчин и женщин может отличаться в зависимости от пола:

 \( wage_{i} = \beta_{1}+\beta_{2} exper_{i}+\beta_{3} educ_{i} + \beta_{4} male_{i}+\epsilon_{i} \)

Итого, наша модель будет выглядеть по-разному для мужчин и женщин:

Для мужчин:  \( wage_{i} = (\beta_{1}+\beta_{4})+\beta_{2} exper_{i}+\beta_{3} educ_{i} +\epsilon_{i} \)

Для женщин:  \( wage_{i} = \beta_{1}+\beta_{2} exper_{i}+\beta_{3} educ_{i} +\epsilon_{i} \)

Давайте дополним нашу модель

\( wage_{i} = \beta_{1}+\beta_{2} exper_{i}+\beta_{3} educ_{i} + \beta_{4} male_{i}+\beta_{5} male_{i} educ_{i} + \epsilon_{i} \)

Итого, 

для мужчин:  \( wage_{i} = (\beta_{1}+\beta_{4})+ \beta_{2} exper_{i}+(\beta_{3}+\beta_{5}) educ_{i} + \epsilon_{i} \)

для женщин:   \( wage_{i} = \beta_{1}+ \beta_{2} exper_{i}+\beta_{3} educ_{i} + \epsilon_{i} \)

И тут должен возникнуть резонный вопрос. А правда ли это, что имеет место различие между зарплатой для мужчин и женщин? То есть мы должны проверить гипотезу об этом и выглядит она вот так.

\( H_{0}: \beta_{4} =0\) and \( \beta_{5} =0 \)

\( H_{a}: \)  хотя бы один коэффициент \( \beta_{4} \) или \( \beta_{5} \) отличен от нуля

Вся фишка тут в том, что теперь у нас проверка гипотез о нескольких ограничениях сразу. Что же делать? Оценить сначала неограниченную модель (первую) и посчитать для него \( RSS_{UR} \) и затем оценить ограниченную модель и посчитать \( RSS_{R}\) уже для этой модели. Итого, у нас на руках две величины \( RSS_{UR} \) и \( RSS_{R} \), которые ведут себя не а бы как, а имеют определенную закономерность.

Асимптотическая подход

\( \kappa^{2} = \frac{RSS_{R} - RSS_{UR}}{RSS_{UR}/(n-k_{UR})} \to \kappa_{r}^{2}\) 

Подход при нормальности ошибок \( \epsilon_{i} \sim N(0, \sigma^{2})\)

\( F = \frac{(RSS_{R} - RSS_{UR})/r}{RSS_{UR}/(n-k_{UR})} \sim F_{r, n-k_{UR}} \)

где \( r \) - количество ограничений в модели \( H_{0}\)

Ну и вывод следующий, 

Если \( F_{obs} > F_{cr} \) или \( \kappa_{obs}^{2} > \kappa_{cr}^{2}\), то \( H_{0} \) отвергается.

В R можно сходу получить величины \(RSS_{UR}, RSS_{R}\) и сделать это можно с помощью команды

model_1 <- lm(data=h, log(price)~log(totsp)+log(livesp)+ log(kitsp)+brick+metrdist+walk) 

deviance(model_1) 

Как бы очевидно, что число ограничений можно увеличивать и строить более сложные гипотезы. И пиком является гипотеза о незначимости регрессии, когда мы считаем, что 

\( H_{0} : \beta_{1} = ... = \beta_{k} = 0\)

То тут статистику можно чуток упростить и получить на выходе

\( \frac{(RSS_{R} - RSS_{UR})/r}{RSS_{UR}/(n-k_{UR})} \to \frac{ESS/(k-1)}{RSS/(n-k)} \sim F_{k-1,n-k}  \) 

Теперь пришло время серьезной теоремки. А именно если

истинная зависимость имеет вид : \( y_{i} = \beta_{1}+\beta_{2} x_{i} + \beta_{3} z_{i} +\epsilon_{i} \)  

регрессия \( y \) считается на основе МНК  

наблюдений у нас больше чем оцениваемых коэффициентов \( n>k \) 

имеет место строгая экзогенность : \( E(\epsilon_{i}| X) = 0\)

условная гомоскедастичность: \( E(\epsilon_{i}^{2})| X) = \sigma^{2}\)

\( cov(\epsilon_{i}, \epsilon_{j}| X) = 0 \) при \( i \neq j \)

векторы отдельных наблюдений \( x_{i}, y_{i}, y_{i}\) - независимы и одинаково распределены  

с вероятностью 1 среди регрессоров нет линейно зависимых

то при \( n \to \infty \)

\( \hat{ \beta}_{j}  \to \beta_{j} \) по вероятности

\( \frac{\hat{\beta}_{j} - \beta_{j}}{se(\hat{\beta}_{j})} \to N(0,1) \) по распределению

\( \hat {\sigma}^{2} \to \sigma^{2} (\hat{sigma}^{2} = \frac{RSS}{n-k}) \) по вероятности

\( \kappa^{2} = \frac{RSS_{R} - RSS_{UR}}{RSS_{UR}/(n-k_{UR})} \to \kappa_{r}^{2} \)

и если дополнительно известно, что  \( \epsilon_{i} \sim N(0, \sigma^{2})\) 

оценки эффективны среди несмещенных

\( \frac{ \hat{ \beta}_{j} -\beta_{j} }{se( \hat{ \beta}_{j})} \sim t_{n-k} \) по распределению

\( RSS/ \sigma^{2} \sim \kappa_{n-k}^{2} \)

\( F = \frac{(RSS_{R} - RSS_{UR})/r}{RSS_{UR}/(n-k_{UR})} \sim F_{r, n-k_{UR}} \)

Вот такая теорема. Немного громоздкая, но суть в том, что при определенных условиях, мы имеем кучу полезных св-в и (по секрету скажу), дальнейшая задача нашего анализа - это понять, а что же будет если какое-либо условие нарушено и какие хорошие св-ва остаются, а какие отпадают. 

Но пока что, давно зададимся таким вопросом. Что делать если мы пропустили некоторые переменные? То есть

Истина :  \( y_{i} = \beta_{1}+\beta_{2} x_{i} + \beta_{3} z_{i} +\epsilon_{i} \)  

Оценена же регрессия :  \( \hat{y}_{i} = \hat{\beta}_{1}+\hat{\beta}_{2} x_{i} \) 

Все плохо и посему

Если в теории предполагается зависимость от переменной \( z \), то её лучше включить в модель, даже если она не значима.

 Если переменные значимы, то их лучше оставить в модели, даже если теория говорит, что зависимости от них быть не должно.

И теперь наверное очень важный вопрос :  Как проверить не пропущены ли переменные, которых нет?

С помощью RESET-теста Рамсея(!)

Истолковать его можно на базе гипотез.

\( H_{0 }: y_{i} = \beta_{1}+\beta_{2} x_{i} + \beta_{3} z_{i} +\epsilon_{i}  \)

\( Ha :\)  есть неизвестные нам пропущенные регрессоры

Алгоритм довольно своеобразный суть его в том, что если мы и что-то упустили, то все равно оно точно сидит в \( y_{i} \) и если уж и дописывать члены к нашей модели, то исключительно на базе наших данных. Итого

 Оценить модель: \( y_{i} = \beta_{1}+\beta_{2} x_{i} + \beta_{3} z_{i} +\epsilon_{i}  \to \hat{y}_{i}\)

 Оценить модель :

\(  y_{i} = \beta_{1}+\beta_{2} x_{i} + \beta_{3} z_{i} +\epsilon_{i}  + \gamma_{1} \hat{y}_{i}^{2} + \gamma_{2} \hat{y}_{i}^{3}+... \gamma_{p} \hat{y}_{i}^{p+1} \)

     3. Ну и напоследок, переписать альтернативную гипотезу в виде \(\gamma_{1} =... \gamma_{p} = 0 )\ и посчитать F - статистику.

Ну и тест Рамсея выдаст \( R^{2} \) для нашей основной модели и еще посчитает нечто модифицированное для вспомогательной модели \(R_{aux}^{2} \). Ну и вся фишка в том, что \( R_{adj}^{2} \) ведет себя чуток иначе, нежели привычный коэффициент \( R^{2} )\, т.к. задается формулой

\( R^{2}_{adj} = 1 - \frac{RSS/(n-k)}{TSS/(n-1)}\)

И что это говорит? А то что, обычно \( R^{2} \) растет с добавлением регрессоров, а вот \( R^{2}_{adj}\) нет. То есть \( R^{2}_{adj}\) более осмысленная величина при добавлении переменных, нежели привычный \( R^{2} \). Как же провести тест Рамсея в R?

resettest(model_2)

Вообще помимо теста Рамсея, есть еще два параметра, которые позволяют нам понять, насколько состоятельна наша модель и в ней не присутствует пропущенных переменных. Это информационные критерии:

Акаике \(  AIC = n ln(RSS/N) + 2k \)

Шварц \(  BIC = n ln(RSS/N) + ln(n)k \) 

Чем меньше этот параметр, тем более состоятельна наша модель

Мультиколлинеарность

Начнем с определения. 

Мультиколлинеарность — это наличие линейной зависимости между регрессорами. Разделяют два вида мультиколлинеарности.

строгая мультиколлинеарность — идеальная линейная зависимость 

нестрогая мультиколлинеарность — примерная линейная зависимость

Казалось бы, что такого? А проблема в том, что имея на руках мультиколлинеарность, наши оценки МНК будут не единственными. Это повлечет за собой возможность в задании одной и той же модели кучей формул. Что не есть хорошо :-(

На практике, R обычно сам определяет мультиколлинеарность, то есть компьютерный пакет оценить регрессию со строгой мультиколлинеарностью, то пакет может: 

выдать сообщение об ошибке 

автоматически удалить переменную [R]

Это что касается строгой мультиколлинеарности. Но не все так плохо при нестрогой мультиколлинеарности. А это есть примерная линейная зависимость между регрессорами. В реальной жизни, нестрогая мультиколлинеарность встречается чаще. Вот примеры причин: 

регрессоры, измеряющие примерно одно и то же: валютный курс на начало и на конец дня 

естественные соотношения между регрессорами: возраст, стаж и количество лет обучения   

Мы помним, что наше все, это стандартный набор предпосылок и вот они при нестрогой мультиколлинеарности  НЕ НАРУШАЮТСЯ! То есть, оценки \( \hat{\beta}_{j} \) несмещенные, асимптотически нормальные, можно проверять гипотезы и строить доверительные интервалы. 

И  в чем подвох то? А подвох в том, что на выходе мы получим высокие стандартные ошибки \( se(\hat{\beta}_{j})\). А вот это очень плохой звоночек, так как проявятся 

очень широкие доверительные интервалы 

незначимые коэффициенты 

чувствительность модели к добавлению/удалению наблюдения 

Как же определить есть ли мультиколлинеарность? Ну сделать это несложно, если под рукой есть R, ибо он быстренько посчитает специальный параметр, который и позволит (приблизительно) сделать вывод о модели. Имя этому параметру,  коэффициент вздутия дисперсии (Variance Inflation Factor)

\( VIF_{j} = \frac{1}{1-R^{2}_{j}}\)

если  \( VIF_{j} > 10 \), то что-то тут не так. То есть мы берем нашу модель,

\( y_{i} = \beta_{1}+\beta_{2} x_{i} + \beta_{3} z_{i} ++\beta_{4} w_{i}+\epsilon_{i} \)  

И считаем что имеет место три ситуации:

\( x_{i} = \gamma_{1}+\gamma_{2}z_{i}+\gamma_{3} w_{i}+w_{i}\)

\( z_{i} = \gamma_{1}+\gamma_{2}x_{i}+\gamma_{3} w_{i}+w_{i}\) 

\( w_{i} = \gamma_{1}+\gamma_{2}x_{i}+\gamma_{3} z_{i}+w_{i}\) 

И для каждого из них строится \( R^{2}_{j}\) и затем считается  Variance Inflation Factor, ну и там где величина  \( VIF_{j} > 10 \), то имеет место мультиколлинеарность. 

Ну и еще довольно очевидный метод, посчитать  выборочные корреляции между регрессорами и если \( sCorr(x,z)>0.9 \), то и это можно считать признаком мультиколлинеарности.

Ну и после того как мы определили мультиколлинеарность, пришло время обуздать её. Как же это сделать?

Философия следующая, считать МНК чуть иначе и ввести некий штраф за то что у нас мультиколлинеарность, то есть

Обычный МНК  \( RSS \to min \) 

МНК со штрафом \( RSS + \lambda · (value) \to min \)   

Вариантов штрафов довольно много, но самые распространенные, это метод Риджа и метод Лассо.

Обычно в R, это делается вот так:

h <- cars

h <- mutate(h, speed2=speed^2, speed3=speed^3)

# оценим модель с тремя объясняющими переменными model_mk <- lm(data=h, dist~speed+speed2+speed3) summary(model_mk)

# количественный признаки мультиколлинеарности

vif(model_mk) # коэффициент вздутия дисперсии

y <- h$dist # в вектор y поместим зависимую переменную

# создадим матрицу регрессоров без свободного члена X0 <- model.matrix(data=h, dist~0+speed+speed2+speed3)

# LASSO # для функции реализующей алгоритм LASSO в R # важно, чтобы labmda шли в убывающем порядке (!!!) lambdas <- seq(50,0.1,length=30)

# оценим LASSO регрессию m_lasso <- glmnet(X0,y,alpha=1, lambda=lambdas)

# по горизонтали: логарифм штрафного коэффициента лямбда # по вертикали: оценки коэффициентов # как меняются коэффициенты с ростом штрафного коэффициента? plot(m_lasso,xvar="lambda",label=TRUE)

# коэффициенты LASSO модели # для лямбда=0.1 и лямбда=1 coef(m_lasso,s=c(0.1,1))

В чем фишка? Взять данные, искусственно создать зависимые объясняющие переменные (у нас это квадраты и кубы скоростей). Затем посчитать коэффициенты вздутия. Они у нас в интервале 200-500. То есть мультиколлинерность есть.

То есть нужен Лассо. Там есть параметр \( \lambda \), то есть нам надо прогнать это параметр за весьма широкий интервал  и у нас это интервал  0.1-50. Там есть парочка тонкостей с тем как задать правильно параметры в функции для подсчета штрафа, так что почитайте Help, если что-то не так.

После того, как все посчитано. Можно строить график и проанализировать ситуацию. Сначала отвечаем на вопрос - как меняются коэффициенты с ростом штрафного коэффициента и откладываем по горизонтали: логарифм штрафного коэффициента лямбда, а по вертикали: оценки коэффициентов

Каждая линия показывает изменение коэффициента и при величине \( \lambda \) в интервале \( e- 20 \) , коэффициенты меняются и штраф вносит свои коррективы (уменьшая заодно \( R^{2}\)).

Очень интересный и в то же время крутой кейс на market sizing.

Крутизна в том. что сразу подступиться к решению очень сложно.

Какие факторы будут основополагающими и приведут к правильному ответу?

Число космодромов

Число запусков в год с космодрома

Рост запусков ракет в год (CAGR) 

Время жизни спутников на орбите 

Также я пытался считать через площадь, которую охватывает спутник на Земле или через сегментацию по видам спутникам, т.е.

Military

Telecom/commercial

R&D/Science 

Однако ни один из этих подходов, к какому-то либо рациональному ответу не приведет. Так что возвращаемся к нашим параметрам.

Ясное дело, что на интервью, информацией по поводу цифр параметров, вы не располагаете, но порядку всегда можно прикинуть.

Начнем с космодромов. Ясно, что не у каждой страны есть космодром, а значит число их довольно маленькое. На ум сразу приходят

Космодром Байконур (Казахстан, аренда Россией) 

Космодром на мысе Канаверал (США) 

Космодром Куру (Французская Гвиана, ESA) 

И другие

То есть можно отталкиваться от числа 15 (или 10). На самом деле ( на 2015 год ) число космодромов, готовые запускать спутники (то бишь ракеты) равно 29. 

Теперь, число запусков в год. Запуск ракеты - дело хлопотное. То есть надо ракету подогнать, затем установить и потом запустить. Да и есть просто физическое ограничение по перемещению ракет и установок. Поэтому скажем, что в среднем(!), происходит порядка  4 запусков в год. Справедливо ли? Вполне.

Космодром Байконур (Казахстан, аренда Россией) – 21 пуск;

Космодром на мысе Канаверал (США) – 10 пусков;

Космодром Куру (Французская Гвиана) – 10 пусков;

Космодром Сичан (Китай) – 9 пусков;

Космодром Тайюань (Китай) – 5 пусков;

Космодром Цзюцюань (Китай) – 5 пусков;

Космодром Плесецк (Россия) – 3 пуска;

Тихий океан (стартовая платформа Odyssey) – 3 пуска;

Космодром Шрихарикота (Индия) – 2 пуска;

Космодром Танегасима (Япония) – 2 пуска;

База ВВС США “Ванденберг” (США) – 2 пуска;

Космодром Сохэ (КНДР) – 2 пуска;

Космодром Семнан (Иран) – 1 пуск;

Атолл Кваджлейн (США) – 1 пуск. 

Тут данные по числу запусков за 2012 год. 

Так же известно, что 

Euroconsult has forecast that an estimated 1,220 satellites will be built for launch over the next decade. The average of 122 satellites to be launched per year is up significantly from the annual average of 77 satellites launched in the previous decade, a sign that government and commercial operators require more satellite capabilities. 

Ну и еще картинка полезная, чтобы понимать, что мы на правильном пути.

Это все к тому, что от года к году число запусков растет и нам надо это учитывать. Предположим, что рост на уровне 10% в год, мол выше чем рост мирового ВВП в несколько раз, так как рынок телекоммуникаций и вообще доступ к коммуникациям растет очень сильно. Как аргумент сойдет.

Ну и последний штришок - время жизни спутника. Величина разнится от 5 до 15 лет. То есть мы будем считать, что в среднем 10 лет.

Итого.

Число космодромов - 15

Число запусков в год с космодрома - 4

Рост запусков ракет в год (CAGR)  - 10%

Время жизни спутников на орбите - 10 лет

\( N = 15 \cdot 4 \cdot (1.1)^{10} \cdot 10 = 1554 \)

То есть получили порядка 1554 спутников. Так ли это? 

Вот один источник.

About 1,100 active satellites, both government and private. Plus there are about 2,600 ones that no longer work. Russia launched the first satellite, Sputnik 1, in 1957. The oldest one still in orbit, which is no longer functioning, was launched in 1958.

И второй.

The Goddard Space Flight Center's lists 2,271 satellites currently in orbit. Russia has the most satellites currently in orbit, with 1,324 satellites, followed by the U.S. with 658. 

Этот кейс навеян последними событиями, происходящими в Армении, а также  интервью старшего партнера McKinsey&Company (Россия) по поводу происходящего в стране.

Нашим клиентом является президент маленькой страны, в которой тарифы на электроэнергию выросли на 17% (с 8.3 центов до 10 центов за 1 кВтч). Ваша задача:

Определить причины повышения

Обозначить краткосрочную и долгосрочную стратегию для понижения тарифов

Решение.

Первым делом посмотрим на рынок электроэнергии и попробуем понять как он устроен. А устроен он следующим образом

То есть система работает в два этапа.

Компания ENA закупает электроэнергию у разных поставщиков, которые получают ее[энергию] разными путями.

Затем пускает электроэнергию, через свою сеть электропередач конечным потребителям

Распределение энергии следующее (данные за 2013 год):

Thermal (на базе природного газа) - 42%

Hydro - 29%

Nuclear - 29%

Однако важным является даже не это, а то что себестоимости выработки (на 1 кВтч) разные:

Thermal - 8 центов

Hydro - от 0.5 до 1 цента (также на малых ГЭС цена может доходить до 4 центов)

Nuclear - 1 цент

То есть, сразу в глазах бросается сильное различие цен закупок (от 0.5 центов до 8 центов). Еще стоит отметить, что в этом году в связи с несколькими факторами, произошел крен в сторону увеличения закупок на базе термоэнергии:

падение местной валюты по отношению к доллару на 20% и тем самым произошла закупка газа по высокой цене

маловодье, вызванное природными факторами и как результат выработка меньшей электроэнергии на ГЭС из-за того, что часть воды предназначенную для ГЭС пришлось пустить на орошение земель.

были проведены ремонтные работы на АЭС, которые остановили работу предприятия

Итого, проблема в том, что компания ENA стала закупать и пускать по линиям электропередачи заведомо дорогую электроэнергию. А дорогая она из-за того, что технологии, используемые на ТЭСах (в частности, на Разданской ТЭС) сильно устаревшие.

Что же делать?

Понять как формируется цена на ТЭСах и попытаться ее снизить, то есть произвести оптимизацию затрат

На базе того, что компания ENA убыточна на протяжении последних лет (потери на уровне 8% от продаж), провести замену менеджмента, заодно проведя независимый аудит

Попробовать найти новые каналы для поставок газа в страну (газ из Ирана, как вариант)

Попробовать посмотреть на варианты с возобновляемыми источниками энергии, например на солнечных батареях (страна позволяет рассмотреть это вариант, т.к. в году порядка 250 солнечных дней) с привлечением европейских субсидий

Запустить государственную программу повышения эффектности передач электроэнергии (как пример, переход на высокоэффективные диодные лампы)

Проведение детального разделения водохранилищ для нужд ГЭС и сельского хозяйства 

Привлечь прямые инвестиции в гидроэнергетику, так как на данный момент используется только 50% потенциала страны

Запустить новые блоки АЭС, тем самым увеличив выработку электроэнергию

Представим, что к вам приходит владелец некой компании, чья цена случайно бегает на отрезке \( [0;1] \) (то есть x - случайная величина, распределенная равномерно на \( [0;1] \)  ) и предлагает вам купить компанию за величину, которую сами же назначите. Также известно, что через определенное время, вы сможете продать эту компанию за \( 1.5 x \), где \( x \) - цена компании на момент покупки.

Вам же разрешается назвать произвольную цифру \( B \) и если 

\( B > x \) - совершается сделка за \( B \)

\( B < x \) - сделка отменяется  

Стоит ли ввязываться в это или нет?

Решение

Надо понять, что за величину стоит исследовать? А исследовать надо прибыль, которую мы сможем извлечь из покупки/продажи, поэтому 

\( P(x) = 1.5x - B \)

Следующим шагом, будет вычисление ожидаемой величины этой прибыли, а именно expected value, но тут надо правильно выбрать пределы интегрирования. Очевидно, что пределами интегрирования у нас будет отрезок - \( [0;B] \). Итого,

\( EV = \int_0^B (1.5x - B)dx = \frac{3}{4} B^{2} - B^{2} = -\frac{1}{4} B^{2} \)  

\( EV = -\frac{1}{4} B^{2} \)

Экстремум данной функции мы найдем, взяв производную

\( EV^{’} = -\frac{1}{2} B = 0 \to B=0 \)

То есть, самой оптимальной будет величина \( B = 0 \) и максимальная прибыль при \( B=0 \) будет нулевой (в остальных случаях и вовсе отрицательной).

Вчера прилетели вместе с друзьями с Бали и хочется поделиться увиденным на этом замечательном островке.

Начнем с того, что Бали - это относительно большой остров (в 10 раз больше по площади чем Сингапур), расположенный на Юго-Востоке Индонезии. На этом острове живет порядка 4 млн. человек , а посещает остров в год порядка 3.5-4 млн. туристов. Кстати, рэнкинг туристических прибытий следующий (2014),

Австралия – 893 тыс. туристов

Китай - 539 тыс.

Япония - 195 тыс.

Южная Корея - 131 тыс.

Россия - 66 тыс

Международный аэропорт один, так что волей-неволей все прибывают в  Denpasar. И оттуда уже возникают варианты. Бали - это остров, где есть развлечения любого рода, начиная от супер экстремального и веселого и заканчивая каким-нибудь релаксовым отдыхом.

Бали является центром серфинга и эпицентром является город Kuta (расположен на юго-западе острова), омываемый Индийским океаном. Первым же делом мы ринулись туда, где чисто символически “половили” волну и искупались. Пляж чистый и довольно длинный.

Волны порой достигают 3 метров, что в принципе круто. Также в Kuta находятся самые главные клубы острова. Мы собственно и посетили один из самых крупных клубов Kuta, Sky Garden. Клуб как клуб, ничего примечательного.

Жили же мы в другом городе Sanur, который находится на юго-востоке острова и считается местом скопления пенсионеров и является очень спокойным местечком. Мы же остановились там из-за большого дискаунта на номер в отеле. В любом случае, место прикольное и милое. Также замечу, что на берегу санурского пляжа очень много романтических ресторанчиков...

Собственно с отеля и близлежащих магазинчиков и началось наше знакомство с местным населением. Балийцы очень и очень милые и отзывчивые. Признаться честно, я такого не ожидал и ждал всякого подвоха и развода с их стороны. Но нет, все было иначе. Ресепшн работал просто как швейцарские часы, отвечая на все на вопросы о житье-бытье очень конструктивно, а с продавцами и вовсе можно нормально поболтать, заодно скинув цену на 50-60 % от начальной :-)

Как я говорил ранее, остров довольно большой, так что исследовать его лучше на байке или машине. Мы выбрали байк и в общем и целом, за два дня пользования, мы намотали более 250 километров. Также стоит отметить, что на юге острова, проложен отличный транспорт с автобусами, который без труда довезет вас от Sanur’а до Kuta.

Помимо самого Бали, можно выбраться на близлежащие островки, где вода чуток почище и жизнь поспокойнее. Выбор островов велик и мы выбрали самый близкий к нам, остров Lembongan. На катере до него можно добраться минут за тридцать. Остров очень зеленый и  красивый. Однако, до толкового пляжа мы не добрались, так как мы спешили на обратный рейс в Бали.

После пляжей и закатов, можно двигать вглубь острова и тут начинается самое главное. По мне так, Бали - это скорее храмы, вулканы, рисовые поля, деревеньки, нежели серфинг,пляжи и веселуха. Но тут как говорится, каждому свое.

Храмов очень много и насладиться всеми их видами скорее всего не удастся. Но в любом случае, можно поехать и полюбоваться на священные для балийцев вулканы, что мы и сделали. Вулканов на острове два - Batur и Agung. Мы поехали на Батур, “вооружившись” байками. Дорога от Sanur’a до Батура равна 70 км и занимает порядка 1.5-2 часов, но это того стоит. Пролетая сквозь леса и поля, можно посмотреть на реальную жизнь балийцев. Увидеть как детей, одетых в школьную форму цветов индонезийского флага развозит по домам школьный грузовичек, посмотреть как женщины обрабатывают землю, как дедушки купаются в маленьком озере и т.д. И чем глубже ты движешься, тем интереснее предстает картина житья-бытья местного населения. Доехав до вершины кальдеры, мы увидели большое озеро на западе и кратер вулкана на востоке. Мы попробовали объехать озеро, но полностью сделать нам это не удалось :-( Дорога заканчивалась в маленьком селе, откуда открывался потрясающий вид на окружающую природу. 

Также на главной площади играли дети :-)

Ну мы решили двигать на сам вулкан, но к сожалению на полпути наш байк перевернулся и мой друг получил серьезные ушибы.. Благо мы упали близ магазинчика стройматериалов и женщина охотно помогла нам с помощью, а подошедший местный житель и вовсе довел нас до госпиталя, где нас “отремонтировали” :-) На вулкан нам взобраться уже не удалось, но полюбоваться мы все-таки смогли.

Посидев в местном ресторанчике и придя в себя, мы вновь сели на байки в поехали домой ( уже без инцидентов ).

Итого, за три дня мы посетили.

Kuta

Sanur 

Lembongan island 

Batur 

Не смогли посетить Ubud, Seminyak, рисовые террасы, Gili islands. И еще обидно за то, что мы не посетили большой аквапарк в Kuta, который находился в 300 метрах от нашего пляжа :-(

Все ли это? Нет.

Меня еще очень сильно впечатлила местная еда и массаж. Еда на Бали безумно вкусная и очень дешевая. По качеству, на уровне армянской или грузинской кухни, не ниже. Возле нашего отельчика как раз и находилось просто супер место, где готовили всё и вся (начиная от говядины и банальной картошки или маренары и заканчивая блюдами местной кухни) за сущие копейки. Ну а вершиной явилось ливанское заведение на Kuta, Shisha Bali. Что касается же массажа, то он очень дешевый и добротный. 

Резюмируя все вышесказанное, могу сказать, что самым же главным богатством Бали все-таки являются люди. Несмотря на относительно скудный образ жизни, эти люди всегда очень радостные и приветливые. На всякого рода действа, реагируют они очень живо. Например, меня несколько раз спрашивали, смотря на мои ссадины на руке, что же со мной стряслось :-) Чем-то, балийцы напомнили мне индусов, которые также очень живо и динамично реагируют на все, что происходит вокруг них.

Вот и завершился бой между Флойдом Мейвезером и Мэнни Пакьяо. Флойд победил в 12 раундах единогласным решением судей и в принципе заслуженно. Впрочем помимо того, что победа была заслуженной, так она была и ожидаемой...

С февраля месяца, я полностью погрузился в этот “мега-файт” и хотел понять до дыр, в чем же его крутость и заодно понять плюсы/минусы бойцов. И чем больше я читал и узнавал, тем больше я убеждался в том, что победа останется за Мейвезером. Его оборонительное ведение боя уникально в своем роде и ему нет равных на ринге. Да, он не показывает зрелищный бокс, но в то же время его бокс (с тактической и стратегической точки зрения) интересен. Его скорость, тайминг, умение уворачиваться от ударов действительно впечатляют. Собственно из-за этого у него и стоит нуль в графе поражений. И почти все его бои (по крайней мере, последние) проходили под его диктовку, где соперники были ведомыми, а он делал что хотел в ринге. Означает ли это что против него нет приема? Конечно, нет. И по-моему скромному мнению, Флойда можно победить. И есть два способа 

попытаться перенять его тактику и так же стоять в обороне, играя в кошки-мышки 

боксировать на протяжении всех 36 минут и попытаться отправить его в нокдаун 

Никто из последних боксеров, встречавшихся с ним, не пытался повести выбрать оборонительную тактику. Ни Канело, ни Майдана и даже Пакьяо. Все пытались перебоксировать, но они забывают, что боксировать против Флойда надо на супер уровне, нанося очень сильные удары на протяжении всех(!) 36 минут. Ни на протяжении первых 4-5 раундов, а именно на протяжении всего боя. Долбить и долбить, не отклоняясь от цели. Звучит просто, но на деле сделать это почти нереально. Боксеры как-никак люди и они также устают и их выносливости рано или поздно приходит конец. Но все равно, все кто приходил за победой в боях с Флойдом, придерживались именно этой тактики. Эту тактику выбрал и Мэнни...

Но стоило ли этого делать? Мне кажется, что нет. Мэнни уже не настолько молод, шустр и силен как в былые времена. Вот проведи бой лет эдак 5-6 назад, аккурат после боя с Мигелем Котто, возможно и были шансы. Тогда, в 2009 году он конкретно избил пуэрториканца, который довольно сильно превосходил Мэнни в габаритах. Это был по сути пик карьеры Мэнни. Именно тогда-то и начались разговоры о бое с Флойдом. Но тогда не сложилось... Сейчас же, Мэнни не тот и все это понимали. Но многие поверили (с долей скептицизма), что мало ли Фредди Роч найдет какие-то ключики, выберет тактику, да и вообще предпримет что-то из ряда вон  выходящее. Но как показал бой, никакого плана и не было... 

Именно это и обидно во всей этой истории. Все понимали, какую игру будет вести Флойд, а вот что предпримет Мэнни, было понятно не до конца. Столько красивых слов было сказано до боя Фредди. И то что они нокаутируют Флойда, и то что тот не продержится пяти раундов. Конечно, это типичный треш ток в боксе, но слышать такое от Мэнни и Фредди в рамках грядущего события, это слишком. И болельщики волей-неволей подались на это. И поверили... А затем, после поражения, началось то, чего хотелось слышать меньше всего. Мэнни начал оправдываться. И если у него и вправду была травма, логичнее всего было отказаться от поединка в субботу и перенести его на более поздний срок. Если и были кое-какие оговорки в контракте, как снижение призовых в случае отказа из-за травмы, то все равно надо было ждать выздоровления. На кону стояло нечто большее, чем пресловутые $ 100 млн.+ бонусы с PPV. Но он поступил иначе...

В любом случае, Флойд победил заслуженно и по моим скромным оценкам, результат таков

116-112 в пользу Флойда Мейвезера

Первые шесть раундов была более ли менее равная борьба, а потом Менни устал и перестал предпринимать решительных шагов и концовка по сути прошла под полную диктовку Флойда. Конечно никакого разгрома или доминирования над Пакьяо не было, но победа все-таки была убедительной. 

Итого, резюмируя я могу сказать, что бой не выдался зрелищным и блестящим и тем более не походил на бой века. Но если и можно винить кого то, то только Менни. Ясное дело, что все ждали победы Менни и почти бои против Флойда люди смотрят только чтобы увидеть наконец победу над ним. И если ты был не готов к этому, то лучше бы перенес бой на более поздний срок. 

В любом случае, этот бой уже история и ничего не попишешь.

P.S. Еще один момент. Не так давно, Гильеро Ригондо (чуть ли не самого талантливого боксера современности) перестали транслировать по HBO из-за того, что он видите ли скучный. 

Как и обещал, обзорчик на компанию Hanjaya Mandala Sampoerna (HMSP). Компания индонезийская, однако 98% акций принадлежат Philip Morris (PMI) и занимается производство сигарет. 

А собственно чем так примечательны индонезийцы? Оказывается они мега курящие ребята и американцы, не долго думая, тупо совершили M&A в мае 2005 году, чтобы войти на рынок Индонезии. Опять M&A... Благодаря этому приобретению, PMI сейчас контролирует свыше 35% местного рынка. 

Кстати, что касается Индонезии, то она занимает почетное 4 место по числу проданных сигарет.

И вообще индонезийцы самая курящая нация (касаемо мужского населения). Данные старые, но я не думаю, что что-то там поменялось.

Индонезийский рынок сильно отличается от остального тем, что у них очень популярны свои сигареты, так называемые кретеки. Почти 80% рынка приходится именно на кретеки. Это некая смесь тобака с некоторыми сортами гвоздики и очень крепкая. Говорят когда докуриваешь, то в конце идет как сигара. Производятся они вручную (без автоматики!), что обеспечивает работой сотни тысяч индонезийцев, а если быть точным, то где-то 180 000. 

Если признаться честно, но ничего более про HMSP я и не нашел. Официальный сайт у них на индонезийском, как и IR page. Так что пришлось довольствоваться тем, что есть на сайте PMI и так говорится, что именно и есть лидеры на рынке Индонезии. А рынок так сказать сильно конкурентный. И вот основные игроки, 

Hanjaya Mandala Sampoerna (Philip Morris) - 35%

Gudang Garam (Imperial Tobacco) - 21 %

Djarum (private company) - 20%

Bentoel Group (British American Tobacco) - 7%

Noyorono (private company) - 5%

Причем Philip Morris еще побочно продает сигареты Dji Sam Soe, которые очень популярны в Индонезии ( ну помимо Sampoerna ). 

Короче говоря, все там очень запутано и интересно. А вот где Japan Tobacco? Непонятно... Кстати, для BAT, Индонезия считается самым перспективным и приоритетным рынком и эти ребята тоже начали активничать в регионе в 2005 году, купив местного игрока Bentoel.

Минутка литературы в моем блоге....

Прочитал на днях “Сестру Керри”, написанную Теодором Драйзером. Писал он ее в начале своей карьере и опубликовали ее в 1900 году, за 25 лет до выпуска “Американской трагедии”. Тематика довольно схожая - трагедия бедного человека в зажиточном обществе, однако невооруженным взглядом видно, что “Сестра Керри” эдакая бета-версия по сравнению с “Трагедией”. И так.

Это история о бедной девчушке (Керри), которая приезжает из американского захолустья за лучшей долей в Чикаго. Но как бывает в таких ситуациях, все запланированное ею терпит крах и казалось бы пора бы паковать чемоданы и ехать обратно домой, но на ее пути попадается добрый малый (Друэ), очарованной ее красотой, который помогает ей остаться в городе. Потихонечку, между ними что-то вспыхивает и они начинают жить вместе и т.д. Потом случайным образом возникает и третий персонаж сего произведения, мистер Герствуд, у которого появляется то ли страсть, то ли истинная любовь к Керри и так и образуется любовный треугольник.

Когда девушка восемнадцати лет покидает родной кров, то она либо попадает вхорошие руки и тогда становится лучше, либо быстро усваивает столичные взгляды на вопросы морали, и становится хуже. Середины здесь быть не может.

И казалось бы это типичная история о выборе между одним и другим, но нет. Там все более запутаннее, а открытый финал и вовсе оставляет читателя в раздумьях...

По мне так, это история не столько о Керри, а сколько о трагической судьбе и жизни мистера Герствуда. О человеке у которого была семья, дети, престижная работа, большой дом, статусность и несмотря на внешнее счастье и успех, он был несчастлив, так как брак был неудачный, вышел он не по любви, дети его особо не уважали и связь между ними отсутствовала. Друзья вроде и были, а вроде и не были. И так он жил 20 лет. Затем появилась Керри и в нем что-то заиграло новыми красками и он ожил, почувствовал прилив новых сил и подумал, что все можно начать все сначала и зажить по-новой. Но не тут-то было, его эмоции перекрыли здравый рационализм и он пустился во все тяжкие, так сказать. А дальше все пошло по наклонной. В произведении даже есть отличная фраза по этому поводу

Дорога вниз имеет мало остановок.

И чем ниже он падал, тем сильнее становилась его меланхолия и депрессия, которые он так и не смог обуздать. Для человека коим он был в Чикаго, не было разницы в том, что быть бедняком и волочить жалкое существование за 2 доллара в день или быть просто безработным бродягой и попрошайничать. Он понял, что пути назад нет и надо принять поражение. Хандра и уныние полностью его пленили. И именно это падение в романе показано очень хорошо. Сначала ты думаешь, “Ну сделаешь же хоть что-нибудь! Пойди, найди работу!”, но потом начинаешь понимать, что ему реально все равно, он проиграл все что мог и свыкся с этим. И его даже можно как-то понять. И на фоне всего этого уныния, его возлюбленная быстро взлетает по карьерной театральной лестнице и попадает в то общество, о котором грезила. У нее появились и деньги, и наряды и т.д. Однако, она все равно чувствует себя одинокой. 

В смысле человеческого общения столица — место холодное и неприветливое. Керри вскоре поняла, что ее деньги не принесли ей ничего. Мир богатых и знаменитых был недоступен для нее, как и прежде. Керри убедилась, что люди ищут в ее обществе только легкого веселья, не питая к ней, в сущности, никаких дружеских чувств. Все искали удовольствий для себя, нимало не думая о возможности грустных последствий для других. 

И тем самым история повторилась, и то что собой представлял Герствуд в Чикаго, стала представлять собой Керри в Нью-Йорке. С виду успешная, но одинокая внутри. Моментами она даже понимала это и ее накатывала тоска, которая потом правда исчезала и она возвращалась в прежний мир. Иногда ее жаль и она даже выдавала что-то трогательное, но с другой стороны, некоторые ее поступки говорят об обратном. Особенно ее поступок с мистером Друэ. И самым обидным в этой истории явилось то, что она так и не признала своей вины, хотя была полностью не права. А он даже находясь в довольно щепетильной ситуации, проявил себя как джентельмен, когда мог бы поступить и более грубо. Его уж точно никто  не осудил бы в этом. И это только один пример. Всего же таких прегрешений было довольно. И читатель невольно задается вопросами,

Можно ли [женщине] уйти от одного мужчине к другому?

Хорошо ли жить за другой счет или если это относится к женщине, то позволительно?

Мыслить по приказу сердца или все-таки держаться здравого рационализма и принимать все реалии? 

Бросить мужа на произвол судьбы, когда он тупо перестал за собой следить и ушел в апатию?

Вроде ответы на поверхности, но если капнуть дальше, то и не все так ясно. И этот роман как раз дает нам возможность получить кое-какие ответы на эти риторические вопросы. Что бы ни было, персонаж Керри крайне противоречивый. 

А произведение тяжелое, особенно вторая его половина, когда начинается описание падение мистера Герствуда на дно. Последние строки и вовсе очень беспощадные и навряд ли смогут оставить кого-то равнодушным. Я если быть честным, не ожидал такой концовки, хотя вроде и пересмотрел кучу жестоких драм и перечитал много жутких историй...

Чтобы ни было, произведение действительно стоящее. Драйзера читать очень интересно, причем как чувства/переживания героев или всякие философские отступления, так и всякие бытовые хлопоты. Это тебе не Золя[Эмиль], который может описывать покупку капусты на 2 страницы и в течение этого прочтения, хочется уже поскорее отбросить книгу. Тут все иначе. 

Что-то я забросил свой блог... А так то я болел и не до этого было :-(  Но мы продолжаем

Сегодня хотелось бы рассказать о своем ресерче, а точнее о разделе физики, в котором мы проводим свои исследования. И это, квантовые симуляторы, а если быть более точным, то создание ультрахолодных молекул(!) в оптических ловушках. Но сегодня о квантовых симуляторах. Я попытаюсь ответить на вопрос, зачем они нужны и какой от них вообще толк?

Ну начнем с того, что скажем, что квантовый симулятор, это не квантовый компьютер и никакого отношения к quantum computing не имеет. А суть вот в чем. Известно, что любую даже относительно простенькую квантовую модель исследовать либо сложно, либо практически нереально. Допустим мы имеем систему из 50 частиц со спином \( \uparrow \) и \( \downarrow \) и хотим решить для этой системы уравнение Шредингера

\(  i \hbar \frac{d}{dt} \phi = H \phi \)

,то есть найти \( \phi(t) \) ( \(  \phi(t) = exp (-i \hbar H t ) \psi(0)   \) ). И так вот, чтобы только записать число всевозможных конфигураций нам понадобится \( 2^{50} \) или \(  10^{15} \) бит информации или около 500 Тб, что очень много. Не говоря уже о других операциях, которые тоже потребуют памяти. Итого, просто технически исследовать даже такую простенькую квантовую модель на компьютере нереально. Но исследовать то хочется. Так что же делать? Есть довольно лаконичный выход из этой ситуации, который реализуется посредством совершенно нового подхода. Этот подход и именуются квантовой симуляцией. В чем же фишка?

Фишка в следующем. Допустим у нас есть система, которую и численно исследовать трудно и экспериментально. То есть всё против нас :-) Так вот, давайте на секундочку забудем про эту систему и постараемся воссоздать схожую, но которую можно было бы контролировать, то есть менять параметры системы и самое главное(!), получать данные непосредственно из измерений. Математически, соответствие между системами выражается в эквивалентности их гамильтонианов. 

\( H_{sys} \longleftrightarrow H_{sim} \)

И уже исследуя эту систему (квантовый симулятор), мы сможем предсказать и проанализировать поведение прежней системки. Чтобы, лучше понять о чем идет речь, приведу хрестоматийный пример. 

Все мы слышали о высокотемпературной сверхпроводимости, которую открыли в середине 80ых 20 века. После этого открытия произошел бум в области высокотемпературной сверхпроводимости и ученым даже удалось выделять целый класс материалов, у которых наблюдается высокое \( T_{c} \). Этот класс именуется купратами и вся загвоздка заключается в том, что соединения есть, а понять почему и чем вызвана сверхпроводимость не получается. То бишь физика данного действва не ясна до сих пор.Теоретически все чики-брики для низкотемпературной сверхпроводимости (БКШ теория), а вот для высокотемпературной никакой толковой теории создать не удалось.Почему? Да потому что купраты относятся к  классу сильно коррелированных систем, где волновую функцию нельзя взять и разбить на мини-составляющие, что делает любое исследование довольно сложным. Однако(!), есть подозрения на то, что сильно коррелированные системы (то есть системы у которых электроны взаимодействуют и воздействуют друг на друга посредством кулоновского притяжения) могут описываться с помощью модели Хаббарда. Что это такое? 

\( H = -J \sum\limits_{i, j} (c_{i, \uparrow}^\dagger c_{j, \uparrow} + c_{i, \downarrow}^{\dagger} c_{j, \downarrow} +h.c.) + U \sum\limits_{i} n_{i, \uparrow} n_{i, \downarrow} \)

То есть имеется два члена - \( J \) и \( U \), где один характеризует перескоки с одной соты в другую, а второй член описывает взаимодействие между частицами в соте. Казалось бы какая простенькая модель, а хрена с два! Решить аналитически в общем случае нельзя, разве что в очень частных случаях, да и численно не все так просто. Короче, модель Хаббарда, как и еще одна излюбленная физиками модель Изинга довольно красивенько и миленько выглядит, но если покопаться, то понимаешь, что этой лютый треш и лучше туда не соваться. Прямо как некоторые девушки ;-) Ну да ладно, есть модель Хаббарда и именно эта модель может объяснить и приоткрыть завесу тайны над высокотемпературной сверхпроводимостью. Так по крайней мере заявляют специалисты в области сверхпроводимости, которые последние лет 10-15 особого прогресса не достигли в своей области. И так вот, что же делать? 

Физическая система есть - купраты. Модель тоже - модель Хаббарда. А вот продвинуться не можем. В этот момент и вступают квантовые симуляторы. А давайте попробуем создать системку с точки зрения квантового симулятора, который также будет описываться моделью Хаббарда, но уже имея полный доступ к его параметрам ( \( J \) и  \( U \) , в реальной системе эти величины жестко фиксированы )и мы сможем менять их как нам заблагорассудится и сможем проводить измерения, получая необходимые физические величины непосредственно из эксперимента. А давайте. Но как? 

А с помощью ультрахолодных атомов и оптических решеток. То есть заменим наш кристалл на систему из атомов, которые предварительно помещены в оптическую решетку.

По сути будем иметь то, что на картинке. И вот такая система абсолютно эквивалентна кристаллу. Я даже больше скажу. Она лучше :-) И вот почему

Оптическая решетка свободна от всяких дефектов

Член туннелирования (\( J \) легко управляем и мы его можем менять, впрочем как и параметр взаимодействия \( U \) 

Величина сот у решетки порядка 500-1000 nm

Временные характеристики у данной системы довольно низки, на уровне \( 10^{-3} \) секунд, что позволяет нас довольно детально исследовать все что там происходит

и еще много всего 

Сразу возникают вопросы.

Как создать ультрахолодные атомы?

Как создать оптическую решетку?

Ну ультрахолодные атомы создаются на раз два и сейчас это довольно обкатанная процедура. Хотя если вы хотите поиграться с более сложными системами, вроде Ферми-Ферми молекул в основном состоянии, то есть соединениями, которые состоят из ферми атомов, как LiK (эта молекула интересна тем, что у нее высокое диполь-диполь взаимодействие, которое может быть полезно), то тут уже не все так просто.  А вообще используются типичные методы охлаждения с помощью магнито-оптических ловушек и прочих штучек-дрючек. Вообще хотелось бы более детально рассмотреть данный вопрос с точки зрения, как теории, так и эксперимента. Как будет время, попробую запилить материал. Что же касается оптических решеток, то тут просто посылаются навстречу друг друга два лазерных луча и они образуют стоячую волну, которую и можно характеризовать как решетку. И уже потом на эту решетку, “насаживаются” охлажденные атомы.

И так вот, есть ультрахолодные атомы в оптических решетках и они ведут себя как кристаллы. Ну и исследование таких уже (новых) систем и представляет собой раздел, квантовую симуляцию. Итого, всю процедуру можно разбить на 4 шага.

Соответствие между реальной физической моделью и той, которую мы хотим воссоздать с помощью ультрахолодных атомов (так это не обязательное условие, но о других методах симуляций я пока что ничего не знаю).

Подготовка начальной системы

Изменение параметров квантовой системы путем экспериментального вмешательства (поменял интенсивность, включил магнитное поле и т.д.).

Ну и напоследок, проведение измерений и извлечение реально наблюдаемых величин.

Хочу еще раз опять повториться, что основная фишка во всех этих действиях в том, что при исследовании новых систем, мы измеряем напрямую квантовые величины. Это очень круто.

Ну и это я так, дал так сказать обзорчик на область. Тон в этой области задают немцы, а именно группа Иммануэля Блоха в Германии (институт Макса Планка). Он является так сказать батей данного направления. А одна из самых первых статей в этой области Quantum Phase Transition from a Super uid to a Mott Insulator in a Gas of Ultracold Atoms (M. Greiner, O. Mandel, T. Esslinger, T.W. Hansch, and I. Bloch Nature 415, 39-44, 2002 ) сейчас имеет порядка 4900 цитирований! Это прямо-таки Нобелевский размах. Ну и помимо Блоха главные игроки в эксперименте, это

Greiner (MIT)

Zwierlein (MIT)

Spielmann (JQI)

Esslinger (ETH Zurich)

Jun Ye (Colorado Boudler)

и другие

Кстати что касается той статьи. Что же они нашли такого крутого? А вот что. Оказывается, при исследовании модели Хаббарда возникают два крайних состоянии - это сверхтекучее состояние (\( J  \gg \ U\)) и так называемое моттовское состояние (\( J \ll U \)). И так вот, Грейнер, Блох и компания смогли пронаблюдать за тем, как частицы из сверхтекучего состояния попадают в моттовское, меняя глубину оптической решетки. По сути они увидели фазовый переход в реальном времени, прям как переход вода-лед :-) Менять же глубину можно тупо уменьшая/увеличивая интенсивность нашего лазера. Хочу правда оговориться, что вся эта картина не имеет никакого отношения к высокотемпературной сверхпроводимости, так как там модель Ферми-Хаббард, а в исследуемой немцами модели, Бозе-Хаббард. И напоследок, вот главная картинка  с их эксперимента, где изображено распределение частиц по импульсам в зависимости от глубины потенциальной решетки. Более смазанные распределения относятся к моттовскому состоянию, а более пикообразные к сверхтекучему.  

P.S. За основу этого репортика был взят PhD thesis парня из группы Маркуса Грейнера, Widagdo Setiawan, который просто изумительно описал в своем введении мотивацию и то что из себя представляет quantum simulation. Кстати, сейчас он работает квонт трейдером в KCG.

Продолжаем исследовать крупные компании из Азиатского Тихоокеанского региона. Следующими, после SingTel и PTT, идут банки (все коммерческие). И их много. Если признаться честно, то писать про стратегии роста коммерческих банков у меня желания нет, да и кейсов надыбать на них довольно сложно. Поэтому я тупо приведу список крупнейших банков и все. Хотя опять же, если что-нибудь найду стоящее, то обязательно поделюсь ;-) 

DBS (Singapore)

OCBC Bank (Singapore)

UOB (Singapore)

Maybank (Malaysia)

BCA (Indonesia)

Как видим, тон тут задают сингапурцы. 

Далее в списке идет компания выпускающая сигареты Hanjaya Mandala Sampoerna (Indonesia) и 98% акций владеет Philip Morris (привет лозаннскому офису!). 

Есть компания C, которую хотят купить компании A и B. 

Какие факторы станут решающими при определении нужного покупателя?

Навеяно статьёй из РБК :-)

Итого, можно предложить 3 пунктика.

Какая синэргия от покупки или в каком случае выгода больше?

Каким образом будет совершаться выкуп (кэш, акциями, 50/50 и т.д.). Важный момент: если акциями то провести анализ, какая из компаний имеет больший потенциал для роста?

Репутации компаний A и B.

Продолжаем писать про крупнейшие компании АСЕАНа. На очереди, тайская нефтегазовая компания, PTT (Public Company Limited).

Если честно, то до недавнего времени я и не знал об этой компании. Оказывается PTT довольно сильный игрок в нефтянке. Имеет довольно диверсифицированный портфель проектов и работает почти во всех областях отрасли. А в-основном занимается сбытом природного газа и нефти на своем родном рынке, контролируя большую часть нефтегазовой инфраструктуры. Эдакий Газпром тайской разлива :-) Компания государственная и Таилаинд владеет 66 % компании. Вообще PTT так-то имеет 4 дочерних компаний и они то уже входят в общую группу, PTT Group.

PTT Exploration and Production

PTT Global Chemical

PTT Asia Pacific Mining

PTT Green Energy

Оказывается, на рынке энергетики Таиланда имеет место импорт энергоносителей. В-основном, ребята закупают нефть и уже в меньшей степени газ. 

Вот так вот устроен рынок углеводородов в Таиланде и PTT (а именно PTTEP ) играет заметную роль, а именно контролирует треть добычи в стране. Помимо Таиланда, PTT добывает нефть и газ в других регионах мира. Портфель довольно разнообразный.

Египет

Мозамбик

Канада

Оман

Мьянма

Вьетнам

Австралия

Где-то правду идут поиски месторождений, но все равно активность имеется. Основная добыча за рубежом проходит в соседней Мьянме, откуда затем газ поступает на тайский рынок. PTT выступает оператором на месторождении Zawtika. PTT также занимается нехило M&A и недавно просто потряс нефтяной мир, суперсделкой, уведя из под носа англо-голландской Royal Detsch Shell  довольно неплохой актив. А именно PTT купила за 1.2 млрд. фунтов компанию Cove Energy Plc. Что же это за компания и чем она примечательна? Давайте разбираться (по этому поводу есть отличное интервью партнера Mckinsey&Company Amsterdam с основателями компании ).

Основатели компании (Michael Blaha и John Craven), матёрые ребята в мире нефтянки. После 30 лет работы в Shell'е, мужики ушли на вольные хлеба. Основали компанию по E&P в 2009 и приобрели активы в Танзании, Кении и Мозамбике с прицелом на то, что найдут большие запасы нефти и газа. Долго и упорно ребята искали нефть и газ и в конце концов нашли месторождение Prosperidade в бассейне Rovuma. 

Компании досталась доля в 8.5 % в проекте Rovuma Area 1 и ребята сразу же решили продать этот актив, сосредоточившись на других проектах. Покупателей начали искать в 2011 и в 2012 Cove в итоге была приобретена таиландской PTTEP за $1,92 млрд. Очень интересно посмотреть на рост стоимость акций.

Почти 20-кратный рост за три года. Неплохо. Кстати, с проектом Rovuma Area 1 связывают большие надежды. Это крупнейшее газовое месторождение на шельфе Восточной Африки (запасы оцениваются в 2,8 трлн. куб. метров) и потенциально может стать одним из крупнейших центров по производству сжиженного природного газа (СПГ) в мире наряду с Катаром и Австралией. Первое производство СПГ ожидается в 2018 г. Помимо тайцев, в проект втянулись и индусы, так летом 2013 года  Oil India и ONGC Videsh согласились купить 100% холдинговой компании Videocon за 2.5 млрд. долларов, которая владеет 10%-ной долей в данном проекте. Вот такие пироги :-)

Помимо добычи нефти и газа PTT занимается и более высокомаржинальным бизнесом, нефтехимией. За это отвечает PTT Global Chemical. Эта компания также конролирует чуть ли не весь местный рынок, но в последнее время PTT также начал выходить за рамки своей страны и тут стоит выделить два проекта.

НПЗ в Вьетнаме

НПЗ в Малайзии (вроде как в процессе переговоров)

PTT совместно с саудовской Saudi Aramco планируют инвестировать под 10 млрд. долларов каждая в вьетнамский проект . Стоимость же НПЗ оценивается в $ 22 млрд (по 40 % PTT и Saudi Aramco и 20 % местные инвесторы).  Объем обработки должен достигнуть 400'000 баррелей в день и будет производить под 4-5 миллионов тонн этилена и бензола, что в принципе много. Объект будет располагаться в центральной части Вьетнама, Banh Dinh. 

Ну и напоследок, PTT занимается и горнодобывающей промышленностью и тут основные активы расположены в Индонезии, где добывается уголь.

Итого, PTT реально является глобальным игроком на рынке нефтянки. Начав с местного рынка, PTT шаг за шагом охватили АСЕАНские страны, такие как Мьянма и Индонезия, а затем пошли и вовсе далеко, в США, Мозамбик, Австралию и сейчас продолжают укреплять свои позиции в регионе. И тем самым, главным рычагом роста является опять же пресловутый M&A.