Тренировочный день #4 докладов конференции Joker: три доклада от GridGain, GridDynamics, и Одноклассников

В рамках подготовки к конференции Joker мы проводим очередную тренировку докладов наших будущих спикеров.

Участие бесплатное. Необходима регистрация.
Для ревью докладов нужна небольшая команда, поэтому мы ограничиваем количество мест. Пожалуйста, регистрируйтесь, только если вы уверены, что (вовремя) придёте!

Часть 1. «В поисках Tommy Hilfiger»

Михаил Хлуднев, Principal Engineer at eCommerce Search Platform, Grid Dynamics

Разрабатывает специализированную платформу поиска для больших магазинов на базе Apache Lucene/Solr. Хорошо знает, какими запросами покупатели ищут одежду, и насколько, например, неоднозначен запрос «red dress».

Помимо этого активно участвует в сообществе разработчиков Lucene — был замечен в обсуждении более полусотни тикетов Lucene/Solr. Привнёс немного хорошего в релизы 4.3 и 4.5. Регулярно выступает на отраслевой конфереции LuceneRevolution.

Невероятно, но факт — невозможно взять Apache Lucene / Solr «из коробки» и подключить для поиска по каталогу товаров на сайте! Как минимум, необходимо решить две проблемы. Во-первых, разработать специфические модели документов и языка запросов. Во-вторых,  реализовать эти модели с помощью базовых алгоритмов поиска Lucene с производительностью, достаточной для нескольких миллионов посетителей в Чёрную Пятницу. Этот доклад поможет справиться со второй проблемой — познакомит с деталями реализации алгоритмов поиска в Lucene. Доклад будет полезен тем, кто занимается поиском и хочет узнать «что внутри», а рассматриваемые алгоритмические задачи настолько увлекательны, что заинтересуют даже если вы никогда не работали с этим инструментом!

Для начала мы ответим на следующие вопросы: зачем нужен Lucene? В чём и в каких случаях он превосходит реляционные базы данных? Затем будут рассмотрены основные структуры данных Lucene, сложность алгоритмов поиска и затраты памяти. В докладе не будет «воды» типа синтаксиса запросов и прочих «Hello World», только алгоритмы boolean retrieval и их оценка. В то же время доклад не требует каких-либо знаний о Lucene; инженерной подготовки будет достаточно. В докладе будет своя драма: как поиск пары документов мог отнимать несколько секунд, и как всё решилось в релизе 4.3.

Часть 2. In-Memory Mongo Accelerator

Яков Жданов, директор R&D в GridGain Systems

Яков пришел в GridGain в 2010 году. В данный момент занимает должность руководителя R&D офиса компании в Санкт-Петербурге и в этой роли непосредственно участвует в процессе разработки и принятии технических решений. Выпускник Алтайского Государственного Технического Университета, увлекается спортом, ездой на мотоцикле и катанием на горных лыжах.

Используешь Mongo DB в своем проекте? Тогда этот доклад для тебя! Речь пойдет о Performance-проблемах Mongo DB и о том, как новый продукт GridGain In-Memory Mongo DB Accelerator помогает решить многие из них без единого изменения кода клиентских приложений в полном смысле этого слова.

Мы расскажем, об особенностях In-Memory подхода, обсудим его преимущества и недостатки. Дадим обзор принятых архитектурных решений и сравним функционал, предлагаемый обоими продуктами. Данная тема также будет достойна внимания всех тех, кто интересуется In-Memory технологиями и распределенными вычислениями.

Часть 3. Платформа для Видео сроком в квартал

Александр Тоболь, инженер-разработчик, Одноклассники

Инженер проекта «Одноклассники» компании Mail.Ru Group. Свыше 6 лет работает над обработкой видео и хранением информации.

C 2012 года занимается программной видео платформой, лежащей в основе сервиса Видео на портале Одноклассники. Ранее в компании Zodiac Interactive  работал ведущим разработчиком платформы мультимедийных сервисов интерактивного телевидения tru2way®. До этого в EMC разрабатывал CAS (Content-addressable storage) EMC Centera с доступностью 99.9999%. Принимал участие в международных командных соревнованиях студентов по программированию ACM ICPC в составе команды СПбГЭТУ ЛЭТИ. Увлекается яхтингом и шахматами.

Мой доклад не затронет какую-то особенную технологию или волшебный алгоритм. Речь пойдет о том, как чуть больше чем за квартал совсем небольшая команда перезапустила работающий в режиме 24/7 совсем немаленький видео-сервис на Одноклассниках на написанной с нуля платформе, развернутой на парке из свыше 200 серверов, распределенных между несколькими центрами обмена данными.

Я бы хотел поделиться успехами и неудачами в ходе решения задачи по обеспечению бесперебойных загрузки, трансформации, хранения, раздачи видео и мониторинга, а также остановиться на особенностях, связанных с нагрузкой в 1000 просмотров в секунду, размером ежедневной аудитории в 8 миллионов географически распределенных в и за пределами РФ. Я также остановлюсь на некоторых использованных нами технологиях.