Анализ данных как бизнес-задача был актуален всегда. Еще тридцать лет назад сформировалась концепция хранилищ данных, которая позволяла слить в единую базу сведения из различных источников и на основе полученных отчетов принимать управленческие решения.

В конце 2000-х годов методы работы с данными были полностью переосмыслены. Появилось понятие «больших данных», как совокупности технологий и методов работы с огромным массивом структурированной и неструктурированной информации. Этот класс решений сегодня постепенно завоевывает все большее количество клиентов и, по мнению некоторых аналитиков, может ускорить российскую экономику

Предпосылки для развития Big Data

Объем данных за последние десять лет значительно увеличился, что подтверждают 78% российских компаний. Этот рост во многом обусловлен цифровизацией. Как только компании стали выносить в онлайн клиентские сервисы, они получили источник новых данных. Операторы связи, помимо звонков, начали анализировать множество других каналов коммуникации, из которых наиболее востребованным стал мобильный интернет. В целом проникновение сотовых сетей в регионах усилилось, благодаря чему компании начали исследовать, например, географическую информацию о своих пользователях. С широким распространением онлайн-магазинов изменилось отношение к данным и у крупных ритейлеров. Им важно знать о своих потребителях практически все, и подспорьем для этого выступают биржи данных, сообщающие о пользователе множество информации, начиная с его социально-демографических характеристик, заканчивая текущими интересами, построенными на базе поисковых запросов и посещаемых сайтов. А ведь раньше даже анализировать логи с веб-сервера было слишком трудозатратно для многих игроков на рынке.
Тренд на развитие цифровых подходов стал сильно заметен и в банках. Сегодня любая уважающая себя финансовая организация развивает онлайн-банкинг, мобильное приложение и выстраивает отношения с клиентами с помощью дистанционных методов обслуживания. Кроме того, клиенты банков все реже используют наличные и все чаще — карты, что также привело к росту данных. В свою очередь, перевод всех чеков в электронной вид изменил работу регуляторов. С появлением операторов фискальных данных, получающих информацию от онлайн-касс ритейлеров, налоговым службам стало проще отслеживать движения средств граждан. Наконец, в такой консервативной отрасли, как промышленность, появился запрос на централизованный сбор данных с датчиков, установленных на объектах. Анализ информации, получаемой с них, позволил решать ряд важных задач — от контроля исправности производственного оборудования до обеспечения охраны труда и безопасности.
Также появился запрос на оперативность анализа. Если раньше сложную аналитику достаточно было построить раз в неделю или раз в месяц, то сейчас требования сократились до минут. Иногда компании хотят принимать решения в режиме, близком к реальному времени, так как это становится существенным конкурентным преимуществом. Более того, в связи с цифровизацией бизнеса многие бизнес-процессы становятся автоматизированными, что также повышает требования к скорости построения аналитики.
Анализ больших данных был бы не возможен без появления доступных технических решений. Раньше горизонтально масштабируемые аналитические системы могли позволить себе только несколько наиболее самых крупных российских компаний. Помимо стоимости лицензий на эти системы, компании должны были оплатить закупку мощного оборудования, используемого для генерации аналитики. Но все изменилось за последние несколько лет. На рынок вышли разработчики специализированных продуктов, обладающих принципиально иной архитектурой. Для них не нужна высокопроизводительная вычислительная инфраструктура, достаточно использовать относительно дешевое серверное оборудование. Более того, за счет адаптации продуктов под облачные платформы, компании могут вообще отказаться от эксплуатации собственных ИТ (и одновременно с этим уменьшить потребность в квалифицированных администраторах), перейдя на модель анализа больших данных как сервиса. В частности, такую схему работы с данными предлагаем мы, предоставляя доступ из K2 Cloud к системе на базе Open Source.

Сценарии использования Big Data

Использование больших данных в своей работе — уже не прерогатива только лишь самых крупных компаний. Из узкоспециализированного средства системы для анализа данных превращаются в массовый инструмент. Поэтому в ближайшее время мы все чаще будем видеть компании из среднего сегмента, которые только начинают внедрять технологии big data и следовать датаизму — концепции принятия решений, основанных исключительно на объективных данных. Вместе с тем, увеличится количество организаций, которые захотят сменить существующую корпоративную платформу для анализа данных на более доступное решение. А третья категория клиентов перестанет удовлетворяться скоростью создания отчетности в своей компании и примет решение перейти на легомасштабируемые решения, которые ускоряют анализ данных. Суммарно эти три категории пользователей Big data принесут до 1,5% ВВП, а общий объем российского рынка больших данных увеличится в десять раз к 2024 году.

Как подступиться к большим данным?

Работа с большими данными требует определенных компетенций. Раньше поставщики ИТ-решений стремились дать пользователям готовый продукт. С помощью предустановленных шаблонов компании готовили данные согласно своим запросам. Сегодня растет популярность self service концепции, согласно которой бизнесу предоставляются «сырые» данные и средства для их анализа. Благодаря этому компании могут увеличить оперативность принятия решений. В этом случае нет необходимости долго ждать, когда ИТ-специалисты сделают новый отчет.

Но это же преимущество современных систем Big Data накладывает и определенные ограничения: для работы с такой системой сотруднику необходимо обладать не только знаниями в области бизнес-анализа, но и хотя бы базовыми навыками программирования. Отсутствие же подобной компетенции — вовсе не проблема. Экспертная оценка и дополнительное обучение, которое проводят внешние эксперты, дают возможность в достаточно сжатые сроки обучиться работе с большими данными. Это, а также широкое распространение облачных услуг, дают право говорить о высоком потенциале Big Data и хороших перспективах технологии на российском рынке.

Материал для TechFusion.ru