Big Data: выгодное вложение или дорогостоящий эксперимент?

• особенности и сложности проектов big data, 
• влияние больших данных на бизнес-процессы и оргструктуру компании, 
• влияние импортозамещения на проекты big data, 
• роль облачных технологий в работе с большими данными.

Опрос более 200 представителей крупного и среднего бизнеса, в том числе 10 глубинных интервью.

Отрасли: ритейл и FMCG, транспорт и логистика, финтех, ИТ, фармацевтика.

Должности: CIO, CTO, CDTO, CDO, директор по цифровизации.

Мировой рынок больших данных 

В  2023 году объем мирового рынка больших данных (big data) достиг 220,2 млрд долл. (MarketsandMarkets, январь 2024). Аналитики выделяют несколько ключевых факторов, способствующих развитию глобального рынка big data. Это стремительное внедрение технологий искусственного интеллекта и машинного обучения, развертывание систем периферийных вычислений для аналитики в реальном времени, формирование гибридных облаков, автоматизированное управление данными и пр. Благодаря инструментам big data компании получают возможность улучшить процессы принятия решений, оптимизировать бизнес-операции и получить конкурентное преимущество. От анализа больших данных во многом зависит кибербезопасность и оперативность выявления мошенничества.

По данным Allied Market Research, объем глобального рынка инструментов анализа больших данных  в 2023 году составил 0,3 трлн долл. Ключевыми драйверами отрасли являются внедрение облачных вычислений, развитие технологий Интернета вещей и искусственного интеллекта. Показатель CAGR (среднегодовой темп роста в сложных процентах) ожидается на уровне 14,5%, к 2032 году затраты на решения для анализа больших данных возрастут до 1,1 трлн долл. 

Российский рынок больших данных  

Темпы роста российского рынка больших данных примерно в 5 раз превышают общемировые (Expocifra, 2024). Свою роль играет эффект «низкой базы», однако не стоит сбрасывать со счетов и стремление компаний внедрять последние достижения для оптимизации расходов и повышения конкурентоспособности.

Сегмент облачных решений big data в России ежегодно прирастает на 30-40%. Эта тенденция обусловлена преимуществами облачных инструментов, такими как оптимизация затрат, расширение возможностей по управлению и сохранению данных, упорядочение рабочих процессов.

В условиях постоянного увеличения объемов данных важную роль приобретают их централизация, взаимная интеграция различных баз данных, а также контроль и поддержание актуальности хранимых сведений. Тренд на интеграцию и централизацию данных актуален как для госструктур (например, межведомственное взаимодействие при оказании госуслуг), так и для бизнеса (планирование, прогнозирование, формирование отчетности). По экспертным оценкам к 2030 году объем инвестиций в облачные решения в нашей стране вырастет втрое, а на горизонте десяти лет — в 5 раз. Аналогичных показателей роста инвестиций стоит ожидать и в сегменте больших данных и аналитики.

Ассоциация больших данных (АБД) — основной центр экспертизы в области данных и интересант создания благоприятных условий для развития технологий и продуктов в сфере big data в России — провела исследование индустрии и разработала Стратегию развития рынка больших данных 2024.

В стратегии выделено несколько сценариев, для каждого рассчитан потенциальный объем рынка данных, а также эффект от внедрения технологий больших данных в отраслях российской экономики.

• В случае реализации пессимистичного сценария объем рынка к концу 2024 года прогнозировался в 254 млрд руб., эффект на отрасли от внедрения больших данных — на 60% меньше базового.
• Целевой сценарий — базовый, при реализации которого рынок вырастет до 319 млрд руб., эффект на отрасли считается 100%.
• Реализация оптимистичного сценария обеспечит объем рынка в 379 млрд руб., эффект на отрасли будет больше базового на 76%.

Отрасли

Основными потребителями технологий big data  являются банки, телеком-операторы и крупные ритейлеры. Главные проблемы развития направления больших данных — нехватка квалифицированных кадров, отсутствие достаточного опыта российских внедрений, а также высокая стоимость решений (Tadviser, 2023). 

На этапе масштабирования проектов big data сегодня находятся электронная торговля, классический ритейл, финансовый сектор и телеком-операторы. Осторожно внедряют отдельные решения по большим данным в нефтегазовом, горнодобывающем и агропромышленном секторах. На этапе пилотирования находятся здравоохранение, девелопмент, энергетика, городская инфраструктура и FMCG.

По данным Ассоциации больших данных, эффект от использования больших данных для отраслей экономики составит 1,6 трлн руб. операционной прибыли. А, например, в ритейле работа с большими данными позволит получать дополнительные 316 млрд руб. операционной прибыли в год.

Телеком-операторы и банки лидируют в внедрении платформ анализа больших данных для улучшения пользовательского опыта клиентов. В ближайший год продвижение дата-решений позволит им нарастить операционную прибыль на 2,6% и 2,8% соответственно (131 млрд руб. и 250 млрд руб.).

Одной из догоняющих отраслей по внедрению больших данных стало жилищное строительство. Крупные девелоперы уже используют цифровые платформы в проектировании зданий и маркетинге.

Определение big data  

Респонденты трактуют термин big data  по-разному, что отражает широкий спектр значений и применений этого понятия в бизнес-среде. Для некоторых это просто большие объемы данных, для других — инструменты глубокой аналитики.

Тем не менее, исследование позволило выделить основные характеристики проектов, которые респонденты относят к категории big data:

• большой объем структурированных и неструктурированных данных, проанализировать которые невозможно классическими ручными методами;
• наличие инструментов глубокой аналитики данных, таких как озера данных или реляционные хранилища;
• использование множества источников данных, как внутренних, так и внешних;
• проект не ограничивается сбором статистики, но включает автоматизированное выявление трендов и создание детализированных клиентских портретов.

Опрос показал, что ежегодный рост данных в основном не превышает 30% (такой ответ дали 58% респондентов). Он обусловлен ростом бизнеса как самой компании, так и его клиентов и другими факторами в зависимости от специфики отрасли.

Наиболее быстрый рост наблюдается в ритейле и FMCG. 37% респондентов из этих отраслей указали на ежегодный рост данных в диапазоне 30-99%, 45% рассказали о кратном увеличении данных. Такой рост обусловлен постоянной интеграцией новых источников данных и трендом на гиперперсонализацию сервисов. 

В транспортной отрасли и логистике рост данных связан с расширением бизнеса, увеличением числа операций и таким явлением, как дробление заказов. В этих отраслях данные уже занимают значительную часть хранилищ, поэтому необходимо понимать закономерности их роста для оптимального управления.

Финтех демонстрирует умеренные темпы, тем не менее, в крупных компаниях этой отрасли рост может быть значительным, до 60-70% ежегодно, что обусловлено увеличением количества активных пользователей и ростом числа операций. 

Области применения big data

Опрос показал, что активнее всего компании внедряют решения big data в логистике и продажах. Следующие по популярности сферы применения — финансы и маркетинг.

Среди других направлений респонденты также упоминали HR-процессы, ценообразование, регулярные отчеты и ad hoc запросы бизнеса.

Отдельно стоит отметить активное применение big data в аналитике клиентского поведения. Это позволяет компаниям формировать индивидуальные предложения, улучшать пользовательский опыт и оптимизировать маркетинговые стратегии. 

Продуктовая аналитика становится критически важной для проверки гипотез и ретроспективного анализа, когда традиционные методы теряют эффективность. 

Департаменты R& D используют данные для создания моделей, которые предсказывают дефекты продукции или показывают необходимость закупок, что способствует снижению издержек и улучшению качества продукции. 

Операционная отчетность, усиленная возможностями больших данных, позволяет компаниям повышать точность и актуальность решений на всех уровнях. 

Сроки работы с большими данными 

Большинство компаний  работают с базовыми решениями big data не менее 8 лет. Это хранилища данных, аналитика с использованием классических инструментов и в целом агрегирование и аналитика существующих данных. Что касается более продвинутых инструментов, таких как машинное обучение (ML) и др., то срок их использования — около 3 лет.

Роль искусственного интеллекта и полезные инструменты

Большинство респондентов (79%) не используют ИИ-инструменты для работы с большими данными. Однако многие заинтересованы в этой теме и активно анализируют и тестируют существующие решения. 

Основные причины, по которым компании пока воздерживаются от использования ИИ, это отсутствие заметных успешных кейсов на рынке и необходимость длительного обучения моделей для эффективного применения ИИ в бизнес-процессах.

Инструменты работы с данными: западные, отечественные, open source

Отечественные решения big data используют большинство респондентов (36%), равное количество опрошенных (по 28%) выбирают зарубежные продукты и open source. Однако опрос подразумевал множественный выбор, и 40% респондентов используют комбинации разных решений. В ответах категории «Другое» в основном упоминались решения собственной разработки.

При этом в ритейле и FMCG, а также в фармацевтике преобладают зарубежные решения, в ИТ и логистике отдают предпочтение российским, а решения open source популярны в финтехе.

Технологические стеки и их влияние на бизнес

Большинство участников опроса пользовались западными решениями on premise от вендоров Oracle, IBM, Vertica, Microsoft или облачными, например Google BigQuery. Сейчас они активно переходят либо на стек open source — PostgreSQL, Greenplum, Hadoop, ClickHouse, Kafka, либо на решения отечественного вендора Arenadata.

Для холодных хранилищ* респонденты используют S3 или Hadoop.

Как показал опрос, для старта проекта компании выбирают простые решения, такие как PostgreSQL, ClickHouse, ElasticSearch. Они подходят для небольших хранилищ и позволяют экономить на начальном этапе. Еще сильнее снизить затраты на старте можно с помощью облачных решений, рост использования которых также отмечается в исследовании.

Что касается BI-систем, то большинство респондентов пользовались западными продуктами (Power BI, Qlic, Oracle BI), а сегодня переходят либо на отечественные (Visiology, DataLens, Форсайт, LuxMS и др.), либо на open source — Grafana (те, кто только начинает использовать BI), Metabase или Apache Superset.

_{*Холодное хранилище — хранилище для данных, обращение к которым происходит редко.} 

Оценка конкурентоспособности российских решений по сравнению с зарубежными

Большинство компаний считают российские решения big data  жизнеспособной альтернативой, особенно в условиях ограниченного доступа к зарубежным продуктам. 

Компании готовы переходить на отечественные системы, принимают связанные с этим вызовы и сложности, но одновременно находят возможность участвовать в их развитии, так чтобы эти решения соответствовали специфическим потребностям бизнеса.

Респонденты считают, что развитие должно идти путем увеличения количества внедрений, и отмечают, что отечественные решения имеют свои преимущества, особенно в контексте импортозамещения. Основные критерии оценки включают в себя функциональность, удобство пользовательского интерфейса, непрерывность и стабильность работы, поддержку корпоративных систем безопасности и соотношение цена/качество. Кроме того, участники опроса обращают внимание на вклад производителей в развитие и позиционирование продукта на рынке.

При этом часть компаний предпочитают решения open source и скептически относятся к российским продуктам, считая их менее развитыми и недостаточно адаптированными для различных бизнес-кейсов. Респонденты видят в переходе на open source логичный шаг в условиях импортозамещения, даже если это требует времени на развитие и усовершенствование функциональности. 

Рост доверия к российскому ПО 

Отечественные решения big data пока не достигли уровня зрелости зарубежных платформ, однако доверие к ним возрастает. Респонденты подчеркивают улучшение качества и перспективы дальнейшего развития, несмотря на текущие ограничения.

Уход зарубежных вендоров с рынка создает благоприятную ситуацию для совершенствования российских технологий, особенно если производители продолжат адаптировать свои продукты к потребностям бизнеса. Для повышения конкурентоспособности отечественных решений нужно время, усиление экспертизы и рост числа успешных кейсов внедрения.

Длительность проектов

Как показал опрос, в среднем внедрение проекта по большим данным длится 1,5 года. Сроки зависят от типа проекта: плавная миграция с одного решения на другое занимает не менее 3 лет, на внедрение системы open source собственными силами компания тратит примерно полгода.

В любом случае на выборе и внедрении решения проект не заканчивается, за этим следует длительный период формирования корпоративной культуры работы с данными и обучения сотрудников новым подходам, а также постоянная донастройка систем для реализации запросов бизнеса.

Стоимость проектов и планы по увеличению затрат

Большинство респондентов (39%) оценили затраты на внедрение big data до 10 млн руб., что свидетельствует о популярности пилотных проектов или начальных этапов внедрения.

Компании, затраты которых составляют от 10 до 50 млн руб. (15%),  находятся на этапе активного масштабирования своих big data  инициатив, предполагающего более сложные и ресурсозатратные проекты.

Меньше всего респондентов (6%) заявили о затратах от 50 млн и выше. Это крупные компании с серьезными финансовыми ресурсами, которые уже ощутили выгоды от масштабного использования big data .

Значительная часть опрошенных (38%) не смогли ответить на вопрос о стоимости. Это связано с сохранением коммерческой тайны, а также с трудностями оценки затрат на такие проекты.

Результаты опроса демонстрируют тренд на эволюционный подход к внедрению big data. Компании начинают с небольших пилотных проектов и по мере достижения успеха и понимания эффективности технологий увеличивают бюджет.

Однако более 50% опрошенных пока не планируют увеличение затрат в области больших данных. Одной из основных причин является приоритет импортозамещения в других подразделениях ИТ-департамента.

Планируют увеличение бюджета 30% респондентов. Рост затрат обосновывают развитием существующих платформ, продолжением процесса миграции, а также ежегодным органическим ростом как самой компании, так и объема ее данных.

Основные статьи расходов на внедрение решений big data

Основными статьями расходов при внедрении решений big data респонденты назвали затраты на инфраструктуру (в том числе облачную, если компании пользуются услугами провайдеров), а также ФОТ, даже если проект делается с привлечением подрядчика. Развитие экспертизы в своей команде является основополагающим компонентом успешной работы с большими данными. 

Затраты на лицензии, услуги партнера и поддержки — существенно ниже.

Инициаторы проектов и источники финансирования

Запрос на внедрение решений bIg data в большинстве случаев исходит от бизнеса — так ответили 57% опрошенных. Следующие по популярности ответы — запрос от ИТ (23%) и совокупный запрос от ИТ и бизнеса (10%). 

В большинстве случаев основная часть затрат по проекту ложится на ИТ-отдел, частью которого является подразделение работы с данными. Но  все чаще компании думают о перераспределении затрат на более широкий круг заинтересованных лиц.

Роли внутренней экспертизы и внешних подрядчиков в реализации и поддержке проектов

По данным исследования, большинство проектов реализуются своими силами при поддержке технологического партнера. Такой ответ дали 44% респондентов. Подрядчик выступает в роли консультанта с большим опытом реализации подобных проектов. Одновременно происходит погружение в проект внутренней команды, которая перенимает экспертизу подрядчиков и выращивает собственную. Плюсом такого варианта также является снижение нагрузки на свои ресурсы при сохранении стратегического контроля за проектом.

Следующим по популярности идет ответ о реализации проекта полностью собственными силами (35%). Среди причин выбора этого варианта —  желание развивать внутренние компетенции и сформировать глубокое понимание бизнес-процессов. Однако недостаток такого подхода — ограниченный опыт и невысокая квалификация сотрудников.

Причиной для реализации проекта силами подрядчика (такой ответ дали 14% респондентов) является потребность в дополнительных ресурсах и специфической экспертизе. 

Что касается технической поддержки, то большинство опрошенных (54%) реализуют ее собственными силами благодаря накопленной экспертизе в ходе проекта, а также из-за нежелания доверить подрядчику чувствительные данные. 

Часть респондентов, которые реализуют поддержку совместно с партнерами, планируют отказаться от их услуг, как только будет накоплена недостающая экспертиза.

Портрет идеального партнера по проектам big data 

Основным фактором успешного партнерства респонденты назвали доверие, так как работа с данными — чувствительная история для любой компании.

Немаловажным также является опыт партнера в реализации похожих проектов, с точки зрения не технической экспертизы, а насмотренности, которая помогает избежать банальных ошибок. Это можно назвать организационным консалтингом. 

Кроме того, респонденты выделили понимание партнером бизнес-целей заказчика — для чего собственно строится решение big data. Среди других критериев успеха в работе с партнерами были названы вовлеченность, отсутствие конфликта интересов, прозрачные коммуникации, выделенные ресурсы партнера, умение общаться на языке заказчика.

Организационные изменения при внедрении big data 

Одним из основных организационных факторов успешного внедрения big data респонденты назвали создание обособленного подразделения работы с данными с выделенным бюджетом (в том числе в компаниях, где проект уже реализован). Часть респондентов также отметили значение функционально ориентированной структуры этого отдела.

Кроме того, важную роль играет позиция Chief Data Officer (CDO), который должен отстаивать интересы и защищать бюджет подразделения на уровне C-level.

Однако 76% опрошенных заявили, что выделенной роли CDO с соответствующими полномочиями и бюджетом в их компании нет. Эту позицию пока закрывают CIO, но респонденты считают, что с ростом объема данных роль CDO появится уже в ближайшей перспективе.

Горизонт окупаемости решений big data

Большинство респондентов воспринимают решения big data как инвестиции, окупаемость которых сложно измерить традиционными способами. Многие уверены, что большие данные — это своего рода «гигиена», без которой бизнес не может функционировать, и они никогда не окупятся в классическом смысле. 

Попытки расчета окупаемости через затраты на продукты и команды представляются неточными и не отражают истинную ценность больших данных, так как не учитывают изменения в бизнес-культуре и улучшение качества принимаемых решений. Такие проекты не должны оцениваться исключительно через призму финансов, поскольку их влияние проявляется в других аспектах бизнеса, таких как повышение стабильности, ускорение time to market и др.

Проблемы внедрения

Основной сложностью проектов big data респонденты назвали изменение культуры работы с данными бизнес-пользователей. 

Компании часто сталкиваются с организационными трудностями, такими как нехватка ресурсов, отсутствие системного подхода и дорожной карты проекта. Респонденты также упомянули проблемы совместимости компонентов, слабую представленность на рынке вендорских решений по большим данным и необходимость регулярных доработок. 

Сложно получить необходимые ресурсы на проект big data, поскольку его влияние на доход бизнеса неочевидно, и приоритет в распределении ресурсов отдается проектам с явной окупаемостью. 

По мнению респондентов, технические сложности, такие как стабилизация платформ и проблемы с коннекторами, требуют эволюционного подхода и открытой коммуникации в ходе проекта.

Среди проблем с бизнес-пользователями ключевой является перестройка культурного кода — донесение ценности аналитики перед принятием любых решений. Респонденты также отметили сложности взаимодействия с командами смежных ИТ-систем.

Проблемы интеграции с существующими ИТ-системами

Большинство респондентов (32%) отметили, что при интеграции решений big data с существующими ИТ-системами чаще всего возникают технические трудности, в том числе ограничения производительности дисков, поддержка разных типов данных, подготовка систем на отдачу данных, обеспечение качества данных и коннекторы.

Среди других проблем были названы недостаток консалтинга от партнера и  отсутствие или неактуальность документации.

Чуть менее значимыми, но также важными респонденты назвали трудности перестройки поведения бизнес-пользователей и организационные сложности — 27% и 26% соответственно. 

Защита данных при работе с big data 

Основными методами защиты корпоративных данных являются контроль и ограничение доступа, включая ролевые модели, шифрование и маскирование данных, а также логирование и регулярные аудиты. У компаний, размещающихся в облаке, вопрос защиты решается на стороне облачного провайдера.

Чаще всего трудности защиты данных в проектах big data связаны с согласованием политики доступа и недостаточной оценкой критичности данных всеми владельцами. Несмотря на принимаемые меры, респонденты признают, что полностью устранить риски утечек удается не всегда.

Навыки и компетенции для работы с большими данными 

Респонденты отмечают, что для работы с big data  востребованы как hard, так и soft skills. Важным аспектом является опыт работы с конкретными системами и инструментами, а также понимание бизнес-процессов и их техническая интерпретация. 

Среди soft skills выделяются эмпатия, вдумчивость, осознанность и гибкость мышления. Навыки планирования и приоритезации также считаются значимыми. Кроме того, респонденты подчеркивают важность готовности к постоянному обучению и освоению новых инструментов big data. Некоторые из опрошенных назвали соответствие корпоративной культуре и наличие отраслевого опыта в качестве важных критериев поиска подходящего сотрудника.

Методы измерения эффективности использования больших данных и влияние на рост бизнеса

Большинство респондентов не измеряют эффективность больших данных и их влияние на рост бизнеса. 

Хотя многие компании изначально не видят необходимости в измерении влияния big data на бизнес, растет понимание, что такие метрики могут стать ключом к достижению максимального бизнес-эффекта от использования больших данных. Сложность и ресурсоемкость являются основными препятствиями, но активная проработка этой задачи и осознание важности окупаемости проектов больших данных могут стать драйверами для изменения подхода в будущем.

Части респондентов (38%) все-таки удается измерять влияние больших данных на рост бизнеса.

Среди областей, куда компании приземляют эти расчеты, лидирует влияние больших данных на сокращение затрат —  так ответили 35% респондентов. Затем идут измерения относительно роста выручки (21%) и скорости изменений в компании (16%). В опросе допускался множественный выбор, около половины респондентов используют не менее двух подходов одновременно.

Компании также используют такие методы измерения эффективности, как оценка продуктов, основанных на аналитике (с помощью AB тестирования), и измерение уровня удовлетворенности пользователей платформы big data. 

Конкурентные преимущества внедрения big data 

Основные преимущества внедрения big data для бизнеса, по мнению участников исследования, это прозрачность процессов, выявление неочевидных закономерностей и контроль развития бизнеса, которые позволяют оперативно реагировать на изменения рынка и находить драйверы роста. 

Предприятия получают доступ к сырым данным, что дает возможность проверять новые гипотезы и анализировать причины любых изменений. Тем самым бизнес трансформируется в оцифрованную структуру. 

Big data способствуют повышению операционной эффективности за счет уменьшения ручного труда и освобождения ресурсов, а также открывают новые возможности для бизнеса. Принятие и реализация решений на основе данных становятся обязательными условиями сохранения и усиления конкурентных преимуществ.

Роль больших данных в разработке новых продуктов

Респонденты подчеркивают, что большие данные играют критически важную роль в разработке новых продуктов, обеспечивая объективность и обоснованность принимаемых решений. Продуктовые команды активно обращаются к анализу данных перед запуском проектов, чтобы избежать субъективного подхода и принимать решения на основе фактов. 

Несмотря на трудности использования аналитики, которые возникают у отдельных компаний, общий вывод состоит в том, что данные способствуют успешной разработке и планированию продукции и играют важную роль в создании конкурентоспособных решений.

69% опрошенных отмечают дефицит квалифицированных кадров по работе с большими данными на рынке.

Бизнес активно использует различные инструменты для удержания опытных специалистов и привлечения молодых. 

Среди способов привлечения были названы стажерские и junior-программы, участникам которых предлагаются индивидуальные условия роста в компании. 

Большая часть респондентов отмечают необходимость создания комфортной рабочей среды для сотрудников. Это включает в себя отсутствие строгих регламентов и бюрократии, стабильные ревью с пересмотром зарплат, а также приятную атмосферу в коллективе. 

Репутация компании как привлекательного работодателя играет ключевую роль в привлечении высококвалифицированных специалистов. Сюда входит, например, участие в конференциях, написание статей и проведение собственных мероприятий. 

Некоторые компании предлагают не только вертикальный карьерный рост, но и возможность горизонтального перехода между отделами, что способствует развитию профессиональных навыков сотрудников. 

Таким образом, успешное решение проблемы дефицита квалифицированных кадров в big data во многих компаниях базируется на комбинации различных подходов — от создания комфортных условий работы и инвестиций в обучение до сильного HR-бренда и гибкого карьерного роста.

Большинство участников исследования так или иначе используют облачные решения в различных задачах, однако 57% опрошенных не применяют облачные инструменты для работы с данными. 

Пользуются такими инструментами 39% респондентов. Наиболее популярные решения из облака — PostgreSQL, Greenplum, ClickHouse, Hadoop, S3 и Kafka. 

По данным исследования, все больше компаний начинают присматриваться к cloud native стеку (S3, Minio, Trino, Apache Iceberg, Apache Spark). Можно рассчитывать, что в ближайшем будущем вырастет число облачных провайдеров, которые предоставляют эти решения. Кроме того, набирают обороты облачные BI.

Среди участников опроса, которые пока не пользуются облачными решениями для работы с большими данными, большинство (65%) планируют начать это делать в ближайшее время.

В большинстве компаний ежегодный рост данных не превышает 30%. Наиболее динамично растут объемы данных в ритейле и FMCG — от 30 до 99%.

Средняя длительность проектов по большим данным составляет 1,5 года.

Активнее всего компании внедряют решения big data в логистику и продажи. 

39% оценили затраты на внедрение big data до 10 млн руб., что свидетельствует о популярности пилотных проектов или о начальных этапах внедрения. 

Инфраструктура и ФОТ — основные статьи расходов при внедрении решений big data.

Ключевыми организационными факторами успешного внедрения big data являются создание обособленного подразделения по работе с данными и роль CDO.

Основными сложностями проектов big data являются изменение культуры работы с данными бизнес-пользователей.

32% отметили, что при интеграции решений big data с существующими ИТ-системами чаще всего возникают технические трудности. 

Большинство респондентов воспринимают решения big data как инвестиции, окупаемость которых сложно измерить традиционными способами.

38% измеряют эффективность больших данных и их влияние на рост бизнеса. Среди областей, куда компании приземляют эти расчеты, лидирует влияние больших данных на сокращение затрат.

Основные преимущества внедрения big data — прозрачность процессов, выявление неочевидных закономерностей и контроль развития бизнеса. Они позволяют оперативно реагировать на изменения рынка и находить драйверы роста. 

69% опрошенных отмечают дефицит квалифицированных кадров по работе с большими данными на рынке. 

Для работы с big data  востребованы как hard, так и soft skills. Важным аспектом является опыт работы с конкретными системами и инструментами, а также понимание бизнес-процессов и их техническая интерпретация. 

Отечественные решения big data используют 36% респондентов. При этом
40% применяют комбинации разных решений (отечественные/зарубежные/open sourсe). 

Российские решения в области big data пока не достигли уровня зрелости зарубежных платформ, однако доверие к ним постепенно растет.

79% не используют ИИ-инструменты для работы с большими данными.

Основным фактором успешного партнерства по проектам big data  респонденты назвали доверие, так как работа с данными — чувствительная история для любой компании.

39% применяют облачные решения по работе с большими данными. Из тех, кто этого еще не делает, большинство (65%) планируют использование таких решений в ближайшее время.