Big Data: плюсы и минусы работы с ними
Big Data давно перестали быть просто модными словами, которые у всех на слуху. Теперь это действенный инструмент для собственников бизнеса, которые хотят больше узнать о своих покупателях, оптимизировать процессы внутри компании и выстроить грамотную маркетинговую стратегию.
Работа с Big Data предполагает как плюсы, так и минусы. В этой статье мы подробно разберем каждый аспект.
Преимущества работы с Big Data
1. Скорость обработки и принятия решений
IBM утверждает, что в мире предприятия ежедневно генерируют почти 2,5 квинтиллиона байтов информации! 90% от общего массива было получено только за последние 2 года. И современная техника позволяет сверхбыстро обрабатывать эти немыслимые массивы данных — буквально за миллисекунды!
Еще в 2016 году Mersedes-Benz доказал возможность организации успешных беспилотных перевозок. Так беспилотные грузовики проехали колонной 600 километров — из Штутгарта (Германия) в Роттердам (Нидерланды). Казалось бы, причем здесь Big Data? Дело в том, что без постоянного анализа окружающей среды и обстановки на дороге авто не смогли бы так успешно совершить поездку. Для сравнения: скорость реакции человека на сложную дорожную ситуацию равна 1,4 секунды, а скорость системы — 0,1 сек.
2. Надежная база для бизнес-решений
Например, как понять, что сеть заведений может быть расширена на тот или иной район? Как минимум, проанализировать релевантную долю адресов, которые заказывают еду от компании. Если покупательная способность этих посетителей и спрос на нужном нам уровне, можно отталкиваться от этих данных и принимать решение.
В основе — только факты и цифры, поэтому ошибиться здесь весьма сложно. Понятно, что анализ глобальных, локальных и косвенных конкурентов, а также их преимуществ тоже существенно влияет на общую картину, но это уже больше вопрос бизнес-анализа и маркетинговой стратегии.
3. Эффективность результатов
Теперь маркетологи могут не только точно определить, на какую ЦА ориентироваться, но и влиять на потенциальных покупателей именно тогда, когда они способны откликнуться. Таким образом клиентов привлечь проще, прибыль приумножается, а расходы на вовлекающие механики неуклонно снижаются.
Касательно самого клиента, для него система находит наилучшее персонализированное предложение, которое с большей долей вероятности будет принято сразу.
Ярким примером служит любая контекстная реклама, которую вы когда-либо встречали. Компания анализирует поведение своих потенциальных клиентов на сайте и формирует индивидуальные предложения на основе их интересов. Так делают абсолютно все крупные ритейлеры.
4. Выявление закономерностей
Сложность обработки Big Data человеческим мозгом заключается не только в том, что данных очевидно много, но и в том, что они абсолютно не структурированы и хранятся вразнобой в таблицах, диаграммах, изображениях и других формах. Все это усложняет поиск полезных закономерностей, которые позволяют выявлять причинно-следственные связи на глобальном уровне.
Например, тщательный контентный анализ того или иного издания (или их группы) сможет наглядно показать не только повестку дня, но и редакционную политику СМИ, качество их влияния на массы и политическую элиту, и как следствие — на события в мире. Возможность отслеживания таких вещей дает хорошую базу для прогнозов и аналитической деятельности.
5. Понятные метрики
Работа с большими массивами данных позволяет отвечать на ряд сложных вопросов — почему ход события именно таков и какой прогноз возможно сделать прямо сейчас. В прошлом на эти вопросы отвечала целая команда экспертов (и, к слову, тратила на это очень много времени), однако человеческий фактор всегда приводил к погрешностям.
Автоматический же анализ информации исключает эти досадные явления. Вопрос стоит лишь в том, насколько аналитик компетентен, чтобы сделать правильные выводы из тех данных, которые выдала машина.
Недостатки работы с Big Data
Сложные технологии требуют соблюдения некоторых условий, при которых они могут работать, а также диктуют миру новые принципы работы и защиты информации.
1. Необходимость реорганизации бизнес-процессов
Сбор и анализ информации в непрерывном режиме требует от компании технического развития, набора сильной команды и глобальных новшеств в бизнес-стратегиях.
Изменения в стратегии будут сопряжены с новыми данными, ведь информация обновляется, вырисовывается новая картина, а значит корректируются бизнес-решения.
Касательно необходимого ПО — сервера должны быть достаточно мощными, чтобы «переваривать» Big Data и хранить информацию. Носители-хранилища — удовольствие не из дешевых, но их необходимость даже не обсуждается.
И, конечно, нельзя не упомянуть важность кадров — это аналитики , эксперты по визуализации больших данных и другие специалисты, которые помогают разобраться в информации.
Все это в комплексе увеличивает стоимость обработки информации для компаний.
2. Угроза конфиденциальности и контроль
Благодаря «Общему положению о защите данных Европейского союза» (GDPR), другим международным нормативно-правовым актам и национальному законодательству некоторых стран, безопасность и конфиденциальность личной информации превосходит желания любого бизнеса.
В случае халатного обращения с данными, ненадлежащего хранения и обработки информации компания может быть оштрафована, что непременно скажется на прибыли.
Однако еще большая проблема в отношении Big Data касается обычных людей, утечка информации о которых представляет угрозу для конфиденциальности и может привести к серьезным последствиям, в том числе финансового характера.
Особенно волнует общественность информация, полученная с беспилотников и камер видеонаблюдения. Нельзя не вспомнить в этом контексте Китай — современное полицейское государство, где камеры и большие данные применяются для отслеживания и анализа поведения граждан.
Выводы
Работа с Big Data требует осмотрительности и вдумчивого использования информации. Безусловно, автоматический анализ больших массивов данных облегчает жизнедеятельность бизнеса, помогает находить новые закономерности и инсайты, что позволяет «выжимать» максимальную выгоду их текущего положения дел. Это отличный инструмент для создания эффективной бизнес-стратегии.
Но, как и любая технология, Big Data имеет свою теневую сторону. Прежде всего, риски связаны с утечкой информации, которая неправильно хранилась. А надлежащее обращение с Big Data требует от компаний больших ресурсов, прежде всего финансовых.
Какие возможности и опасности открывает big data
Любой менеджмент несет в себе определенные риски из-за возможности принять неверное решение при информационных ограничениях. Именно для повышения эффективности принимаемых решений и снижения рисков неправильных решений компании обращаются к большим данным. Но ведь и большим данным тоже сопутствуют риски. Оценим некоторые из них.
1. Риск конфиденциальности
Потеря контроля над данными и их передача в руки конкурентов может нанести серьезный экономический и репутационный ущерб. Разглашение конфиденциальных данных в СМИ или в Сети тоже нежелательны для бизнеса, даже если это не представляет явного коммерческого интереса для кого-то из игроков рынка.
Снизить опасность разглашения данных призвана система обеспечения безопасности.
В связи с риском конфиденциальности стоит отметить особый статус сервисов хранения и обработки данных, которые предоставляются сторонними компаниями («облака сторонних лиц»). Указанный риск здесь выше и непосредственно неподконтролен. Остается доверять порядочности таких поставщиков услуг и включать в контракты условия о компенсации разглашения данных третьим лицам.
Никогда ещё условия для киберпреступников не были так хороши как теперь, когда так много информации, обсуждений, взаимодействий и транзакций происходит онлайн. Компаниям стоит больше волноваться о единичных случаях утечки данных или о хакерских атаках, истории о которых пишут газеты; утечки, затрагивающие big data, могут иметь далеко идущие последствия, которые могут существенно испортить репутацию, иметь юридические последствия и даже привести к краху.
– Steve Durbin, «Большие возможности – большие риски»
2. Риск потери данных
Существенным риском для больших данных является их утрата (частичная или полная). Причины могут быть различны: от активности злоумышленников, до чрезвычайной ситуации. Единственный способ защитится – это резервирование данных. Очевидно однократное резервирование. Если оценка риска велика и сильно влияет на бизнес, то рекомендованы двукратное и трехкратное резервирование.
Одним из способов снижения рисков потери данных из-за ошибочных действий специалистов и пользователей – это предоставление рабочих копий данных (реплики полные или по запросам).
Представьте, как жалко будет потерять результаты даже месячной работы! А шестимесячной? А годовой? Не можете найти историю переписки, где ваш сотрудник обсуждал финансовые условия сотрудничества с ключевым клиентом? Нежелательное событие может наступить в результате технических сбоев оборудования, случайных или целенаправленных недобросовестных действий сотрудников.
– Евгений Севастьянов, «Безопасность бизнеса: Разбор рисков «Потери важных данных» и частично «Вредительства недовольных сотрудников»
3. Риск переполнения хранилища
Неоптимальная система сбора и хранения больших данных в конечном итоге приведет к переполнению хранилища и утрате вновь получаемых данных при отсутствии места для физического их размещения. Особенность такой утраты данных – это потеря более актуальных «свежих» данных? поступающих после полного заполнения свободных объемов хранилища. Помогает тщательное планирование получения данных, умение оценивать их объемы и формировать хранилища, которые имеют адекватные емкости носителей для хранения.
Развитие новых подходов к обработке и хранению больших объемов данных действительно изменяет требования и идеологию аппаратной части – на первый план выходят стандартизация и универсальность. В проектах Big Data речь идет о нескольких десятках серверов или стоек.» (CNews, «Big Data в России: оцениваем возможности и риски.
– Источник
4. Риск снижения эффективности больших данных
Данных много, а пользы нет? Только проверенные компании, которые специализируются на Big Data Четкость структуры собираемых и обрабатываемых данных, их управляемость и качество направлены на то, чтобы исключить снижение результативности работы с большими данными по мере разрастания их объемов. Помещение данных в хранилище должно быть управляемым и контролируемым. Даже если переполнение хранилищу не грозит, то сохранять в нем «всякие» данные – не самый удачный вариант. Попробуйте разберитесь в них потом! Очевидно, что приходится затрачивать много времени и вычислительных ресурсов в хранилище с плохой структурой данных, с низким уровнем индексирования и классификации данных, с неясными типами и минимальными метаданными для поиска информации.
Для устранения риска снижения эффективности больших данных четко формулируются принципы упаковывания данных в хранилище и их структурирования. Сомнительные данные рекомендуется размещать обособлено.
Однако инфраструктура у большинства заказчиков еще недостаточно развита, культура хранения информации у нас отсутствует, данные часто хранятся разрозненно, часто дублируются, нет классификаторов.
– Денис Андриков, ИКС-Медиа, «Big Data в поиске себя»
5. Риск формирования неэффективного набора данных
Совокупность больших данных решает вполне конкретные цели и задачи, стоящие перед бизнесом. Бесконтрольный сбор (получение) и хранение данных могут привести к тому, что данные будут большими, четкими, удобными, но бесполезными по содержанию. Они могут быть неполными и не представлять полноценно фактическую сторону дела. На базе таких данных аналитики и менеджеры не смогут принять сколь-либо значимое решение.
Данные, а тем более большие, контролируются не только по форме, но и по содержанию, чтобы минимизировать риск формирования информационного набора неэффективного в целом или для решения отдельных поставленных задач. Допустимо рассматривать этот риск как несоответствие больших данных и бизнес-модели.
Можно собрать петабайты и зетабайты неструктурированных данных, но так и не суметь найти в этом «мусоре» полезные для решения конкретных задач сведения.
– Дмитрий Тузов, «Что могут дать предприятию большие данные?» – PCWeek
6. Риск ошибок больших данных
Несколько примитивнейших ошибок (или даже одна) могут легко испортить долгую кропотливую работу. Большие данные – не исключение. А учитывая, что объемы больших данных способны достигать огромных размеров – ошибки весьма вероятны (как в содержании и структуре данных, так и в инструментах работы с ними).
Для снижения риска ошибок больших данных необходимо:
- Проводить периодические ревизии данных (автоматизированные и выборочные);
- Контролировать ключевые параметры данных;
- Вести журнал выявленных ошибок и их устранения;
- Разрабатывать инструменты и алгоритмы устранения или нивелирования ошибок и некорректных состояний данных;
- Оценивать результативность инструментов;
- Проводить независимую оценку и экспертизу;
- Применять специальные средства тестирования данных и инструментов, которые разрабатываются самостоятельно;
- Использовать инструменты последовательно, подконтрольно и пошагово с постоянным контролем обрабатываемых данных в целом или по выборкам.
Вместе с тем статистика совершенно не раскрывала сложных реалий конфликта. Цифры зачастую оказывались неточными и бесполезными для оценки реального положения. Информация, конечно, способна улучшить жизнь, но при анализе статистических данных следует больше полагаться на здравый смысл.
– Кеннет Нил Кукьер, Виктор Майер-Шёнбергер, «Большие данные»
7. Риск ошибок бизнес-модели
В отличии от риска ошибок больших данных, этот риск гораздо более серьезен и менее очевиден. Действительно: утверждать об ошибке, допущенной в проектировании или понимании бизнес-модели, может только квалифицированный и опытный менеджер, знающий и понимающий бизнес. К тому же, ошибка это или особенность бизнес-модели? В какой-то степени для ответа на такой вопрос и используются большие данные.
Бизнес-модели особенно важны для новых концепций бизнеса — новых товаров или услуг, или фундаментально других подходов к разработке или доставке существующих товаров и услуг. Главный вопрос, который встает перед каждым потенциальным предпринимателем, звучит так: «Действительно ли это нераскрытая возможность или просто плохая идея, которую другие уже забраковали?».
– Роберт Грант, «Современный стратегический анализ»
8. Риск экономической нецелесообразности
Не исключено, что аналитики не найдут ответы на проблемные вопросы бизнеса, обработав доступный им объем больших данных. Замена аналитиков, реформирование модели потоков больших данных, реструктуризация данных исправят как-то ситуацию в будущем. Однако затраты на проект произведены, а результат отсутствует.
Полностью избавиться от риска экономической нецелесообразности больших данных нельзя. Но минимизировать – реально.
Вот что нужно для этого использовать:
- Корректную постановку целей и задач проекта;
- Стратегическое планирование проекта и его окружения;
- Стратегию интегрирования больших данных в бизнес-модель;
- Формирование профессиональной команды проекта;
- Полноценное обеспечение проекта ресурсами;
- Эффективное управление проектом;
- Контроль за ходом проекта.
Самым серьезным препятствием к применению аналитики «больших данных» является пробел в знаниях о возможностях, которые дают эти технологии. Большинство людей просто не понимают, насколько инновационные вещи можно делать с большими объемами данных и аналитикой. Им нужно наглядно объяснять, что эти технологии способны полностью изменить весь их бизнес, вывести компанию на новый уровень развития, предоставив ей конкурентные преимущества.
– Александр Василенко, ИКС-медиа, «Big Data в поиске себя»
9. Риск внешнего консультанта
Большие данные – это сложный ресурс для бизнеса. Весьма вероятным является привлечение внешнего консультанта. Но это обуславливает и соответствующий риск.
Внешней консультант помогает бизнесу, но остается вне поля его прямого воздействия. Хорошо прописанный контракт не спасает от разногласий и потери взаимного понимания. Полная передача на аутсорсинг работы с большими данными сторонней организации или заказ системы управления большими данными «под ключ» – это не очень разумный способ истратить денежные средства. Если бизнесу требуются большие данные, он обязан сам управлять ими. Конечно же, для среднего и малого бизнеса лучше искать разумный компромисс между внешним консультированием и собственными силами.
Бизнес всегда понимает и будет понимать о себе больше, чем любой внешний консультант. У консультанта есть и другая неприятная «особенность» – он в любой момент готов уйти и забрать с собой бесценные знания и опыт.
Одна из проблем при выборе консультанта обусловлена тем, что в консалтинговых компаниях продают систему и дают обещания заказчику одни люди, а внедряют ее уже другие. Первые, поднаторевшие в маркетинге и общении с покупателями, недостаточно разбираются в системе. Специалисты же по внедрению, прошедшие школу реальных проектов, знают, что не все так просто, как на словах.
– Василий Кашкин, Юлиана Петрова, «Факторы риска при внедрении учетно-управленческих систем класса ERP»
10. Риск неготовности к переменам
Может так оказаться, что большие данные и аналитика будут противоречить внутренней культуре компании и сложившемуся стилю руководства. Отсутствие в таком случае готовности к переменам сделает большие данные бесполезными. Придется от них отказаться, чтобы не тратить лишние средства, или оставить в суррогатном виде для создания видимости «информационно-инновационного современного развивающегося бизнеса».
Перед запуском проекта больших данных оцените готовность бизнеса к переменам, чтобы исключить или минимизировать риск их культурной несовместимости.
О схожих проблемах применимости Big Data в проектах рассуждал и его коллега из «Росэнергобанка», отмечая непреложную истину, что для Big Data проектов нужно созреть: ИТ-департаменты банков должны понимать четко не только саму проблему, но и устранять ее причину и следствие. В итоге вполне вероятна ситуация, когда Big Data становятся ненужными или избыточными элементами в ИТ-стратегии, что элиминирует сам экономический эффект.
– CNews, «Big Data в России: оцениваем возможности и риски»
11. Риск мошенничества
Когда приходится работать с внешними консультантами или создавать команды проекта больших данных, существует вероятность столкнуться с банальным мошенничеством.
Особенно велик риск мошенничества при покупке больших данных «оптом и в розницу» или при подключении платных сервисов сбора и обработки больших данных. Проверить достоверность внешней информации или эффективность алгоритмов ее обработки крайне сложно. Необходимо быть высоко квалифицированным и опытным специалистом, чтобы выявить подделанные или скомпрометированные данные. В самом деле, ну как для терабайтного массива цифровых данных провести полноценную экспертизу? Да и сколько она будет стоить…
У мошенников много вариантов для формирования данных. Данные можно специальным образом сгенерировать или имитировать, скрывая это за красивым фасадом «сверхчувствительного» алгоритма и «сверхумного» регистратора.
Качественные данные стоят недешево, и тут высок риск мошенничества, поэтому и подходить к их покупке следует осторожно.
Финансовая индустрия теряет на мошеннических транзакциях около $80 млрд в год, а суммарный ущерб, который мошенники наносят мировой экономике, аналитики оценивают в сотни миллиардов и даже триллионы долларов.
– Кирилл Тихонов, «Большие данные» против мошенников»
Big Data: опасности и перспективы Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»
Аннотация научной статьи по СМИ (медиа) и массовым коммуникациям, автор научной работы — Закусилова А.Ю.,
В статье рассматривается понятие BIG DATA ( Большие Данные ) и его основные характерные черты. Рассмотрены сферы применения Больших Данных и некоторые проблемы, связанные с применением технологий на их основе. Описаны возможности проникновения данного инструмента в различные сферы жизни.
Похожие темы научных работ по СМИ (медиа) и массовым коммуникациям , автор научной работы — Закусилова А.Ю.,
Big Data: dangers and prospects
The article discusses the concept of BIG DATA (Big Data) and its main characteristics. The spheres of application of Big Data and some problems connected with application of technologies on their basis are considered. The possibilities of penetration of this tool in various spheres of life are described.
Текст научной работы на тему «Big Data: опасности и перспективы»
Big Data: опасности и перспективы Big Data: dangers and prospects
Институт управления и регионального развития РАНХиГС при Президенте РФ Научный руководитель Авдеева Т.В., доцент, Институт управления и регионального развития РАНХиГС при Президенте РФ
Аннотация. В статье рассматривается понятие BIG DATA (Большие Данные) и его основные характерные черты. Рассмотрены сферы применения Больших Данных и некоторые проблемы, связанные с применением технологий на их основе. Описаны возможности проникновения данного инструмента в различные сферы жизни. Summary. The article discusses the concept of BIG DATA (Big Data) and its main characteristics. The spheres of application of Big Data and some problems connected with application of technologies on their basis are considered. The possibilities of penetration of this tool in various spheres of life are described.
Ключевые слова: Большие Данные, цифровизация экономики, инновации, информационные технологии.
Keywords: BIG DATA, digitalization of the economy, innovations, information technologies.
На протяжении всей истории, известно три наиболее ярких этапа динамичного развития человечества: аграрный, индустриальный и постиндустриальный. Последний этап характеризуется становлением нового ценного ресурса — информацией, а также активным развитием информационных технологий. Начиная со второй половины 20 века IT -технологии стали прогрессировать с невероятной скоростью, что мы можем наблюдать и сегодня. Цифровизация экономики — так называется процесс современных хозяйственных отношений, осуществляемые с помощью цифровых телекоммуникаций.
Рынок информационных технологий является одним из наиболее динамично развивающихся. Совокупный объем рынка IT-технологий на сегодняшний день составляет более 3,7 млрд. долл., а в 2019 году планируется его рост на 3,2%. Компании внедряют инновационные продукты во все процессы и этапы производства, начиная от рождения идеи до создания и сбыта конечного продукта.
Для развития рынка цифровых технологий, как и любому другому процессу, характерны некоторые особые признаки. Ими становятся различные инструменты и технологии, которые помогают ускорить процессы экономических взаимоотношений. К таким инструментам относятся: искусственный интеллект, блокчейн, нейронные сети, виртуальная реальность, облачные системы, машинное обучение и многое другое. Одним из ключевых направлений развития информационных технологий являются так называемые Большие Данные (BIG DATA). Это инструменты и методы сбора, обработки, хранения информации и применения полученных результатов в дальнейших бизнес-процессах. Иными словами, BIG DATA (далее — BD) — управление и обработка структурированными и неструктурированными данными. Впервые термин «Большие данные» использовал Клиффорд Линч в 2008 году в своей статье, в которой размышлял об увеличивающемся объеме обрабатываемых данных и возможностях их применения. Постепенно ведущие компании мира стали внедрять новые информационные технологии на основе обработки данных.
Источниками BD являются различные корпоративные базы данных, социальные медиа, интернет вещей, а также поток информации с иных устройств.
Большим Данным присущи несколько так называемых V-признаков:
— Volume (объем) — база данных является большим массивом информации, требующий больших затрат для её обработки и хранения;
— Velocity (скорость) — скорость обработки и передвижения данных;
— Variety (разнообразие) — объем структурированных и неструктурированных данных: к первому типу относят классифицируемую информацию; неструктурированная информация занимает примерно 80% от всей поступающей информации и требует переработки (анализа) для будущего использования;
— Veracity (достоверность) — точность и правдоподобность данных;
— Value (ценность) — полезность данных для дальнейшего их применения;
Большие данные применяются в различных сферах. Наиболее популярные направления
— вычислительное оборудование, профессиональные услуги или клиентский сервис, системное ПО и приложения с аналитикой. То есть, сферы розничной торговли и услуг проявляют наибольший интерес во внедрении данных технологий. С появлением понятия BD и соответствующих инструментов компаниям стали необходимы и кадры, способные работать с анализом, обработкой и управлением данных. Так, внедряются такие должности, как Data scientist, Data engineer и даже директор по управлению данными (Chief Data Oficer). Предполагается, что рынок обработки больших
данных к 2020 году будет расти на 11,9%. Как следствие, будет расти и спрос на специалистов в этой области.
В последнее время появляется множество исследований BIG DATA, рассматривающие не только перспективы использования этих технологий, но также связанные с ними проблемы и опасности. С одной стороны, Большие Данные помогают как пользователям в выборе подходящих товаров или услуг, так и компаниям оптимизировать издержки и другие бизнес-процессы. Но с другой стороны, возникают следующие опасения: как, где, в каком количестве и какие именно данные могут обрабатываться, использоваться и храниться; кто может иметь доступ к этим данным. Как правило, анализируемые данные содержат персональную, коммерческую или иную ценную для её владельцев информацию. В какие руки могут попасть эти данные отнюдь неизвестно. Это можно сравнить с «рецептом» для создания атомной бомбы — если он попадет к негативно настроенным людям, то беды не миновать.
Ярким примером негативной стороны применения анализируемой информации может послужить скандал с сервисом такси Uber, который, без ведома клиентов, отслеживал их поездки, перемещения самих работников и членов их семей, и даже знаменитостей. К сожалению, доказать, что такой случай имел место быть невозможно, а, следовательно, любой сбор информации, законный или незаконный, не может быть законодательно урегулирован в должном виде.
Кроме того, в 2016 году в швейцарском журнале «Das Magazin» было опубликовано расследование о том, как, казалось бы, безобидная персонализированная реклама в Facebook повлияла на выборы в США и Великобритании. Утечка механизма психологического анализа людей в соцсетях привела к тому, что автор этой методики -Михал Козински — сам того не желая ввязался в политические игры. Технология заключалась в том, что путём анализа лайков в сети с большой долей вероятности можно сделать вывод об основных характеристиках человека: цвет кожи, сексуальная ориентация, жизненная позиция и даже приверженность к той или иной политической партии. Последнее и было интересно для Cambridge Analytica — организации, занимавшейся интернет-кампанией в поддержку Brexit и Дональда Трампа. «Это не я соорудил бомбу, я лишь показал, что они существуют» — так отозвался ученый о произошедшем случае.
Достаточно активно началось внедрение технологий BD и в государственную, политическую, экономическую и социальную сферы жизни стран. Россия не является исключением: в 2017 году утверждена программа «Цифровая экономика Российской Федерации» до 2024 года, предусматривающая создание экосистемы цифровой экономики
России и внедрение соответствующих инструментов в институты и инфраструктуру предприятий, отраслей.
Несомненно, те цифровые удобства, которые мы имеем на данный момент лишь упрощают нам жизнь и сокращают время на удовлетворение той или иной потребности. Однако, к сожалению, цифровизация направлена не только на улучшение качества жизни населения. С применением технологий BIG DATA в корне меняется вся жизнь людей: персональные данные о человеке в скором времени будут собираться в открытом виде и скрывать что-либо станет всё сложнее. Речь идёт не только о человеке в качестве клиента для компаний, но и как объекта для государственных служб, организаций. Так, Сбербанк получил право выдавать паспорта и водительские права населению. Таким образом, вся информация о человеке — пол, семейное положение, штрафы за превышение скорости, кредиторская надежность и др. — будет находиться в свободном доступе банка.
Как предвещают многие эксперты, это не может только положительно сказаться на жизни человека. За внедрением цифровых технологий в социальную сферу неминуемо последует и увеличение количества хакерских атак и утечек личной информации.
С появлением технологий BD появились новые возможности как у пользователей сети интернет, так и у компаний, использующих инструменты для продвижения товаров или услуг. Большие Данные — это, несомненно, прекрасный инструмент для развития многих сфер жизни. Цифровые технологии, будь то BIG DATA, искусственный интеллект или иные новейшие информационные инструменты, способны как принести пользу, так и нанести вред. Вопрос лишь в том, как и кто будет распоряжаться этими разработками. Цифровые технологии должны открывать пути для упрощения и повышения качества жизни, но не использоваться в качестве инструмента контроля за человеческими жизнями.
Список использованной литературы
1. В. Агапов, С. Яковлев, В. Пратусевич «Обзор и оценка перспектив развития мирового и российского рынков информационных технологий» // IDC Россия, Москва, 2015
2. Е.В.Булгакова, В.Г. Булгаков, В.С. Акимов «Использование «больших данных» в системе государственного управления: условия, возможности, перспективы» // Общетеоретические и исторические проблемы юридической науки и практики, Москва, 2015
3. Программа «Цифровая экономика Россия 2024» // https://data-economy.ru/organization
4. Распоряжение Правительства РФ об утверждении программы «Цифровая экономика Российской Федерации» от 28.07.2017 №1632-р // http://static.govemment.ru/media/files/9gFM4FHj4PsB79I5v7yLVuPgu4bvR7M0.pdf
5. С. Маликова «Big Data: тенденции развития, опасности и перспективы» // Экономика и жизнь, №17-18(9733) 2018,
6. Hannes Grassegger, Mikael Krogerus «Ich habe nur gezeigt, dass es die Bombe gibt» // Das Magazin, 2016
Где применяются технологии Big Data уже сегодня?
Ежедневно в мире создаётся 2,5 квинтиллиона байтов новых данных — это десять миллионов Blu-Ray-дисков общим весом в четыре Эйфелевы башни.
С ростом количества гаджетов, развитием пропускной возможности сотовых и проводных сетей и появлением всё новых информационных технологий, объём экономики данных растёт по экспоненте. А вместе с ней — и возможности, которые работа с большими данными открывает. Работа с биг датой меняет на глазах абсолютно каждую сферу человеческой активности — от развлечений до здравоохранения, от безопасности до продуктов питания.
Сейчас, когда значительная часть человечества в той или иной форме на карантине, самоизоляции, а то и в ситуации экономической неопределённости, самое время взглянуть на то, какую роль большие данные уже играют в нашей жизни, а главное — какую роль они будут играть в ближайшем будущем.
Контент и развлечения
Большие данные определяют не только какой фильм или сериал вам предложить посмотреть следующим, но и какие фильмы для вас снимать. Голливуд уже вплотную приблизился к применению биг даты при написании сценариев и кастинге актёров, но пока находится только в начале пути.
«Только представьте, что будет, когда Голливуд по-настоящему начнёт пользоваться большими данными», — говорит Ричард Мараши, руководитель аналитики в IBM. Традиционная кино-индустрия, по словам Мараши, пользуется четверной моделью, деля аудиторию по полу и возрасту — моложе 25 и старше 25. Но это уже меняется. Большие данные позволяют делить аудиторию на небывало точные сегменты — вроде домохозяек из регионов, которым нравятся фильмы по комиксам.
И совершенно необязательно ограничиваться только сегментированием и анализом аудитории. Big Data позволяет работать таким образом и с самим контентом. К примеру, Netflix анализирует и сортирует свою огромную библиотеку контента по более, чем 70 тысячам характеристик.
Совмещение этих подходов — детализированного анализа как аудитории, так и контента, который она потребляет, открывает небывалые возможности по созданию нового контента. Это данные, которые производители фильмов, сериалов и игр по всему миру могут использовать при создании новых миров, написании новых сценариев и кастинге актёров.
Консультанты по сценариям, на голливудском сленге известные как Script Doctors, используют не только литературное образование, но и аналитику данных как от кассовых успехов, так и кассовых провалов, взвешивая инвестиционные риски отправляемых им студиями новых сценариев.
Вслед за кино и телеиндустрией большие данные меняют и мир музыки. Облачные сервисы, от эппловского iTunes до YouTube Music оперируют огромными массивами данных о пользовательских предпочтениях и привычках.
Знаете ли вы, например, что, по данным сервиса SoundCloud, средний возраст, когда люди перестают интересоваться новой музыкой — 33 года?
Впрочем, помимо занятных фактов для самокопания, большие данные открывают новые возможности и для бизнеса, позволяя быстрее находить новые дарования и давать им пропуск в мир больших звёзд.
Большие данные меняют все направления креативной индустрии. Последнее нашумевшее событие в мире подкастов — анонсированный «переезд» подкаста Джо Рогана, Joe Rogan Experience, на платформу Spotify, оценивается в сумму не менее $100 миллионов. При этом сам контент шоу Рогана — как весь архив, так и все новые выпуски, будут полностью бесплатны для пользователей платформы и приложения Spotify.
По мнению многих аналитиков, цель дорогостоящей «покупки» как раз-таки доступ к данным многомиллионой аудитории слушателей шоу: их вкусам, интересам, предпочтениям и привычкам.
Спорт — ещё одно направление в мире развлечений, находящееся на пороге информационной революции. Футбольные команды в Великобритании «оказались замечены» в использовании умных датчиков для замера положения их игроков на поле и их пульса. Но это только начало: многие баскетбольные и бейсбольные команды анализируют данные видеозаписей и датчиков как своих игроков, так и команд-соперников, превращая поле битвы мышц и духа ещё и в поле боя данных.
Moneyball — это только начало
Данными сыт будешь: биг дата в сельском хозяйстве
Сенсоры и датчики, видеонаблюдение и носимые устройства становятся реальностью не только человеческой жизни, но и сельского хозяйства. The Climate Corporation, подразделение агрогиганта Monsanto ведёт работу с агрохолдингами, фермерскими хозяйствами и разработчиками софта для ретейла, объединяя их в единую мощную сеть Climate FieldView, основанную на больших данных. Climate FieldView даёт фермерам детализированную визуализацию процессов сельскохозяйственного производства, объединённую с данными о потребностями рынка продовольствия, которые позволяют им принимать эффективные информированные решения.
Фермерам доступны данные о погоде, состоянии почвы, влажности, созревании плодов, ходе роста и условиях для скота. Эта информация позволяет максимизировать и оптимизировать производство продукции под потребности рынка в реальном времени.
В Великую депрессию 1930-х годов фермерским хозяйствам зачастую приходилось уничтожать собранный хлеб и выливать надоенное молоко. С помощью технологий больших данных XXI веке подобных проблем можно будет избежать и нужды в таких драматичных мерах уже не останется.
Благодаря большим данным, интернету вещей и облачным технологиям более качественные продукты становятся доступны всё большему числу людей.
Торговля и реклама
Онлайн-шоппинг можно считать уже традиционным и предсказуемым способом применения больших данных. Компания Amazon была одним из пионеров использования больших данных в интернет-продажах, сравнивая покупки сделанные их пользователями, сравнивая их с тем, что покупали другие и пытаясь предсказать, что их клиенту может понадобиться или захочется приобрести следом. Сейчас эти технологии применяются практически в любом крупном интернет-магазине.
Онлайн-реклама — другое важное применение больших данных. Возможно, большие данные смогут «убить» рекламу в её привычном понимании. Ведь что люди обычно называют рекламой? Навязчивое информирование о чём-то ненужном. Но при этом у всех людей есть потребности и проблемы, на поиски решения для которых мы тратим огромное количество времени и сил. Реклама, отвечающая точно существующим потребностям пользователя — это уже не реклама, а полезный совет.
Но для того, чтобы дойти до такого уровня полезности (утратив по пути неприятную «рекламность») маркетологам нужно знать своих клиентов лучше, чем они знают сами себя. Бизнесы ищут своих покупателей и пытаются в буквальном смысле угадать их желания, основываясь на посещаемых ими сайтах, истории их покупок и поиска.
Результат этого будет немного парадоксальным: став, благодаря большим данным, интуитивной, реклама перестанет восприниматься как нечто негативное — просто окружающий мир станет восприниматься чуть-чуть добрее к людям, всегда готовый прийти на помощь и предложить именно то, что нужно или понадобится человеку здесь и сейчас или в обозримом будущем.
Геймификация — ещё один важный тренд современного маркетинга. Геймификация включает в повседневные, неигровые действия элементы игрового поведения, позволяя вовлекать людей в, казалось бы, не самые интересные процессы, побуждая их участвовать в них глубже и добиваться большего. Один из самых старых примеров геймификации — программы накопления лётных миль, призванные накапливать и удерживать постоянных клиентов авиакомпаний.
Чтобы делать программы лояльности эффективнее, компаниям нужно больше данных о потребностях и намерениях своих клиентов и их поведении. Зато, как результат, компании учатся предлагать своим клиентам не только то, что им нужно, но и в наиболее дружелюбной и увлекательной форме.
Безопасность
Приходилось ли вам когда-либо при попытке оплатить покупку онлайн картой получать звонок от службы безопасности вашего банка?
Разумеется, это положительный сигнал — ведь это означает, что службы безопасности действительно работают. Однако безопасность, какой бы желанной она ни была, имеет свою цену.
Как показал анализ поведения 20 миллионов держателей карт, в случае двух подобных инцидентов в течение полугода, когда транзакция, совершаемая пользователем, принималась за подозрительную, расходы с «подозрительной» карты в следующие шесть месяцев снижались, в среднем, на 15%, а каждый пятый держатель и вовсе переставал ей пользоваться.
Для бизнесов важно не только бороться со фродом, но и сделать эту борьбу как можно менее заметной для пользователей. Анализ больших данных с помощью машинного обучения позволяет создавать модели «добропорядочного» поведения пользователей, рассказывает Курт Лонг, основатель компании защиты данных FairWarning.
Чем больше данных — тем эффективнее сети ловят хищную рыбёшку, позволяя обычным пользователям наслаждаться безопасной навигацией в океане финансовых транзакций. Благодаря работе с биг датой, современные банки ловят не только мошеннические транзакции, но даже кражи личности до того, как они произойдут.
Впрочем, потребности людей в безопасности онлайном не ограничиваются. Работа с большими данными делает в прямом смысле улицы городов и дома безопаснее. Жители мегаполисов от Лондона до Москвы уже привыкли, что виртуальные полицейские через камеры приглядывают за происходящим буквально буквально на каждом углу.
Разумеется, это порождает много проблем нового времени, включая опасения о защите персональных данных и всевозможных злоупотреблениях. Но нельзя отрицать и того, что просто так напасть на мирного гражданина и скрыться в темноте теперь стало намного сложнее.
Будущее безопасности с использованием больших данных — предсказательный правопорядок. Не так, как в фильме «Особое мнение», конечно — куда масштабнее. И эффективнее.
«Прекрайм — это работает»
«Большой брат» помогает определить наиболее криминогенные районы, время и место повышенной криминальной угрозы — и предпринять все необходимые меры: от банального «полицейского на углу» до инвестиций в социалку и образование неблагополучных регионов.
Здоровье и медицина
В разгар пандемии коронавируса и вызванного экономического кризиса по всему миру эта тема особенно актуальна.
Биг дата уже обеспечила существенные прорывы в здравоохранении: сбор, обмен и изучение накопленных учёными и практикующими врачами данных двигает вперёд исследования, позволяет совершенствовать медицинскую разработку, диагностику, лечение и уход за пациентами. По всему миру, включая Россию, на смену толстым бумажным медицинским картам приходят цифровые облачные. Но сбор и обработка данных уже обратившихся за медицинской помощью — не самое главное изменение, которое работа с большими данными привносит в заботу о здоровье людей.
Лучшее лечение — это профилактика. И здесь работа с большими данными ведётся на двух больших фронтах: индивидуальном и государственном.
На индивидуальном уровне аккумуляция как данных исследователей, так и статистических данных носимых устройств позволяет отслеживать риски заболеваний и рекомендовать необходимые чекапы и физическую активность.
На уровне государства вклад и значение больших данных в здравоохранении ещё больше, позволяя отслеживать риск и угрозы для целых популяций, планируя развитие медицинской инфраструктуры и даже социальной и экономической политик.
Однако в разгар пандемии важность больших данных выросла на порядок.
Победить эпидемию, не дожидаясь, пока переболеет большая часть человечества, можно двумя путями: разработав вакцину или лекарство против коронавируса — или взяв под контроль его распространение.
В обоих случаях огромную роль играет работа с большими объёмами данных.
Разработка вакцины, потенциальный спрос на которую — миллиарды людей — очень масштабная задача, включающая в себя многие раунды клинических испытаний, начиная с небольших групп добровольцев до многих тысяч людей на финальных этапах испытаний. В ситуации пандемии это требует координации усилий лабораторий по всей планете, подразумевая обмен и обработку огромного количества данных.
Ещё важнее роль биг даты в контроле распространения коронавируса. Как показывает уже накопленный опыт, многие случаи вспышек связаны с супер-ивентами, когда массовое заражение началось в определённом месте или во время некого большого события. К примеру, последняя заметная вспышка заболеваний в Южной Корее была вызвана всего одним человеком, который, являясь бессимптомным носителем, за одни выходные тусовок в клубном квартале Сеула заразил сотни человек.
Поэтому многие страны мира, от Германии до Индии уже выпускают приложения, которые позволяют в том или ином виде отслеживать перемещение и социальные контакты пользователей, чтобы в случае обнаружения заболевания у одного из них вовремя предупредить о необходимости самоизоляции других людей.
Фактически, работа с большими данными позволяет сделать карантин умным, минимизируя последствия пандемии как для здоровья людей, так и для экономик.
Сложность, масштабность и длительность разработки вакцины, её вывода на рынок и вакцинирования миллиардов людей по всему миру означает, что угроза коронавируса не минует быстро. По прогнозам учёных, до массового вакцинирования ещё не меньше года. Но посадить экономику всего мира на самоизоляцию на год с лишним не получится. Умный карантин с контролем распространения вируса через работу с большими данными — главное, что поможет человечеству пережить время, оставшееся до появления эффективного средства борьбы уже с самим коронавирусом.
Физическое воплощение больших данных
Большие данные — это, в первую очередь, математика, но работа с ними не обязательно должна ограничиваться только абстрактным мышлением. Другие способы восприятия тоже могут помочь. Большие данные уже тесно связаны с другими мощными новинками: облачными технологиями, интернетом вещей, робототехникой, набирающими силу AR и VR-технологиями.
И визуализация больших данных — отдельное интересное направление работы с ними. На помощь здесь приходит технология 3D-печати. Вот, например, как выглядит визуализация клавиш по частоте использования:
Это, конечно, пока, в прямом смысле, игрушки. Но, как и у многих других технологий этого обзора, у них большое будущее.