Недоверие к «большим данным» усилилось после того, как Эдвард Сноуден, бывший сотрудник АНБ США, раскрыл секретную информацию о массовой слежке государственных органов США за телефонными разговорами и электронной перепиской граждан.

Какая именно информация собирается и кем? Никто точно не знает.

От сообщений в Facebook и Twitter до операций по кредитным картам и поездок в транспорте – почти любые наши действия создают точки сбора данных, которые государственные органы и другие организации потенциально могут использовать по своему усмотрению.

«Большие данные» – термин, обозначающий такие наборы данных, которые не могут быть проанализированы обычными системами и программами обработки баз данных. Чаще всего люди, чьи данные входят в эти массивы, не имеют представления о том, что происходит с этой информацией.

Звучит зловеще, но это факт. Стивен Грей, преподаватель аналитики больших данных Центра передового пространственного анализа при Университетском колледже Лондона, считает, что сбор больших данных – современная реальность, и этот процесс со временем будет только набирать обороты.

«Чем больше технологий проникает в наш дом, и чем больше мы от них зависим в повседневной жизни, тем больше мы генерируем данных, которые кто-то может собрать и использовать», – объясняет Стивен Грей.

Термин «большие данные» вошёл в обиход только в последние пять лет из-за резкого роста объёмов генерируемой информации в результате распространения смартфонов. По данным компании PricewaterhouseCoopers (PwC), ежедневно создаётся 2,5 нониллиона байт данных. При этом 90 % общего объёма данных в мире созданы за последние два года.

Но понятие больших данных и проблема их обработки вовсе не новы. Они существуют с момента начала использования супер-ЭВМ в 50-х гг. ХХ века. Отличие лишь в том, что технологии развиваются, и теперь существует возможность собирать намного большие объёмы данных.

Инструментарий анализа больших данных из автоматизированных программ, специального ПО и алгоритмов, доступный государственным органам и коммерческим организациям, постоянно растёт. Они могут использовать его для сканирования, извлечения и анализа неисчерпаемых запасов доступной информации из Интернета, их собственных баз данных и, с разрешения операторов, сотовых данных. Рыночная стоимость этих данных уже перевалила за 10 млрд долларов США, и, по прогнозам PwC, она должна превысить 53 млрд долларов (42,5 млрд евро) к 2017 г.

По мнению Джона Стадли, руководителя отдела аналитики данных PwC в Австралии, для бизнеса большие данные стали таким же важным компонентом работы, как опыт и интуиция при принятии решений.

«Новое ПО позволяет извлечь необходимую информацию из существующих массивов данных, а затем выполнять её фрагментацию и сортировку для анализа и прогнозирования, – говорит он. – Такое ПО обходится относительно дёшево по сравнению с прибылью, которую оно позволяет получать. Около трети компаний из тех, которые мы исследовали, при принятии решений использовали большие данные гораздо интенсивнее, чем раньше, и это утроило эффект от их применения».

Наборы данных, например, по операциям продаж вместе с данными клиентов, позволяют компаниям проанализировать покупательские тенденции и использовать результаты анализа в рекламе и маркетинге.

Показательный пример такой практики – американская компания Amazon, использующая систему рекомендаций для клиентов, основанных на данных об их предыдущих покупках.

Однако, несмотря на рост использования больших данных, многие руководители всё ещё больше полагаются на чутьё – и дорого платят за это. PwC оценивает потерю экономической выгоды коммерческих организаций Австралии от недостаточного использования больших данных в 2013 г. на уровне 48 млрд австралийских долларов (33,5 млрд евро).

Приложения для анализа больших данных используются не только в бизнесе. Большие данные используют правоохранительные органы для отслеживания потенциальных преступ­лений, оптимизации систем общественного транспорта и даже для выявления вспышек инфекционных заболеваний.

А могут ли люди получить какую-то выгоду в обмен на свою информацию?

Стивен Грей отвечает утвердительно. В качестве примера он приводит сервис поиска Google Now, который позволяет людям получить пользу от раскрытия личных данных.

Например, Google Now может считать информацию из личного календаря и о вашем местоположении, связать эти данные с информацией о ситуации на дорогах и порекомендовать, в какое время нужно выезжать из дома на деловую встречу.

«Если от этого есть конкретная выгода, пользователи часто не против поделиться личными данными», – рассказывает Стивен Грей.

Но после того, как Сноуден рассказал о программе слежения правительства США, у людей стали появляться всё более серьёзные опасения в отношении количества собираемых данных и способов их использования.

Исследование Global Research Business Network показало, что почти треть граждан Великобритании и США не доверяют государству в использовании своих личных данных. Около 40 % «очень обеспокоены» тем, как используются эти данные.

Грей признаёт, что существует опасность неправомерного использования собранных данных, однако он утверждает, что большинство опасений надуманы.

«У людей возникает представление о каком-то человеке, у которого в компьютере собраны все данные, и который может следить за вашей личной жизнью, – говорит Грей. – Фактически же автоматизированные системы собирают эти данные и комбинируют их так, чтобы пользователь мог получить от этого выгоду. Важно только, чтобы компании открыто сообщали о том, как они используют личные данные людей».

Эмма Карр, директор британской организации Big Brother Watch, соглашается с такой постановкой вопроса, однако добавляет, что регулирование сферы сбора больших данных – «исключительно сложная задача».

При отсутствии более жёсткого регулирования потребителям придётся самим прилагать усилия для защиты личной информации.

«Я думаю, что со временем придёт осознание огромной ценности информации в XXI веке, и люди увидят, как легко они расстаются с этим дорогим товаром, – говорит Эмма Карр. – Им придётся научиться гораздо лучше разбираться в этих вопросах и защищать и себя, и свою информацию».