В этой статье я объясню концепции озер данных в манере рассказывания историй. Сама по себе история — вымысел, но она представляет концепцию озер данных.
Когда-то менеджер попросил аналитика данных предоставить анализ и ценную информацию по конкретной интересующей области, аналитик данных сказал: «Пожалуйста, сначала предоставьте мне данные». Менеджер сказал ему: «Не волнуйтесь, мы живем в эпоху больших данных, доступно огромное количество данных». Аналитик данных спросил: «Где я могу найти эти данные?» менеджер ответил: «У нас есть много разных источников данных и набор систем управления данными с разнородными схемами, языками запросов и API».
Аналитик спросил «эти источники информации связаны/хранятся в одном месте?» менеджер ответил: «нет, данные разделены без или только со слабыми взаимосвязями, и, к сожалению, они похожи на информационные бункеры». Аналитик данных был разочарован и сказал: «Я могу дать ценную информацию только о сочетании и интеграции доступных данных». Хотя менеджер тоже был расстроен, он услышал голос из соседнего офиса, и это был голос Джеймса Диксона, он сказал: «У меня есть решение, я придумал идею создания большого репозиторий данных, в котором хранятся необработанные данные из разных источников с разным содержимым и форматами, и я назвал свою идею озером данных. Он продолжил: «Ваш аналитик данных может запросить и изучить данные и предоставить компании ценную информацию».
Менеджер спросил команду разработчиков больших данных: «Будет ли создание озера данных дорогостоящим/медленным процессом?». Команда ответила: «На самом деле мы могли бы загрузить данные в озеро в их исходном формате, не прибегая к дорогостоящим задачам преобразования или интеграции». JSON, электронные таблицы, XML или реляционный формат?». Команда ответила «точно». Члены разных команд начали задавать вопросы: «Какие данные могут обрабатывать озера данных?», «Нужно ли нам выполнять преобразования данных перед их добавлением в озеро?», «Нужно ли нам предоставлять схему при приеме данные в озеро?» кто-то ответил: «Озера данных созданы для обработки больших объемов данных (большие данные) и быстро поступающих объемов данных (быстрые данные), и нет, вам не нужно выполнять преобразования, вы можете хранить их в исходном формате, и вам не нужно определять схему при загрузке данных в озеро, поэтому вы можете сказать, что многие первоначальные затраты устранены, структура данных может быть определена на этапе время его использования, и это называется схема при чтении, а также называется поздним связыванием». Кто-то крикнул из конца зала"потрясающе, это полная гибкость".
Через некоторое время, когда все были счастливы и положительно отзывались об озерах данных, в компании стали слышны перешептывания других членов команды, которые высказывали свое мнение против идей, вокруг которых были построены озера данных, некоторые члены команды говорили следующее: «Данные без схемы бесполезны», «Я хочу иметь возможность применять модели машинного обучения к данным в озере, а пакеты статистики или машинного обучения ожидают, что данные будут в определенных форматах», «Анализ данных, которые не находятся в определенного формата, может потребоваться дополнительное время и усилия, связанные с преобразованием его в соответствующий формат, поэтому мы не экономим время здесь», — говорили другие, — «Я чувствую, что будет много потенциальных рисков и проблем, связанных с дублированием данных, избыточностью данных, и противоречивые данные, поскольку данные поступают из нескольких разрозненных источников данных (нет качества данных)». У некоторых членов команды были другие проблемы, и они говорили, что «без каких-либо метаданных, связанных с данными в озере, это в конечном итоге будет больше похоже на болото данных, чем на озеро». Они также спросили: «Есть ли способ отслеживать происхождение результатов других аналитиков или пользователей, которые ранее нашли ценность в использовании тех же данных в озере?». «Управляется ли безопасность и контроль доступа?», «Как обрабатываются конфиденциальные данные?»… и т. д.
Вскоре эти участники начали искать ответы на свои сомнения и вопросы и обнаружили, что исследователи работают над созданием управляемых или курируемых озер данных, которые пытаются решить основные проблемы, связанные с озерами данных. Значительное количество исследований, связанных с озерами данных, сосредоточено на том, как повысить качество озер данных, управлять метаданными, обнаруживать конфиденциальную информацию, обеспечивать безопасность и т. д.
В следующем посте я попытаюсь обобщить некоторые результаты исследований о том, как решить проблемы, связанные с озерами данных.
