Открытая платформа Databricks поможет превратить болота данных в озера

Поиск

E-mail

www.samag.ru

Web

0 товаров , сумма 0 руб.

	Журнал "Системный администратор"
	Журнал «БИТ»
	Подписка
	Архив номеров
	Где купить
	Наука и технологии
	Авторам
	Рекламодателям
	Контакты

Опросы

Статьи

ИТ-инфраструктура

Системы мониторинга ИТ-инфраструктуры-2025

Без мониторинга ИТ-инфраструктуры не обходится ни одна компания, хотя бы потому, что

Открытое ПО

Безопасность Open Source: рискуем или контролируем?

Компания «Кросс технолоджис» изучила, как используется ПО с открытым кодом в компаниях

Работа с нейросетью

Скажи, есть ли у тебя AI, и я скажу, кто ты

Недавно сервис по поиску работы SuperJob выяснил, что каждый второй россиянин уже

Работа с Debian

О Linux с любовью или Debian: через знание к любви

Конечно, одним лишь перечислением замечательных качеств любовь к Linux не возникнет. Для

Опрос

Защита личных и клиентских данных: как мошенники используют ИИ и как защититься?

По данным RED Security, общее число кибератак на российские компании в 2024

Опрос

Облачные инструменты для разработчиков

Эксперты ИТ-отрасли отвечают на вопросы «Системного администратора» > Как с помощью облака сделать

Опрос

Рынок мобильных приложений: что будет актуальным в 2025 году?

Эксперты ИТ-отрасли отвечают на вопросы «Системного администратора» > Ваши прогнозы: чего ожидать от

Рынок труда

Как успешно пройти все этапы собеседования на ИТ-должность?

По оценкам государства, дефицит ИТ-специалистов составляет от 740 тысяч до 1 миллиона

Спецпроект «Базальт СПО». Развитие Open Source в России

Алексей Смирнов: «Сейчас трудно найти программный продукт, в котором нет свободного кода»

Какое будущее ждет свободное ПО? Влияет ли свободная или несвободная разработка на

Спецпроект «Базальт СПО». Развитие Open Source в России

Николай Костригин: «Мы создали Hantis, конвейер автоматизации. Проекты, исследуемые разными инструментами, переходят от одного исполнителя к другому, развиваются, возвращаются к автору, и так по кругу»

О том, как идет работа по повышению безопасности отечественного программного обеспечения, рассказывает

1001 и 1 книга

19.03.2018г.

Комментарии: 0

Машинное обучение с использованием библиотеки Н2О

12.03.2018г.

Комментарии: 0

Особенности киберпреступлений в России: инструменты нападения и защита информации

12.03.2018г.

Комментарии: 0

Глубокое обучение с точки зрения практика

12.03.2018г.

Комментарии: 0

Изучаем pandas

12.03.2018г.

Комментарии: 0

Программирование на языке Rust (Цветное издание)

19.12.2017г.

Комментарии: 0

Глубокое обучение

19.12.2017г.

Комментарии: 0

Анализ социальных медиа на Python

19.12.2017г.

Комментарии: 0

Основы блокчейна

19.12.2017г.

Комментарии: 0

Java 9. Полный обзор нововведений

16.02.2017г.

Комментарии: 0

Опоздавших не бывает, или книга о стеке

17.05.2016г.

Комментарии: 0

Теория вычислений для программистов

30.03.2015г.

Комментарии: 0

От математики к обобщенному программированию

18.02.2014г.

Комментарии: 0

Рецензия на книгу «Читаем Тьюринга»

13.02.2014г.

Комментарии: 0

Читайте, размышляйте, действуйте

12.02.2014г.

Комментарии: 0

Рисуем наши мысли

10.02.2014г.

Комментарии: 4

Страна в цифрах

18.12.2013г.

Комментарии: 0

Большие данные меняют нашу жизнь

18.12.2013г.

Комментарии: 0

Компьютерные технологии – корень зла для точки роста

04.12.2013г.

Комментарии: 0

Паутина в облаках

03.12.2013г.

Комментарии: 1

Рецензия на книгу «MongoDB в действии»

Друзья сайта

Открытая платформа Databricks поможет превратить болота данных в озера

Для обеспечения надежности данных предприятиям требуется качественная транзакционная поддержка, и это особенно характерно для больших объемов данных. Ее отсутствие — одна из болевых точек, которая мешает предприятиям получить максимальную отдачу от своих озер данных (data lake). Как сообщает портал ZDNet, эту проблему взялась решить компания Databricks, основанная разработчиками платформы для обработки неструктурированных данных Apache Spark.

В теории озеро данных выглядит как панацея от всех бед. Фактически оно представляет из себя единый репозиторий, который аккумулирует поступающие из множества источников данные, пригодные для дальнейшей обработки. Однако на практике все выглядит не так гладко: большинство предприятий накапливают данные бессистемно, превращая озера данных в болота. Databricks открыла код платформы Delta Lake с целью помочь предприятиям структурировать различные источники информации в озера с надежными и управляемыми данными.

Исторически так сложилось, что разработчики Hadoop не придавали слишком большого значения озерам данных. Первоначально Hadoop являлся онпремис-решением с файловой системой HDFS (Hadoop Distributed File System), которая предназначается для хранения больших кластеров данных. Выбор HDFS связан с тем, что она является экономически эффективным и надежным хранилищем данных всех форм и размеров, тогда как экосистема Hadoop предлагает множество вариантов обработки этих данных.

Тем не менее, со временем данные, а вместе с ними и озера данных, пережили эволюционные изменения. Основная идея состоит в том, что данные должны храниться в одном большом хранилище, но это не обязательно должно быть локальное хранилище, и не обязательно Hadoop. В современном виде Hadoop стремится стать базовой облачной технологией, и, соответственно, предложить технологию, которая бы позволила концентрировать информацию в едином облачном хранилище (озере данных).

Читать всю статью

Источник: Сергей Стельмах / itWeek

Фото: itWeek

Tel.: (499) 277-12-45
E-mail: sa@samag.ru

Продолжить покупки

Начать оформление