Как начать работу с Databricks
Платформа Databricks сильно упрощает настройку среды для запуска фреймов данных Spark и отработки кодирования. А в этом посте описаны несколько шагов, которые помогут вам начать работу с Databricks.
Databricks – это платформа, работающая поверх Apache Spark. У него есть удобная настройка системы под ваш блокнот. Можно легко подготовить кластеры в облаке, также есть интегрированное рабочее пространство для исследования и визуализации.
Кроме того, вы можете запланировать переход любого существующего блокнота, или кода Spark, прописанного на месте, от прототипа к производству без переделки.
1. Настройка учетной записи Databricks
Чтобы начать работу с руководством, перейдите по этой ссылке и выберите бесплатную версию Community Edition, чтобы открыть свою учетную запись. У этого варианта есть один кластер с бесплатным хранилищем до 6 ГБ. Это позволяет вам создать базовый блокнот. Для подтверждения аккаунта вам понадобится действующий адрес электронной почты.
2. Создание нового кластера
Начнем с создания нового кластера для запуска наших программ. Щелкните «Кластер» на главной странице и введите новое имя для кластера.
Затем вам нужно выбрать версию «Databricks Runtime». Databricks Runtime – это набор основных компонентов, которые работают в кластерах, управляемых Databricks. Он включает Apache Spark, но также добавляет ряд компонентов и обновлений для повышения удобства использования и производительности инструмента.
Вы можете выбрать любую версию Databricks Runtime – для демонстрации выбрана 3.5 LTS (включает Apache Spark 2.2.1, Scala 2.11). У вас также есть выбор между Python 2 и 3.
На создание кластера уйдет несколько минут. Через некоторое время вы сможете увидеть активный кластер на панели инструментов.
3. Создание нового блокнота.
Давайте продолжим и создадим новый блокнот, где вы сможете запускать свою программу.
На главной странице нажмите «Новый блокнот» и введите имя блокнота. Выберите язык на свой выбор – здесь я выбрал Python. Как видите, Databricks поддерживает несколько языков, включая Scala, R и S
После ввода данных вы увидите, что компоновка блокнота очень похожа на блокнот Jupyter. Чтобы протестировать его, давайте импортируем pyspark.
Команда выполнена за 0,15 секунды, она выдает имя кластера, на котором она выполняется. Если в коде есть ошибки, они будут отображаться под полем cmd.
Вы можете нажать на значок клавиатуры в правом верхнем углу страницы, чтобы увидеть ярлыки для конкретной операционной системы.
Вот наиболее важные комбинации клавиш:
- Shift+Enter чтобы запустить ячейку
- Ctrl+Enter продолжает выполнение той же ячейки без перехода к следующей ячейке
Обратите внимание, что эти ярлыки предназначены для Windows. Вы можете проверить сочетания клавиш для вашей ОС по значку клавиатуры.
4. Загрузка данных в Databricks.
Перейдите в раздел «Таблицы» на левой панели и нажмите «Создать таблицу». Вы можете загрузить файл или подключиться к источнику данных Spark или какой-либо другой базе данных.
Давайте загрузим сюда часто используемый файл набора данных радужной оболочки глаза (если у вас нет набора данных, воспользуйтесь этой ссылкой)
После загрузки данных создайте таблицу с пользовательским интерфейсом, чтобы вы могли визуализировать таблицу и предварительно просмотреть ее в своем кластере. Как видите, вы можете наблюдать атрибуты таблицы. Spark попытается определить тип данных каждого столбца и позволит вам редактировать его.
Теперь нужно поместить заголовки для столбцов, чтобы можно было идентифицировать каждый столбец по заголовку вместо _c0, _c1 и так далее.
Укажем их заголовки: «Длина чашелистиков», «Ширина чашелистиков», «Длина лепестков», «Ширина лепестков» и «Класс». Здесь Spark неправильно определил тип данных первых четырех столбцов – «String», поэтому изменим его на желаемый тип данных – «Float».
5. Как получить доступ к данным из блокнота
Spark – это фреймворк, который можно использовать для анализа больших данных с помощью SQL, машинного обучения, обработки графиков или анализа потоковой передачи в реальном времени. В этом руководстве мы будем работать со SparkSQL и Dataframes.
Приступим к работе с данными в блокноте. Данные, которые мы загрузили, теперь помещены в табличный формат. Нам требуется запрос SQL, чтобы прочитать данные и поместить их в фрейм данных.
Введите df = sqlContext.sql(“SELECT * FROM iris_data”), чтобы считать данные радужной оболочки в фрейм данных.
Чтобы просмотреть первые пять строк в фрейме данных, я могу просто запустить команду:
display(df.limit(5))
Обратите внимание на значок столбчатой диаграммы внизу. После щелчка вы можете просмотреть данные, импортированные в Databricks. Чтобы просмотреть гистограмму полных данных, используйте display(df) вместо display(df.limit(5)).
Кнопка раскрывающегося списка позволяет визуализировать данные в различных диаграммах, таких как столбик, круговая диаграмма, разброс и т. д. Он также дает вам варианты построения графика для настройки графика и визуализации только определенных столбцов.
Вы также можете вывеси цифры matplotlib и ggplot в Databricks. Для демонстрации см. Matplotlib и ggplot в блокнотах Python.
Чтобы просмотреть все столбцы данных, просто введите df.columns
Чтобы подсчитать, сколько всего строк находится в Dataframe (и сколько времени потребуется для полного сканирования с удаленного диска/S3), запустите df.count().
6. Преобразование фрейма данных Spark в фрейм данных Pandas.
Теперь, если вам удобно использовать фреймы данных pandas и вы хотите преобразовать фрейм данных Spark в pandas, вы можете сделать это, введя команду
import pandas as pdpandas_df=df.to_pandas()
Вы можете использовать операции pandas в фрейме данных pandas_df.
7. Просмотр пользовательского интерфейса Spark.
Пользовательский интерфейс Spark содержит множество информации, необходимой для отладки заданий Spark. Есть множество отличных визуализаций, поэтому давайте вкратце рассмотрим их.
Чтобы перейти в пользовательский интерфейс Spark, вам нужно перейти в верхнюю часть страницы, где есть некоторые пункты меню, такие как «Файл», «Просмотр», «Код», «Разрешения» и другие. Вы найдете название кластера вверху рядом с надписью: «Присоединенный» и кнопку раскрывающегося списка рядом с ним. Нажмите кнопку раскрывающегося списка и выберите «Просмотреть пользовательский интерфейс Spark». Откроется новая вкладка с большим количеством информации о вашем блокноте.
Пользовательский интерфейс предоставляет большой объем информации о каждом задании, выполняемом в кластере, этапах, среде и выполненных SQL-запросах. Этот пользовательский интерфейс может быть полезен пользователям при отладке их приложений. Кроме того, этот пользовательский интерфейс дает хорошую визуализацию статистики потоковой передачи Spark. Чтобы узнать больше о каждом аспекте пользовательского интерфейса Spark, перейдите по этой ссылке.
Как только вы закончите работу с Блокнотом, вы можете продолжить и опубликовать его или экспортировать файл в различных форматах, чтобы кто-то другой мог использовать его, используя уникальную ссылку.
Подведение итогов
Это краткий обзор того, как быстро начать работу с Databricks и запускать свои программы. Преимущество использования Databricks состоит в том, что он предлагает комплексную услугу для создания приложений аналитики, хранилищ данных и машинного обучения. Всем кластером Spark можно управлять, отслеживать и защищать его с помощью модели самообслуживания Databricks.
