DP - 203: Проектирование решений для данных в Microsoft Azure

Введение в Azure Synapse Analytics Описание Azure Databricks Введение в хранилище озера данных Azure Опишите архитектуру озера Дельта Работа с потоками данных с помощью Azure Stream Analytics Лабораторная работа: Изучение возможностей вычислений и хранения для рабочих нагрузок инженерии данных. Объедините потоковую и пакетную обработку в едином конвейере Организуйте озеро данных по уровням преобразования файлов Индексируйте хранилище озера данных для ускорения запросов и рабочих нагрузок

Разработайте многомерную схему для оптимизации аналитических рабочих нагрузок Масштабируемое преобразование без кода с помощью фабрики данных Azure Заполнение медленно меняющихся измерений в конвейерах Azure Synapse Analytics Лабораторная работа: Разработка и реализация уровня обслуживания. Разработайте звездообразную схему для аналитических рабочих нагрузок Заполнение медленно изменяющихся измерений с помощью фабрики данных Azure и сопоставление потоков данных

Проектирование современного хранилища данных с помощью Azure Synapse Analytics Защита хранилища данных в Azure Synapse Analytics Лабораторная работа: Вопросы инженерии данных. Управление файлами в озере данных Azure Защита файлов, хранящихся в озере данных Azure

Изучите возможности бессерверных пулов SQL в Azure Synapse Запрос данных в озере с помощью бессерверных пулов SQL Azure Synapse Создание объектов метаданных в бессерверных пулах SQL Azure Synapse Защита данных и управление пользователями в бессерверных пулах SQL Azure Synapse Лабораторная работа: Выполнение интерактивных запросов с использованием бессерверных пулов SQL. Запрос данных Parquet с помощью бессерверных пулов SQL Создание внешних таблиц для файлов Parquet и CSV Создание представлений с помощью бессерверных пулов SQL Безопасный доступ к данным в озере данных при использовании бессерверных пулов SQL Настройка безопасности озера данных с помощью управления доступом на основе ролей (RBAC) и списка управления доступом

Понимание инженерии больших данных с помощью Apache Spark в Azure Synapse Analytics Получение данных с помощью записных книжек Apache Spark в Azure Synapse Analytics Преобразование данных с помощью DataFrames в пулах Apache Spark в Azure Synapse Analytics Интеграция пулов SQL и Apache Spark в Azure Synapse Analytics Лабораторная работа: Изучение, преобразование и загрузка данных в хранилище данных с помощью Apache Spark. Выполнение исследования данных в Synapse Studio Получение данных с помощью записных книжек Spark в Azure Synapse Analytics Преобразование данных с помощью DataFrames в пулах Spark в Azure Synapse Analytics Интеграция пулов SQL и Spark в Azure Synapse Analytics

Описание Azure Databricks Чтение и запись данных в Azure Databricks Работа с DataFrames в Azure Databricks Работа с расширенными методами DataFrames в Azure Databricks Лабораторная работа: Исследование и преобразование данных в Azure Databricks. Использование DataFrames в Azure Databricks для изучения и фильтрации данных Кэшировать DataFrame для более быстрых последующих запросов Удалить повторяющиеся данные Управление значениями даты / времени Удалить и переименовать столбцы DataFrame Сводные данные, хранящиеся в DataFrame

Используйте рекомендации по загрузке данных в Azure Synapse Analytics Прием петабайтов с помощью фабрики данных Azure Лабораторная работа: Получение и загрузка данных в хранилище данных. Выполнение приема петабайтов с помощью Azure Synapse Pipelines Импорт данных с помощью PolyBase и КОПИРОВАНИЕ с помощью T-SQL Используйте рекомендации по загрузке данных в Azure Synapse Analytics

Интеграция данных с фабрикой данных Azure или Azure Synapse Pipelines Масштабируемое преобразование без кода с помощью фабрики данных Azure или Azure Synapse Pipelines Лабораторная работа: Преобразование данных с помощью фабрики данных Azure или Azure Synapse Pipelines. Выполняйте масштабные преобразования без кода с помощью Azure Synapse Pipelines Создайте конвейер данных для импорта плохо отформатированных файлов CSV Создание потоков данных сопоставления

Управляйте перемещением и преобразованием данных в фабрике данных Azure Лабораторная работа: Управление перемещением и преобразованием данных в Azure Synapse Pipelines. Интеграция данных из записных книжек с фабрикой данных Azure или конвейерами Azure Synapse

Оптимизация производительности запросов к хранилищу данных в Azure Synapse Analytics Ознакомьтесь с функциями Azure Synapse Analytics для разработчиков хранилища данных. Лабораторная работа: Оптимизация производительности запросов с помощью выделенных пулов SQL в Azure Synapse. Изучите особенности Azure Synapse Analytics для разработчиков Оптимизация производительности запросов к хранилищу данных в Azure Synapse Analytics

Анализируйте и оптимизируйте хранилище хранилища данных в Azure Synapse Analytics Лабораторная работа: Анализ и оптимизация хранилища данных. Проверьте искаженные данные и использование пространства Сведения о хранилище хранилища столбцов Изучите влияние материализованных представлений Изучите правила для минимально регистрируемых операций

Разработка гибридной транзакционной и аналитической обработки с помощью Azure Synapse Analytics Настройка ссылки Azure Synapse с помощью Azure Cosmos DB Запросы к Azure Cosmos DB с пулами Apache Spark Запросы к Azure Cosmos DB с бессерверными пулами SQL Лабораторная работа: Поддержка гибридной аналитической обработки транзакций (HTAP) с помощью Azure Synapse Link. Настройка ссылки Azure Synapse с помощью Azure Cosmos DB Запросы к Azure Cosmos DB с помощью Apache Spark для Synapse Analytics Запросы к Azure Cosmos DB с бессерверным пулом SQL для Azure Synapse Analytics

Защита хранилища данных в Azure Synapse Analytics Настройка и управление секретами в Azure Key Vault Внедрить контроль соответствия для конфиденциальных данных Лабораторная работа: Комплексная безопасность с помощью Azure Synapse Analytics. Безопасная инфраструктура поддержки Azure Synapse Analytics Защита рабочей области Azure Synapse Analytics и управляемых служб Защита данных рабочей области Azure Synapse Analytics

Обеспечьте надежный обмен сообщениями для приложений больших данных с помощью концентраторов событий Azure Работа с потоками данных с помощью Azure Stream Analytics Получение потоков данных с помощью Azure Stream Analytics Лабораторная работа: Обработка потоков в реальном времени с помощью Stream Analytics. Используйте Stream Analytics для обработки данных в реальном времени из концентраторов событий Используйте оконные функции Stream Analytics для создания агрегатов и вывода в Synapse Analytics. Масштабируйте задание Azure Stream Analytics для увеличения пропускной способности за счет секционирования. Переразбейте входной поток для оптимизации распараллеливания

Обработка потоковых данных с помощью структурированной потоковой передачи Azure Databricks Лабораторная работа: Создание решения для потоковой обработки с концентраторами событий и Azure Databricks. Изучите ключевые функции и способы использования структурированной потоковой передачи Потоковая передача данных из файла и запись их в распределенную файловую систему Используйте скользящие окна для агрегирования фрагментов данных, а не всех данных Применение водяных знаков для удаления устаревших данных Подключение к концентраторам событий для чтения и записи потоков

Создавайте отчеты с помощью Power BI, используя его интеграцию с Azure Synapse Analytics. Лабораторная работа: Создание отчетов с использованием интеграции Power BI с Azure Synpase Analytics. Интеграция рабочей области Azure Synapse и Power BI Оптимизировать интеграцию с Power BI Повышение производительности запросов с помощью материализованных представлений и кэширования набора результатов Визуализируйте данные с помощью SQL Serverless и создайте отчет Power BI

Используйте интегрированный процесс машинного обучения в Azure Synapse Analytics Лабораторная работа: Выполнение интегрированных процессов машинного обучения в Azure Synapse Analytics. Создание связанной службы машинного обучения Azure Запуск эксперимента Auto ML с использованием данных из таблицы Spark Обогащайте данные с помощью обученных моделей Показывать результаты прогнозов с помощью Power BI