[Специалист] Курс 20773А: Анализ больших данных (Big Data) с помощью Microsoft R. 2018 (Михаил Соколов)

Этот курс предназначен для специалистов, анализирующих огромные наборы данных, а также разработчиков, использующих R в своих проектах.

Цель курса – предоставить слушателям знания и навыки, необходимые для создания и запуска сценариев анализа больших данных на сервере Microsoft R. Также в курсе описано как работать с Microsoft R в средах обработки больших данных как Hadoop, кластер Spark или база SQL Server.

По окончании курса Вы будете уметь:

• описывать работу Microsoft R;
• использовать клиента R и Server R для обработки больших данных из разных хранилищ;
• визуализировать данные с помощью графиков и схем;
• преобразовывать и очищать наборы больших данных;
• использовать способы разделения аналитических задач на параллельные задачи;
• строить и оценивать регрессионные модели, генерируемые на основе больших данных;
• создавать, оценивать и разворачивать партиционированные модели на основе больших данных;
• использовать язык R в средах SQL Server и Hadoop.

• Обзор сервера Microsoft R
• Использование клиента Microsoft R
• Функции ScaleR

• Использование клиента R в VSTR и RStudio
• Обзор функций ScaleR
• Подключение к удалённому серверу

• Источники данных ScaleR
• Чтение данных в XDF-объекте
• Обобщение данных в XDF-объекте

• Чтение локального CSV-файла и передача данных в XDF-файл
• Преобразование данных на входе
• Чтение данных из SQL Server и передача в XDF-файл
• Подведение итогов в XDF-файле

• Визуализация данных в памяти
• Визуализации больших данных

• Использование ggplot для создания многогранной диаграммы с наложением
• Использование rxlinePlot и rxHistogram

• Преобразование больших данных
• Управление наборами данных

• Преобразование больших данных
• Сортировка и слияние больших данных
• Подключение к удаленному серверу

• Использование вычислительного контекста RxLocalParallel с функцией rxExec
• Использование пакета revoPemaR

• Использование rxExec для оптимизации использования ресурсов
• Создание и применение класса PEMA

• Кластеризации больших данных
• Создание регрессионных моделей и подготовка прогнозов

• Создание кластера
• Создание регрессионной модели
• Генерация данных для составления прогнозов
• Использование модели для составления прогнозов и сравнение результатов

• Создание партиционированных моделей на основе дерева решений.
• Тестирование прогнозов партиционированных моделей

• Разбиение набора данных
• Построение моделей
• Подготовка прогноза и тестирование результатов
• Сравнение результатов

• Использование R в SQL Server
• Использование Map/Reduce в Hadoop
• Использование Hadoop Spark

• Создание модели и прогнозирования результатов в SQL Server
• Анализ и вывод результата с помощью Map/Reduce в Hadoop
• Интеграция скрипта sparklyr в рабочий процесс ScaleR