Обработка больших данных с Apache Spark

Другая компьютерная литература, Программы

Автор: Бутаков Н. А., Петров М. В.

Год: 2019

Добавил: Admin 21 Июн 20

Проверил: Admin 21 Июн 20

Формат: PDF (2882 Kb)

Currently 0/5

Рейтинг: 0/5 (Всего голосов: 0)

Аннотация

Учебно-методическое пособие содержит теоретический материал и примеры выполнения задач для курса «Введение в технологии обработки больших данных». Пособие составлено с учётом проведения лабораторных работ с помощью фреймворка Apache Spark. Содержание дисциплины охватывает круг вопросов, связанных с организацией построения ETL-конвейеров на основе Spark SQL и DataFrame API для распределенного выполнения на кластерных вычислительных система, включая использование итеративных вычислений, важных для машинного обучения, рассмотрения shuffle механизмов и принципов организации управлением памятью в Spark.
В результате освоения дисциплины студенты приобретают способности разработки программ и построения конвейеров обработки различных данных, навыки по работе с распределенными кластерными системами, а также способности к применению машинного обучения на распределенных наборах данных.