Выпускная квалификационная работа. Анализ и разработка технологий обработки больших данных

ID: 193981
Дата закачки: 03 Августа 2018
Продавец: const30 (Напишите, если есть вопросы)
Посмотреть другие работы этого продавца

Тип работы: Диплом и связанное с ним
Форматы файлов: Adobe Acrobat (PDF)
Сдано в учебном заведении: СибГУТИ

Описание:
Анализ и разработка технологий обработки больших данных
В данной работе был проведен анализ актуальности BigData
специалистов и конкретно дата инженеров, использовав BigData инструменты
была проведена аналитика используемых технологий, для построения этой
аналитики использовались следующие технологии:
1. Java
2. Стек Hadoop
3. Oozie
Средствами Java было создано приложение для забора данных через
api.hh.ru, над этими данными была построена hive таблица, и проведен ряд ETL
преобразований для создания DM для анализа используемых технологий для
дата инженеров.
Как и говорилось в ведении данная работа имеет как
теоретическую(аналитика, расчет конфигурации кластера), так и практическую
часть(создание приложения, автоматизации процесса забора данных и ETL).
Практическая часть этой работы может использоваться как шаблон для
построения workflow на oozie, ETL задач на Hive, а теоретическая для
проведений теоретических расчетов конфигурации кластера и ознакомления с
BigData технологиями.
Для примера, данная работа может понадобиться для решения подобных
задач:
1. Тенденции развития рынка труда в IT
2. Анализ ожидаемого уровня заработной платы сотрудником
3. Создание\\Изменение программы факультета в зависимости от анализа
используемых компаниями технологий
4. Поиск инвеститоров для факультетов, в зависимости от направления
факультета и используемых технологий в компаниях для пополнения бюджета
факультета и осуществления предполагаемого места работы для студента.

Содержание
Введение ............................................................................................................ 3
1 DATA ENGINERING .................................................................................... 7
1.1 Навыки дата инженера.............................................................................. 9
1.2 Задачи дата инженера ............................................................................... 11
2 ИСПОЛЬЗУЕМЫЕ ТЕХНОЛОГИИ ........................................................... 13
2.1 Многообразие выбора ............................................................................... 14
2.2 Архитектура и конфигурация .................................................................. 16
3 ПРИМЕР ЗАДАЧИ ........................................................................................ 19
3.1 Описание цепочки решений ..................................................................... 20
3.2 Разработка .................................................................................................. 21
3.3 Автоматизация ........................................................................................... 30
ЗАКЛЮЧЕНИЕ ................................................................................................. 35
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ ....................................... 36

Комментарии: Год защиты 2018
«Сибирский государственный университет телекоммуникаций и информатики»
Подразделение: Кафедра прикладной математики и кибернетики (ПМ и К)
Научный руководитель: Зайцев Михаил Георгиевич
Направление подготовки/специальность: 09.03.01 Информатика и вычислительная техника

Выполнение на заказ дипломных, курсовых и контрольных для студентов ДО, ЗО и ускоренной формы обучения
tokarev.const@yandex.ru

Размер файла: 1,2 Мбайт
Фаил: