Выпускная квалификационная работа. Анализ и разработка технологий обработки больших данных

Цена:
1500 руб.

Состав работы

material.view.file_icon 6F55548D-32C6-42DE-BD80-A61E6A9F794A.rar [ 1 MB ]
material.view.file_icon Анализ и разработка технологий обработки больших данных.pdf [ 1 MB ]
Работа представляет собой rar архив с файлами (распаковать онлайн), которые открываются в программах:
  • Adobe Acrobat Reader

Описание

Анализ и разработка технологий обработки больших данных
В данной работе был проведен анализ актуальности BigData
специалистов и конкретно дата инженеров, использовав BigData инструменты
была проведена аналитика используемых технологий, для построения этой
аналитики использовались следующие технологии:
1. Java
2. Стек Hadoop
3. Oozie
Средствами Java было создано приложение для забора данных через
api.hh.ru, над этими данными была построена hive таблица, и проведен ряд ETL
преобразований для создания DM для анализа используемых технологий для
дата инженеров.
Как и говорилось в ведении данная работа имеет как
теоретическую(аналитика, расчет конфигурации кластера), так и практическую
часть(создание приложения, автоматизации процесса забора данных и ETL).
Практическая часть этой работы может использоваться как шаблон для
построения workflow на oozie, ETL задач на Hive, а теоретическая для
проведений теоретических расчетов конфигурации кластера и ознакомления с
BigData технологиями.
Для примера, данная работа может понадобиться для решения подобных
задач:
1. Тенденции развития рынка труда в IT
2. Анализ ожидаемого уровня заработной платы сотрудником
3. Создание\Изменение программы факультета в зависимости от анализа
используемых компаниями технологий
4. Поиск инвеститоров для факультетов, в зависимости от направления
факультета и используемых технологий в компаниях для пополнения бюджета
факультета и осуществления предполагаемого места работы для студента.

Содержание
Введение ............................................................................................................ 3
1 DATA ENGINERING .................................................................................... 7
1.1 Навыки дата инженера.............................................................................. 9
1.2 Задачи дата инженера ............................................................................... 11
2 ИСПОЛЬЗУЕМЫЕ ТЕХНОЛОГИИ ........................................................... 13
2.1 Многообразие выбора ............................................................................... 14
2.2 Архитектура и конфигурация .................................................................. 16
3 ПРИМЕР ЗАДАЧИ ........................................................................................ 19
3.1 Описание цепочки решений ..................................................................... 20
3.2 Разработка .................................................................................................. 21
3.3 Автоматизация ........................................................................................... 30
ЗАКЛЮЧЕНИЕ ................................................................................................. 35
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ ....................................... 36

Дополнительная информация

Год защиты 2018
«Сибирский государственный университет телекоммуникаций и информатики»
Подразделение: Кафедра прикладной математики и кибернетики (ПМ и К)
Научный руководитель: Зайцев Михаил Георгиевич
Направление подготовки/специальность: 09.03.01 Информатика и вычислительная техника

Выполнение на заказ дипломных, курсовых и контрольных для студентов ДО, ЗО и ускоренной формы обучения
tokarev.const@yandex.ru

Похожие материалы

Выпускная квалификационная работа
Проект строительства оптического сети доступа Дивногорского микрорайона г.Новосибирск
Интернет Диплом и связанное с ним ДО СИБГУТИ
User Chekk86 : 4 февраля 2023
1300 руб.
Выпускная квалификационная работа
Выпускная квалификационная работа
Дипломная работа на тему гидравлические цилиндры СОДЕРЖАНИЕ Введение 5 1. Обзор существующих гидроцилиндров, их назначение и принцип действия 7 1.2. Конструктивное исполнение 12 1.3. Возможные типы крепления и указания по встройке 13 1.4. Общие требования при проведении монтажа и установки гидроцилиндров 14 1.5. Основные причины неисправностей, возникающих в гидроцилиндрах 15 1.6. Обзор существующих способов и средств диагностирования гидроцилиндров 16 1.7. Методы и виды диагностирования 18 1.8
ПГТУ Диплом и связанное с ним Гидравлические системы, машины и механизмы
User Игорь102 : 13 ноября 2018
4900 руб.
Выпускная квалификационная работа
РАЗРАБОТКА ПРИЛОЖЕНИЯ ДЛЯ СКЛАДСКОГО УЧЕТА ОТДЕЛА ПРЕДПРИЯТИЯ (Программа разработана на Delphi, имеет оконный интерфейс) СОДЕРЖАНИЕ ВКР: Введение 1 Постановка задачи 1.1 Описание предметной области 1.2 Требования к приложению 1.3 Этапы разработки 2 Средства разработки 3 Проектирование и разработка 3.1 Проектирование интерфейса 3.2 Проектирование базы данных 3.3 Подключение к базе данных 3.4 Реализация интерфейса 4 РУКОВОДСТВО ПОЛЬЗОВАТЕЛЯ 4.1 Главное окно 4.2 Добавление продукции на склад и реда
СибГУТИ Дипломные проекты Работа Выпускная
User pbv : 4 января 2018
1000 руб.
Выпускная квалификационная работа бакалавра
Модернизация системы управления информационной безопасностью в ООО «Смарт Консалтинг» АННОТАЦИЯ Выпускной квалификационной работа студента по теме «Модернизация системы управления информационной безопасностью в ООО «Смарт Консалтинг» Объём работы – 80 страниц, на которых размещены 20 рисунков и 20 таблиц. При написании работы использовалось 10 источников.
Диплом и связанное с ним ДО СИБГУТИ Информационная безопасность
User Vladyuwqa : 19 ноября 2023
2000 руб.
Выпускная квалификационная работа (ВКР)
Выпускная квалификационная работа бакалавра Проект волоконно-оптической линии передачи на участке г. Тюмень-с.Ярково.«Сибирский государственный университет телекоммуникаций и информатики» (СибГУТИ).Объем работы-80 страниц с презентацией и схемами.Защита ВКР была в 2017 году.
Диплом и связанное с ним ДО СИБГУТИ Волоконно-оптические системы передачи
User 32217911986 : 22 февраля 2022
2000 руб.
Выпускная квалификационная работа ,"ВКР"
Данная выпускная работа на тему " Проект реконструкций участка транспортной сети города Семей"которая состоит из 54 страницы состоит из презентаций , доклад, защита ВКР была защищена на оценку 5 в 2018 году в проекте была часть БЖ Безопастность жизнедеятельности плагиат составляет немение 71.2% цена оптимальная можно сказать за даром
******* Не известно Работа Выпускная Разное
User 87783661034 : 19 февраля 2018
5000 руб.
Выпускная квалификационная работа (GPON)
Проект сети широкополосного доступа (GPON). GPON (Gigabit-capable рassive optical network) - технология пассивных оптических сетей, которая позволяет увеличить пропускную способность сети до 1 Гб/с (в 100 раз выше, чем при технологии ADSL), обеспечивает высокое качество передачи видеосигнала с предоставлением новых сервисов, позволяет развивать телевидение высокой точности HDTV.
Диплом и связанное с ним СибГУТИ Сети связи и системы коммутации
User Student2017 : 5 декабря 2017
1200 руб.
Выпускная квалификационная работа (В_КР) по педагогике
Развитие воображения у детей дошкольного возраста средствами музыкального воспитания Глава 1. Психолого-педагогическая характеристика развития воображения средствами музыки.....................................................................................................7 1.1.Понятие о воображении. Виды воображения и способы создания творческих образов.....................................................................................................7 1.2. Проблема происхождения воображения..
Работа Выпускная Педагогика
User mike_vorn : 14 февраля 2015
5000 руб.

Другие работы

Определение потребности предприятия в оборотных средствах.
Содержание Содержание 2 Введение 3 1. Организация оборотных средств предприятия 4 1.1. Понятие, состав и структура оборотных средств 5 1.2. Источники формирования оборотных средств 8 2. Определение потребности предприятия в оборотных средствах. Определение норматива оборотных средств 11 2.1.Эффективность использования оборотных средств 13 2.2. Влияние управления оборотными средствами на конечные результаты 16 Заключение 18 Список используемой литературы 19 Введение Каждая организаци
Работа Экономика
User evelin : 9 ноября 2013
10 руб.
Контрольная работа по дисциплине «Экология». Вариант 09
Вариант №09. Задание 1. Дать ответ на два вопроса по своему варианту. Номер варианта определяется двумя последними цифрами пароля. Контрольные вопросы 9. Какова роль озонового слоя в жизни Земли и почему он разрушается? 29. Что такое “экстерналии”? Назовите их типы, приведите примеры.
СибГУТИ Экология и защита окружающей среды Работа Контрольная
User gudrich : 8 октября 2011
250 руб.
Чертежи вытяжного штампа и рабочего цилиндра пресса усилием 4000кН
Чертежи вытяжного штампа и рабочего цилиндра пресса усилием 4000кН. Сборка и деталировка.
Чертежи Машиностроение МГТУ "СТАНКИН"
User andrbol : 27 ноября 2011
Механика жидкости и газа СПбГАСУ 2014 Задача 9 Вариант 14
Трубопровод, питаемый от водонапорной башни, имеет участок AB с параллельным соединением труб, длины которых l1 = (400 + 5·y) м, l2 = (200 + 2·z) м, l3 = (300 + 5·y) м. Длина участка BC l4 = (500 + 4·z) м. Диаметры ветвей трубопровода: d1 мм, d2 = d3 мм, d4 мм. Трубы стальные. Напор в конце трубопровода, в точке C, НС = 10 м. Расход в третьей ветви Q3 = (30 + 0,1·z) л/с. Определить расходы на участках 1, 2 и BC и пьезометрический напор в точке A НA (рис. 9).
Задачи
User Z24 : 2 января 2026
250 руб.
Механика жидкости и газа СПбГАСУ 2014 Задача 9 Вариант 14
up Наверх