Выпускная квалификационная работа. Анализ и разработка технологий обработки больших данных

Цена:
1500 руб.

Состав работы

material.view.file_icon 6F55548D-32C6-42DE-BD80-A61E6A9F794A.rar [ 1 MB ]
material.view.file_icon Анализ и разработка технологий обработки больших данных.pdf [ 1 MB ]
Работа представляет собой rar архив с файлами (распаковать онлайн), которые открываются в программах:
  • Adobe Acrobat Reader

Описание

Анализ и разработка технологий обработки больших данных
В данной работе был проведен анализ актуальности BigData
специалистов и конкретно дата инженеров, использовав BigData инструменты
была проведена аналитика используемых технологий, для построения этой
аналитики использовались следующие технологии:
1. Java
2. Стек Hadoop
3. Oozie
Средствами Java было создано приложение для забора данных через
api.hh.ru, над этими данными была построена hive таблица, и проведен ряд ETL
преобразований для создания DM для анализа используемых технологий для
дата инженеров.
Как и говорилось в ведении данная работа имеет как
теоретическую(аналитика, расчет конфигурации кластера), так и практическую
часть(создание приложения, автоматизации процесса забора данных и ETL).
Практическая часть этой работы может использоваться как шаблон для
построения workflow на oozie, ETL задач на Hive, а теоретическая для
проведений теоретических расчетов конфигурации кластера и ознакомления с
BigData технологиями.
Для примера, данная работа может понадобиться для решения подобных
задач:
1. Тенденции развития рынка труда в IT
2. Анализ ожидаемого уровня заработной платы сотрудником
3. Создание\Изменение программы факультета в зависимости от анализа
используемых компаниями технологий
4. Поиск инвеститоров для факультетов, в зависимости от направления
факультета и используемых технологий в компаниях для пополнения бюджета
факультета и осуществления предполагаемого места работы для студента.

Содержание
Введение ............................................................................................................ 3
1 DATA ENGINERING .................................................................................... 7
1.1 Навыки дата инженера.............................................................................. 9
1.2 Задачи дата инженера ............................................................................... 11
2 ИСПОЛЬЗУЕМЫЕ ТЕХНОЛОГИИ ........................................................... 13
2.1 Многообразие выбора ............................................................................... 14
2.2 Архитектура и конфигурация .................................................................. 16
3 ПРИМЕР ЗАДАЧИ ........................................................................................ 19
3.1 Описание цепочки решений ..................................................................... 20
3.2 Разработка .................................................................................................. 21
3.3 Автоматизация ........................................................................................... 30
ЗАКЛЮЧЕНИЕ ................................................................................................. 35
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ ....................................... 36

Дополнительная информация

Год защиты 2018
«Сибирский государственный университет телекоммуникаций и информатики»
Подразделение: Кафедра прикладной математики и кибернетики (ПМ и К)
Научный руководитель: Зайцев Михаил Георгиевич
Направление подготовки/специальность: 09.03.01 Информатика и вычислительная техника

Выполнение на заказ дипломных, курсовых и контрольных для студентов ДО, ЗО и ускоренной формы обучения
tokarev.const@yandex.ru

Похожие материалы

Выпускная квалификационная работа
Проект строительства оптического сети доступа Дивногорского микрорайона г.Новосибирск
Интернет Диплом и связанное с ним ДО СИБГУТИ
User Chekk86 : 4 февраля 2023
1300 руб.
Выпускная квалификационная работа
Выпускная квалификационная работа
Дипломная работа на тему гидравлические цилиндры СОДЕРЖАНИЕ Введение 5 1. Обзор существующих гидроцилиндров, их назначение и принцип действия 7 1.2. Конструктивное исполнение 12 1.3. Возможные типы крепления и указания по встройке 13 1.4. Общие требования при проведении монтажа и установки гидроцилиндров 14 1.5. Основные причины неисправностей, возникающих в гидроцилиндрах 15 1.6. Обзор существующих способов и средств диагностирования гидроцилиндров 16 1.7. Методы и виды диагностирования 18 1.8
ПГТУ Диплом и связанное с ним Гидравлические системы, машины и механизмы
User Игорь102 : 13 ноября 2018
4900 руб.
Выпускная квалификационная работа
РАЗРАБОТКА ПРИЛОЖЕНИЯ ДЛЯ СКЛАДСКОГО УЧЕТА ОТДЕЛА ПРЕДПРИЯТИЯ (Программа разработана на Delphi, имеет оконный интерфейс) СОДЕРЖАНИЕ ВКР: Введение 1 Постановка задачи 1.1 Описание предметной области 1.2 Требования к приложению 1.3 Этапы разработки 2 Средства разработки 3 Проектирование и разработка 3.1 Проектирование интерфейса 3.2 Проектирование базы данных 3.3 Подключение к базе данных 3.4 Реализация интерфейса 4 РУКОВОДСТВО ПОЛЬЗОВАТЕЛЯ 4.1 Главное окно 4.2 Добавление продукции на склад и реда
СибГУТИ Дипломные проекты Работа Выпускная
User pbv : 4 января 2018
1000 руб.
Выпускная квалификационная работа бакалавра
Модернизация системы управления информационной безопасностью в ООО «Смарт Консалтинг» АННОТАЦИЯ Выпускной квалификационной работа студента по теме «Модернизация системы управления информационной безопасностью в ООО «Смарт Консалтинг» Объём работы – 80 страниц, на которых размещены 20 рисунков и 20 таблиц. При написании работы использовалось 10 источников.
Диплом и связанное с ним ДО СИБГУТИ Информационная безопасность
User Vladyuwqa : 19 ноября 2023
2000 руб.
Выпускная квалификационная работа (ВКР)
Выпускная квалификационная работа бакалавра Проект волоконно-оптической линии передачи на участке г. Тюмень-с.Ярково.«Сибирский государственный университет телекоммуникаций и информатики» (СибГУТИ).Объем работы-80 страниц с презентацией и схемами.Защита ВКР была в 2017 году.
Диплом и связанное с ним ДО СИБГУТИ Волоконно-оптические системы передачи
User 32217911986 : 22 февраля 2022
2000 руб.
Выпускная квалификационная работа ,"ВКР"
Данная выпускная работа на тему " Проект реконструкций участка транспортной сети города Семей"которая состоит из 54 страницы состоит из презентаций , доклад, защита ВКР была защищена на оценку 5 в 2018 году в проекте была часть БЖ Безопастность жизнедеятельности плагиат составляет немение 71.2% цена оптимальная можно сказать за даром
******* Не известно Работа Выпускная Разное
User 87783661034 : 19 февраля 2018
5000 руб.
Выпускная квалификационная работа (GPON)
Проект сети широкополосного доступа (GPON). GPON (Gigabit-capable рassive optical network) - технология пассивных оптических сетей, которая позволяет увеличить пропускную способность сети до 1 Гб/с (в 100 раз выше, чем при технологии ADSL), обеспечивает высокое качество передачи видеосигнала с предоставлением новых сервисов, позволяет развивать телевидение высокой точности HDTV.
Диплом и связанное с ним СибГУТИ Сети связи и системы коммутации
User Student2017 : 5 декабря 2017
1200 руб.
Выпускная квалификационная работа (В_КР) по педагогике
Развитие воображения у детей дошкольного возраста средствами музыкального воспитания Глава 1. Психолого-педагогическая характеристика развития воображения средствами музыки.....................................................................................................7 1.1.Понятие о воображении. Виды воображения и способы создания творческих образов.....................................................................................................7 1.2. Проблема происхождения воображения..
Работа Выпускная Педагогика
User mike_vorn : 14 февраля 2015
5000 руб.

Другие работы

Съемник винтовой 00.07.000 СБ. Деталирование
Винтовой съемник предназначен для снятия деталей машин (например, шарикоподшипников), туго посаженных на вал или ось. При снятии кольца шарикоподшипника с конца вала, наконечник 5 упирается в торец вала, и крюкообразные концы лапок 4 захватывают торец только того кольца, которое смонтировано с натягом. Вращая рукоятку 3, перемещают траверсу 1 с лапками 4 к головке винта 2, при этом лапки 4 стягивают кольцо подшипника с вала. Состав работы: 3D модели деталей и сборка (+разнос компонентов): 00.0
Чертежи Инженерная графика
User HelpStud : 7 августа 2019
350 руб.
Съемник винтовой 00.07.000 СБ. Деталирование promo
Теплотехника МГУПП 2015 Задача 1.2 Вариант 83
Газ массой М с начальными параметрами (давлением р1 и температурой t1) изотермически расширяется до увеличения объема в ε раз, а затем адиабатно сжимается до первоначального объема. Определить: первоначальный объем и объем в конце изотермического расширения; давление в конце изотермического расширения и адиабатного сжатия; температуру в конце адиабатного сжатия; изменение энтропии в процессе изотермического сжатия; работу изотермического расширения и адиабатного сжатия. Изобразить данные
Задачи Теплотехника
User Z24 : 7 января 2026
200 руб.
Теплотехника МГУПП 2015 Задача 1.2 Вариант 83
Восстановительные средства
Постоянное увеличение интенсивности и объема тренировочных нагрузок требует изыскивать дополнительные средства, обеспечивающие рост спортивных результатов. Выбор правильного соотношения между объемом и интенсивностью нагрузок зависит от процесса восстановления организма спортсмена. Методы восстановления разделяются на физические, фармакологические и тренировочные. Наряду с развитием отдельных качеств можно совершенствовать и восстановительные функции организма. Естественно, у разных спортсменов
Рефераты Культура, искусство, спорт и туризм
User DocentMark : 26 февраля 2013
Тарелка дезодоратора (сборочный чертеж)
Тарелки предназначены для дезодорации масла. Все семь тарелок дезодоратора, включая и теплообменные, оснащены барботерами барботаж-ного пара и направляющими перегородками, позволяющими избежать мерт-вые зоны при движении масла. Тарелки в условиях работы с большими жидкостными и низкими газовыми нагрузками позволяет равномерно распределять масло и осуществлять более полный контакт инертного газа с ним, что в свою очередь приводит к снижению расхода инертного газа и общего времени дезодорации и со
Пищевая промышленность Чертежи
User AgroDiplom : 28 апреля 2023
490 руб.
Тарелка дезодоратора (сборочный чертеж)
up Наверх