Выпускная квалификационная работа. Анализ и разработка технологий обработки больших данных

Цена:
1500 руб.

Состав работы

material.view.file_icon 6F55548D-32C6-42DE-BD80-A61E6A9F794A.rar [ 1 MB ]
material.view.file_icon Анализ и разработка технологий обработки больших данных.pdf [ 1 MB ]
Работа представляет собой rar архив с файлами (распаковать онлайн), которые открываются в программах:
  • Adobe Acrobat Reader

Описание

Анализ и разработка технологий обработки больших данных
В данной работе был проведен анализ актуальности BigData
специалистов и конкретно дата инженеров, использовав BigData инструменты
была проведена аналитика используемых технологий, для построения этой
аналитики использовались следующие технологии:
1. Java
2. Стек Hadoop
3. Oozie
Средствами Java было создано приложение для забора данных через
api.hh.ru, над этими данными была построена hive таблица, и проведен ряд ETL
преобразований для создания DM для анализа используемых технологий для
дата инженеров.
Как и говорилось в ведении данная работа имеет как
теоретическую(аналитика, расчет конфигурации кластера), так и практическую
часть(создание приложения, автоматизации процесса забора данных и ETL).
Практическая часть этой работы может использоваться как шаблон для
построения workflow на oozie, ETL задач на Hive, а теоретическая для
проведений теоретических расчетов конфигурации кластера и ознакомления с
BigData технологиями.
Для примера, данная работа может понадобиться для решения подобных
задач:
1. Тенденции развития рынка труда в IT
2. Анализ ожидаемого уровня заработной платы сотрудником
3. Создание\Изменение программы факультета в зависимости от анализа
используемых компаниями технологий
4. Поиск инвеститоров для факультетов, в зависимости от направления
факультета и используемых технологий в компаниях для пополнения бюджета
факультета и осуществления предполагаемого места работы для студента.

Содержание
Введение ............................................................................................................ 3
1 DATA ENGINERING .................................................................................... 7
1.1 Навыки дата инженера.............................................................................. 9
1.2 Задачи дата инженера ............................................................................... 11
2 ИСПОЛЬЗУЕМЫЕ ТЕХНОЛОГИИ ........................................................... 13
2.1 Многообразие выбора ............................................................................... 14
2.2 Архитектура и конфигурация .................................................................. 16
3 ПРИМЕР ЗАДАЧИ ........................................................................................ 19
3.1 Описание цепочки решений ..................................................................... 20
3.2 Разработка .................................................................................................. 21
3.3 Автоматизация ........................................................................................... 30
ЗАКЛЮЧЕНИЕ ................................................................................................. 35
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ ....................................... 36

Дополнительная информация

Год защиты 2018
«Сибирский государственный университет телекоммуникаций и информатики»
Подразделение: Кафедра прикладной математики и кибернетики (ПМ и К)
Научный руководитель: Зайцев Михаил Георгиевич
Направление подготовки/специальность: 09.03.01 Информатика и вычислительная техника

Выполнение на заказ дипломных, курсовых и контрольных для студентов ДО, ЗО и ускоренной формы обучения
tokarev.const@yandex.ru

Похожие материалы

Выпускная квалификационная работа
Проект строительства оптического сети доступа Дивногорского микрорайона г.Новосибирск
Интернет Диплом и связанное с ним ДО СИБГУТИ
User Chekk86 : 4 февраля 2023
1300 руб.
Выпускная квалификационная работа
Выпускная квалификационная работа
Дипломная работа на тему гидравлические цилиндры СОДЕРЖАНИЕ Введение 5 1. Обзор существующих гидроцилиндров, их назначение и принцип действия 7 1.2. Конструктивное исполнение 12 1.3. Возможные типы крепления и указания по встройке 13 1.4. Общие требования при проведении монтажа и установки гидроцилиндров 14 1.5. Основные причины неисправностей, возникающих в гидроцилиндрах 15 1.6. Обзор существующих способов и средств диагностирования гидроцилиндров 16 1.7. Методы и виды диагностирования 18 1.8
ПГТУ Диплом и связанное с ним Гидравлические системы, машины и механизмы
User Игорь102 : 13 ноября 2018
4900 руб.
Выпускная квалификационная работа
РАЗРАБОТКА ПРИЛОЖЕНИЯ ДЛЯ СКЛАДСКОГО УЧЕТА ОТДЕЛА ПРЕДПРИЯТИЯ (Программа разработана на Delphi, имеет оконный интерфейс) СОДЕРЖАНИЕ ВКР: Введение 1 Постановка задачи 1.1 Описание предметной области 1.2 Требования к приложению 1.3 Этапы разработки 2 Средства разработки 3 Проектирование и разработка 3.1 Проектирование интерфейса 3.2 Проектирование базы данных 3.3 Подключение к базе данных 3.4 Реализация интерфейса 4 РУКОВОДСТВО ПОЛЬЗОВАТЕЛЯ 4.1 Главное окно 4.2 Добавление продукции на склад и реда
СибГУТИ Дипломные проекты Работа Выпускная
User pbv : 4 января 2018
1000 руб.
Выпускная квалификационная работа бакалавра
Модернизация системы управления информационной безопасностью в ООО «Смарт Консалтинг» АННОТАЦИЯ Выпускной квалификационной работа студента по теме «Модернизация системы управления информационной безопасностью в ООО «Смарт Консалтинг» Объём работы – 80 страниц, на которых размещены 20 рисунков и 20 таблиц. При написании работы использовалось 10 источников.
Диплом и связанное с ним ДО СИБГУТИ Информационная безопасность
User Vladyuwqa : 19 ноября 2023
2000 руб.
Выпускная квалификационная работа (ВКР)
Выпускная квалификационная работа бакалавра Проект волоконно-оптической линии передачи на участке г. Тюмень-с.Ярково.«Сибирский государственный университет телекоммуникаций и информатики» (СибГУТИ).Объем работы-80 страниц с презентацией и схемами.Защита ВКР была в 2017 году.
Диплом и связанное с ним ДО СИБГУТИ Волоконно-оптические системы передачи
User 32217911986 : 22 февраля 2022
2000 руб.
Выпускная квалификационная работа ,"ВКР"
Данная выпускная работа на тему " Проект реконструкций участка транспортной сети города Семей"которая состоит из 54 страницы состоит из презентаций , доклад, защита ВКР была защищена на оценку 5 в 2018 году в проекте была часть БЖ Безопастность жизнедеятельности плагиат составляет немение 71.2% цена оптимальная можно сказать за даром
******* Не известно Работа Выпускная Разное
User 87783661034 : 19 февраля 2018
5000 руб.
Выпускная квалификационная работа (GPON)
Проект сети широкополосного доступа (GPON). GPON (Gigabit-capable рassive optical network) - технология пассивных оптических сетей, которая позволяет увеличить пропускную способность сети до 1 Гб/с (в 100 раз выше, чем при технологии ADSL), обеспечивает высокое качество передачи видеосигнала с предоставлением новых сервисов, позволяет развивать телевидение высокой точности HDTV.
Диплом и связанное с ним СибГУТИ Сети связи и системы коммутации
User Student2017 : 5 декабря 2017
1200 руб.
Выпускная квалификационная работа (В_КР) по педагогике
Развитие воображения у детей дошкольного возраста средствами музыкального воспитания Глава 1. Психолого-педагогическая характеристика развития воображения средствами музыки.....................................................................................................7 1.1.Понятие о воображении. Виды воображения и способы создания творческих образов.....................................................................................................7 1.2. Проблема происхождения воображения..
Работа Выпускная Педагогика
User mike_vorn : 14 февраля 2015
5000 руб.

Другие работы

Контрольная работа по дисциплине: Электромагнитные поля и волны
ЗАДАЧА 1 Плоская электромагнитная волна с частотой f распространяется в безграничной реальной среде с диэлектрической проницаемостью , магнитной проницаемостью а = 0, проводимостью . Амплитуда напряженности электрического поля в точке с координатой z=0 Еm. Дано: f= 800 [МГц]; Em= 1 [В/м]; =1; =2; =0,04 [См\м].
******* Не известно Электромагнитные поля и волны Работа Контрольная
User lebed-e-va : 15 декабря 2015
150 руб.
Экономика предприятия. Зачет. Вариант №25
ИТОГОВЫЙ ТЕСТ ПО ДИСЦИПЛИНЕ ЭКОНОМИКА ОРГАНИЗАЦИИ (ПРЕДПРИЯТИЯ)» 1. Результатом взаимодействия компонентов внутренней среды предприятия является: А) средства производства, персонал; Б) информация, деньги; В) готовая продукция, производство; Г) готовая продукция.
Экономика предприятия СибГУТИ Работа Зачетная
User nnn25 : 10 октября 2013
120 руб.
Закусочная на 90 человек с гриль - баром на 32 человека
Проект содержит пояснительную записку, тех документацию, 5 листов формата А1, приложения. Проект предприятия общественного питания разрабатывается для Фокинского района г. Брянска. Фокинский район — один из административных районов Брянска. Району административно подчинён посёлок городского типа Белые Берега. Население — 72014, что составляет 17 % населения города. Фокинский район вытянут вдоль главной своей магистрали — Московского проспекта, крупнейшего в городе. Многие улицы района носят им
Диплом и связанное с ним Организация и планирование производства КТУ Украина
User haina : 12 января 2014
1200 руб.
Закусочная на 90 человек с гриль - баром на 32 человека
Грозная тайна черноморских глубин
В 1891 году профессор А.Лебединцев поднял из глубин Черного моря первую пробу воды. Проба показала, что вода ниже 183 метров насыщена сероводородом. Последующие исследования подтвердили, что Черное море является крупнейшим в мире сероводородным бассейном. 3500 - 4000 лет назад не существовало Гибралтарского пролива, и Средиземное море делилось на два бассейна: внешнее море на западе от Сицилии и Внутреннее море - на востоке от нее. Уровни этих морей были значительно ниже современного. В то время
Экология и защита окружающей среды Работа
User ostah : 11 марта 2013
10 руб.
up Наверх