Выпускная квалификационная работа. Анализ и разработка технологий обработки больших данных

Цена:
1500 руб.

Состав работы

material.view.file_icon 6F55548D-32C6-42DE-BD80-A61E6A9F794A.rar [1 MB]
material.view.file_icon Анализ и разработка технологий обработки больших данных.pdf [36 стр., 1 MB]

Необходимые программы

Работа представляет собой rar архив с файлами (распаковать онлайн), которые открываются в программах:
  • Adobe Acrobat Reader

Описание

Анализ и разработка технологий обработки больших данных
В данной работе был проведен анализ актуальности BigData
специалистов и конкретно дата инженеров, использовав BigData инструменты
была проведена аналитика используемых технологий, для построения этой
аналитики использовались следующие технологии:
1. Java
2. Стек Hadoop
3. Oozie
Средствами Java было создано приложение для забора данных через
api.hh.ru, над этими данными была построена hive таблица, и проведен ряд ETL
преобразований для создания DM для анализа используемых технологий для
дата инженеров.
Как и говорилось в ведении данная работа имеет как
теоретическую(аналитика, расчет конфигурации кластера), так и практическую
часть(создание приложения, автоматизации процесса забора данных и ETL).
Практическая часть этой работы может использоваться как шаблон для
построения workflow на oozie, ETL задач на Hive, а теоретическая для
проведений теоретических расчетов конфигурации кластера и ознакомления с
BigData технологиями.
Для примера, данная работа может понадобиться для решения подобных
задач:
1. Тенденции развития рынка труда в IT
2. Анализ ожидаемого уровня заработной платы сотрудником
3. Создание\Изменение программы факультета в зависимости от анализа
используемых компаниями технологий
4. Поиск инвеститоров для факультетов, в зависимости от направления
факультета и используемых технологий в компаниях для пополнения бюджета
факультета и осуществления предполагаемого места работы для студента.

Содержание
Введение ............................................................................................................ 3
1 DATA ENGINERING .................................................................................... 7
1.1 Навыки дата инженера.............................................................................. 9
1.2 Задачи дата инженера ............................................................................... 11
2 ИСПОЛЬЗУЕМЫЕ ТЕХНОЛОГИИ ........................................................... 13
2.1 Многообразие выбора ............................................................................... 14
2.2 Архитектура и конфигурация .................................................................. 16
3 ПРИМЕР ЗАДАЧИ ........................................................................................ 19
3.1 Описание цепочки решений ..................................................................... 20
3.2 Разработка .................................................................................................. 21
3.3 Автоматизация ........................................................................................... 30
ЗАКЛЮЧЕНИЕ ................................................................................................. 35
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ ....................................... 36

Дополнительная информация

Год защиты 2018
«Сибирский государственный университет телекоммуникаций и информатики»
Подразделение: Кафедра прикладной математики и кибернетики (ПМ и К)
Научный руководитель: Зайцев Михаил Георгиевич
Направление подготовки/специальность: 09.03.01 Информатика и вычислительная техника

Выполнение на заказ дипломных, курсовых и контрольных для студентов ДО, ЗО и ускоренной формы обучения
tokarev.const@yandex.ru

Похожие материалы

Выпускная квалификационная работа
Проект строительства оптического сети доступа Дивногорского микрорайона г.Новосибирск
Интернет Диплом и связанное с ним ДО СИБГУТИ
User Chekk86 : 4 февраля 2023
1300 руб.
Выпускная квалификационная работа
Выпускная квалификационная работа
Дипломная работа на тему гидравлические цилиндры СОДЕРЖАНИЕ Введение 5 1. Обзор существующих гидроцилиндров, их назначение и принцип действия 7 1.2. Конструктивное исполнение 12 1.3. Возможные типы крепления и указания по встройке 13 1.4. Общие требования при проведении монтажа и установки гидроцилиндров 14 1.5. Основные причины неисправностей, возникающих в гидроцилиндрах 15 1.6. Обзор существующих способов и средств диагностирования гидроцилиндров 16 1.7. Методы и виды диагностирования 18 1.8
ПГТУ Диплом и связанное с ним Гидравлические системы, машины и механизмы
User Игорь102 : 13 ноября 2018
4900 руб.
Выпускная квалификационная работа
РАЗРАБОТКА ПРИЛОЖЕНИЯ ДЛЯ СКЛАДСКОГО УЧЕТА ОТДЕЛА ПРЕДПРИЯТИЯ (Программа разработана на Delphi, имеет оконный интерфейс) СОДЕРЖАНИЕ ВКР: Введение 1 Постановка задачи 1.1 Описание предметной области 1.2 Требования к приложению 1.3 Этапы разработки 2 Средства разработки 3 Проектирование и разработка 3.1 Проектирование интерфейса 3.2 Проектирование базы данных 3.3 Подключение к базе данных 3.4 Реализация интерфейса 4 РУКОВОДСТВО ПОЛЬЗОВАТЕЛЯ 4.1 Главное окно 4.2 Добавление продукции на склад и реда
СибГУТИ Дипломные проекты Работа Выпускная
User pbv : 4 января 2018
1000 руб.
Выпускная квалификационная работа бакалавра
Модернизация системы управления информационной безопасностью в ООО «Смарт Консалтинг» АННОТАЦИЯ Выпускной квалификационной работа студента по теме «Модернизация системы управления информационной безопасностью в ООО «Смарт Консалтинг» Объём работы – 80 страниц, на которых размещены 20 рисунков и 20 таблиц. При написании работы использовалось 10 источников.
Диплом и связанное с ним ДО СИБГУТИ Информационная безопасность
User Vladyuwqa : 19 ноября 2023
2000 руб.
Выпускная квалификационная работа (ВКР)
Выпускная квалификационная работа бакалавра Проект волоконно-оптической линии передачи на участке г. Тюмень-с.Ярково.«Сибирский государственный университет телекоммуникаций и информатики» (СибГУТИ).Объем работы-80 страниц с презентацией и схемами.Защита ВКР была в 2017 году.
Диплом и связанное с ним ДО СИБГУТИ Волоконно-оптические системы передачи
User 32217911986 : 22 февраля 2022
2000 руб.
Выпускная квалификационная работа ,"ВКР"
Данная выпускная работа на тему " Проект реконструкций участка транспортной сети города Семей"которая состоит из 54 страницы состоит из презентаций , доклад, защита ВКР была защищена на оценку 5 в 2018 году в проекте была часть БЖ Безопастность жизнедеятельности плагиат составляет немение 71.2% цена оптимальная можно сказать за даром
******* Не известно Работа Выпускная Разное
User 87783661034 : 19 февраля 2018
5000 руб.
Выпускная квалификационная работа (GPON)
Проект сети широкополосного доступа (GPON). GPON (Gigabit-capable рassive optical network) - технология пассивных оптических сетей, которая позволяет увеличить пропускную способность сети до 1 Гб/с (в 100 раз выше, чем при технологии ADSL), обеспечивает высокое качество передачи видеосигнала с предоставлением новых сервисов, позволяет развивать телевидение высокой точности HDTV.
Диплом и связанное с ним СибГУТИ Сети связи и системы коммутации
User Student2017 : 5 декабря 2017
1000 руб.
Выпускная квалификационная работа В_КР по педагогике
ПРЕОДОЛЕНИЕ АГРЕССИИ У ДЕТЕЙ ДОШКОЛЬНОГО ВОЗРАСТА СРЕДСТВАМИ МУЗЫКАЛЬНОГО ВОСПИТАНИЯ Глава 1. Изучение проблемы агрессии и агрессивности детей дошкольного возраста в современной педагогике и психологии….........................................7 1.1. Понятие агрессии и агрессивного поведения в психолого-педагогической литературе......…………………………………………………......7 1.2. Психолого-педагогическая характеристика проявления агрессии детей дошкольного возраста.....……………
Работа Выпускная Педагогика
User mike_vorn : 14 февраля 2015
5000 руб.

Другие работы

Сети связи и системы коммутации. Контрольная работа. Вариант №03.
Задание 1 Назначение АТС: центральная станция типа SI-2000/224 1. Количество абонентов, включенных в опорную АТС - 5100 2. Количество местных таксофонов - 28 3. Количество междугородных таксофонов - 13 4. Количество кабин переговорных пунктов - 9 5. Количество оконечных устройств передачи данных ______ 2 Количество УПАТС типа Квант, включенных в ЦС: 1/256; 1/400 3 Сведения о группах удаленных абонентов, включенных в ЦС: Номер группы Среднее удаление от ЦС, км Количество абонентов 1 1.1 155 2 3.
ДО СИБГУТИ Сети связи и системы коммутации Работа Контрольная
User Uiktor : 27 февраля 2018
299 руб.
«Основы аудита» Зачет Вариант № 3
ВАРИАНТ № 3 1. Укажите правильный ответ: Требования стандарта «Аудиторская выборка» при восстановлении бухгалтерского учета аудитором. 1. Носят обязательный характер 2. Носят рекомендательный характер 3. Не должны соблюдаться 4. Соблюдаются при восстановлении автоматизированного учета 5. Закрепляются в договоре на проведение аудита 2. Укажите верный ответ: Стандарты, являющиеся интеллектуальной собственностью и коммерческой тайной: 1. Международные 2. Национальные 3. Внутрифирменные 4. Унифици
СибГУТИ Бухгалтерский учет и аудит Работа
User ДО Сибгути : 8 сентября 2013
45 руб.
promo
Задачи по теории вероятности
Задача 1. Бросаются две игральные кости. Определить вероятность того, что: а) сумма числа очков не превосходит N; б) произведение числа очков не превосходит N; в) произведение числа очков делится на N. N=12 Задача 4. В лифт k - этажного дома сели n пассажиров (n<k). Каждый независимо от других с одинаковой вероятностью может выйти на любом (начиная со второго) этаже. Определить вероятность того, что: а) все вышли на разных этажах; б) по крайней мере, двое сошли на одном этаже. Задача 5. В отре
Задачи Математика Ижевский государственный технический Университет
User mihaly4 : 28 февраля 2010
5 руб.
Управление сбытовой деятельностью другой фирмы
ВВЕДЕНИЕ ГЛАВА 1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ УПРАВЛЕНИЯ СБЫТОВОЙ ДЕЯТЕЛЬНОСТЬЮ ПРЕДПРИЯТИЯ 1.1. Понятие и основные системы управления сбытовой деятельности предприятия в условиях рынка 1.2. Типы и этапы сбытовой деятельности на предприятии 1.3. Маркетинговый подход к разработке сбытовой политики на предприятии 1.4. Задачи распределения товаров предприятия ГЛАВА 2. АНАЛИЗ И ОЦЕНКА ПРОИЗВОДСТВЕННО-ХОЗЯЙСТВЕННОЙ ДЕЯТЕЛЬНОСТИ ФИРМЫ 2.1. Общая характеристика предприятия 2.2. Анализ основных технико
Диплом и связанное с ним Маркетинг
User Lokard : 15 октября 2013
111 руб.
up Наверх