Выпускная квалификационная работа. Анализ и разработка технологий обработки больших данных

Цена:
1500 руб.

Состав работы

material.view.file_icon 6F55548D-32C6-42DE-BD80-A61E6A9F794A.rar [ 1 MB ]
material.view.file_icon Анализ и разработка технологий обработки больших данных.pdf [ 1 MB ]
Работа представляет собой rar архив с файлами (распаковать онлайн), которые открываются в программах:
  • Adobe Acrobat Reader

Описание

Анализ и разработка технологий обработки больших данных
В данной работе был проведен анализ актуальности BigData
специалистов и конкретно дата инженеров, использовав BigData инструменты
была проведена аналитика используемых технологий, для построения этой
аналитики использовались следующие технологии:
1. Java
2. Стек Hadoop
3. Oozie
Средствами Java было создано приложение для забора данных через
api.hh.ru, над этими данными была построена hive таблица, и проведен ряд ETL
преобразований для создания DM для анализа используемых технологий для
дата инженеров.
Как и говорилось в ведении данная работа имеет как
теоретическую(аналитика, расчет конфигурации кластера), так и практическую
часть(создание приложения, автоматизации процесса забора данных и ETL).
Практическая часть этой работы может использоваться как шаблон для
построения workflow на oozie, ETL задач на Hive, а теоретическая для
проведений теоретических расчетов конфигурации кластера и ознакомления с
BigData технологиями.
Для примера, данная работа может понадобиться для решения подобных
задач:
1. Тенденции развития рынка труда в IT
2. Анализ ожидаемого уровня заработной платы сотрудником
3. Создание\Изменение программы факультета в зависимости от анализа
используемых компаниями технологий
4. Поиск инвеститоров для факультетов, в зависимости от направления
факультета и используемых технологий в компаниях для пополнения бюджета
факультета и осуществления предполагаемого места работы для студента.

Содержание
Введение ............................................................................................................ 3
1 DATA ENGINERING .................................................................................... 7
1.1 Навыки дата инженера.............................................................................. 9
1.2 Задачи дата инженера ............................................................................... 11
2 ИСПОЛЬЗУЕМЫЕ ТЕХНОЛОГИИ ........................................................... 13
2.1 Многообразие выбора ............................................................................... 14
2.2 Архитектура и конфигурация .................................................................. 16
3 ПРИМЕР ЗАДАЧИ ........................................................................................ 19
3.1 Описание цепочки решений ..................................................................... 20
3.2 Разработка .................................................................................................. 21
3.3 Автоматизация ........................................................................................... 30
ЗАКЛЮЧЕНИЕ ................................................................................................. 35
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ ....................................... 36

Дополнительная информация

Год защиты 2018
«Сибирский государственный университет телекоммуникаций и информатики»
Подразделение: Кафедра прикладной математики и кибернетики (ПМ и К)
Научный руководитель: Зайцев Михаил Георгиевич
Направление подготовки/специальность: 09.03.01 Информатика и вычислительная техника

Выполнение на заказ дипломных, курсовых и контрольных для студентов ДО, ЗО и ускоренной формы обучения
tokarev.const@yandex.ru

Похожие материалы

Выпускная квалификационная работа
Проект строительства оптического сети доступа Дивногорского микрорайона г.Новосибирск
Интернет Диплом и связанное с ним ДО СИБГУТИ
User Chekk86 : 4 февраля 2023
1300 руб.
Выпускная квалификационная работа
Выпускная квалификационная работа
Дипломная работа на тему гидравлические цилиндры СОДЕРЖАНИЕ Введение 5 1. Обзор существующих гидроцилиндров, их назначение и принцип действия 7 1.2. Конструктивное исполнение 12 1.3. Возможные типы крепления и указания по встройке 13 1.4. Общие требования при проведении монтажа и установки гидроцилиндров 14 1.5. Основные причины неисправностей, возникающих в гидроцилиндрах 15 1.6. Обзор существующих способов и средств диагностирования гидроцилиндров 16 1.7. Методы и виды диагностирования 18 1.8
ПГТУ Диплом и связанное с ним Гидравлические системы, машины и механизмы
User Игорь102 : 13 ноября 2018
4900 руб.
Выпускная квалификационная работа
РАЗРАБОТКА ПРИЛОЖЕНИЯ ДЛЯ СКЛАДСКОГО УЧЕТА ОТДЕЛА ПРЕДПРИЯТИЯ (Программа разработана на Delphi, имеет оконный интерфейс) СОДЕРЖАНИЕ ВКР: Введение 1 Постановка задачи 1.1 Описание предметной области 1.2 Требования к приложению 1.3 Этапы разработки 2 Средства разработки 3 Проектирование и разработка 3.1 Проектирование интерфейса 3.2 Проектирование базы данных 3.3 Подключение к базе данных 3.4 Реализация интерфейса 4 РУКОВОДСТВО ПОЛЬЗОВАТЕЛЯ 4.1 Главное окно 4.2 Добавление продукции на склад и реда
СибГУТИ Дипломные проекты Работа Выпускная
User pbv : 4 января 2018
1000 руб.
Выпускная квалификационная работа бакалавра
Модернизация системы управления информационной безопасностью в ООО «Смарт Консалтинг» АННОТАЦИЯ Выпускной квалификационной работа студента по теме «Модернизация системы управления информационной безопасностью в ООО «Смарт Консалтинг» Объём работы – 80 страниц, на которых размещены 20 рисунков и 20 таблиц. При написании работы использовалось 10 источников.
Диплом и связанное с ним ДО СИБГУТИ Информационная безопасность
User Vladyuwqa : 19 ноября 2023
2000 руб.
Выпускная квалификационная работа (ВКР)
Выпускная квалификационная работа бакалавра Проект волоконно-оптической линии передачи на участке г. Тюмень-с.Ярково.«Сибирский государственный университет телекоммуникаций и информатики» (СибГУТИ).Объем работы-80 страниц с презентацией и схемами.Защита ВКР была в 2017 году.
Диплом и связанное с ним ДО СИБГУТИ Волоконно-оптические системы передачи
User 32217911986 : 22 февраля 2022
2000 руб.
Выпускная квалификационная работа ,"ВКР"
Данная выпускная работа на тему " Проект реконструкций участка транспортной сети города Семей"которая состоит из 54 страницы состоит из презентаций , доклад, защита ВКР была защищена на оценку 5 в 2018 году в проекте была часть БЖ Безопастность жизнедеятельности плагиат составляет немение 71.2% цена оптимальная можно сказать за даром
******* Не известно Работа Выпускная Разное
User 87783661034 : 19 февраля 2018
5000 руб.
Выпускная квалификационная работа (GPON)
Проект сети широкополосного доступа (GPON). GPON (Gigabit-capable рassive optical network) - технология пассивных оптических сетей, которая позволяет увеличить пропускную способность сети до 1 Гб/с (в 100 раз выше, чем при технологии ADSL), обеспечивает высокое качество передачи видеосигнала с предоставлением новых сервисов, позволяет развивать телевидение высокой точности HDTV.
Диплом и связанное с ним СибГУТИ Сети связи и системы коммутации
User Student2017 : 5 декабря 2017
1200 руб.
Выпускная квалификационная работа (В_КР) по педагогике
Развитие воображения у детей дошкольного возраста средствами музыкального воспитания Глава 1. Психолого-педагогическая характеристика развития воображения средствами музыки.....................................................................................................7 1.1.Понятие о воображении. Виды воображения и способы создания творческих образов.....................................................................................................7 1.2. Проблема происхождения воображения..
Работа Выпускная Педагогика
User mike_vorn : 14 февраля 2015
5000 руб.

Другие работы

География, экономика и государственное устройство Китая
Китай - Китайская Народная Республика - КНР (Zhonghua Renmin Gongheguo). Находится в Центральной и Восточной Азии. Площадь - 9 572 900 кв. км. Население - 1 205 181 000. Столица - Пекин (Beijing) – более 12,5 млн.чел. Другие крупные города - Шанхай (7 860 000), Тяньцзинь (5 900 000). Административное деление: 23 провинции (включая Тайвань.), 5 автономных районов и 3 города центрального подчинения (Пекин, Шанхай, Тяньцзин). Провинции и автономные районы делятся на округа, уезды и волости. Высшая
Рефераты География
User VikkiROY : 24 сентября 2013
5 руб.
Соцiально-психологiчна робота в органах внутрiшнiх справ
З М І С Т Вступ Розділ І. Соціальна політика України і соціальна робота 1.1. Сутність соціальної політики України на сучасному етапі і її зв’язок з соціальною роботою 1.2. Становлення соціальної роботи як науки і професійної діяльності Розділ ІІ. Психолого-педагогічне забезпечення професійної соціальної роботи в органах внутрішніх справ 2.1. Теоретико-методологічні засади психолого-педагогічного забезпечення професійної соціальної роботи в ОВС 2.2. Діагностико-корекційна робота
Социология Работа
User evelin : 6 февраля 2014
5 руб.
Аэродромный контейнеровоз
Дипломный проект. Спроектирован контейнеровоз на шасси автомобиля Камаз с манипуляторным оборудованием. Все расчеты и чертежи по разделам выложены полностью. Спецификация к чертежам есть. Следующие разделы: технологический, экономический, производственный, БЖД. Содержание пояснительной записки: 1.Введение. 2.Описание машины. 3.Назначение и область применения. 4.Обзор существующих конструкций. 5.Расчеты, подтверждающие работоспособность и надежность конструкции. 5.1.Выбор базового автомобиля
Диплом и связанное с ним МАДИ (ГТУ) Дипломные проекты
User madi77 : 21 декабря 2015
500 руб.
Аэродромный контейнеровоз
Экзаменационный билет №5 по курсу ЦСП
Экзаменационный билет по курсу ЦСП. Билет № 5 1. Генераторное оборудование ЦСП ПЦИ. 2. Мультиплексирование 34 Мбит/с потоков в СТМ-1.
СибГУТИ Билеты экзаменационные Телекоммуникации
User maximovpa : 5 октября 2013
150 руб.
up Наверх