Выпускная квалификационная работа. Анализ и разработка технологий обработки больших данных

Цена:
1500 руб.

Состав работы

material.view.file_icon 6F55548D-32C6-42DE-BD80-A61E6A9F794A.rar [1 MB]
material.view.file_icon Анализ и разработка технологий обработки больших данных.pdf [36 стр., 1 MB]

Необходимые программы

Работа представляет собой rar архив с файлами (распаковать онлайн), которые открываются в программах:
  • Adobe Acrobat Reader

Описание

Анализ и разработка технологий обработки больших данных
В данной работе был проведен анализ актуальности BigData
специалистов и конкретно дата инженеров, использовав BigData инструменты
была проведена аналитика используемых технологий, для построения этой
аналитики использовались следующие технологии:
1. Java
2. Стек Hadoop
3. Oozie
Средствами Java было создано приложение для забора данных через
api.hh.ru, над этими данными была построена hive таблица, и проведен ряд ETL
преобразований для создания DM для анализа используемых технологий для
дата инженеров.
Как и говорилось в ведении данная работа имеет как
теоретическую(аналитика, расчет конфигурации кластера), так и практическую
часть(создание приложения, автоматизации процесса забора данных и ETL).
Практическая часть этой работы может использоваться как шаблон для
построения workflow на oozie, ETL задач на Hive, а теоретическая для
проведений теоретических расчетов конфигурации кластера и ознакомления с
BigData технологиями.
Для примера, данная работа может понадобиться для решения подобных
задач:
1. Тенденции развития рынка труда в IT
2. Анализ ожидаемого уровня заработной платы сотрудником
3. Создание\Изменение программы факультета в зависимости от анализа
используемых компаниями технологий
4. Поиск инвеститоров для факультетов, в зависимости от направления
факультета и используемых технологий в компаниях для пополнения бюджета
факультета и осуществления предполагаемого места работы для студента.

Содержание
Введение ............................................................................................................ 3
1 DATA ENGINERING .................................................................................... 7
1.1 Навыки дата инженера.............................................................................. 9
1.2 Задачи дата инженера ............................................................................... 11
2 ИСПОЛЬЗУЕМЫЕ ТЕХНОЛОГИИ ........................................................... 13
2.1 Многообразие выбора ............................................................................... 14
2.2 Архитектура и конфигурация .................................................................. 16
3 ПРИМЕР ЗАДАЧИ ........................................................................................ 19
3.1 Описание цепочки решений ..................................................................... 20
3.2 Разработка .................................................................................................. 21
3.3 Автоматизация ........................................................................................... 30
ЗАКЛЮЧЕНИЕ ................................................................................................. 35
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ ....................................... 36

Дополнительная информация

Год защиты 2018
«Сибирский государственный университет телекоммуникаций и информатики»
Подразделение: Кафедра прикладной математики и кибернетики (ПМ и К)
Научный руководитель: Зайцев Михаил Георгиевич
Направление подготовки/специальность: 09.03.01 Информатика и вычислительная техника

Выполнение на заказ дипломных, курсовых и контрольных для студентов ДО, ЗО и ускоренной формы обучения
tokarev.const@yandex.ru

Похожие материалы

Выпускная квалификационная работа
Проект строительства оптического сети доступа Дивногорского микрорайона г.Новосибирск
Интернет Диплом и связанное с ним ДО СИБГУТИ
User Chekk86 : 4 февраля 2023
1300 руб.
Выпускная квалификационная работа
Выпускная квалификационная работа
Дипломная работа на тему гидравлические цилиндры СОДЕРЖАНИЕ Введение 5 1. Обзор существующих гидроцилиндров, их назначение и принцип действия 7 1.2. Конструктивное исполнение 12 1.3. Возможные типы крепления и указания по встройке 13 1.4. Общие требования при проведении монтажа и установки гидроцилиндров 14 1.5. Основные причины неисправностей, возникающих в гидроцилиндрах 15 1.6. Обзор существующих способов и средств диагностирования гидроцилиндров 16 1.7. Методы и виды диагностирования 18 1.8
ПГТУ Диплом и связанное с ним Гидравлические системы, машины и механизмы
User Игорь102 : 13 ноября 2018
4900 руб.
Выпускная квалификационная работа
РАЗРАБОТКА ПРИЛОЖЕНИЯ ДЛЯ СКЛАДСКОГО УЧЕТА ОТДЕЛА ПРЕДПРИЯТИЯ (Программа разработана на Delphi, имеет оконный интерфейс) СОДЕРЖАНИЕ ВКР: Введение 1 Постановка задачи 1.1 Описание предметной области 1.2 Требования к приложению 1.3 Этапы разработки 2 Средства разработки 3 Проектирование и разработка 3.1 Проектирование интерфейса 3.2 Проектирование базы данных 3.3 Подключение к базе данных 3.4 Реализация интерфейса 4 РУКОВОДСТВО ПОЛЬЗОВАТЕЛЯ 4.1 Главное окно 4.2 Добавление продукции на склад и реда
СибГУТИ Дипломные проекты Работа Выпускная
User pbv : 4 января 2018
1000 руб.
Выпускная квалификационная работа бакалавра
Модернизация системы управления информационной безопасностью в ООО «Смарт Консалтинг» АННОТАЦИЯ Выпускной квалификационной работа студента по теме «Модернизация системы управления информационной безопасностью в ООО «Смарт Консалтинг» Объём работы – 80 страниц, на которых размещены 20 рисунков и 20 таблиц. При написании работы использовалось 10 источников.
Диплом и связанное с ним ДО СИБГУТИ Информационная безопасность
User Vladyuwqa : 19 ноября 2023
2000 руб.
Выпускная квалификационная работа (ВКР)
Выпускная квалификационная работа бакалавра Проект волоконно-оптической линии передачи на участке г. Тюмень-с.Ярково.«Сибирский государственный университет телекоммуникаций и информатики» (СибГУТИ).Объем работы-80 страниц с презентацией и схемами.Защита ВКР была в 2017 году.
Диплом и связанное с ним ДО СИБГУТИ Волоконно-оптические системы передачи
User 32217911986 : 22 февраля 2022
2000 руб.
Выпускная квалификационная работа ,"ВКР"
Данная выпускная работа на тему " Проект реконструкций участка транспортной сети города Семей"которая состоит из 54 страницы состоит из презентаций , доклад, защита ВКР была защищена на оценку 5 в 2018 году в проекте была часть БЖ Безопастность жизнедеятельности плагиат составляет немение 71.2% цена оптимальная можно сказать за даром
******* Не известно Работа Выпускная Разное
User 87783661034 : 19 февраля 2018
5000 руб.
Выпускная квалификационная работа (GPON)
Проект сети широкополосного доступа (GPON). GPON (Gigabit-capable рassive optical network) - технология пассивных оптических сетей, которая позволяет увеличить пропускную способность сети до 1 Гб/с (в 100 раз выше, чем при технологии ADSL), обеспечивает высокое качество передачи видеосигнала с предоставлением новых сервисов, позволяет развивать телевидение высокой точности HDTV.
Диплом и связанное с ним СибГУТИ Сети связи и системы коммутации
User Student2017 : 5 декабря 2017
1000 руб.
Выпускная квалификационная работа В_КР по педагогике
ПРЕОДОЛЕНИЕ АГРЕССИИ У ДЕТЕЙ ДОШКОЛЬНОГО ВОЗРАСТА СРЕДСТВАМИ МУЗЫКАЛЬНОГО ВОСПИТАНИЯ Глава 1. Изучение проблемы агрессии и агрессивности детей дошкольного возраста в современной педагогике и психологии….........................................7 1.1. Понятие агрессии и агрессивного поведения в психолого-педагогической литературе......…………………………………………………......7 1.2. Психолого-педагогическая характеристика проявления агрессии детей дошкольного возраста.....……………
Работа Выпускная Педагогика
User mike_vorn : 14 февраля 2015
5000 руб.

Другие работы

Компьютерная графика. Контрольная работа. Вариант №3
Контрольная работа – задание № 1 ЗАДАНИЕ: 1.1 Сохранить и прислать получившиеся изображения в результате выполнения рабо-ты. 1.2 Нарисовать рисунок Выберите жанр (натюрморт, портрет, пейзаж, и пр.) и в новом документе нарисуйте картинку, используя инструменты рисования и заливки. 1.3 Раскрасить фотографию - Откройте понравившийся файл; - Переведите файл в режим градаций серого командой Image (Изображение) > Mode (Режим) > Grayscale (Полутоновый). - Переведите файл в режим полноцветного изо
Компьютерная графика ДО СИБГУТИ Работа Контрольная
User Marina4 : 14 декабря 2021
70 руб.
Вариант №3. БЖД
Вопрос №5: Обязанность работодателя по обеспечению охраны труда на предприятиях. Вопрос №32: Медицинские средства индивидуальной защиты при ЧС. Задача №4. Задача №8. Задача №9.
СибГУТИ Безопасность жизнедеятельности (БЖД) Работа Контрольная
User gukin1 : 4 апреля 2017
100 руб.
РАСЧЕТ СИЛОВОГО ТРАНСФОРМАТОРА. Вариант 36.
ЗАДАНИЕ Мощность трансформатора – Sн=100 кВА; число фаз – m = 3; частота – f = 50 Гц. Номинальные напряжения обмоток – UВН = 6 кВ; UНН = 0,23 кВ. Режим работы –S1. Напряжение короткого замыкания – uК = 4,5 %; потери короткого замыкания –PК = 1970 Вт; потери холостого хода – P0 =0,365 кВт; ток холостого хода – i0= 2,6 %. СОДЕРЖАНИЕ ЗАДАНИЕ 2 1. ОПРЕДЕЛЕНИЕ ОСНОВНЫХ ЭЛЕКТРИЧЕСКИХ ВЕЛИЧИН 3 2. РАСЧЕТ ОСНОВНЫХ РАЗМЕРОВ ТРАНСФОРМАТОРА 7 3. РАСЧЕТ ОБМОТОК НН и ВН 11 3.1. Расчет обмотки НН 11 3.2
Работа Курсовая Электрические машины и аппараты
User Sanni : 15 декабря 2023
1290 руб.
Популізм як специфічна політична технологія
Популізм – підвищена чуттєвість великих мас людей до простих пояснень складних проблем, до примітивних галасливих закликів; це демагогічні політичні дії політиків, які прагнуть використати цю чуттєвість (Д. Видрін). Засади популізму: 1. “Підігравання” мінливим настроям та вимогам мас. 2. Використання емоційних станів мас людей (страх, ненависть, ворожість). 3. Загравання з масами. 4. Використання лексики натовпу. 5. Завищені обіцянки. 6. Апеляція до найменш-освіченої частини мас. 7. Створення ід
Политология Работа
User evelin : 11 января 2014
15 руб.
up Наверх