Лабораторная работа №2 по предмету «Анализ данных»

Лабораторная работа №2
Тема: «Методы классификации анализа данных»

Лабораторная работа состоит из двух частей:

Часть 1. Классификация данных методов наивного Байеса.
Цель задания: Изучение методов наивного байесовского классификатора при построении моделей машинного обучения и их применения, получение и закрепление умений и навыков при работе с наивным байесовским классификатором для решения задач линейной классификации.

Часть 2. Применение методов машинного обучения, дерево решений и случайные леса.
Цель задания: Изучение и применение классификации и регрессии данных методами построения дерева решений и случайного леса.

Часть 1. Задание
С помощью данный методических указаний, рекомендуемой литературы (см., например, [1], глава 5) и материалов сети Интернет изучить основные теоретические сведения и инструкции по применению стандартных НБК.
Разработать модель классификации коротких документов по категориям. Для обучения использовать набор данных с разреженными признаками количеств слов из корпуса текста 20 Newsgroups («20 дискуссионных групп»). Для этого необходимо:
1. Скачать и загрузить данные. Набор данных доступен из библиотеки sklearn: from sklearn.datasets import fetch_20newsgroups data = fetch_20newsgroups()
2. Вывести заголовок набора данных, изучить признаки, выбрать целевые переменные.
3. Для простоты обучения, выбрать несколько категорий.
4. Вывести образец записи на экран.
5. Определить количество классов и уникальных записей.
6. Подключить классы TfidfVectorizer и MultinomialNB из библиотеки sklearn.
7. Преобразовать содержимое каждой строки в числовой вектор. Для этого использовать векторизатор TF-IDF (https://scikit-learn.ru/).
8. При помощи функции make_pipeline преобразовать данные и передать в классификатор.
9. Обучить модель.
10. Выполнить предсказание на примере разных предложений.
11. Проверить эффективность работы оценивателя. Построить матрицу различий между настоящими и предсказанными метками для контрольных данных (confusion_matrix). Сделать выводы по значениям полученной матрицы ошибок.
12. Построить модель, применив другие алгоритмы семейства байесовских классификаторов с различными параметрами. Сравнить результаты.

Вид работы: лабораторная
Оценка: зачет
Данилова Любовь Филипповна