Лабораторная работа №3 по дисциплине: Интеллектуальные технологии информационной безопасности. “Регрессия”. Для всех вариантов

Лабораторная работа No3

“Регрессия”

Целью данной лабораторной работы является разработка программы, реализующей применение метода логистической регрессии к заданному набору данных.

В набор данных входят 2 файла, в «True» находится информация о правдивых новостных заметках, в «Fake.csv» находится информация о поддельных новостях. Каждый файл состоит из следующих полей:
1. (title) – заголовок статьи;
2. (text) – содержимое статьи;
3. (subject) – тип новости;
4. (date) – дата опубликования статьи.

Реализация регрессии в Scikit-Learn
На практике предлагается использовать проверенную и широко используемую библиотеку Scikit-Learn для реализации регрессии.
Следующая команда импортирует набор данных CSV, используя библиотеку pandas:
dataset = pd.read_csv('Weather.csv')
Чтобы увидеть статистические данные набора данных, можно использовать метод describe():
dataset.describe()
Затем разделяем 80% данных на обучающий набор, а 20% данных - на набор тестов, используя приведенный ниже код.
Переменная test_size - это то место, где мы на самом деле указываем пропорцию тестового набора.
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
Наконец, после разделения данных на обучающие и тестовые наборы, настало время обучить наш алгоритм. Для этого нужно импортировать класс LinearRegression, создать его экземпляр и вызвать fit() метод вместе с нашими данными обучения.
regressor = LinearRegression()
regressor.fit(X_train, y_train)
Теперь, когда мы обучили наш алгоритм, пришло время сделать некоторые прогнозы. Для этого будем использовать наши тестовые данные и посмотрим,
насколько точно алгоритм предсказывает процентную оценку. Чтобы сделать прогноз на тестовых данных, выполните следующий скрипт:
y_pred = regressor.predict(X_test)

Задание: используя модель логистической регрессии реализовать прогнозирование реалистичности статьи.
1. Необходимо построить модель для каждого из наборов, обучить её и сравнить полученные при помощи модели результаты с известными. Для обучения использовать 70% выборки, для тестирования 30%. Разбивать необходимо случайным образом, а, следовательно, для корректности тестирования качества модели, эксперимент необходимо провести не менее 10 раз и вычислить среднее значение качества регрессии.
2. Работу регрессии необходимо проверить на конкретном примере. При подаче на вход определённого объекта данных (заголовка статьи, текста, типа и даты) программа должна выводить тип статьи «Fake» или «Frue»,
выведенное значение необходимо проверить с тем, что находится в исходных данных.
Особенности работы с данными:
После загрузки данных в память необходимо пометить поддельные новости «0», а подлинные новости «1» для дальнейшей работы.
Для преобразования текста в частотные векторы слова использовать метод TfidfVectorizer().
В качестве отчёта требуется представить:
Работающую программу, в которой отражено использование метода логистической регрессии для предсказания типа статей.
Результаты 10 запусков отразить в таблице, где указать номер запуска и процент правильности предсказания типа статьи. Перед каждым запуском данные можно обработать с помощью метода shuffle().
Среднее значение предсказания типа статьи исходя из 10 запусков

Уважаемый студент дистанционного обучения,
Оценена Ваша работа по предмету: Интеллектуальные технологии информационной безопасности
Вид работы: Лабораторная работа 3
Оценка: Зачет
Дата оценки: 27.06.2024
Рецензия: Уважаемый ...............................................,

Ракитский Антон Андреевич