ЯК РОЗДІЛИТИ НАБІР ДАНИХ ЗА ДОПОМОГОЮ ФУНКЦІЇ TRAIN_TEST_SPLIT() SCIKIT-LEARN

У цій статті ми обговоримо, як розділити набір даних за допомогою train_test_split() scikit-learns.

функція sklearn.model_selection.train_test_split():

Метод train_test_split() використовується для поділу наших даних на навчальні та тестові набори. По-перше, нам потрібно розділити наші дані на функції (X) і мітки (y). Фрейм даних поділяється на X_train, X_test, y_train і y_test. Набори X_train та y_train використовуються для навчання та підгонки моделі. Набори X_test і y_test використовуються для перевірки моделі, якщо вона передбачає правильні результати/мітки. ми можемо явно перевірити розмір поїзда та тестових наборів. Пропонується, щоб наші набори поїздів були більшими, ніж набори для тестування.

Навчальний набір: Навчальний набір даних – це набір даних, який використовувався для відповідності моделі. Набір даних, на якому навчається модель. Ці дані бачить і вивчає модель. Тестовий набір: тестовий набір даних — це підмножина навчального набору даних, яка використовується для точної оцінки остаточної відповідності моделі. Набір перевірки: набір даних перевірки – це зразок даних із навчального набору моделі, який використовується для оцінки продуктивності моделі під час налаштування гіперпараметрів моделі. недостатньо підібрана: модель даних, яка є недостатньо підігнаною, має високий рівень помилок як для навчального набору, так і для неспостережуваних даних, оскільки вона не в змозі ефективно представити зв’язок між вхідними та вихідними змінними. переобладнання: коли статистична модель точно відповідає навчальним даним, але мета алгоритму втрачена, оскільки він не в змозі точно виконати невидимі дані, називається переобладнанням

Синтаксис: sklearn.model_selection.train_test_split(*масиви, test_size=Немає, train_size=Немає, random_state=Немає, shuffle=Правда, stratify=Немає

Параметри:

*масиви: послідовність індексованих. Списки, масиви numpy, scipy-sparse матриці та фрейми даних pandas — усе це допустимі вхідні дані. test_size: int або float, за замовчуванням немає. Якщо float, воно має бути між 0,0 і 1,0 і представляти відсоток набору даних для тестового розділення. Якщо використовується int, це стосується загальної кількості тестових зразків. Якщо значенням є None, використовується доповнення до розміру поїзда. Буде встановлено значення 0,25, якщо розмір поїзда також не має значення. train_size: int або float, за замовчуванням немає. random_state : int, за замовчуванням Немає. Керує тим, як дані перемішуються перед виконанням розбиття. Для повторюваного виведення через кілька викликів функцій передайте int. shuffle: логічний об'єкт, за замовчуванням True. Чи потрібно перетасувати дані перед розділенням. Stratify має бути None, якщо shuffle=False. stratify: array-like object , за замовчуванням це None . Якщо вибрано «Немає», дані стратифікуються, використовуючи їх як мітки класу.

Повернення:

розщеплення: Тестовий розподіл вхідних даних представлений у вигляді списку.

Кроки для розділення набору даних:

Крок 1. Імпортуйте необхідні пакети або модулі:

На цьому кроці ми імпортуємо необхідні пакети або модулі в робоче середовище Python.

Python3

# import packages> import> numpy as np> import> pandas as pd> from> sklearn.model_selection> import> train_test_split>

Крок 2. Імпортуйте фрейм/набір даних:

Тут ми завантажуємо CSV за допомогою методу pd.read_csv() із pandas і отримуємо форму набору даних за допомогою функції shape().

CSV використано:

Python3

# importing data> df> => pd.read_csv(> 'prediction.csv'> )> print> (df.shape)>

Вихід:

(13, 3)

Крок 3. Отримайте змінні функції X і Y:

Тут ми призначаємо змінні X і Y, у яких змінна ознаки X має незалежні змінні, а змінна ознаки y має залежну змінну.

Python3

X> => df[> 'area'> ]> y> => df[> 'prices'> ]>

Крок 4. Використовуйте клас розділеного тесту поїзда, щоб розділити дані на набори тренувань і тестів:

Тут клас train_test_split() із sklearn.model_selection використовується для поділу наших даних на навчальні та тестові набори, де змінні функції надаються як вхідні дані в метод. test_size визначає частину даних, яка піде в тестові набори, і випадковий стан використовується для відтворюваності даних.

Python3

# using the train test split function> X_train, X_test, y_train, y_test> => train_test_split(> > X,y , random_state> => 104> ,test_size> => 0.25> , shuffle> => True> )>

приклад:

У цьому прикладі імпортується файл «predictions.csv». Атрибут df.shape використовується для отримання форми кадру даних. Форма фрейму даних (13,3). Стовпці функцій беруться у змінну X, а стовпець результату – у змінну y. Змінні X і y передаються в методі train_test_split(), щоб розділити кадр даних на набори тренувань і тестів. Параметр випадкового стану використовується для відтворюваності даних. test_size задано як 0,25, що означає, що 25% даних потрапляє в тестові набори. 4 із 13 рядків у кадрі даних потрапляють у тестові набори. 75% даних потрапляє в набори поїздів, тобто 9 рядків із 13 рядків. Набори поїздів використовуються для підгонки та навчання моделі машинного навчання. Для оцінювання використовуються набори тестів.

CSV використано:

Python3

# import packages> import> numpy as np> import> pandas as pd> from> sklearn.model_selection> import> train_test_split> # importing data> df> => pd.read_csv(> 'prediction.csv'> )> print> (df.shape)> # head of the data> print> (> 'Head of the dataframe : '> )> print> (df.head())> print> (df.columns)> X> => df[> 'area'> ]> y> => df[> 'prices'> ]> # using the train test split function> X_train, X_test, y_train, y_test> => train_test_split(> > X,y , random_state> => 104> ,test_size> => 0.25> , shuffle> => True> )> # printing out train and test sets> print> (> 'X_train : '> )> print> (X_train.head())> print> (X_train.shape)> print> ('')> print> (> 'X_test : '> )> print> (X_test.head())> print> (X_test.shape)> print> ('')> print> (> 'y_train : '> )> print> (y_train.head())> print> (y_train.shape)> print> ('')> print> (> 'y_test : '> )> print> (y_test.head())> print> (y_test.shape)>

Вихід:

(13, 3) Head of the dataframe : Unnamed: 0 area prices 0 0 1000 316404.109589 1 1 1500 384297.945205 2 2 2300 492928.082192 3 3 3540 661304.794521 4 4 4120 740061.643836 Index(['Unnamed: 0', 'area', 'prices'], dtype='object') X_train : 3 3540 7 3460 4 4120 0 1000 8 4750 Name: area, dtype: int64 (9,) X_test : 12 7100 2 2300 11 8600 10 9000 Name: area, dtype: int64 (4,) y_train : 3 661304.794521 7 650441.780822 4 740061.643836 0 316404.109589 8 825607.876712 Name: prices, dtype: float64 (9,) y_test : 12 1.144709e+06 2 4.929281e+05 11 1.348390e+06 10 1.402705e+06 Name: prices, dtype: float64 (4,)

приклад:

У цьому прикладі виконуються наступні кроки:

Імпортуються необхідні пакети.
Набір даних Advertising.csv завантажується та очищається, а нульові значення видаляються.
створено масиви функцій і ціль (X andy).
Створені масиви розбиваються на навчальні та тестові набори. 30% набору даних потрапляє в тестовий набір, що означає, що 70% даних є набором потягів.
Створюється стандартний об’єкт масштабувальника.
X_train вставляється в масштабувальник.
X_train і X_test перетворюються за допомогою методу transform().
Створено просту модель лінійної регресії
В модель входять комплекти поїздів.
метод predict() використовується для виконання прогнозів для набору X_test.
Метрика mean_squared_error() використовується для оцінки моделі.

Щоб переглянути та завантажити файл CSV, використаний у цьому прикладі, натисніть тут .

Python3

# import packages> import> pandas as pd> import> numpy as np> from> sklearn.model_selection> import> train_test_split> from> sklearn.preprocessing> import> StandardScaler> from> sklearn.linear_model> import> LinearRegression> from> sklearn.metrics> import> mean_squared_error> df> => pd.read_csv(> 'Advertising.csv'> )> # dropping rows which have null values> df.dropna(inplace> => True> ,axis> => 0> )> y> => df[> 'sales'> ]> X> => df.drop(> 'sales'> ,axis> => 1> )> # splitting the dataframe into train and test sets> X_train,X_test,y_train,y_test> => train_test_split(> > X,y,test_size> => 0.3> ,random_state> => 101> )> scaler> => StandardScaler()> scaler.fit(X_train)> X_train> => scaler.transform(X_train)> X_test> => scaler.transform(X_test)> model> => LinearRegression().fit(X_train,y_train)> y_pred> => model.predict(X_test)> print> (y_pred)> print> (mean_squared_error(y_test,y_pred))>

Вихід:

масив ([19.82000933, 14.23636718, 12.80417236, 7.75461569, 8.31672266,

15.4001915, 11.6590983, 15.22650923, 15.53524916, 19.46415132,

17.21364106, 16.69603229, 16.46449309, 10.15345178, 13.44695953,

24.71946196, 18.67190453, 15.85505154, 14.45450049, 9.91684409,

10.41647177, 4.61335238, 17.41531451, 17.31014955, 21.72288151,

5.87934089, 11.29101265, 17.88733657, 21.04225992, 12.32251227,

14.4099317, 15.05829814, 10.2105313, 7.28532072, 12.66133397,

23.25847491, 18.87101505, 4.55545854, 19.79603707, 9.21203026,

10.24668718, 8.96989469, 13.33515217, 20.69532628, 12.17013119,

21.69572633, 16.7346457, 22.16358256, 5.34163764, 20.43470231,

7.58252563, 23.38775769, 10.2270323, 12.33473902, 24.10480458,

9.88919804, 21.7781076 ])

2,7506859249500466

приклад:

У цьому прикладі ми будемо використовувати модель класифікатора K-найближчих сусідів.

У цьому прикладі виконуються наступні кроки:

Імпортуються необхідні пакети.
дані райдужної оболонки завантажуються з sklearn.datasets.
створено масиви функцій і ціль (X andy).
Створені масиви розбиваються на навчальні та тестові набори. 30% набору даних потрапляє в тестовий набір, що означає, що 70% даних є набором потягів.
Базова модель Knn створюється за допомогою класу KNeighborsClassifier.
Комплекти шлейфів підходять до моделі knn.
метод predict() використовується для виконання прогнозів для набору X_test.

Python3

# Import packages> from> sklearn.neighbors> import> KNeighborsClassifier> from> sklearn.model_selection> import> train_test_split> from> sklearn.datasets> import> load_iris> > # Load the data> irisData> => load_iris()> > # Create feature and target arrays> X> => irisData.data> y> => irisData.target> > # Split data into train and test sets> X_train, X_test, y_train, y_test> => train_test_split(> > X, y, test_size> => 0.2> , random_state> => 42> )> > knn> => KNeighborsClassifier(n_neighbors> => 1> )> > knn.fit(X_train, y_train)> > # predicting on the X_test data set> print> (knn.predict(X_test))>

Вихід: