Introdução

Ideia Geral

Utilizando os dados de câncer da FOSP, somente do tipo colorretal, serão utilizados quatro modelos de machine learning diferentes, com o intuito de testar diferentes tipos de algoritmo na classificação de sobrevida por cinco anos.

O label é 0 se o paciente não sobreviveu após cinco anos do diagnóstico e 1 se sobreviveu.

Modelos de ML

Foram escolhidos os modelos Naive Bayes, que utiliza o Teorema de Bayes para realizar as previsões, Random Forest, XGBoost e LightGBM, que utilizam os conceitos de árvores de decisão, além de bagging e boosting. Além disso, será testado um modelo de votação com os melhores classificadores obtidos, visando obter um algoritmo ainda mais acertivo.

Validação dos modelos

Para validar os modelos treinados foi utilizada primeiramente a matriz de confusão, sendo possível avaliar os acertos em ambas as classes. Para entender de houve overfitting nos modelos, foi utilizada a curva ROC para os conjuntos de treino e teste, comparando a métrica AUC entre ambos os conjuntos.

Por fim, os modelos Random Forest, XGBoost e LightGBM oferecem a possibilidade de saber quais foram as features mais importantes, ou seja, que mais influenciam na previsão das classes. Assim, foram mostradas duas maneiras diferentes de analisar a importância das variáveis de entrada, uma usando a própria função dos modelos e outra usando a biblioteca SHAP, que mostra a influência das features em ambas as classes.

# Leitura dos dados
df = read_csv('/content/drive/MyDrive/Trabalho/Cancer/Datasets/colorretal_labels.csv')
df.head(3)

(31916, 37)

	ESCOLARI	IDADE	SEXO	IBGE	CATEATEND	DIAGPREV	EC	ECGRUP	TRATHOSP	NENHUM	...	IBGEATEN	ULTICONS	ULTIDIAG	ULTITRAT	obito_geral	obito_cancer	vivo_ano1	vivo_ano3	vivo_ano5	ESCOLARI_2
0	4	19	2	3538709	9	2	IV	IV	I	0	...	3538709	4985	4985	4951	0	0	1	1	1	4.0
1	9	19	1	3537107	2	2	IIIA	III	I	0	...	3509502	2680	2744	2674	1	1	1	1	1	4.0
2	4	19	1	3516200	9	2	IIB	II	F	0	...	3516200	4725	4734	4719	0	0	1	1	1	4.0

3 rows × 37 columns

# Valores faltantes
df.isna().sum().sort_values(ascending=False).head(6)

ESCOLARI     0
CONSDIAG     0
DIAGTRAT     0
ANODIAG      0
FAIXAETAR    0
DRS          0
dtype: int64

# Correlação com a saída
corr_matrix = df.corr()
abs(corr_matrix['vivo_ano5']).sort_values(ascending = False).head(20)

The default value of numeric_only in DataFrame.corr is deprecated. In a future version, it will default to False. Select only valid columns or specify the value of numeric_only to silence this warning.

vivo_ano5       1.000000
ULTIDIAG        0.831968
ULTITRAT        0.829350
ULTICONS        0.829178
vivo_ano3       0.698727
vivo_ano1       0.369942
obito_cancer    0.365039
obito_geral     0.344902
ANODIAG         0.303518
CIRURGIA        0.166547
ULTINFO         0.155014
CATEATEND       0.141150
OUTROS          0.114849
IDADE           0.079483
DIAGPREV        0.043418
SEXO            0.034478
HORMONIO        0.031212
IBGEATEN        0.029063
RECNENHUM       0.028075
NENHUM          0.025816
Name: vivo_ano5, dtype: float64

# Quantidade de pacientes em cada classe da saída
df.vivo_ano5.value_counts()

0    23394
1     8522
Name: vivo_ano5, dtype: int64

DataFrame vivo_ano5

Antes de realizar o pré-processamento dos dados é necessário filtrar os dados, de modo a retirar pacientes que não foram acompanhados por pelo menos cinco anos e que a última informação consta como vivos.

# Dataset da sobrevida de cinco anos
df_ano5 = df[~((df.obito_geral == 0) & (df.vivo_ano5 == 0))].reset_index(drop=True)
df_ano5.shape

(23338, 37)

df_ano5.head(3)

	ESCOLARI	IDADE	SEXO	IBGE	CATEATEND	DIAGPREV	EC	ECGRUP	TRATHOSP	NENHUM	...	IBGEATEN	ULTICONS	ULTIDIAG	ULTITRAT	obito_geral	obito_cancer	vivo_ano1	vivo_ano3	vivo_ano5	ESCOLARI_2
0	4	19	2	3538709	9	2	IV	IV	I	0	...	3538709	4985	4985	4951	0	0	1	1	1	4.0
1	9	19	1	3537107	2	2	IIIA	III	I	0	...	3509502	2680	2744	2674	1	1	1	1	1	4.0
2	4	19	1	3516200	9	2	IIB	II	F	0	...	3516200	4725	4734	4719	0	0	1	1	1	4.0

3 rows × 37 columns

Análise - Sobrevida cinco anos

Pré-processamento

Como o dataset já foi limpo anteriormente, aqui na etapa de pré-processamento serão realizadas a divisão dos dados em treino e teste, a codificação das colunas textuais para colunas numéricas e a normalização dos dados. Com isso, temos os dados prontos para o treinamento dos modelos de machine learning e consequentemente sua validação.

Neste primeiro momento, serão definidas as colunas que não serão utilizadas como features, assim, foi escolhido manter a coluna IDADE, então a coluna FAIXAETAR será retirada. O mesmo ocorre com a coluna EC, retirando a coluna ECGRUP. Por fim, as outras colunas contidas na list_drop são possíveis saídas para os modelos, mas estamos interessados somente na sobrevida de cinco anos, por isso só ela será mantida como label e as outras serão retiradas.

list_drop = ['FAIXAETAR', 'ULTICONS', 'ULTIDIAG', 'ULTITRAT', 'obito_geral',
             'vivo_ano1', 'vivo_ano3', 'ULTINFO', 'obito_cancer', 'ECGRUP', 'ESCOLARI']

lb = 'vivo_ano5'

Uma função foi criada para realizar o pré-processamento inteiro, chamada preprocessing, internamente ela utiliza outras funções criadas que são: get_train_test (divide os dados em treino e teste), train_preprocessing (prepara os dados de treino) e test_preprocessing (prepara os dados de teste).

Mais detalhes em funções.

X_train, X_test, y_train, y_test, feat_cols, enc, norm = preprocessing(df_ano5, list_drop, lb,
                                                                       random_state=seed,
                                                                       balance_data=False,
                                                                       encoder_type='LabelEncoder',
                                                                       norm_name='StandardScaler',
                                                                       return_enc_norm=True)

X_train = (17503, 25), X_test = (5835, 25)
y_train = (17503,), y_test = (5835,)

y_train.value_counts(normalize=True)

0    0.634863
1    0.365137
Name: vivo_ano5, dtype: float64

y_test.value_counts(normalize=True)

0    0.63479
1    0.36521
Name: vivo_ano5, dtype: float64

Treinamento e validação dos modelos de machine learning

Depois das etapas de preparação, os dados estão prontos para serem utilizados nos modelos escolhidos.

Naive Bayes

# Criação e treinamento do modelo Naive Bayes
nb = GaussianNB()
nb.fit(X_train, y_train)

GaussianNB()

In a Jupyter environment, please rerun this cell to show the HTML representation or trust the notebook.
On GitHub, the HTML representation is unable to render, please try loading this page with nbviewer.org.

# Matriz de confusão
plot_confusion_matrix(nb, X_test, y_test)

              precision    recall  f1-score   support

           0      0.769     0.003     0.005      3704
           1      0.366     0.999     0.535      2131

    accuracy                          0.366      5835
   macro avg      0.567     0.501     0.270      5835
weighted avg      0.622     0.366     0.199      5835

Claramente percebe-se que o modelo previu quase todos os dados como sendo da classe 1, portanto não teve um aprendizado satisfatório.

Na matriz de confusão, buscamos uma diagonal principal equilibrada e com a maior acertividade possível.

# Curva ROC
plot_roc_curve(nb, X_train, X_test, y_train, y_test)

Pelas curvas ROC, pode-se dizer que não há overfitting, mas o modelo é ruim para a previsão da classe 0, portanto qualquer análise além dessa não possui tanta relevância.

Random Forest

O modelo Random Forest é mais complexo em relação ao Naive Bayes, assim alguns hiperparâmetros serão definidos para obter um modelo base e depois será realizada a busca dos melhores parâmetros utilizando o Optuna.

Os parâmetros definidos para este primeiro modelo serão:

• random_state: para repetibilidade do treinamento do modelo. Será utilizado na busca pelos hiperparâmetros também, sempre como mesmo valor definido na variável seed.

• max_depth: será definido como 8, pois o padrão do modelo é não ter profundidade máxima para as árvores, o que dificulta e faz o treinamento ser muito longo, além da maior chance de overfitting.

• class_weight: usado para definir os pesos de cada classe no treinamento do modelo, muito útil quando temos classes desbalanceadas no conjunto de dados, como neste caso.

# Criação e treinamento do modelo RandomForest
rf = RandomForestClassifier(random_state=seed,
                            class_weight={0:1, 1:1.206},
                            max_depth=8,
                            criterion='entropy')

rf.fit(X_train, y_train)

RandomForestClassifier(class_weight={0: 1, 1: 1.206}, criterion='entropy',
                       max_depth=8, random_state=10)

In a Jupyter environment, please rerun this cell to show the HTML representation or trust the notebook.
On GitHub, the HTML representation is unable to render, please try loading this page with nbviewer.org.

# Matriz de confusão
plot_confusion_matrix(rf, X_test, y_test)

              precision    recall  f1-score   support

           0      0.851     0.768     0.807      3704
           1      0.655     0.767     0.707      2131

    accuracy                          0.767      5835
   macro avg      0.753     0.767     0.757      5835
weighted avg      0.780     0.767     0.771      5835

A matriz obtida para o modelo Random Forest apresentou diagonal equilibrada em ambas as classes, com 77% de acurácia.

show_tree(rf, feat_cols, 2)

# Curva ROC
plot_roc_curve(rf, X_train, X_test, y_train, y_test)

Como a métrica AUC possui valores próximos para o conjunto de treino e de teste, 0,871 e 0,848 respectivamente, pode-se dizer que há apenas um pouco de overfitting, não sendo algo de grande preocupação.

# Importância das features
plot_feat_importances(rf, feat_cols)

As features mais importantes nesta visualização são EC, com uma grande vantagem, ANODIAG, CIRURGIA e IDADE.

# Importância das features pelos valores SHAP
plot_shap_values(rf, X_train, feat_cols)

No data for colormapping provided via 'c'. Parameters 'vmin', 'vmax' will be ignored

A coluna EC foi a mais importante, com isso, os valores mais altos desta variável, mostrados em rosa, influenciaram mais o modelo na previsão da classe 0 (não sobreviveu ao quinto ano após o diagnóstico). Já os valores mais baixos desta coluna, em azul, tem mais peso para previsão ser da classe 1. Este comportamento faz sentido, pois quanto mais alto o estágio, maior é a extensão do câncer, assim menor a chance de sobrevivência.

O raciocínio para analisar as outras colunas é o mesmo utilizado para o estadiamento clínico.

Optuna

Para fazer a busca pelos melhores hiperparâmetros, será utilizado a biblioteca Optuna, definindo o intervalo para os parâmetros do modelo a serem buscados.

# Folds com a mesma proporção das classes
skf = StratifiedKFold(10, shuffle=True, random_state=seed)

# Função com o modelos e seus parâmetros, que terá sua métrica maximizada
def objective(trial):

    n_estimators = trial.suggest_int('n_estimators', 50, 250)
    max_depth = trial.suggest_int('max_depth', 3, 18)
    min_samples_split = trial.suggest_int('min_samples_split', 2, 10)
    min_samples_leaf = trial.suggest_int('min_samples_leaf', 1, 7)
    max_samples = trial.suggest_float('max_samples', 0.7, 1.0, step=0.1)
    optimizer = trial.suggest_categorical('criterion', ['gini', 'entropy'])

    cls = RandomForestClassifier(n_estimators=n_estimators,
                                 max_depth=max_depth,
                                 min_samples_split=min_samples_split,
                                 min_samples_leaf=min_samples_leaf,
                                 max_samples=max_samples,
                                 criterion=optimizer,
                                 random_state=seed)

    return cross_val_score(cls, X_train, y_train,
                           cv=skf, scoring='balanced_accuracy').mean()

# Criação do estudo e procura pelos hiperparâmetros
studyRF = optuna.create_study(direction='maximize', sampler=RandomSampler(seed))
studyRF.optimize(objective, n_trials=100)

# Melhor tentativa
studyRF.best_trial

FrozenTrial(number=84, state=TrialState.COMPLETE, values=[0.7525312729217559], datetime_start=datetime.datetime(2023, 4, 11, 20, 8, 45, 704682), datetime_complete=datetime.datetime(2023, 4, 11, 20, 9, 3, 809034), params={'n_estimators': 110, 'max_depth': 15, 'min_samples_split': 4, 'min_samples_leaf': 1, 'max_samples': 0.7, 'criterion': 'gini'}, user_attrs={}, system_attrs={}, intermediate_values={}, distributions={'n_estimators': IntDistribution(high=250, log=False, low=50, step=1), 'max_depth': IntDistribution(high=18, log=False, low=3, step=1), 'min_samples_split': IntDistribution(high=10, log=False, low=2, step=1), 'min_samples_leaf': IntDistribution(high=7, log=False, low=1, step=1), 'max_samples': FloatDistribution(high=1.0, log=False, low=0.7, step=0.1), 'criterion': CategoricalDistribution(choices=('gini', 'entropy'))}, trial_id=84, value=None)

# Melhores parâmetros
studyRF.best_params

{'n_estimators': 110,
 'max_depth': 15,
 'min_samples_split': 4,
 'min_samples_leaf': 1,
 'max_samples': 0.7,
 'criterion': 'gini'}

plot_optimization_history(studyRF).show()

# Modelo com os melhores parâmetros
params = studyRF.best_params
params['random_state'] = seed
params['class_weight'] = {0: 1, 1: 1.76}

rf_optuna = RandomForestClassifier()
rf_optuna.set_params(**params)

rf_optuna.fit(X_train, y_train)

RandomForestClassifier(class_weight={0: 1, 1: 1.76}, max_depth=15,
                       max_samples=0.7, min_samples_split=4, n_estimators=110,
                       random_state=10)

In a Jupyter environment, please rerun this cell to show the HTML representation or trust the notebook.
On GitHub, the HTML representation is unable to render, please try loading this page with nbviewer.org.

# Matriz de confusão do modelo Random Forest otimizado
plot_confusion_matrix(rf_optuna, X_test, y_test)

              precision    recall  f1-score   support

           0      0.855     0.771     0.811      3704
           1      0.660     0.772     0.711      2131

    accuracy                          0.771      5835
   macro avg      0.757     0.771     0.761      5835
weighted avg      0.783     0.771     0.774      5835

Há uma melhora de acurácia em relação ao primeiro modelo testado, passando um pouco de 77%.

# Curva ROC do modelo otimizado
plot_roc_curve(rf_optuna, X_train, X_test, y_train, y_test)

A curva ROC mostra que o modelo possui overfitting, pois para o conjunto de treino temos AUC = 0,969 e para o teste AUC = 0,853, essa diferença caracteriza o problema.

# Importância das features pelos valores SHAP
plot_shap_values(rf_optuna, X_train, feat_cols)

No data for colormapping provided via 'c'. Parameters 'vmin', 'vmax' will be ignored

XGBoost

O modelo XGBoost também terá alguns hiperparâmetros definidos para obter um modelo base e depois será realizada a busca dos melhores parâmetros utilizando o Optuna.

Os parâmetros definidos para este primeiro modelo serão:

• random_state: para repetibilidade do treinamento do modelo. Será utilizado na busca pelos hiperparâmetros também, sempre como mesmo valor definido na variável seed.

• max_depth: será utilizado o padrão, com valor 3.

• scale_pos_weight: usado para definir o peso da classe 1 no treinamento do modelo, pois temos classes desbalanceadas.

# Criação e treinamento do modelo XGBoost
xgb = XGBClassifier(max_depth=3,
                    scale_pos_weight=1.29,
                    random_state=seed)

xgb.fit(X_train, y_train)

XGBClassifier(base_score=None, booster=None, callbacks=None,
              colsample_bylevel=None, colsample_bynode=None,
              colsample_bytree=None, early_stopping_rounds=None,
              enable_categorical=False, eval_metric=None, feature_types=None,
              gamma=None, gpu_id=None, grow_policy=None, importance_type=None,
              interaction_constraints=None, learning_rate=None, max_bin=None,
              max_cat_threshold=None, max_cat_to_onehot=None,
              max_delta_step=None, max_depth=3, max_leaves=None,
              min_child_weight=None, missing=nan, monotone_constraints=None,
              n_estimators=100, n_jobs=None, num_parallel_tree=None,
              predictor=None, random_state=10, ...)

In a Jupyter environment, please rerun this cell to show the HTML representation or trust the notebook.
On GitHub, the HTML representation is unable to render, please try loading this page with nbviewer.org.

# Matriz de confusão
plot_confusion_matrix(xgb, X_test, y_test)

              precision    recall  f1-score   support

           0      0.856     0.774     0.813      3704
           1      0.663     0.774     0.714      2131

    accuracy                          0.774      5835
   macro avg      0.760     0.774     0.764      5835
weighted avg      0.786     0.774     0.777      5835

A matriz obtida para o modelo XGBoost apresentou diagonal equilibrada em ambas as classes, com 77% de acurácia.

# Curva ROC
plot_roc_curve(xgb, X_train, X_test, y_train, y_test)

Como a métrica AUC possui valores próximos para o conjunto de treino e de teste, 0,879 e 0,855 respectivamente, pode-se dizer que há apenas um pouco de overfitting, não sendo algo de grande preocupação.

# Importância das features
plot_feat_importances(xgb, feat_cols)

As features mais importantes nesta visualização são EC, com uma boa vantagem, CIRURGIA, ANODIAG e RECNENHUM.

# Importância das features pelos valores SHAP
plot_shap_values(xgb, X_train, feat_cols)

A coluna EC foi a mais importante aqui também, com isso, os valores mais altos desta variável, mostrados em rosa, influenciaram mais o modelo na previsão da classe 0 (não sobreviveu ao quinto ano após o diagnóstico). Já os valores mais baixos desta coluna, em azul, tem mais peso para previsão ser da classe 1. Este comportamento faz sentido, pois quanto mais alto o estágio, maior é a extensão do câncer, assim menor a chance de sobrevivência.

O raciocínio para analisar as outras colunas é o mesmo utilizado para o estadiamento clínico.

Optuna

Para fazer a busca pelos melhores hiperparâmetros, será utilizado a biblioteca Optuna, definindo o intervalo para os parâmetros do modelo a serem buscados.

# Folds com a mesma proporção das classes
skf = StratifiedKFold(10, shuffle=True, random_state=seed)

# Função com o modelos e seus parâmetros, que terá sua métrica maximizada
def objective(trial):

    n_estimators = trial.suggest_int('n_estimators', 50, 250)
    max_depth = trial.suggest_int('max_depth', 3, 18)
    learning_rate = trial.suggest_float('learning_rate', 0.05, 0.2, step=0.05)
    gamma = trial.suggest_float('gamma', 0.0, 0.3, step=0.1)
    min_child_weight = trial.suggest_int('min_child_weight', 1, 7)
    colsample_bytree = trial.suggest_float('colsample_bytree', 0.3, 0.7, step=0.1)

    cls = XGBClassifier(n_estimators=n_estimators,
                        max_depth=max_depth,
                        learning_rate=learning_rate,
                        gamma=gamma,
                        min_child_weight=min_child_weight,
                        colsample_bytree=colsample_bytree,
                        random_state=seed)

    return cross_val_score(cls, X_train, y_train,
                           cv=skf, scoring='balanced_accuracy').mean()

# Criação do estudo e procura pelos hiperparâmetros
studyXGB = optuna.create_study(direction='maximize', sampler=RandomSampler(seed))
studyXGB.optimize(objective, n_trials=100)

# Melhor tentativa
studyXGB.best_trial

FrozenTrial(number=39, state=TrialState.COMPLETE, values=[0.7584416783669388], datetime_start=datetime.datetime(2023, 4, 11, 20, 32, 30, 674575), datetime_complete=datetime.datetime(2023, 4, 11, 20, 32, 45, 890037), params={'n_estimators': 162, 'max_depth': 4, 'learning_rate': 0.1, 'gamma': 0.1, 'min_child_weight': 4, 'colsample_bytree': 0.7}, user_attrs={}, system_attrs={}, intermediate_values={}, distributions={'n_estimators': IntDistribution(high=250, log=False, low=50, step=1), 'max_depth': IntDistribution(high=18, log=False, low=3, step=1), 'learning_rate': FloatDistribution(high=0.2, log=False, low=0.05, step=0.05), 'gamma': FloatDistribution(high=0.3, log=False, low=0.0, step=0.1), 'min_child_weight': IntDistribution(high=7, log=False, low=1, step=1), 'colsample_bytree': FloatDistribution(high=0.7, log=False, low=0.3, step=0.1)}, trial_id=39, value=None)

# Melhores parâmetros
studyXGB.best_params

{'n_estimators': 162,
 'max_depth': 4,
 'learning_rate': 0.1,
 'gamma': 0.1,
 'min_child_weight': 4,
 'colsample_bytree': 0.7}

plot_optimization_history(studyXGB).show()

# Modelo com os melhores parâmetros
params = studyXGB.best_params
params['random_state'] = seed
params['scale_pos_weight'] = 1.27

xgb_optuna = XGBClassifier()
xgb_optuna.set_params(**params)

xgb_optuna.fit(X_train, y_train)

XGBClassifier(base_score=None, booster=None, callbacks=None,
              colsample_bylevel=None, colsample_bynode=None,
              colsample_bytree=0.7, early_stopping_rounds=None,
              enable_categorical=False, eval_metric=None, feature_types=None,
              gamma=0.1, gpu_id=None, grow_policy=None, importance_type=None,
              interaction_constraints=None, learning_rate=0.1, max_bin=None,
              max_cat_threshold=None, max_cat_to_onehot=None,
              max_delta_step=None, max_depth=4, max_leaves=None,
              min_child_weight=4, missing=nan, monotone_constraints=None,
              n_estimators=162, n_jobs=None, num_parallel_tree=None,
              predictor=None, random_state=10, ...)

In a Jupyter environment, please rerun this cell to show the HTML representation or trust the notebook.
On GitHub, the HTML representation is unable to render, please try loading this page with nbviewer.org.

# Matriz de confusão do modelo XGBoost otimizado
plot_confusion_matrix(xgb_optuna, X_test, y_test)

              precision    recall  f1-score   support

           0      0.860     0.778     0.817      3704
           1      0.669     0.779     0.720      2131

    accuracy                          0.778      5835
   macro avg      0.764     0.779     0.768      5835
weighted avg      0.790     0.778     0.781      5835

Após a escolha dos hiperparâmetros, a acurácia do modelo otimizado aumentou um pouco em relação ao modelo inicial, de 77% para aproximadamente 78%.

# Curva ROC do modelo otimizado
plot_roc_curve(xgb_optuna, X_train, X_test, y_train, y_test)

A curva ROC mostra que o modelo possui um pouco de overfitting, pois para o conjunto de treino temos AUC = 0,882 e para o teste AUC = 0,858, essa diferença caracteriza o problema.

# Importância das features pelos valores SHAP
plot_shap_values(xgb_optuna, X_train, feat_cols)

ROCs

# Treino
roc_together(X_train, y_train, nb, rf_optuna, xgb_optuna)

# Teste
roc_together(X_test, y_test, nb, rf_optuna, xgb_optuna)

RN

Importação das bibliotecas e funções

import tensorflow as tf
from tensorflow import keras

import matplotlib.pyplot as plt

from tensorflow.keras.models import Sequential, Model
from tensorflow.keras.layers import Dense, Dropout, Add, Input, Activation
from tensorflow.keras.optimizers import Adam

from tensorflow.keras.regularizers import l2
from tensorflow.keras.callbacks import EarlyStopping

# Definição de cores para gráficos
colors = plt.rcParams['axes.prop_cycle'].by_key()['color']

def plot_metrics(history):
    """Plot metrics after training the RNA.

    :param history: RNA training history.

    :return: no value
    :rtype: none
    """
    metrics = ['loss', 'accuracy', 'precision', 'recall']
    plt.figure(figsize=(12,8))
    for n, metric in enumerate(metrics):
        name = metric.replace("_"," ").capitalize()
        plt.subplot(2, 2, n + 1)
        plt.plot(history.epoch, history.history[metric], color=colors[0], label='Train')
        plt.plot(history.epoch, history.history['val_'+ metric],
                 color=colors[0], linestyle="--", label='Val')
        plt.xlabel('Epoch')
        plt.ylabel(name)
        if metric == 'loss':
            plt.ylim([0, plt.ylim()[1]])
        if metric == 'accuracy':
            plt.ylim([0.7, 1])
        else:
            plt.ylim([0, 1])
        plt.legend()

Criação e treinamento da RNA Complexa

neg, pos = np.bincount(y_train)
total = neg + pos
print(f'Exemplos:\n Total: {total}\n Positivos: {pos} ({100*pos/total:.2f}% do total)')

# Cálculo dos pesos das duas classe
weight_for_0 = (1 / neg)*(total)/2.0
weight_for_1 = (1 / pos)*(total)/2.0

# Dicionário de pesos das classes para treinamento
class_weight = {0: weight_for_0, 1: weight_for_1}
print('Peso da classe 0: {:.2f}'.format(weight_for_0))
print('Peso da classe 1: {:.2f}'.format(weight_for_1))

Exemplos:
 Total: 17503
 Positivos: 6391 (36.51% do total)
Peso da classe 0: 0.79
Peso da classe 1: 1.37

input_shape = X_train.shape[1:]
input_features = Input(shape=input_shape, name='input_features')

x1 = Dense(128, activation='tanh', kernel_regularizer=l2())(input_features)
x2 = Dense(128, activation='selu', kernel_regularizer=l2())(input_features)
x3 = Dense(128, activation='sigmoid', kernel_regularizer=l2())(input_features)

from tensorflow.keras.layers import Concatenate
x_concat = Concatenate()([x1, x2, x3, input_features])

x4 = Dense(32, activation='relu', kernel_regularizer=l2())(x_concat)
out = Dense(1, activation='sigmoid', name='out_dense')(x4)

model = keras.Model(inputs=[input_features],
                    outputs=[out])

model.summary()

Model: "model"
__________________________________________________________________________________________________
 Layer (type)                   Output Shape         Param #     Connected to
==================================================================================================
 input_features (InputLayer)    [(None, 25)]         0           []

 dense (Dense)                  (None, 128)          3328        ['input_features[0][0]']

 dense_1 (Dense)                (None, 128)          3328        ['input_features[0][0]']

 dense_2 (Dense)                (None, 128)          3328        ['input_features[0][0]']

 concatenate (Concatenate)      (None, 409)          0           ['dense[0][0]',
                                                                  'dense_1[0][0]',
                                                                  'dense_2[0][0]',
                                                                  'input_features[0][0]']

 dense_3 (Dense)                (None, 32)           13120       ['concatenate[0][0]']

 out_dense (Dense)              (None, 1)            33          ['dense_3[0][0]']

==================================================================================================
Total params: 23,137
Trainable params: 23,137
Non-trainable params: 0
__________________________________________________________________________________________________

keras.utils.plot_model(model, show_shapes=True)

from tensorflow.keras.callbacks import EarlyStopping

# Define métricas
METRICS = [keras.metrics.BinaryAccuracy(name='accuracy'),
           keras.metrics.Precision(name='precision'),
           keras.metrics.Recall(name='recall'),
           keras.metrics.AUC(name='auc')]

call_es = EarlyStopping(monitor='val_loss', patience=20, restore_best_weights=True)

adam = Adam(learning_rate=0.001)
model.compile(optimizer=adam, loss='binary_crossentropy',
              metrics=METRICS)

history = model.fit(X_train, y_train, epochs=50,
                    class_weight=class_weight,
                    verbose=2, batch_size=32,
                    validation_data=(X_test, y_test),
                    callbacks=[call_es])

Epoch 1/50
547/547 - 5s - loss: 0.9303 - accuracy: 0.7163 - precision: 0.5845 - recall: 0.7708 - auc: 0.7998 - val_loss: 0.5926 - val_accuracy: 0.7244 - val_precision: 0.5884 - val_recall: 0.8165 - val_auc: 0.8197 - 5s/epoch - 9ms/step
Epoch 2/50
547/547 - 2s - loss: 0.5619 - accuracy: 0.7270 - precision: 0.5959 - recall: 0.7838 - auc: 0.8147 - val_loss: 0.5467 - val_accuracy: 0.7323 - val_precision: 0.5971 - val_recall: 0.8207 - val_auc: 0.8283 - 2s/epoch - 3ms/step
Epoch 3/50
547/547 - 2s - loss: 0.5443 - accuracy: 0.7277 - precision: 0.5962 - recall: 0.7880 - auc: 0.8184 - val_loss: 0.5559 - val_accuracy: 0.7229 - val_precision: 0.5820 - val_recall: 0.8564 - val_auc: 0.8335 - 2s/epoch - 3ms/step
Epoch 4/50
547/547 - 2s - loss: 0.5375 - accuracy: 0.7288 - precision: 0.5973 - recall: 0.7899 - auc: 0.8221 - val_loss: 0.5198 - val_accuracy: 0.7520 - val_precision: 0.6292 - val_recall: 0.7818 - val_auc: 0.8342 - 2s/epoch - 3ms/step
Epoch 5/50
547/547 - 2s - loss: 0.5330 - accuracy: 0.7330 - precision: 0.6015 - recall: 0.7958 - auc: 0.8242 - val_loss: 0.5148 - val_accuracy: 0.7587 - val_precision: 0.6467 - val_recall: 0.7480 - val_auc: 0.8338 - 2s/epoch - 4ms/step
Epoch 6/50
547/547 - 3s - loss: 0.5298 - accuracy: 0.7364 - precision: 0.6054 - recall: 0.7988 - auc: 0.8267 - val_loss: 0.6082 - val_accuracy: 0.6893 - val_precision: 0.5446 - val_recall: 0.9108 - val_auc: 0.8354 - 3s/epoch - 5ms/step
Epoch 7/50
547/547 - 2s - loss: 0.5304 - accuracy: 0.7349 - precision: 0.6035 - recall: 0.7985 - auc: 0.8269 - val_loss: 0.5275 - val_accuracy: 0.7464 - val_precision: 0.6118 - val_recall: 0.8358 - val_auc: 0.8372 - 2s/epoch - 4ms/step
Epoch 8/50
547/547 - 2s - loss: 0.5247 - accuracy: 0.7375 - precision: 0.6063 - recall: 0.8014 - auc: 0.8306 - val_loss: 0.5277 - val_accuracy: 0.7417 - val_precision: 0.6089 - val_recall: 0.8189 - val_auc: 0.8346 - 2s/epoch - 3ms/step
Epoch 9/50
547/547 - 2s - loss: 0.5236 - accuracy: 0.7377 - precision: 0.6068 - recall: 0.8000 - auc: 0.8299 - val_loss: 0.5181 - val_accuracy: 0.7482 - val_precision: 0.6209 - val_recall: 0.7977 - val_auc: 0.8344 - 2s/epoch - 3ms/step
Epoch 10/50
547/547 - 2s - loss: 0.5246 - accuracy: 0.7366 - precision: 0.6059 - recall: 0.7972 - auc: 0.8290 - val_loss: 0.5015 - val_accuracy: 0.7604 - val_precision: 0.6431 - val_recall: 0.7729 - val_auc: 0.8390 - 2s/epoch - 3ms/step
Epoch 11/50
547/547 - 2s - loss: 0.5188 - accuracy: 0.7391 - precision: 0.6080 - recall: 0.8032 - auc: 0.8329 - val_loss: 0.5049 - val_accuracy: 0.7573 - val_precision: 0.6409 - val_recall: 0.7630 - val_auc: 0.8353 - 2s/epoch - 3ms/step
Epoch 12/50
547/547 - 2s - loss: 0.5181 - accuracy: 0.7419 - precision: 0.6106 - recall: 0.8093 - auc: 0.8330 - val_loss: 0.5194 - val_accuracy: 0.7446 - val_precision: 0.6118 - val_recall: 0.8231 - val_auc: 0.8393 - 2s/epoch - 3ms/step
Epoch 13/50
547/547 - 2s - loss: 0.5158 - accuracy: 0.7444 - precision: 0.6142 - recall: 0.8068 - auc: 0.8351 - val_loss: 0.5778 - val_accuracy: 0.7009 - val_precision: 0.5556 - val_recall: 0.9052 - val_auc: 0.8418 - 2s/epoch - 3ms/step
Epoch 14/50
547/547 - 3s - loss: 0.5165 - accuracy: 0.7418 - precision: 0.6110 - recall: 0.8061 - auc: 0.8345 - val_loss: 0.5227 - val_accuracy: 0.7433 - val_precision: 0.6090 - val_recall: 0.8297 - val_auc: 0.8377 - 3s/epoch - 5ms/step
Epoch 15/50
547/547 - 2s - loss: 0.5137 - accuracy: 0.7415 - precision: 0.6098 - recall: 0.8115 - auc: 0.8360 - val_loss: 0.4938 - val_accuracy: 0.7704 - val_precision: 0.6689 - val_recall: 0.7349 - val_auc: 0.8402 - 2s/epoch - 4ms/step
Epoch 16/50
547/547 - 2s - loss: 0.5132 - accuracy: 0.7459 - precision: 0.6156 - recall: 0.8100 - auc: 0.8362 - val_loss: 0.4992 - val_accuracy: 0.7611 - val_precision: 0.6449 - val_recall: 0.7696 - val_auc: 0.8395 - 2s/epoch - 3ms/step
Epoch 17/50
547/547 - 2s - loss: 0.5138 - accuracy: 0.7423 - precision: 0.6112 - recall: 0.8085 - auc: 0.8355 - val_loss: 0.5188 - val_accuracy: 0.7498 - val_precision: 0.6161 - val_recall: 0.8353 - val_auc: 0.8407 - 2s/epoch - 3ms/step
Epoch 18/50
547/547 - 2s - loss: 0.5092 - accuracy: 0.7438 - precision: 0.6131 - recall: 0.8088 - auc: 0.8382 - val_loss: 0.5404 - val_accuracy: 0.7347 - val_precision: 0.5932 - val_recall: 0.8710 - val_auc: 0.8404 - 2s/epoch - 3ms/step
Epoch 19/50
547/547 - 2s - loss: 0.5094 - accuracy: 0.7468 - precision: 0.6165 - recall: 0.8111 - auc: 0.8375 - val_loss: 0.5021 - val_accuracy: 0.7609 - val_precision: 0.6366 - val_recall: 0.8048 - val_auc: 0.8441 - 2s/epoch - 4ms/step
Epoch 20/50
547/547 - 2s - loss: 0.5073 - accuracy: 0.7441 - precision: 0.6134 - recall: 0.8091 - auc: 0.8393 - val_loss: 0.5061 - val_accuracy: 0.7582 - val_precision: 0.6370 - val_recall: 0.7855 - val_auc: 0.8386 - 2s/epoch - 3ms/step
Epoch 21/50
547/547 - 2s - loss: 0.5090 - accuracy: 0.7444 - precision: 0.6145 - recall: 0.8050 - auc: 0.8382 - val_loss: 0.5041 - val_accuracy: 0.7568 - val_precision: 0.6303 - val_recall: 0.8081 - val_auc: 0.8433 - 2s/epoch - 4ms/step
Epoch 22/50
547/547 - 3s - loss: 0.5063 - accuracy: 0.7503 - precision: 0.6209 - recall: 0.8119 - auc: 0.8399 - val_loss: 0.5192 - val_accuracy: 0.7481 - val_precision: 0.6126 - val_recall: 0.8437 - val_auc: 0.8434 - 3s/epoch - 5ms/step
Epoch 23/50
547/547 - 2s - loss: 0.5066 - accuracy: 0.7468 - precision: 0.6163 - recall: 0.8124 - auc: 0.8395 - val_loss: 0.5026 - val_accuracy: 0.7597 - val_precision: 0.6359 - val_recall: 0.8006 - val_auc: 0.8443 - 2s/epoch - 4ms/step
Epoch 24/50
547/547 - 2s - loss: 0.5051 - accuracy: 0.7479 - precision: 0.6177 - recall: 0.8119 - auc: 0.8399 - val_loss: 0.5087 - val_accuracy: 0.7577 - val_precision: 0.6279 - val_recall: 0.8259 - val_auc: 0.8424 - 2s/epoch - 3ms/step
Epoch 25/50
547/547 - 2s - loss: 0.5048 - accuracy: 0.7494 - precision: 0.6193 - recall: 0.8144 - auc: 0.8404 - val_loss: 0.4964 - val_accuracy: 0.7635 - val_precision: 0.6435 - val_recall: 0.7902 - val_auc: 0.8430 - 2s/epoch - 3ms/step
Epoch 26/50
547/547 - 2s - loss: 0.5048 - accuracy: 0.7494 - precision: 0.6198 - recall: 0.8113 - auc: 0.8408 - val_loss: 0.5024 - val_accuracy: 0.7578 - val_precision: 0.6299 - val_recall: 0.8170 - val_auc: 0.8450 - 2s/epoch - 3ms/step
Epoch 27/50
547/547 - 2s - loss: 0.5033 - accuracy: 0.7460 - precision: 0.6148 - recall: 0.8152 - auc: 0.8408 - val_loss: 0.4866 - val_accuracy: 0.7681 - val_precision: 0.6648 - val_recall: 0.7363 - val_auc: 0.8431 - 2s/epoch - 3ms/step
Epoch 28/50
547/547 - 2s - loss: 0.5017 - accuracy: 0.7492 - precision: 0.6189 - recall: 0.8154 - auc: 0.8414 - val_loss: 0.4928 - val_accuracy: 0.7644 - val_precision: 0.6463 - val_recall: 0.7837 - val_auc: 0.8435 - 2s/epoch - 3ms/step
Epoch 29/50
547/547 - 3s - loss: 0.5010 - accuracy: 0.7494 - precision: 0.6197 - recall: 0.8118 - auc: 0.8421 - val_loss: 0.5168 - val_accuracy: 0.7464 - val_precision: 0.6105 - val_recall: 0.8437 - val_auc: 0.8409 - 3s/epoch - 5ms/step
Epoch 30/50
547/547 - 3s - loss: 0.5006 - accuracy: 0.7491 - precision: 0.6181 - recall: 0.8188 - auc: 0.8422 - val_loss: 0.4887 - val_accuracy: 0.7668 - val_precision: 0.6496 - val_recall: 0.7846 - val_auc: 0.8445 - 3s/epoch - 5ms/step
Epoch 31/50
547/547 - 2s - loss: 0.4998 - accuracy: 0.7524 - precision: 0.6224 - recall: 0.8190 - auc: 0.8431 - val_loss: 0.4950 - val_accuracy: 0.7599 - val_precision: 0.6352 - val_recall: 0.8048 - val_auc: 0.8438 - 2s/epoch - 3ms/step
Epoch 32/50
547/547 - 2s - loss: 0.5016 - accuracy: 0.7478 - precision: 0.6171 - recall: 0.8149 - auc: 0.8421 - val_loss: 0.5093 - val_accuracy: 0.7536 - val_precision: 0.6215 - val_recall: 0.8320 - val_auc: 0.8434 - 2s/epoch - 4ms/step
Epoch 33/50
547/547 - 2s - loss: 0.4990 - accuracy: 0.7504 - precision: 0.6193 - recall: 0.8215 - auc: 0.8428 - val_loss: 0.4954 - val_accuracy: 0.7621 - val_precision: 0.6395 - val_recall: 0.7992 - val_auc: 0.8441 - 2s/epoch - 3ms/step
Epoch 34/50
547/547 - 2s - loss: 0.5000 - accuracy: 0.7518 - precision: 0.6218 - recall: 0.8174 - auc: 0.8430 - val_loss: 0.5112 - val_accuracy: 0.7501 - val_precision: 0.6134 - val_recall: 0.8541 - val_auc: 0.8472 - 2s/epoch - 3ms/step
Epoch 35/50
547/547 - 2s - loss: 0.4985 - accuracy: 0.7502 - precision: 0.6193 - recall: 0.8197 - auc: 0.8435 - val_loss: 0.5266 - val_accuracy: 0.7410 - val_precision: 0.6026 - val_recall: 0.8545 - val_auc: 0.8403 - 2s/epoch - 3ms/step
Epoch 36/50
547/547 - 2s - loss: 0.4962 - accuracy: 0.7512 - precision: 0.6203 - recall: 0.8218 - auc: 0.8444 - val_loss: 0.5028 - val_accuracy: 0.7558 - val_precision: 0.6239 - val_recall: 0.8339 - val_auc: 0.8463 - 2s/epoch - 3ms/step
Epoch 37/50
547/547 - 3s - loss: 0.4976 - accuracy: 0.7495 - precision: 0.6181 - recall: 0.8219 - auc: 0.8432 - val_loss: 0.4911 - val_accuracy: 0.7654 - val_precision: 0.6501 - val_recall: 0.7743 - val_auc: 0.8422 - 3s/epoch - 5ms/step
Epoch 38/50
547/547 - 2s - loss: 0.4972 - accuracy: 0.7496 - precision: 0.6189 - recall: 0.8183 - auc: 0.8439 - val_loss: 0.5167 - val_accuracy: 0.7474 - val_precision: 0.6104 - val_recall: 0.8522 - val_auc: 0.8443 - 2s/epoch - 4ms/step
Epoch 39/50
547/547 - 2s - loss: 0.4972 - accuracy: 0.7506 - precision: 0.6194 - recall: 0.8218 - auc: 0.8436 - val_loss: 0.4877 - val_accuracy: 0.7611 - val_precision: 0.6396 - val_recall: 0.7921 - val_auc: 0.8476 - 2s/epoch - 4ms/step
Epoch 40/50
547/547 - 2s - loss: 0.4960 - accuracy: 0.7504 - precision: 0.6192 - recall: 0.8216 - auc: 0.8449 - val_loss: 0.4876 - val_accuracy: 0.7666 - val_precision: 0.6496 - val_recall: 0.7837 - val_auc: 0.8446 - 2s/epoch - 3ms/step
Epoch 41/50
547/547 - 2s - loss: 0.4966 - accuracy: 0.7494 - precision: 0.6182 - recall: 0.8199 - auc: 0.8439 - val_loss: 0.5039 - val_accuracy: 0.7537 - val_precision: 0.6203 - val_recall: 0.8395 - val_auc: 0.8452 - 2s/epoch - 3ms/step
Epoch 42/50
547/547 - 2s - loss: 0.4952 - accuracy: 0.7539 - precision: 0.6232 - recall: 0.8243 - auc: 0.8452 - val_loss: 0.5196 - val_accuracy: 0.7434 - val_precision: 0.6041 - val_recall: 0.8634 - val_auc: 0.8470 - 2s/epoch - 3ms/step
Epoch 43/50
547/547 - 2s - loss: 0.4935 - accuracy: 0.7515 - precision: 0.6208 - recall: 0.8208 - auc: 0.8457 - val_loss: 0.5119 - val_accuracy: 0.7476 - val_precision: 0.6105 - val_recall: 0.8531 - val_auc: 0.8450 - 2s/epoch - 3ms/step
Epoch 44/50
547/547 - 5s - loss: 0.4952 - accuracy: 0.7506 - precision: 0.6185 - recall: 0.8266 - auc: 0.8450 - val_loss: 0.4979 - val_accuracy: 0.7578 - val_precision: 0.6278 - val_recall: 0.8278 - val_auc: 0.8482 - 5s/epoch - 10ms/step
Epoch 45/50
547/547 - 2s - loss: 0.4921 - accuracy: 0.7528 - precision: 0.6222 - recall: 0.8224 - auc: 0.8466 - val_loss: 0.4946 - val_accuracy: 0.7609 - val_precision: 0.6332 - val_recall: 0.8207 - val_auc: 0.8466 - 2s/epoch - 4ms/step
Epoch 46/50
547/547 - 2s - loss: 0.4933 - accuracy: 0.7518 - precision: 0.6204 - recall: 0.8246 - auc: 0.8458 - val_loss: 0.5049 - val_accuracy: 0.7539 - val_precision: 0.6206 - val_recall: 0.8390 - val_auc: 0.8463 - 2s/epoch - 3ms/step
Epoch 47/50
547/547 - 2s - loss: 0.4963 - accuracy: 0.7514 - precision: 0.6203 - recall: 0.8227 - auc: 0.8446 - val_loss: 0.5111 - val_accuracy: 0.7512 - val_precision: 0.6143 - val_recall: 0.8564 - val_auc: 0.8473 - 2s/epoch - 3ms/step

Resultados

plot_metrics(history)

train_pred = model.predict(X_train)
test_pred = model.predict(X_test)

print('Número de exemplos positivos do conjunto de teste =', len(y_test[y_test > 0.9]))
results = model.evaluate(X_test, y_test, verbose=0)

for name, value in zip(model.metrics_names, results):
    print(f'{name}: {value:.4f}')

547/547 [==============================] - 1s 2ms/step
183/183 [==============================] - 0s 2ms/step
Número de exemplos positivos do conjunto de teste = 2131
loss: 0.4866
accuracy: 0.7681
precision: 0.6648
recall: 0.7363
auc: 0.8431

precision = results[2]
recall = results[3]
F1 = 2*precision*recall/(precision + recall)
print(f'Pontuação F1 = {F1:.4f}')

Pontuação F1 = 0.6987

ConfusionMatrixDisplay.from_predictions(y_test, np.round(test_pred),
                                        normalize='true', cmap='Blues',
                                        values_format='.3f')
plt.show()

from sklearn.metrics import balanced_accuracy_score

balanced_accuracy_score(y_test, np.round(test_pred))

0.7613605669875834

fp_train, tp_train, _ = roc_curve(y_train, train_pred)
fp_test, tp_test, _ = roc_curve(y_test, test_pred)
plt.figure(figsize=(8, 6))
plt.plot(100*fp_train, 100*tp_train, 'b', label='Dados treinamento')
plt.plot(100*fp_test, 100*tp_test, 'r', label='Dados teste')
plt.xlabel('Positivos falsos [%]')
plt.ylabel('Positivos verdadeiros [%]')
plt.xlim([0,100])
plt.ylim([0,100])
plt.grid(True)
plt.legend()
plt.show()

custo_e_metricas_train = model.evaluate(X_train, y_train)
# custo_e_metricas_val = rna_reg.evaluate(X_val_norm, y_val)
custo_e_metricas_test = model.evaluate(X_test, y_test)

547/547 [==============================] - 1s 2ms/step - loss: 0.4823 - accuracy: 0.7627 - precision: 0.6569 - recall: 0.7326 - auc: 0.8458
183/183 [==============================] - 1s 4ms/step - loss: 0.4866 - accuracy: 0.7681 - precision: 0.6648 - recall: 0.7363 - auc: 0.8431

Criação e treinamento da RNA Residual

# Função que cria o bloco para a RN residual
def bloco_residual(x, n):

    z1 = Dense(n, activation='relu')(x)
    z2 = Dense(n)(z1)
    sum = Add()([x, z2])
    a2 = Activation('relu')(sum)

    return a2

# Definição da entrada
input_shape = X_train.shape[1:]
input_features = Input(shape=input_shape)

X1 = Dense(64, activation='relu')(input_features)

X2 = bloco_residual(X1, 64)

X3 = Dense(64, activation='relu')(X2)

X4 = bloco_residual(X3, 64)

X5 = Dense(16, activation='relu')(X4)

Y = Dense(units=1, activation='sigmoid')(X5)

# Criação da RNA
rna = Model(input_features, Y)

# Mostra resumo da RNA
rna.summary()

Model: "model_1"
__________________________________________________________________________________________________
 Layer (type)                   Output Shape         Param #     Connected to
==================================================================================================
 input_1 (InputLayer)           [(None, 25)]         0           []

 dense_4 (Dense)                (None, 64)           1664        ['input_1[0][0]']

 dense_5 (Dense)                (None, 64)           4160        ['dense_4[0][0]']

 dense_6 (Dense)                (None, 64)           4160        ['dense_5[0][0]']

 add (Add)                      (None, 64)           0           ['dense_4[0][0]',
                                                                  'dense_6[0][0]']

 activation (Activation)        (None, 64)           0           ['add[0][0]']

 dense_7 (Dense)                (None, 64)           4160        ['activation[0][0]']

 dense_8 (Dense)                (None, 64)           4160        ['dense_7[0][0]']

 dense_9 (Dense)                (None, 64)           4160        ['dense_8[0][0]']

 add_1 (Add)                    (None, 64)           0           ['dense_7[0][0]',
                                                                  'dense_9[0][0]']

 activation_1 (Activation)      (None, 64)           0           ['add_1[0][0]']

 dense_10 (Dense)               (None, 16)           1040        ['activation_1[0][0]']

 dense_11 (Dense)               (None, 1)            17          ['dense_10[0][0]']

==================================================================================================
Total params: 23,521
Trainable params: 23,521
Non-trainable params: 0
__________________________________________________________________________________________________

keras.utils.plot_model(rna, show_shapes=True)

from tensorflow.keras.callbacks import EarlyStopping

# Define métricas
METRICS = [keras.metrics.BinaryAccuracy(name='accuracy'),
           keras.metrics.Precision(name='precision'),
           keras.metrics.Recall(name='recall'),
           keras.metrics.AUC(name='auc')]

call_es = EarlyStopping(monitor='val_loss', patience=20,
                        restore_best_weights=True)

adam = Adam(learning_rate=0.001)
rna.compile(optimizer=adam, loss='binary_crossentropy',
              metrics=METRICS)

history = rna.fit(X_train, y_train, epochs=50,
                    class_weight=class_weight,
                    verbose=2, batch_size=32,
                    validation_data=(X_test, y_test),
                    callbacks=[call_es])

Epoch 1/50
547/547 - 4s - loss: 0.5405 - accuracy: 0.7148 - precision: 0.5830 - recall: 0.7691 - auc: 0.7984 - val_loss: 0.5071 - val_accuracy: 0.7378 - val_precision: 0.6039 - val_recall: 0.8198 - val_auc: 0.8267 - 4s/epoch - 8ms/step
Epoch 2/50
547/547 - 2s - loss: 0.4945 - accuracy: 0.7410 - precision: 0.6095 - recall: 0.8091 - auc: 0.8350 - val_loss: 0.5080 - val_accuracy: 0.7349 - val_precision: 0.5968 - val_recall: 0.8451 - val_auc: 0.8373 - 2s/epoch - 3ms/step
Epoch 3/50
547/547 - 2s - loss: 0.4773 - accuracy: 0.7506 - precision: 0.6184 - recall: 0.8273 - auc: 0.8462 - val_loss: 0.5091 - val_accuracy: 0.7436 - val_precision: 0.6093 - val_recall: 0.8306 - val_auc: 0.8382 - 2s/epoch - 3ms/step
Epoch 4/50
547/547 - 2s - loss: 0.4700 - accuracy: 0.7542 - precision: 0.6223 - recall: 0.8313 - auc: 0.8512 - val_loss: 0.4983 - val_accuracy: 0.7477 - val_precision: 0.6171 - val_recall: 0.8146 - val_auc: 0.8378 - 2s/epoch - 3ms/step
Epoch 5/50
547/547 - 3s - loss: 0.4636 - accuracy: 0.7582 - precision: 0.6263 - recall: 0.8376 - auc: 0.8546 - val_loss: 0.4883 - val_accuracy: 0.7587 - val_precision: 0.6360 - val_recall: 0.7935 - val_auc: 0.8421 - 3s/epoch - 5ms/step
Epoch 6/50
547/547 - 3s - loss: 0.4582 - accuracy: 0.7625 - precision: 0.6307 - recall: 0.8435 - auc: 0.8584 - val_loss: 0.5122 - val_accuracy: 0.7517 - val_precision: 0.6225 - val_recall: 0.8132 - val_auc: 0.8351 - 3s/epoch - 5ms/step
Epoch 7/50
547/547 - 2s - loss: 0.4510 - accuracy: 0.7665 - precision: 0.6369 - recall: 0.8384 - auc: 0.8635 - val_loss: 0.5081 - val_accuracy: 0.7537 - val_precision: 0.6294 - val_recall: 0.7921 - val_auc: 0.8369 - 2s/epoch - 3ms/step
Epoch 8/50
547/547 - 2s - loss: 0.4445 - accuracy: 0.7732 - precision: 0.6449 - recall: 0.8432 - auc: 0.8671 - val_loss: 0.5070 - val_accuracy: 0.7498 - val_precision: 0.6222 - val_recall: 0.8015 - val_auc: 0.8363 - 2s/epoch - 3ms/step
Epoch 9/50
547/547 - 2s - loss: 0.4408 - accuracy: 0.7740 - precision: 0.6458 - recall: 0.8443 - auc: 0.8695 - val_loss: 0.5262 - val_accuracy: 0.7465 - val_precision: 0.6127 - val_recall: 0.8315 - val_auc: 0.8390 - 2s/epoch - 3ms/step
Epoch 10/50
547/547 - 2s - loss: 0.4319 - accuracy: 0.7808 - precision: 0.6537 - recall: 0.8501 - auc: 0.8743 - val_loss: 0.5173 - val_accuracy: 0.7506 - val_precision: 0.6241 - val_recall: 0.7977 - val_auc: 0.8363 - 2s/epoch - 3ms/step
Epoch 11/50
547/547 - 2s - loss: 0.4259 - accuracy: 0.7854 - precision: 0.6576 - recall: 0.8596 - auc: 0.8781 - val_loss: 0.5169 - val_accuracy: 0.7601 - val_precision: 0.6548 - val_recall: 0.7255 - val_auc: 0.8353 - 2s/epoch - 3ms/step
Epoch 12/50
547/547 - 2s - loss: 0.4183 - accuracy: 0.7862 - precision: 0.6599 - recall: 0.8551 - auc: 0.8826 - val_loss: 0.5548 - val_accuracy: 0.7383 - val_precision: 0.6044 - val_recall: 0.8207 - val_auc: 0.8322 - 2s/epoch - 4ms/step
Epoch 13/50
547/547 - 3s - loss: 0.4111 - accuracy: 0.7932 - precision: 0.6698 - recall: 0.8556 - auc: 0.8871 - val_loss: 0.5568 - val_accuracy: 0.7419 - val_precision: 0.6138 - val_recall: 0.7912 - val_auc: 0.8285 - 3s/epoch - 5ms/step
Epoch 14/50
547/547 - 2s - loss: 0.4028 - accuracy: 0.7991 - precision: 0.6761 - recall: 0.8632 - auc: 0.8917 - val_loss: 0.5324 - val_accuracy: 0.7410 - val_precision: 0.6173 - val_recall: 0.7654 - val_auc: 0.8239 - 2s/epoch - 4ms/step
Epoch 15/50
547/547 - 2s - loss: 0.3938 - accuracy: 0.8020 - precision: 0.6800 - recall: 0.8643 - auc: 0.8964 - val_loss: 0.5445 - val_accuracy: 0.7527 - val_precision: 0.6327 - val_recall: 0.7696 - val_auc: 0.8275 - 2s/epoch - 3ms/step
Epoch 16/50
547/547 - 2s - loss: 0.3824 - accuracy: 0.8119 - precision: 0.6924 - recall: 0.8726 - auc: 0.9025 - val_loss: 0.5946 - val_accuracy: 0.7361 - val_precision: 0.6028 - val_recall: 0.8132 - val_auc: 0.8240 - 2s/epoch - 3ms/step
Epoch 17/50
547/547 - 2s - loss: 0.3762 - accuracy: 0.8119 - precision: 0.6910 - recall: 0.8770 - auc: 0.9052 - val_loss: 0.5980 - val_accuracy: 0.7385 - val_precision: 0.6126 - val_recall: 0.7724 - val_auc: 0.8203 - 2s/epoch - 3ms/step
Epoch 18/50
547/547 - 2s - loss: 0.3677 - accuracy: 0.8187 - precision: 0.7010 - recall: 0.8781 - auc: 0.9098 - val_loss: 0.5947 - val_accuracy: 0.7326 - val_precision: 0.6019 - val_recall: 0.7916 - val_auc: 0.8188 - 2s/epoch - 3ms/step
Epoch 19/50
547/547 - 2s - loss: 0.3585 - accuracy: 0.8253 - precision: 0.7096 - recall: 0.8830 - auc: 0.9153 - val_loss: 0.6262 - val_accuracy: 0.7412 - val_precision: 0.6187 - val_recall: 0.7593 - val_auc: 0.8162 - 2s/epoch - 3ms/step
Epoch 20/50
547/547 - 2s - loss: 0.3474 - accuracy: 0.8313 - precision: 0.7169 - recall: 0.8894 - auc: 0.9196 - val_loss: 0.6190 - val_accuracy: 0.7381 - val_precision: 0.6118 - val_recall: 0.7743 - val_auc: 0.8145 - 2s/epoch - 5ms/step
Epoch 21/50
547/547 - 3s - loss: 0.3373 - accuracy: 0.8351 - precision: 0.7218 - recall: 0.8925 - auc: 0.9246 - val_loss: 0.6856 - val_accuracy: 0.7290 - val_precision: 0.5990 - val_recall: 0.7809 - val_auc: 0.8078 - 3s/epoch - 5ms/step
Epoch 22/50
547/547 - 2s - loss: 0.3288 - accuracy: 0.8404 - precision: 0.7289 - recall: 0.8963 - auc: 0.9283 - val_loss: 0.6766 - val_accuracy: 0.7263 - val_precision: 0.5965 - val_recall: 0.7748 - val_auc: 0.8054 - 2s/epoch - 3ms/step
Epoch 23/50
547/547 - 2s - loss: 0.3232 - accuracy: 0.8443 - precision: 0.7339 - recall: 0.8999 - auc: 0.9310 - val_loss: 0.7039 - val_accuracy: 0.7323 - val_precision: 0.6146 - val_recall: 0.7161 - val_auc: 0.8029 - 2s/epoch - 3ms/step
Epoch 24/50
547/547 - 2s - loss: 0.3151 - accuracy: 0.8453 - precision: 0.7362 - recall: 0.8985 - auc: 0.9341 - val_loss: 0.7038 - val_accuracy: 0.7378 - val_precision: 0.6213 - val_recall: 0.7222 - val_auc: 0.8094 - 2s/epoch - 3ms/step
Epoch 25/50
547/547 - 2s - loss: 0.3014 - accuracy: 0.8537 - precision: 0.7467 - recall: 0.9072 - auc: 0.9398 - val_loss: 0.7187 - val_accuracy: 0.7290 - val_precision: 0.6095 - val_recall: 0.7184 - val_auc: 0.8002 - 2s/epoch - 3ms/step

Resultados

plot_metrics(history)

train_pred = rna.predict(X_train)
test_pred = rna.predict(X_test)

print('Número de exemplos positivos do conjunto de teste =', len(y_test[y_test > 0.9]))
results = rna.evaluate(X_test, y_test, verbose=0)

for name, value in zip(rna.metrics_names, results):
    print(f'{name}: {value:.4f}')

547/547 [==============================] - 1s 1ms/step
183/183 [==============================] - 0s 2ms/step
Número de exemplos positivos do conjunto de teste = 2131
loss: 0.4883
accuracy: 0.7587
precision: 0.6360
recall: 0.7935
auc: 0.8421

precision = results[2]
recall = results[3]
F1 = 2*precision*recall/(precision + recall)
print(f'Pontuação F1 = {F1:.4f}')

Pontuação F1 = 0.7061

ConfusionMatrixDisplay.from_predictions(y_test, np.round(test_pred),
                                        normalize='true', cmap='Blues',
                                        values_format='.3f')
plt.show()

from sklearn.metrics import balanced_accuracy_score

balanced_accuracy_score(y_test, np.round(test_pred))

0.7660925370925746

fp_train, tp_train, _ = roc_curve(y_train, train_pred)
fp_test, tp_test, _ = roc_curve(y_test, test_pred)
plt.figure(figsize=(8, 6))
plt.plot(100*fp_train, 100*tp_train, 'b', label='Dados treinamento')
plt.plot(100*fp_test, 100*tp_test, 'r', label='Dados teste')
plt.xlabel('Positivos falsos [%]')
plt.ylabel('Positivos verdadeiros [%]')
plt.xlim([0,100])
plt.ylim([0,100])
plt.grid(True)
plt.legend()
plt.show()

custo_e_metricas_train = rna.evaluate(X_train, y_train)
custo_e_metricas_test = rna.evaluate(X_test, y_test)

547/547 [==============================] - 1s 2ms/step - loss: 0.4431 - accuracy: 0.7746 - precision: 0.6528 - recall: 0.8171 - auc: 0.8667
183/183 [==============================] - 0s 2ms/step - loss: 0.4883 - accuracy: 0.7587 - precision: 0.6360 - recall: 0.7935 - auc: 0.8421

Criação e treinamento da RNA Sequencial

neg, pos = np.bincount(y_train)
total = neg + pos
print(f'Exemplos:\n Total: {total}\n Positivos: {pos} ({100*pos/total:.2f}% do total)')

# Cálculo dos pesos das duas classe
weight_for_0 = (1 / neg)*(total)/2.0
weight_for_1 = (1 / pos)*(total)/2.0

# Dicionário de pesos das classes para treinamento
class_weight = {0: weight_for_0, 1: weight_for_1}
print('Peso da classe 0: {:.2f}'.format(weight_for_0))
print('Peso da classe 1: {:.2f}'.format(weight_for_1))

Exemplos:
 Total: 17503
 Positivos: 6391 (36.51% do total)
Peso da classe 0: 0.79
Peso da classe 1: 1.37

rna = Sequential()
rna.add(Dense(units=128, activation='relu', input_shape=X_train.shape[1:]))
rna.add(Dense(units=128, activation='relu'))
rna.add(Dense(units=32, activation='relu'))
rna.add(Dense(units=1, activation='sigmoid'))
rna.summary()

Model: "sequential"
_________________________________________________________________
 Layer (type)                Output Shape              Param #
=================================================================
 dense_12 (Dense)            (None, 128)               3328

 dense_13 (Dense)            (None, 128)               16512

 dense_14 (Dense)            (None, 32)                4128

 dense_15 (Dense)            (None, 1)                 33

=================================================================
Total params: 24,001
Trainable params: 24,001
Non-trainable params: 0
_________________________________________________________________

keras.utils.plot_model(rna, show_shapes=True)

from tensorflow.keras.callbacks import EarlyStopping

# Define métricas
METRICS = [keras.metrics.BinaryAccuracy(name='accuracy'),
           keras.metrics.Precision(name='precision'),
           keras.metrics.Recall(name='recall'),
           keras.metrics.AUC(name='auc')]

call_es = EarlyStopping(monitor='val_loss', patience=20,
                        restore_best_weights=True)

adam = Adam(learning_rate=0.001)
rna.compile(optimizer=adam, loss='binary_crossentropy',
            metrics=METRICS)

history = rna.fit(X_train, y_train, epochs=50,
                  class_weight=class_weight,
                  verbose=2, batch_size=32,
                  validation_data=(X_test, y_test),
                  callbacks=[call_es])

Epoch 1/50
547/547 - 3s - loss: 0.5279 - accuracy: 0.7226 - precision: 0.5937 - recall: 0.7606 - auc: 0.8093 - val_loss: 0.5045 - val_accuracy: 0.7453 - val_precision: 0.6123 - val_recall: 0.8254 - val_auc: 0.8350 - 3s/epoch - 6ms/step
Epoch 2/50
547/547 - 2s - loss: 0.4905 - accuracy: 0.7448 - precision: 0.6158 - recall: 0.8007 - auc: 0.8371 - val_loss: 0.4897 - val_accuracy: 0.7553 - val_precision: 0.6245 - val_recall: 0.8273 - val_auc: 0.8433 - 2s/epoch - 3ms/step
Epoch 3/50
547/547 - 1s - loss: 0.4770 - accuracy: 0.7529 - precision: 0.6240 - recall: 0.8135 - auc: 0.8465 - val_loss: 0.4956 - val_accuracy: 0.7541 - val_precision: 0.6193 - val_recall: 0.8480 - val_auc: 0.8445 - 1s/epoch - 3ms/step
Epoch 4/50
547/547 - 2s - loss: 0.4678 - accuracy: 0.7568 - precision: 0.6280 - recall: 0.8191 - auc: 0.8528 - val_loss: 0.4944 - val_accuracy: 0.7496 - val_precision: 0.6139 - val_recall: 0.8475 - val_auc: 0.8405 - 2s/epoch - 3ms/step
Epoch 5/50
547/547 - 2s - loss: 0.4618 - accuracy: 0.7599 - precision: 0.6299 - recall: 0.8299 - auc: 0.8564 - val_loss: 0.4804 - val_accuracy: 0.7599 - val_precision: 0.6370 - val_recall: 0.7963 - val_auc: 0.8448 - 2s/epoch - 4ms/step
Epoch 6/50
547/547 - 2s - loss: 0.4543 - accuracy: 0.7648 - precision: 0.6369 - recall: 0.8280 - auc: 0.8609 - val_loss: 0.4858 - val_accuracy: 0.7611 - val_precision: 0.6319 - val_recall: 0.8282 - val_auc: 0.8475 - 2s/epoch - 4ms/step
Epoch 7/50
547/547 - 1s - loss: 0.4488 - accuracy: 0.7700 - precision: 0.6419 - recall: 0.8371 - auc: 0.8640 - val_loss: 0.4840 - val_accuracy: 0.7625 - val_precision: 0.6395 - val_recall: 0.8015 - val_auc: 0.8463 - 1s/epoch - 3ms/step
Epoch 8/50
547/547 - 1s - loss: 0.4437 - accuracy: 0.7752 - precision: 0.6488 - recall: 0.8379 - auc: 0.8681 - val_loss: 0.4789 - val_accuracy: 0.7662 - val_precision: 0.6486 - val_recall: 0.7855 - val_auc: 0.8455 - 1s/epoch - 3ms/step
Epoch 9/50
547/547 - 1s - loss: 0.4377 - accuracy: 0.7755 - precision: 0.6486 - recall: 0.8407 - auc: 0.8714 - val_loss: 0.4916 - val_accuracy: 0.7565 - val_precision: 0.6361 - val_recall: 0.7785 - val_auc: 0.8402 - 1s/epoch - 3ms/step
Epoch 10/50
547/547 - 1s - loss: 0.4320 - accuracy: 0.7778 - precision: 0.6513 - recall: 0.8427 - auc: 0.8749 - val_loss: 0.4997 - val_accuracy: 0.7554 - val_precision: 0.6281 - val_recall: 0.8099 - val_auc: 0.8411 - 1s/epoch - 3ms/step
Epoch 11/50
547/547 - 1s - loss: 0.4231 - accuracy: 0.7840 - precision: 0.6590 - recall: 0.8468 - auc: 0.8803 - val_loss: 0.5076 - val_accuracy: 0.7491 - val_precision: 0.6191 - val_recall: 0.8137 - val_auc: 0.8376 - 1s/epoch - 3ms/step
Epoch 12/50
547/547 - 2s - loss: 0.4171 - accuracy: 0.7904 - precision: 0.6664 - recall: 0.8532 - auc: 0.8843 - val_loss: 0.4952 - val_accuracy: 0.7532 - val_precision: 0.6243 - val_recall: 0.8142 - val_auc: 0.8387 - 2s/epoch - 3ms/step
Epoch 13/50
547/547 - 2s - loss: 0.4100 - accuracy: 0.7918 - precision: 0.6687 - recall: 0.8515 - auc: 0.8879 - val_loss: 0.5125 - val_accuracy: 0.7544 - val_precision: 0.6258 - val_recall: 0.8146 - val_auc: 0.8407 - 2s/epoch - 4ms/step
Epoch 14/50
547/547 - 3s - loss: 0.4014 - accuracy: 0.7975 - precision: 0.6736 - recall: 0.8643 - auc: 0.8926 - val_loss: 0.5128 - val_accuracy: 0.7465 - val_precision: 0.6254 - val_recall: 0.7630 - val_auc: 0.8286 - 3s/epoch - 5ms/step
Epoch 15/50
547/547 - 2s - loss: 0.3923 - accuracy: 0.8056 - precision: 0.6847 - recall: 0.8670 - auc: 0.8980 - val_loss: 0.5160 - val_accuracy: 0.7506 - val_precision: 0.6283 - val_recall: 0.7766 - val_auc: 0.8310 - 2s/epoch - 3ms/step
Epoch 16/50
547/547 - 1s - loss: 0.3849 - accuracy: 0.8046 - precision: 0.6830 - recall: 0.8676 - auc: 0.9013 - val_loss: 0.5142 - val_accuracy: 0.7544 - val_precision: 0.6419 - val_recall: 0.7410 - val_auc: 0.8354 - 1s/epoch - 3ms/step
Epoch 17/50
547/547 - 1s - loss: 0.3769 - accuracy: 0.8133 - precision: 0.6956 - recall: 0.8690 - auc: 0.9063 - val_loss: 0.5279 - val_accuracy: 0.7577 - val_precision: 0.6480 - val_recall: 0.7367 - val_auc: 0.8333 - 1s/epoch - 3ms/step
Epoch 18/50
547/547 - 2s - loss: 0.3703 - accuracy: 0.8168 - precision: 0.6985 - recall: 0.8769 - auc: 0.9092 - val_loss: 0.5795 - val_accuracy: 0.7302 - val_precision: 0.5942 - val_recall: 0.8245 - val_auc: 0.8243 - 2s/epoch - 3ms/step
Epoch 19/50
547/547 - 2s - loss: 0.3618 - accuracy: 0.8218 - precision: 0.7057 - recall: 0.8781 - auc: 0.9131 - val_loss: 0.5585 - val_accuracy: 0.7469 - val_precision: 0.6325 - val_recall: 0.7325 - val_auc: 0.8221 - 2s/epoch - 5ms/step
Epoch 20/50
547/547 - 2s - loss: 0.3525 - accuracy: 0.8273 - precision: 0.7120 - recall: 0.8852 - auc: 0.9178 - val_loss: 0.5763 - val_accuracy: 0.7400 - val_precision: 0.6137 - val_recall: 0.7776 - val_auc: 0.8226 - 2s/epoch - 3ms/step
Epoch 21/50
547/547 - 2s - loss: 0.3454 - accuracy: 0.8297 - precision: 0.7157 - recall: 0.8852 - auc: 0.9215 - val_loss: 0.5698 - val_accuracy: 0.7412 - val_precision: 0.6234 - val_recall: 0.7363 - val_auc: 0.8165 - 2s/epoch - 4ms/step
Epoch 22/50
547/547 - 2s - loss: 0.3363 - accuracy: 0.8371 - precision: 0.7262 - recall: 0.8887 - auc: 0.9254 - val_loss: 0.5880 - val_accuracy: 0.7357 - val_precision: 0.6167 - val_recall: 0.7302 - val_auc: 0.8108 - 2s/epoch - 4ms/step
Epoch 23/50
547/547 - 1s - loss: 0.3256 - accuracy: 0.8446 - precision: 0.7369 - recall: 0.8934 - auc: 0.9302 - val_loss: 0.5983 - val_accuracy: 0.7453 - val_precision: 0.6324 - val_recall: 0.7227 - val_auc: 0.8201 - 1s/epoch - 3ms/step
Epoch 24/50
547/547 - 1s - loss: 0.3192 - accuracy: 0.8485 - precision: 0.7405 - recall: 0.9006 - auc: 0.9334 - val_loss: 0.6429 - val_accuracy: 0.7464 - val_precision: 0.6383 - val_recall: 0.7048 - val_auc: 0.8156 - 1s/epoch - 3ms/step
Epoch 25/50
547/547 - 1s - loss: 0.3099 - accuracy: 0.8544 - precision: 0.7503 - recall: 0.9010 - auc: 0.9374 - val_loss: 0.6291 - val_accuracy: 0.7345 - val_precision: 0.6176 - val_recall: 0.7170 - val_auc: 0.8081 - 1s/epoch - 3ms/step
Epoch 26/50
547/547 - 1s - loss: 0.3038 - accuracy: 0.8552 - precision: 0.7503 - recall: 0.9046 - auc: 0.9395 - val_loss: 0.6688 - val_accuracy: 0.7352 - val_precision: 0.6095 - val_recall: 0.7654 - val_auc: 0.8130 - 1s/epoch - 3ms/step
Epoch 27/50
547/547 - 1s - loss: 0.2917 - accuracy: 0.8615 - precision: 0.7606 - recall: 0.9058 - auc: 0.9446 - val_loss: 0.7091 - val_accuracy: 0.7344 - val_precision: 0.6070 - val_recall: 0.7733 - val_auc: 0.8105 - 1s/epoch - 3ms/step
Epoch 28/50
547/547 - 1s - loss: 0.2878 - accuracy: 0.8641 - precision: 0.7629 - recall: 0.9108 - auc: 0.9460 - val_loss: 0.6956 - val_accuracy: 0.7282 - val_precision: 0.6044 - val_recall: 0.7405 - val_auc: 0.8027 - 1s/epoch - 3ms/step

Resultados

plot_metrics(history)

train_pred = rna.predict(X_train)
test_pred = rna.predict(X_test)

print('Número de exemplos positivos do conjunto de teste =', len(y_test[y_test > 0.9]))
results = rna.evaluate(X_test, y_test, verbose=0)

for name, value in zip(rna.metrics_names, results):
    print(f'{name}: {value:.4f}')

547/547 [==============================] - 1s 1ms/step
183/183 [==============================] - 0s 1ms/step
Número de exemplos positivos do conjunto de teste = 2131
loss: 0.4789
accuracy: 0.7662
precision: 0.6486
recall: 0.7855
auc: 0.8455

precision = results[2]
recall = results[3]
F1 = 2*precision*recall/(precision + recall)
print(f'Pontuação F1 = {F1:.4f}')

Pontuação F1 = 0.7105

ConfusionMatrixDisplay.from_predictions(y_test, np.round(test_pred),
                                        normalize='true', cmap='Blues',
                                        values_format='.3f')
plt.show()

from sklearn.metrics import balanced_accuracy_score

balanced_accuracy_score(y_test, np.round(test_pred))

0.7703381406634349

fp_train, tp_train, _ = roc_curve(y_train, train_pred)
fp_test, tp_test, _ = roc_curve(y_test, test_pred)
plt.figure(figsize=(8, 6))
plt.plot(100*fp_train, 100*tp_train, 'b', label='Dados treinamento')
plt.plot(100*fp_test, 100*tp_test, 'r', label='Dados teste')
plt.xlabel('Positivos falsos [%]')
plt.ylabel('Positivos verdadeiros [%]')
plt.xlim([0,100])
plt.ylim([0,100])
plt.grid(True)
plt.legend()
plt.show()

custo_e_metricas_train = rna.evaluate(X_train, y_train)
custo_e_metricas_test = rna.evaluate(X_test, y_test)

547/547 [==============================] - 1s 2ms/step - loss: 0.4205 - accuracy: 0.7927 - precision: 0.6789 - recall: 0.8202 - auc: 0.8808
183/183 [==============================] - 0s 2ms/step - loss: 0.4789 - accuracy: 0.7662 - precision: 0.6486 - recall: 0.7855 - auc: 0.8455