External validation of the EFFECT mortality prediction scale in patients admitted for acute heart failure in Araba, Spain

Validación externa de la escala Enhanced Feedback for Effective Cardiology Treatment (EFFECT) de predicción de mortalidad en pacientes que ingresan por insuficiencia cardiaca agudizada en Álava, España

S. Goya-Lirioa,

Corresponding author

[e-mail]

Corresponding author.

, M. Hernando-Llorensa,b, S. García de Garayo-Díazc, J. Regalado-de Los Cobosa,b,d

a Universidad del País Vasco-Euskal Herriko Unibertsitatea, Unidad Docente de Medicina y Enfermería, Campus de Álava, Vitoria-Gasteiz, Spain

b Instituto de Investigación Sanitaria Bioaraba, Vitoria-Gasteiz, Spain

c Servicio de Información Sanitaria (SIS), Unidad de Gestión Sanitaria, País Vasco, Spain

d Servicio de Hospitalización a Domicilio, Osakidetza-Servicio Vasco de Salud, País Vasco, Spain

Abstract

Aim

To validate the EFFECT (Enhanced Feedback for Effective Cardiac Treatment) scales, which predict mortality at 1 month and 1 year after admission, in a defined cohort of patients admitted to the Araba University Hospital (HUA) with a diagnosis of acutely decompensated heart failure.

Method

External validation study of a predictive model, in a retrospective cohort of patients admitted between October 1, 2020 and September 30, 2021.

Results

A total of 550 patients were included. The two scales demonstrated good overall discriminatory ability in our series, with an area under ROC (0.755 y 0.756) and values in Brier score (0.094 y 0.194) similar to the original series. Calibration was assessed using the Hosmer-Lemeshow test and calibration plots and was also adequate. All this despite the fact that significant differences were observed in many clinical characteristics between our series and the original one.

Conclusions

The EFFECT scales showed good predictive ability and transportability. The one-month prediction scale was also useful for predicting mortality at one year. For both time periods, mortality was similar in the groups established in the original as low and very low risk.

Keywords:

Heart failure

Predictive model

External validation

Resumen

Objetivo

Validar las escalas EFFECT (Enhanced Feedback for Effective Cardiac Treatment), que predicen la mortalidad a 1 mes y a 1 año, en una cohorte pacientes ingresados por insuficiencia cardíaca agudizada en el Hospital Universitario de Álava (HUA).

Método

Estudio de validación externa de un modelo predictivo, en una cohorte retrospectiva de pacientes ingresados por insuficiencia cardiaca entre el 1 de octubre de 2020 y el 30 de septiembre del 2021.

Resultados

Analizamos 550 pacientes y comprobamos en ambas escalas buena capacidad de discriminación global, con área bajo la curva ROC = 0,755 y 0,756 y valores de Brier Score = 0,094 y 0,194, todos ellos similares a la serie original. La calibración se valoró con el test de Hosmer-Lemeshow y mediante gráficos de calibración y también resultó adecuada. Todo ello a pesar de que se observaron diferencias significativas en casi todas las características clínicas entre la serie original y la nuestra, lo que permite afirmar que las escalas EFFECT ofrecen buena transportabilidad.

Conclusiones

Ambas escalas confirmaron buena capacidad de predicción y además la escala para predicción a un mes demostró también elevada capacidad para predecir la mortalidad al año. Para ambos plazos, en los pacientes del HUA no se apreciaron diferencias en mortalidad entre los grupos que el artículo original establece como de bajo y muy bajo riesgo.

Palabras clave:

Insuficiencia cardiaca agudizada

Modelo predictivo

Validación externa