SciELO - Scientific Electronic Library Online

 
vol.10 issue3Anthropometric evaluation of university students in Bogotá, ColombiaAluminium in the lower respiratory tract of people living in México City author indexsubject indexarticles search
Home Page  

Revista de Salud Pública

Print version ISSN 0124-0064

Rev. salud pública vol.10 n.3 Bogotá Jul. 2008

http://dx.doi.org/10.1590/S0124-00642008000300009 

Artículos Originales/Original Articles

 

Validación de un Instrumento para Medir Calidad Percibida por Usuarios de Hospitales de Colombia

 

Validating an instrument for measuring the perceived quality of services received by people using hospitals in Colombia

 

Gustavo A. Cabrera-Arana, Jaime L. Londoño-Pimienta y León D. Bello-Parías

Facultad Nacional de Salud Pública “Héctor Abad Gómez”, Universidad de Antioquia. Medellín, Colombia. gcabrera@guajiros.udea.edu.co, teoriasymodelos@hotmail.com

Recibido 3 Octubre 2007/Enviado para Modificación 25 Mayo 2008/Aceptado 11 Junio 2008

 


 

RESUMEN

Objetivo Validar un instrumento para medir calidad percibida por usuarios de hospitales del Programa de reestructuración, rediseño y modernización de redes prestadoras de servicios de salud del Ministerio de la Protección Social de Colombia.

Método Ante la inexistencia en Colombia de instrumento válido, se siguieron los lineamientos de Sánchez y Echeverri para validar escalas de medición en salud.

Resultados Según síntesis conceptual se identificó una estructura de indicadores, dominios y subdominios constituyentes de la percepción de calidad de servicios de salud. Se desarrolló un listado de reactivos con escala de categorización de respuestas que se analizaron según validez de apariencia, constructo, criterio y utilidad así como criterios de sensibilidad y practicidad. Revisiones sucesivas y tres rondas de prueba en campo generaron el PECASUSS, acrónimo dado al instrumento por Percepción de Calidad Según Usuarios de Servicios de Salud.

Conclusiones Los lineamientos orientaron eficazmente la validación del instrumento requerido para medir calidad percibida por usuarios de hospitales del Programa.

Palabras Clave: Percepción, calidad de la atención de salud, hospital (fuente: DeCS, BIREME).


 

ABSTRACT

Objective Validating an instrument for measuring the perceived quality of services received by people using hospitals forming part of the Colombian Ministry of Social Protection’s restructuring, redesigning and modernisation programme for health-service providing networks.

Methods Sánchez and Echeverri’s guidelines for validating health quality measurement scales were followed due to the lack of a valid instrument for doing this in Colombia.

Results Conceptual synthesis led to identifying a structure of constituent indicators, domains and sub-domains regarding the perception of health service quality. A list of reactions (having a scale for categorising the replies) was analysed according to the validity of appearance, construct, criteria and utility as criteria for sensitivity and usefulness. Successive revisions and three rounds of field-trials led to producing PECASUSS, an acronym given to the instrument for measuring users’ perception of health service quality (Percepción de Calidad Según Usuarios de Servicios de Salud).

Conclusions The guidelines effectively orientated the validation of the instrument required for measuring the perceived quality of health services received by people using hospitals forming part of the programme.

Key Words: Validation studies, quality of healthcare, hospital (source: MeSH, NLM).


 

La República de Colombia y el Banco Interamericano de Desarrollo suscribieron en el 2004 un contrato para ejecutar un Programa de reorganización, rediseño y modernización de redes prestadoras de servicios de salud, parte de la macroestrategia sectorial orientada a que esta dimensión del Sistema General de Seguridad Social en Salud-SGSSS se desarrolle en un contexto de ajuste fiscal, competencia regulada y modernización de las instituciones públicas del país. El Programa apoya la transformación de hospitales, de las instituciones públicas prestadoras de servicios para que, mejorando su efi-ciencia y calidad, den viabilidad técnico-financiera a redes de prestadores y, consecuentemente, se liberen recursos que amplíen el aseguramiento en el SGSSS. Además, pretende implementar un sistema de evaluación de la calidad de los servicios de tales redes y de seguimiento a la Política Nacional de Prestación de Servicios de Salud (1,2).

En este marco, el Ministerio de la Protección Social-MPS de Colombia con-vocó una consultoría para determinar una línea base 2006 de la calidad de los servicios según la percepción de los usuarios de las instituciones intervenidas por el Programa (1). El presente artículo describe el proceso seguido para construir y validar el instrumento requerido y reseña la estructura del PECASUSS, acrónimo del instrumento por su especificidad en medir Per-cepción de Calidad Según Usuarios de Servicios de Salud.

MÉTODOS

Con el fin de identificar métodos, técnicas e instrumentos para la medición de calidad percibida por usuarios en servicios de salud se realizó una búsqueda de literatura (4-24). Revisado el material se concluyó que, a pesar de la variedad de mediciones y recursos, no existía en Colombia ni se había adaptado del exterior un instrumento validado para medir el asunto de interés de la consultoría (1). Así, según lineamientos y pasos propuestos por Sánchez y Echeverri para desarrollar escalas de medición en salud (3), útiles en asuntos de medición compleja y de características difusas, se ejecutó un proceso para validar un instrumento original. El primer paso consistió en compilar definiciones de calidad en servicios de salud, que fueron discutidas con profesores universitarios e investigadores con experiencia en cuestionarios y estudios de conocimientos, actitudes, percepciones y prácticas en salud y en calidad. También se consultó a dos ex secretarios departamentales de salud, a tres ex secretarios de salud de capitales y municipios no capitales y a cuatro directores o ex directores de hospitales de diversos niveles de atención (1).

Esto derivó en una síntesis conceptual compatible con la definición técnica de la calidad de servicios de salud del MPS: servicios dados al usuario, accesibles y equitativos, brindados con las mejores condiciones científicas, profesionales e institucionales para satisfacer y adherir al usuario (1,2). El segundo paso permitió identificar en la literatura una estructura general de indicadores, dominios o factores propios a la percepción de calidad en usuarios de servicios de salud, depurable mediante aproximación sucesiva conceptual o empírica y medible por clasificación o categorización de un fenómeno que no es valorable de modo directo, es de delimitación imprecisa y no tiene una medida simple como ocurre con otros atributos (3).

Se identificaron indicadores de: accesibilidad, barreras o facilitadores para acceder a un servicio, con dominios y factores geográficos, culturales, económicos, administrativos, operativos, normativos, entre otros. De efectividad, expresada en dominios o factores percibidos por los usuarios como claves para satisfacer necesidades de atención con servicios generales, electivos especializados o de urgencias, la bondad clínica de las intervenciones, cumplir expectativas y mantener o recuperar la salud. De oportunidad, expresada en la percepción de tiempo de espera desde que llega a la institución –con día y hora para una cita– o, desde que se aprueba la elegibilidad para atención sin cita previa o, desde que se llega a urgencias y, en cualquiera de las opciones ocurre la resolución del motivo de consulta.

De continuidad y coordinación, percibida como la unidad temporal, espacial, orgánica y funcional que hospitales o redes presentan en los distintos momentos en que se fragmenta la atención. De adhesión, expresada como la intención favorable o desfavorable del usuario por regresar a la institución y solicitar el mismo u otro servicio. Otros factores de atención incluyen el trato recibido del personal administrativo o asistencial; las características estético-funcionales y de aseo de la institución; la comunicación con el usuario; el estándar de hotelería

en hospitalización (no todos lo viven pero la mayoría lo observan o comentan); el nivel de confianza percibido por el usuario para expresar sus requerimientos e inquietudes y, la valoración de la competencia clínica-profesional de los prestadores de la atención.

Así, con la certeza de estar frente a un fenómeno que podía ser medido según estos elementos (3), se avanzó al paso siguiente. Se generó una lista con 80 aspectos referidos a calidad percibida que luego se aglutinaron en 40 preguntas o enunciados (1). Para consolidar las preguntas se recurrió de nuevo a la literatura, a opiniones de expertos y contrastación frente a muestras de material usado en hospitales para evaluar calidad o satisfacción.

La versión entonces existente del instrumento se revisó al interior del equipo consultor para “certificar” o “ validar” si las preguntas: median lo que se quería, parecía y debían medir (apariencia); incluían los dominios y subdominios de la calidad percibida, sin los de calidad técnica o satisfacción (validez de constructo); funcionaban como otros instrumentos de percepción de calidad (validez de criterio); medían cambios en la realidad (sensibilidad al cambio) y, finalmente, si era en su conjunto un instrumento práctico, amigable, de extensión adecuada, rápido de aplicar, procesar y conservar en un archivo, para conocer la validez de su utilidad y practicidad (3).

El paso siguiente fue someter a prueba el instrumento, ya denominado con el acrónimo PECASUSS, en tres hospitales del área metropolitana de Medellín, dos del I y uno del II nivel de atención. Tres encuestadores aplicaron al me-nos diez instrumentos en cada hospital y la experiencia fue discutida para incorporar los ajustes pertinentes de formato y contenido (3). Avanzando con los lineamientos de validación se realizó una prueba piloto; se llevó a cabo en 12 instituciones del I, II y III nivel de atención en Antioquia, Valle del Cauca, Bogotá y Barranquilla; se aplicaron 275 cuestionarios, de 20 a 25 por institución. Esta prueba reveló que el PECASUSS hacía una óptima identificación preliminar de dominios de la calidad percibida a los que se agregó una pregunta sobre las instalaciones y se retiró, por inútil, una sobre requerimientos de trámite para egreso. Se hicieron ajustes para replanear el estilo y contenido de algunas preguntas, para que fueran más precisas y parecidas a la forma en que se formulan y, para limitar a 5 las opciones de categorización o respuesta de los usuarios, particularmente debido al bajo nivel de escolaridad y desempeño comunicativo de la mayoría de las personas indagadas pues se observó que entre más directo se preguntara y se enlazara esto con la forma natural en que las personas responden se tendrían una mejor precisión de respuesta, lo que las opciones de respuesta tipo Likert no lograban hasta entonces (3).

Al final se rediseñó el formato y tamaño de los textos del cuestionario para, con una menor cantidad de papelería, consignar respuestas del mayor número de usuarios; con esta versión ajustada se realizó una última prueba en terreno en dos hospitales públicos de Bogota. Se observó un excelente comportamiento del instrumento en cuanto a: el tiempo total de aplicación que no superaba los 5 minutos; la estabilidad de la forma de preguntar, pues se minimizó la probabilidad de equivocación gracias a la precisión semántica alcanzada en cada pregunta; la clara y sistemática comprensión por el usuario de cada pregunta y las opciones de respuesta. Dicha versión fue la utilizada en la medición de línea base efectuada en agosto de 2006.

El producto de los pasos seguidos con el método de validación es un instrumento de tres componentes estructurales: la página de instrucciones, la página de respuestas y el instructivo general para aplicación.

RESULTADOS

La página A, de instrucciones, es una página plastificable, de 29 reactivos estándar en total que contiene un encabezado con los créditos institucionales y nombre del instrumento así como los primeros tres reactivos básicos para identificar: el hospital, su nivel de complejidad y el municipio de su localización. Enseguida presenta seis reactivos para identificar: el momento de aplicación, el servicio evaluado, la tipología de afiliación al SGSSS, el sexo, la edad, la educación, la ocupación y el estrato socioeconómico del encuestado. Por último aborda diecinueve reactivos específicos para la valoración por parte del informante de los indicadores, dominios y factores de calidad percibida que el proceso de validación señaló como pertinentes frente a los criterios de validez utilizados (3).

Para la mayoría de este grupo de reactivos específicos, el PECASUSS presenta al encuestado cinco opciones de respuesta y le señala explícitamente, mediante palabras y frases leídas rigurosamente por el encuestador la necesidad de escoger una sola opción de respuesta.

Por ejemplo, respecto del trámite que el encuestado hizo para ser atendido en la institución o en el servicio del que sale al momento de la encuesta, indaga específicamente mediante una frase estandarizada como lo percibe el usuario dicho trámite en una escala que varía desde uno muy complicado, complicado, ni complicado ni sencillo, sencillo o uno muy sencillo.

Sucesivamente, en esta página del instrumento se abordan reactivos para determinar la percepción: del costo de los pagos, si los hubo; del tiempo esperado tanto en minutos como en la valoración de la duración de espera; de la solución recibida a la demanda de atención; de la capacidad del recurso humano en ese sentido; de la pertinencia de las respuestas del personal ante inquietudes o preguntas del usuario y de las orientaciones recibidas para el cuidado de la salud ; del aseo, la planta física y la comodidad del mobiliario; del trato de los profesionales en salud y de otro tipo de personal; de la cooperación entre funcionarios de diversos servicios en el mismo hospital o de varias instituciones; de la calificación numérica y la satisfacción por el servicio recibido; de la intención de volver al hospital, sus razones y sugerencias.

La página b, de respuestas, es un componente estructural del PECASUSS diseñado para el registro estandarizado de los hallazgos del proceso de en-cuesta. Tiene la particularidad de servir como una página resumen del levantamiento de datos por ofrecer en cada página la capacidad de registro de respuestas de siete usuarios, facilitando su rápida visualización, su trascripción a bases electrónicas y su manutención como archivo físico.

DISCUSIÓN

Como toda medición está sujeta a error -algo que ocurre al medir el largo de un objeto, el peso de personas y es aún más crítico al colectar información cualitativa o de naturaleza perceptual reportada por humanos y el error puede ser aleatorio (al azar) o sistemático (sesgo)-, para detectar, estimar, controlar o minimizar la presencia de error en la medición de base del Programa, era indispensable contar -como eje estructurante de la metodología- con un instrumento confiable y válido para la medición de la calidad percibida de los servicios de salud (3).

La confiabilidad (reproducibilidad o repetibilidad) del instrumento valoraría la capacidad de repetir la medición (al aplicar un formulario en manos de diversos encuestadores en diferente lugar y tiempo); evaluaría hasta qué punto la información obtenida correspondería a respuestas aleatorias, debidas al azar y no a un error sistemático de la medición. La validez (precisión o exactitud) del instrumento reflejaría hasta qué punto existiría una desviación sistemática, sesgada, en las respuestas recogidas con los usuarios (1,3).

El levantamiento de una línea de base es el ejercicio indispensable para la evaluación de la adecuación de procesos y de la plausibilidad para interpretar las evidencias del impacto de toda iniciativa o intervención social así como de programas de salud y de salud pública (25,26). El monitoreo y la evaluación rigurosa de los servicios de salud en general y, de la calidad de la atención en los hospitales en particular son, hace décadas y por el efecto social que tienen, asuntos relevantes dentro de los sistemas de salud (27).

Estas son acciones particularmente desafiantes por la necesidad irrefutable de encontrar o desarrollar metodologías, técnicas e instrumentos válidos y confiables para medir la calidad e interpretar estas mediciones una vez realizadas, especialmente si se considera que la evaluación de la calidad de los servicios ofrecidos en los hospitales puede tener distintos objetivos. Por esto, métodos, procesos, técnicas e instrumentos de evaluación deben guardar correspondencia con los propósitos globales y con los objetivos específicos por los que son propuestos y aplicados en un momento dado a una institución hospitalaria o a un programa implementado en las instituciones; de ser necesario, el evaluador o el programa deben invertir una cantidad considerable de tiempo y dinero en el desarrollo de los métodos y, particularmente, en el instrumental más válido, confiable, replicable y práctico posible (28).

Con la versión desarrollada, validada y ajustada del PECASUSS después de su aplicación para levantar una línea de base 2006 de la calidad percibida por los usuarios de los hospitales del Programa (1) y al amparo del interés explicito de la política pública de prestación de servicios (2) para que la información sea un bien público, se considera altamente pertinente efectuar acciones conducentes para que se disemine el uso de esta metodología general y el instrumento de medición en particular, de modo que las mediciones intermedias de 2008 y final de 2010 del impacto del Programa se vean enriquecidas por hallazgos que ocurran en manos de otros evaluadores o grupos interesados en el tema de la calidad percibida.

Tales hallazgos permitirán discutir con mayor evidencia las limitaciones y fortalezas tanto de la metodología como del instrumento cuya validación aquí se relató. Uno de los fines últimos de la validación es que, gracias a la forma en que se desarrolló el PECASUSS, este se convierta en el mediano plazo en el instrumento de referencia para la comparabilidad de las medicio-nes de calidad percibida en las IPS públicas del país

Agradecimientos: La información relatada se toma con autorización de la Dirección de Calidad de Servicios del MPS, del informe final del contrato de consultoría 2060685 firmado entre el Fondo Financiero de Proyectos de Desarrollo-FONADE y la Universidad de Antioquia-UdeA, convenio de Gerencia Integral del Proyecto 194045 FONADE-Ministerio de Protección Social-MPS, contrato Préstamo 1525/OC-CO República de Colombia y Banco Interamericano de Desarrollo-BID

 

REFERENCIAS

1. Ministerio de la Protección Social de la República de Colombia. Percepción de la calidad según usuarios de IPS‘s objeto del Programa de reorganización, rediseño y modernización de redes prestadoras de servicios de salud: línea de base 2006 para evaluar el impacto del Pro-grama. Medellín: Facultad Nacional de Salud Publica Héctor Abad Gómez Universidad de Antioquia; 2006. 90 páginas con adjuntos.         [ Links ]

2. República de Colombia. Política Nacional de Prestación de Servicios de Salud. Bogotá D.C.:Ministerio de la Protección Social; 2005.         [ Links ]

3. Sánchez R, Echeverri J. Validación de escalas de medición en salud. Rev Salud Pública-Bogotá. 2004; 6(3):302-18.         [ Links ]

4. Ross A, Zeballos J, Infante A. La calidad y la reforma del sector salud en América Latina y el Caribe. Rev Panam Salud Publica 2000; 8 (1:2): 93-8.         [ Links ]

5. Ardon N, Rubio Z. Sistema de monitoreo de la calidad de la atención en salud por indicadores en los hospitales de I, II y III nivel de atención. Bogotá: Pontifícia Universidad Javeriana; 2005.         [ Links ]

6.  Simone C, Travassos C, Fernandes C. Produção de serviços e qualidade da assistência hospitalar no Estado do Rio de Janeiro, Brasil - 1992 a 1995. Rev Saúde Pública 1997; 31 (6): 601-17.         [ Links ]

7. Christofides N, Jewkes R, Webster N, Loveday P, Abrahams N, Martin L. Other patients are really in need of medical attention: the quality of health services for rape survivors in South Africa. Bull World Health Organization 2005; 83 (7): 495-502.         [ Links ]

8. Gagliardino J, Hera M, Siri F. Evaluación de la calidad de la asistencia al paciente diabético en América Latina. Rev Panam Salud Pública 2001; 10 (5): 309-316.         [ Links ]

9. Atkinson S, Haran D. Back to basics: does decentralization improve health system performance? Evidence from Ceará in north-east Brazil. Bull World Health Organization 2004; 82 (11): 822-827.         [ Links ]

10. Sauceda A, Durán L, Hernández B. Evaluación de un programa de monitoría de la calidad de los servicios otorgados por una Organización no Gubernamental. Salud Pública de México 2000; 42 (5): 422-430.         [ Links ]

11. Bronfman M, López S, Magis C, Moreno A, Rutstein S. Atención prenatal en el primer nivel de atención: características de los proveedores que influyen en la satisfacción de las usuarias. Salud Pública de México 2003; 45 (6): 445-454.         [ Links ]

12. Martínez A, Van M, Nápoles F, Robles J, Ramos A, Villaseñor I. Hacia una estrategia de garantía de calidad: satisfacción en la utilización de los servicios médicos. Cad Saúde Pública 1996; 12 (3): 399-403.         [ Links ]

13. Ramírez A, García J, Fraustro S. Definición de la calidad de la atención Médica y su abordaje científico: Un modelo para la realidad mexicana. Cad Saúde Pública 1995; 11 (3): 456-462.         [ Links ]

14. Arifeen S, Bryce J, Gouws E, Baqui A, Black R, Hoque D, et al. Quality of care for under-fives in first-level health facilities in one district of Bangladesh. Bull World Health Organization 2005; 83 (4): 260-267.         [ Links ]

15. Boller C, Wyss K, Mtasiwa D, Tanner M. Quality and comparison of antenatal care in public and private providers in the United Republic of Tanzania. Bull World Health Organization 2003; 81 (2): 116-122.         [ Links ]

16. Kerssens J, Groenewegen P, Sixma H, Boerma W, Van I. Comparison of patient evaluations of health care quality in relation to WHO measures of achievement in 12 European coun-tries. Bull World Health Organization 2004; 82 (2): 106-114.         [ Links ]

17. Ramírez T, Nájera P, Nigenda G. Percepción de la calidad de la atención de los servicios de salud en México: perspectiva de los usuarios. ENSA-II. Bases conceptuales y metodológicas de la Encuesta Nacional de Salud II, México, 1994: México: Grupo Coordinador y de Diseño Conceptual de la ENSA-II. Salud Pública de México 1998; 40 (1): 1-10.         [ Links ]

18. Seclen J, Benavides B, Jacob E, Velásquez Aníbal, Watanabe E. ¿Existe una relación entre los programas de mejora de la calidad y la satisfacción de usuarias de atención prenatal?: experiencia en hospitales del Perú. Rev Panam Salud Pública 2004; 16 (3): 149–57.         [ Links ]

19. Retamal A, Monge V. Calidad percibida por dos poblaciones adscritas a dos centros de salud de la provincia de Cuenca. Rev Esp Salud Pública 2000; 74 (3): 275-286.         [ Links ]

20. Ortiz R, Muñoz S, Torres E. Satisfacción de los usuarios de 15 hospitales de Hidalgo, México. Rev Esp Salud Pública 2004; 78 (4): 527-537.         [ Links ]

21. Velandia F, Ardón N, Cárdenas J, Jara M, Pérez N. Oportunidad, satisfacción y razones de no uso de los servicios de salud en Colombia, según la encuesta de calidad de vida del DANE. Colomb Médica 2001; 32 (1): 4-9.         [ Links ]

22. Asch S, Kerr E, Keesey J, Adams J, Setodji C, Malik S, McGlynn E. Who is at greatest risk for receiving poor-quality health care ?. New England J Medicine 2006; 354 (11): 1147-1156.         [ Links ]

23.  García A, Artells J. Organización, funcionamiento y expectativas de las organizaciones representativas de pacientes: encuesta a informadores clave. Gac Sanit 2005; 19 (2): 120-6.         [ Links ]

24. Kelley E, Hurst J. Health care quality indicators project conceptual framework paper. Paris: DELSA/HEA/WD/HWP; 09-Mar-2006.         [ Links ]

25. Beaglehole R, Bonita R, Horton R, Adams O, McKee M. Public Health in the new era: im-proving health through collective action. Lancet 2004; 363: 2084-6.         [ Links ]

26. Habicht J, Victora C, Vaughan J. Evaluation designs for adequacy, plausibility and probability of public health programme performance and impact. Int J Epidemiol 1999; 28: 10-8.         [ Links ]

27. Reed L, Clark D. Appraising public medical services. Am J Pub Health 1941; 31: 421-30.         [ Links ]

28. Sheps M. Methods of evaluation for quality hospital services. Pub Health Reports 1955; 70 (9): 877-86.        [ Links ]