Analyzing implementation of public health interventions : a need for rigor, and the challenges of stakeholder involvement

This article shows how conceptual models can help to develop and evaluate public health interventions. It also reports on the challenges of getting stakeholders involved. The analysis is based on the reflexive approach applied by the authors during their participation in two public health intervention research (PHIR) projects, in France and in Burkina Faso. In Paris, PHIR aimed to enable sub-Saharan immigrants to appropriate the existing means of prevention and sexual health care and to strengthen their empowerment in view of preserving their health. Evaluation was carried out using mixed methods. The intervention process theory is based on Ninacs' conceptual model of individual empowerment. The Consolidated Framework For Implementation Research (CFIR) was mobilized a posteriori to analyze the process. PHIR stemmed from collaboration between a research team and two associations. The different stakeholders were involved in the evaluation process, as were, at certain times, persons in highly precarious situations. In Ouagadougou, a community-based dengue vector control intervention was deployed to address an essential but neglected need. As regards evaluation, we opted for a holistic, mixed method approach (effectiveness and process). The contents of the intervention were determined based on tacit knowledge, a community preference survey and solid evidence. The theoretical framework of the intervention consisted in an eco-biological model of vector control. The implementation analysis combined an internal assessment of implementation fidelity with an external CFIR process analysis. All stakeholders were involved in the evaluation process. Analysis confirmed not only the value of process evaluations in PHIR, but also the primordial importance of a rigorous approach. Stakeholder involvement is a major challenge to be addressed early in the planning of RISPs; with this in mind, effective and ethically sound assessment mechanisms need to be drawn up. Interdisciplinary evaluative approaches should be preferred, and the use of justified, relevant, and flexible frameworks is highly recommended. Lessons learned for those wishing to engage in the process evaluation of a public health intervention are hereby presented. Cet article montre la manière dont il est possible d'utiliser des modèles conceptuels pour développer des interventions et évaluer leurs processus. Il rend compte aussi des défis de l'implication des personnes concernées. L'analyse repose sur une démarche réflexive des auteurs à partir de leur participation à deux recherches interventionnelles en santé publique (RISP) en France et au Burkina Faso. A Paris, la RISP vise à permettre aux immigrés subsahariens de mieux s'approprier les moyens de prévention et de soins de santé sexuelle, et à renforcer leur pouvoir d'agir afin de préserver leur santé. L’évaluation a été réalisée par méthodes mixtes. La théorie de l'intervention est fondée sur le modèle conceptuel du pouvoir d'agir individuel de Ninacs. Le « Consolidated Framework For Implementation Research » (CFIR) a été mobilisé a posteriori pour analyser le processus. La RISP est née de la collaboration entre une équipe de recherche et deux associations. Les parties prenantes ont été associées au processus d’évaluation. Des personnes en situation de grande précarité ont été ponctuellement impliquées. À Ouagadougou, une intervention communautaire de lutte contre le vecteur de la dengue a été déployée pour répondre à un besoin important mais négligé. L’évaluation a opté pour une démarche holistique (efficacité et processus) avec une approche en méthodes mixtes. Le contenu de l'intervention a été décidé à partir des connaissances tacites, d'une enquête des préférences communautaires et des données probantes. La théorie de l'intervention est fondée sur le modèle éco-biologique de lutte contre les vecteurs. L'analyse de la mise en œuvre a associé une évaluation interne de la fidélité de l'implantation avec une analyse externe des processus soutenue par le CFIR. Toutes les parties prenantes ont été associées au processus d’évaluation. L'analyse confirme l'intérêt des évaluations de processus dans les RISP mais aussi l'importance de la rigueur de leur approche. L'implication des parties prenantes est un défi important dont il faut tenir compte très tôt dans la planification et se doter de dispositifs efficaces et éthiques. L'interdisciplinarité des approches d’évaluation est à privilégier et l'usage de cadres conceptuels, justifiés, pertinents et flexibles à recommander. Des leçons apprises pour les personnes qui souhaiteraient s'engager dans une évaluation des processus d'une intervention de santé publique sont présentées.