Evaluation of AAISA's Sector Survey | Évaluation du sondage sectoriel de l'AAISA
March 2026 | Evaluation and Assessment
Authored by Hessan Hanif and Andrew Lam, Policy and Communications, AAISA.
Questions can be directed to hhanif@aaisa.ca
About This Report
AAISA’s Sector Survey has captured information from Settlement Serving Organizations (SPOs) across Alberta since 2018, tracking organizational capacity, service delivery trends, and emerging needs within the settlement system. This evaluation — conducted in 2025–2026 as part of AAISA’s agreement with Immigration, Refugees and Citizenship Canada (IRCC) — examines how the survey can be redesigned to better reflect sector realities, reduce reporting burden, and strengthen its use for planning, advocacy, and alignment with IRCC priorities ahead of the 2026–2028 survey cycles.
The evaluation drew on a review of past Sector Surveys from 2018 to 2024, a preliminary interview with previous researchers, and two facilitated focus groups with senior leadership from nine AAISA member organizations across Calgary, Edmonton, Brooks, Lethbridge, and Grande Prairie. Thematic analysis combined established and emergent coding, with a language-based intensity assessment applied to support consistent interpretation across organizations of different sizes and communication styles.
Key Findings
Participants consistently identified the Sector Survey as a valued tool for advocacy and funding leverage, particularly for grant applications and engagement with IRCC and non-IRCC funders. Sector-level data administered through an umbrella organization was seen as carrying distinct credibility compared to individually reported evidence.
Cross-site comparison was among the most appreciated functions of the survey. Organizations used comparative data to benchmark their own service volumes, understand regional variation, and clarify where their work fits within the provincial landscape.
Frontline staff perspectives were identified as significantly underrepresented. Participants described a meaningful gap between executive-level survey responses and the day-to-day realities experienced by frontline workers, including emotional labour, classroom-level pressures, and shifting client needs that remain invisible in a single leadership-focused instrument.
Survey burden was framed primarily as a design and structure issue rather than excessive length alone. Participants pointed to questions that felt misaligned with their service type, terminology that did not match IRCC frameworks, and the absence of branching logic as key contributors to cognitive load and inconsistent responses.
Organizations wanted more granular and nuanced data, particularly around disability-related services, secondary migration, service intensity, workforce patterns, and burnout, areas they described as poorly captured or entirely absent from the current instrument.
Output format and accessibility gaps were also consistently noted. Participants wanted layered outputs including infographics, concise summaries, full technical reports, and town halls, with the explicit goal of ensuring findings reach frontline staff and do not remain with executive leadership alone.
Practical Suggestions
The evaluation produced seventeen practical suggestions for the redesigned Sector Survey, including developing a frontline-specific survey version; shortening completion time; improving branching logic; expanding categories for specialized service areas; capturing secondary migration and service intensity; providing raw data access for organizational use; adding workforce and burnout-related items; distributing questions in advance of the survey window; simplifying question formats; clarifying which role should respond to each section; aligning terminology with IRCC language; strengthening regional and centre-type comparisons; offering layered output formats; improving communication loops around how data is used; adjusting distribution timelines to avoid high-burden periods; introducing appropriate frontline incentives; and establishing a longitudinal core question set to support trend tracking across years.
Next Steps
The findings suggest that the Sector Survey retains strong strategic value but requires structural adjustment to better reflect the range of organizations, roles, and realities across Alberta’s settlement sector. AAISA’s developing Knowledge Hub, which is expected to include a Sector Survey dashboard, may offer a more accessible way for organizations to review and interpret findings as the platform evolves.
Download the Full Report (PDF)
À propos de ce rapport
Le sondage sectoriel de l’AAISA recueille des informations auprès des organismes de services aux nouveaux arrivants (SPO) de l’Alberta depuis 2018, en suivant la capacité organisationnelle, les tendances en matière de prestation de services et les besoins émergents au sein du système d’établissement. Cette évaluation — menée en 2025–2026 dans le cadre de l’accord de l’AAISA avec Immigration, Réfugiés et Citoyenneté Canada (IRCC) — examine comment le sondage peut être repensé pour mieux refléter les réalités sectorielles, réduire le fardeau lié à la production de rapports et renforcer son utilité pour la planification, la défense des intérêts et l’alignement sur les priorités d’IRCC en prévision des cycles de sondage 2026–2028.
L’évaluation s’est appuyée sur un examen des sondages sectoriels passés de 2018 à 2024, un entretien préliminaire avec des chercheurs précédents, et deux groupes de discussion animés avec la haute direction de neuf organisations membres de l’AAISA à Calgary, Edmonton, Brooks, Lethbridge et Grande Prairie. L’analyse thématique a combiné un codage établi et émergent, avec une évaluation de l’intensité linguistique appliquée pour soutenir une interprétation cohérente entre les organisations de différentes tailles et styles de communication.
Principales conclusions
Les participants ont systématiquement identifié le sondage sectoriel comme un outil précieux pour la défense des intérêts et l’effet de levier en matière de financement, notamment pour les demandes de subventions et l’engagement auprès d’IRCC et d’autres bailleurs de fonds. Les données à l’échelle sectorielle administrées par une organisation faîtière ont été perçues comme ayant une crédibilité distincte par rapport aux données déclarées individuellement.
La comparaison entre les sites a été l’une des fonctions les plus appréciées du sondage. Les organisations ont utilisé les données comparatives pour évaluer leurs propres volumes de services, comprendre les variations régionales et clarifier la place de leur travail dans le paysage provincial.
Les perspectives du personnel de première ligne ont été identifiées comme significativement sous-représentées. Les participants ont décrit un écart important entre les réponses au sondage au niveau de la direction et les réalités quotidiennes vécues par le personnel de première ligne, notamment le travail émotionnel, les pressions liées à l’enseignement en classe et les besoins changeants des clients.
Le fardeau lié au sondage a été principalement défini comme un problème de conception et de structure plutôt que de longueur excessive. Les participants ont signalé des questions mal alignées avec leur type de service, une terminologie ne correspondant pas aux cadres d’IRCC, et l’absence de logique de branchement comme principaux facteurs contribuant à la charge cognitive et aux réponses incohérentes.
Les organisations souhaitaient des données plus granulaires et nuancées, notamment sur les services liés au handicap, la migration secondaire, l’intensité des services, les profils de la main-d’œuvre et l’épuisement professionnel.
Suggestions pratiques
L’évaluation a produit dix-sept suggestions pratiques pour la refonte du sondage sectoriel, notamment : développer une version du sondage spécifique au personnel de première ligne ; raccourcir le temps de complétion ; améliorer la logique de branchement ; élargir les catégories pour les domaines de services spécialisés ; saisir la migration secondaire et l’intensité des services ; fournir un accès aux données brutes ; ajouter des éléments liés à la main-d’œuvre et à l’épuisement professionnel ; distribuer les questions à l’avance ; simplifier les formats de questions ; clarifier quel rôle devrait répondre à chaque section ; aligner la terminologie avec le langage d’IRCC ; renforcer les comparaisons régionales ; proposer des formats de sortie en couches ; améliorer les boucles de communication ; ajuster les délais de distribution ; introduire des incitatifs appropriés pour le personnel de première ligne ; et établir un ensemble de questions longitudinales stables.
Perspectives d’avenir
Les résultats suggèrent que le sondage sectoriel conserve une valeur stratégique importante, mais nécessite des ajustements structurels pour mieux refléter l’éventail des organisations, des rôles et des réalités au sein du secteur d’établissement de l’Alberta. Le Knowledge Hub en développement de l’AAISA, qui devrait inclure un tableau de bord du sondage sectoriel, pourrait offrir un moyen plus accessible pour les organisations d’examiner et d’interpréter les résultats au fur et à mesure que la plateforme évolue.