Редакция журнала «Позитивные изменения»
Позитивные изменения. Том 1, №1 (2021). Positive changes. Volume 1, Issue 1 (2021)
Case of The Issue: Social and Economic Impact Research of the Russian Toy Manufacture Project
Elizaveta Zakharova, Sergey Gorbunov, Svetlana Modnova
The Russian Toy Manufactory project was launched in the fall of 2020 by the Family Traditions Crafts Center with the support of the Presidential Grants Fund. The mechanics of the project is teaching the skills of creating quilted toys. The target audience of the project includes unemployed women over 50, mothers of disabled children, and mothers of large families.
Elizaveta Zakharova,
PhD student at the HSE Faculty of Social Sciences
Sergey Gorbunov,
Master Student in Sociology of Public and Business Sphere, HSE
Svetlana Modnova,
Head of the Russian Toy Manufacture Project
During the year, the charity recipients were trained in online and offline formats to make quilted New Year's toys and how to sell them. There were three levels of training to choose from: basic, intermediate and advanced ones.
PURPOSE AND OBJECTIVES OF THE PROJECT
The goal of the project is to provide full time or part-time employment to the target audience by opening a permanent platform for additional earnings – the Russian Toy Manufacture.
To achieve this goal, the following objectives were set:
• Creation and equipping of the production hall, educational center, museum and press center of the Manufacture;
• Development of a training program with the creation of online training platforms for the target audience, which will not be able to attend in-person events;
• Formation of the project target groups on territoriality principle in partnership with the government authorities of the Moscow region, friendly NGOs;
• Launch of an educational center with a continuous learning process;
• Media coverage of activities about the project;
• Opening of the Project Museum;
• Publication of a special project day book;
• Assessment of the project social impact for the possibility of replicating the practice.
MAIN QUANTITATIVE OUTPUTS OF THE PROJECT
At the end of the project, the organizers provided the following quantitative outputs: during the year of the project implementation, more than 350 master classes were held, where more than 1,000 women participants were trained, 420 charity recipients under the project will be able to engage in mastered crafts at home, 550 received additional employment, 30 participants got a full time job at the Manufactory, the Quilted Toy Museum was opened.
EXPERIENCE IN ASSESSING OUTCOMES OF AN IMPACT INVESTMENT PROJECT
In September 2021, the Gladway Foundation for the Development of Media Projects and Social Programs conducted a sociological study among the graduates of the project (N = 155). The analysis of the data obtained is an attempt to assess outcomes of the impact investment project.
Table 1. Logical project model
Where do you live now?
Figure 1. Distribution of answers regarding place of residence, %
Evaluate your financial status at the moment
Figure 2. Distribution of answers regarding financial status, %
Table 2. A list of goods purchased for the last 3 years
Table 3. The degree of respondents’ consent with judgments about participation in the project
Have you worked somewhere when you started participate in the project?
Figure 3. Distribution of answers regarding of employment at the start of participation in the project, %
Could you save some amounts after monthly mandatory payments (utilities, mortgages, loans, etc.)?
Figure 4. Distribution of answers regarding savings in the family, %
Table 4. A list of things done that was completed when implementing the project
The purpose of the study was to investigate how the project affected its graduates’ lives. The study was divided into three blocks: the compilation of a socio-demographic profile of the project graduate, the determination of the psychological and economic status of the families of the participants at the start of the project, the assessment of the social impact on the charity recipients’ lives by fixing changes in the psychological atmosphere and economic situation.
PROFILE OF THE PROJECT CHARITY RECIPIENTS
As noted above, the project target audience includes unemployed women over 50 years old, mothers of disabled children, mothers of many children. The survey showed that the average age of the participants is 47.7 years, most of them are married, official and unofficial (65 %), and live in their own apartment or private house (64.5 %).
To what extent do you think participation in the project impacted the family economic status as a whole?
Figure 5. Distribution of answers regarding evaluation the impact of the project as a whole on the family economic status, %
How much the overall psychological atmosphere in the family where you live has changed at the end of the project?
Figure 6. Distribution of answers regarding evaluation the impact of the project as a whole on the psychological atmosphere, %
The family relationship index
Figure 7. Distribution of answers regarding evaluation the project impact on family relations with each member, %
Index of change in subjective well-being
Figure 8. Distribution of answers regarding evaluation of subjective well-being in general, %
As a rule, female participants live with other relatives, every second has children under 18 years old, and every fifth has a disabled child. The vast majority of project participants are women with higher education (79 %), but despite this, more than a third of the participants have financial problems: they do not have enough money to buy clothes, and some find it difficult to cover even daily expenses.
Under very limited budgets, women who participate in the project often resort to loans to buy certain goods (29.6 % of respondents). In this sense, statistically there is a direct relationship between the economic status of the family and the decision to purchase on credit: the study found that the part of the respondents who do not have serious material difficulties is less likely to resort to such a financial instrument as lending, or other forms of monetary loans. Nevertheless, again we draw attention to the fact that the participants in their majority have their own real estate for living or have the opportunity to live with relatives, pay for a mortgage or rent – 19 % of respondents. Thus, the purchase of real estate is practically excluded from the structure of the participants’ expenses; the main monetary expenses are made to buy clothes and goods cheaper than 50 thousand rubles. As the study suggests, many categories of purchases are generally not relevant, since they were probably already purchased a long time ago (spending on different categories of goods was set with a restriction in the last 3 years). These can be an apartment, a cottage, a car, a furniture set, etc.
PSYCHOLOGICAL AND ECONOMIC STATUS OF THE PARTICIPANTS AT THE START OF THE PROJECT
To be able to assess the social impact of the project, the economic and psychological status of the participants at the start of the project was recorded. A little more than a third of respondents at the time of the start of participation in the project had a main job, and sometimes an additional part-time job. The subgroup of unemployed participants is larger – 63 %, among which 15 % of the total number of respondents are caring for a sick child.
In some measure, this determines the picture that we saw in terms of saving practice. 41 % of women surveyed indicated that they could not save money, as they “live from hand to mouth.” Only 18 % can significantly save – to buy clothes, shoes, and trip.
OVERALL EVALUATION THE EXPERIENCE OF PARTICIPATION IN THE PROJECT
To understand how participants generally evaluate their participation in the Manufacture project, respondents were asked to rate their judgment on a 5-point scale on the degree of their agreement with them. The vast majority (96 % of «4» and «5» ratings) believe that they did not waste time, and almost the same number (91 %) agreed that their participation in the project was productive and useful. A little more than half of the respondents (53 %) express their intention to engage in the manufacture of toys, and 65 % positively assessed the idea of the project and its implementation.
Also, the absolute majority (92 %) in the learning process was able to produce several toys, but much less went to the next level of product implementation. Thus, a third of respondents (32 %) created their page in social networks for the sale of toys, and every fifth (21 %) managed to sell several items. At the same time, many (25 %) conducted master classes among colleagues and acquaintances in the production of toys, which suggests that although many still have difficulties with the commercial sale of products, the project participants are ready to share the knowledge gained, thereby expanding the coverage of the social impact of the project. Regarding the sale of products, it is also important to note that probably the barrier to this was the unwillingness to register as an individual entrepreneur or self-employment status, since this would inevitably entail the loss of benefits that many participants receive.
Returning to the goal in the project, we can summarize that at the end of the project, 21 % of the respondents managed to receive income from the sale of manufactured products, which, of course, does not mean exactly the employment, but means the experience of obtaining additional income.
ECONOMIC AND PSYCHOLOGICAL ASPECTS OF IMPACT
When asked about the change in the family economic status, 29 % of the surveyed participants noted a positive effect, which to some extent meets the goal set in the project to ensure the employment of their target audience.
According to the analysis results, there was established a weak but important relationship (correlation coefficient 0.23) between the family economic and psychological and emotional status. Also the study recorded that financial problems are perceived less acutely where is a positive family atmosphere, which hypothetically may mean that with an additional improvement in the family atmosphere, an unsatisfactory financial status may less often be the subject or cause of conflicts, as well as vice versa – with an increase in economic well-being, psychological and emotional indicators can also be improved. However, in order to study in more detail the nature of this relationship, it is necessary to conduct regression analysis, which was not included in goals of this study. In any case, it is important to document the existence of such a link within the scope of this article.
Although many participants still have difficulties with product marketing, they are ready to share the gained knowledge thereby expanding the scale of the project’s social impact.
39 % of respondents noted a change in the family psychological atmosphere and associate it with their participation in the project. To some extent, this was facilitated by the involvement of children and relatives in joint activities in the process of production and sale of quilted toys, which was resorted to by almost 19 % of respondents.
Joint activities in the family also affected the positive changes in relations between relatives: this conclusion is true for 43 % of respondents. At that older women (over 50 years old) significantly more often note such positive changes (correlation coefficient 0.249).
Respondents highly appreciated the project impact on their subjective well-being: 74 % gave the maximum ratings of «4» and «5». The concept of subjective well-being in this case included the following indicators: a sense of self-confidence after the project, self-expression as a creative person, the reduction of stress after participating in the project, a sense of involvement in the project and an increase in self-evaluation from participation in the project.
In this case, also it will be appropriate to cite some respondents' quotes related to evaluation of the project impact on them:
"I went to this project to support my disabled mother, who was very interested in this type of creativity. I didn't notice how I got carried away! I watched master classes and made toys with pleasure. My mother was also very helped by this project: a few years ago she had a stroke, after that she was depressed for a very long time, but this project inspired her! Fine manual skills greatly help recovery, and depression disappeared like magic! In the future, we plan to make such wonderful toys for sale. Many thanks to such an excellent team of professionals! We look forward to the next stage!"
(Female, 34 years old)
"I came out of long-time depression related to disability and job loss. This is the main and very significant achievement for me. Thanks to the Project for the opportunity to continue living a life of joy."
(Female, 55 years old)
"I am grateful to the project not only for the skills and knowledge gained, but also for the opportunity to get a psychological «escape» through my own creativity under the guidance of Masters."
(Female, 48 years old)
These outputs suggest that the project helped its participants to improve psychological well-being.
OVERALL ASSESSMENT OF THE PROJECT SOCIAL IMPACT
The logical model of the project laid down the expected social outcomes and social impact for the charity recipients under the project and indicators to measure them. Given this logic, in conclusion, we will give an overall assessment of the project social impact.
The expected social outcomes included the following aspects: obtaining knowledge in the field of technologies for making quilted toys, the possibility of additional earnings through the sale of toys and the prevention of burnout. Indicators to determine the extent to which these outcomes were achieved: the number of those who received knowledge, the number of people selling toys and reaction to emotional recovery. The project social impact was defined in the model as an increase in the level of well-being of disadvantaged groups (that is, the project target audience), the assessment of which included the number of charity recipients who sold toys and the fact of employment in the Manufacture. Thus, 91.7 % of the surveyed participants made quilted toys, which they were taught during the project, 21.5 % were able to sell such products, while with a subjective assessment, 29 % of respondents noted that the project had a positive impact on their economic status. It’s likely that some participants feel a general sense of change in their life, as well as assess their prospects for the future, as more than half said they want to continue to produce and sell quilted toys, and 31 % have already created their pages to sell products. It can also be supported by a general thesis about the long-term, «time lags» of social effects in impact investment projects. The respondents’ comments indicate their emotional uplift, as well as the partial resolving of psychological problems and the general stress release. 10.4 % of respondents entered the project working group to perform commercial manufacturing jobs in the Manufacture, according to the organizers, 30 participants got a full time job at the enterprise.
Summarizing all the outcomes of the study, we can say that, firstly, the main goal of the project was partially achieved, although was not in full. Secondly, the project had a strong impact on the psychological well-being of the participants, as evidenced by many figures, as well as respondents’ comments. Third, while the impact on participants’ economic well-being is significantly lower, it should be emphasized once again that the data also show a willingness to continue to engage in new business, to share their knowledge, which can be treated as a potential to get full time or part-time job and solve financial problems in the future.
COMMENTS AT CONCLUSION
With the development of the impact investment market, the question of tools for assessment the social impact of such projects is very relevant. This case is an example of how you can assess your project outputs, its effectiveness and the extent to which this project has impacted on its participants’ lives. Testing assessment methods is an important procedure that makes it possible to reflect critically on the tool used and improve it. In this case, sociological analysis is one of the approaches to the assessment of impact investing, and in this example we saw how its tools allow us to in-depth assess various changes in the charity recipients’ lives. However, there are limitations, for example, not everyone during survey can answer honestly or accurately, so it is important to compare different indicators of the project, as well as to look for opportunities to apply deeper research methods based, for example, on a psycho-semantic approach, projective and semi-projective methods, comparing data obtained from different sources – for example, triangulation, using Social Listening data, etc.
Языком науки / In Academic Language
Импакт как объект оценки: основные понятия[1]
Наталья Гладких, Зоя Талицкая
В 2019 году в России утверждена Концепция содействия развитию благотворительной деятельности на период до 2025 года, в которой предусмотрено включение оценки социального эффекта как необходимого этапа реализации благотворительных программ и проектов. Таким образом, сегодня оценка социально-экономического воздействия становится обязательным элементом социальных проектов.
Наталья Гладких,
кандидат психологических наук, ведущий эксперт Института социально-экономического проектирования НИУ ВШЭ
Зоя Талицкая,
эксперт Фонда развития медиапроектов и социальных программ Gladway
Разработка методологии и практическое применение инструментов оценки в сфере социальных проектов и программ насчитывает в России уже более 15 лет. За это время создано немалое количество русскоязычных руководств и методических пособий по проведению оценки, издаются дайджесты международных публикаций по этой теме, работает несколько специализированных организаций, занимающихся оценкой проектов и программ, а также сообщество специалистов в области оценки – Ассоциация специалистов в области оценки программ и политик (АСОПП). В целом оценка проектов и программ в России является активно развивающейся областью научной и практической деятельности, имеющей уже достаточно длительную историю существования и наработанный опыт.
Одним из индикаторов такого опыта является наличие сформированного тезауруса данной предметной области, по крайней мере внутри профессионального сообщества специалистов по оценке. Устоявшимися и разделяемыми большинством специалистов являются, например, такие термины, как теория изменений, логическая модель проекта, разделение категорий результатов и воздействия проектов и программ.
Тем не менее существует ряд сложностей, связанных с определением и пониманием основных терминов. Во многом это обусловлено тем, что словарный корпус данной отрасли знания был изначально заимствован из английского языка и часто используется в варианте языковой «кальки». Так, термины «импакт» и «ассессмент» часто используются в формате непосредственного переноса из английского языка, в связи с чем их определение требует более пристального внимания.
Попробуем провести сопоставительный анализ ключевых терминов, входящих в языковой корпус предметной области, связанной с оценкой проектов и программ.
ОСНОВНЫЕ ПОНЯТИЯ, ИСПОЛЬЗУЕМЫЕ ПРИ ОЦЕНКЕ СОЦИАЛЬНЫХ ПРОЕКТОВ
Базовым понятием, используемым в оценке, ожидаемо является термин Evaluation, применяемый в России в прямом значении его перевода: «оценка, определение ценности». Одно из наиболее популярных и базовых определений оценки дал А. И. Кузьмин [Кузьмин, 2009] на основании перевода словарной статьи, написанной Майклом Пэттоном в 1997 году: «Оценка программы (program evaluation) – это систематический сбор информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее». Отметим, что в контексте данного определения термины «программа» и «проект» могут бы рассмотрены как синонимы, таким образом, оно может быть отнесено к обеим категориям.
Другим распространенным понятием является Monitoring, значение которого также достаточно четко определено в российской литературе. Обращаясь к одному из классических определений, также предложенному А. И. Кузьминым [Кузьмин, 2009], можно обозначить мониторинг как «один из видов оценки программ, который заключается в постоянном отслеживании хода программы и сравнении его с планом… Мониторинг глубокого анализа не предполагает, но дает оперативную информацию о текущем положении дел на основании сравнения фактических значений ряда ключевых показателей (индикаторов) с их плановыми значениями».
Основным отличием понятия Assessment от понятия Evaluation является прогностический характер данного вида оценки – условно, можно охарактеризовать его, как «прогнозирующую» или «прогностическую» оценку, т. е. оценку настоящей активности в контексте прогноза развития данной активности в будущем.
Не менее важным является понятие Assessment, ситуация с переводом которого обстоит сложнее. Если посмотреть на второе определение данного понятия в словаре, можно обозначить его содержание как «оценка, определение ценности», что не дает нам оснований для выделения его специфики по сравнению с предыдущим. Однако третья дефиниция – «определение, установление; оценка (жизнеспособности)» – позволяет все-таки определить данную специфику. Итак, основным отличием этого понятия от понятия Evaluation является прогностический характер данного вида оценки: условно можно охарактеризовать его как «прогнозирующую» или «прогностическую» оценку, т. е. оценку настоящей активности в контексте прогноза развития данной активности в будущем, а также прогноза ее результатов. Тут важно отметить, что для второго случая существует еще более специфичное понятие Impact Assessment, которое можно перевести на русский язык как «прогнозирование влияния».
Международная ассоциация ассессмента влияния (IAIA) определяет Impact Assessment как «процесс определения будущих последствий текущей деятельности». В качестве одного из современных примеров определения данного термина можно привести следующее: Social Impact Assesment – «процесс предварительной оценки социальных последствий от тех или иных социальных или политических проектов. Это предсказательная процедура оценки социального эффекта» [Takyi, 2014].
Таким образом, можно говорить о том, что термин «ассессмент» («ассессмент влияния»; «прогнозирующая оценка») стоит использовать в ситуации оценки, которая проводится еще до запуска программы, когда мы можем определить возможные последствия и эффекты нашей программы, «мониторинг» – когда мы проводим оценку на соответствие программы ряду показателей по ходу ее реализации с возможностью оперативного вмешательства, и собственно «оценкой программы» («оценкой влияния программы») традиционно принято считать оценку, которая проводится после реализации программы.
Ключевыми вопросами в данном контексте являются все, что связаны с определением outcome и impact – социального влияния и воздействия проекта соответственно. Во многом от определения понятия социального воздействия (эффекта) зависит подход к его измерению. Можно заметить, что зачастую понятие социального воздействия рассматривается как синонимичное понятию «эффективность», а также «социальная ценность».
Таблица 1. Области возможных измерений социального воздействия (по Греко)
Понятие социальной ценности (social value), в свою очередь, объединяет в себе четыре компонента: общее благо (для ключевых стейкхолдеров), предоставленные услуги, личное благополучие (эмоциональное благополучие, повышение самооценки, обретение цели), развитие сообщества [Courtney, 2018]. Социальная эффективность также может иметь различные определения. Так, она может быть определена как способность достичь поставленной цели, удовлетворение интересов всех стейкхолдеров, оптимальное соотношение затрат и результата деятельности, бесперебойное обеспечение ресурсами, соответствие международным стандартам [Рождественская Н. В., Богуславская С. Б., Боброва О.С, 2016].
Социальный эффект можно определить как относящийся к широкому спектру неэкономических результатов, влияющих на благополучие людей, социальный капитал, развитие сообщества и окружающую среду. С позиции доноров и инвесторов социальный эффект может быть определен как результат от вложения средств, который выражается не только количественно, но и качественно – в виде новых практик, знаний и информации.
Чтобы полностью понять концепцию воздействия, необходим сдвиг от перспективы результата деятельности (outputs) к перспективе итога деятельности (outcomes). Результаты деятельности (outputs) – это результаты, которые организации могут непосредственно измерять или оценивать (например, количество обученных людей, процент новых сотрудников в рабочей силе), в то время как итоги деятельности (outcomes) – это более широкие изменения, преимущества и знания, которые можно получить в среднесрочной и долгосрочной перспективе (например, сокращение социальной изоляции, уменьшение неравенства).
Поскольку итоги относятся к изменениям в обществе, они определяются воздействием широкой аудитории, а также влиянием внешних условий, которые могли бы им способствовать. Организации могут играть ключевую роль в стимулировании изменений, но их вклад не следует переоценивать. По этой причине понятие социального воздействия (social impact) относится к той доли общего результата, которая достигнута в результате деятельности организации, помимо того что произошло бы в любом случае [Grieco, 2015].
Результаты деятельности (outputs) – это результаты, которые организации могут непосредственно измерять или оценивать, в то время как итоги деятельности (outcomes) – это более широкие изменения, преимущества и знания, которые можно получить в среднесрочной и долгосрочной перспективе.
Возможные области измерений социального воздействия приведены в таблице 1.
Еще одним важным аспектом определения непосредственных результатов является отделение их от характеристик выполненной деятельности. На это обращает внимание А. И.
Рисунок 1. Цепочка результатов проекта (по А. И. Кузьмину)
Кузьмин в одной из своих публикаций в профессиональном блоге. Автор приводит следующую схему для иллюстрации данного тезиса (рис. 1).
Кузьмин отмечает, что «в социальном проектировании непосредственными результатами (outputs) называют прямое следствие череды действий в рамках проекта. Казалось бы, все просто: выполнил действие – получил непосредственный результат. Однако, как ни странно, и в зарубежных, и в российских публикациях мнения о том, что считать непосредственным результатом, расходятся радикальным образом. И похоже, что у нас ошибочная позиция становится все более и более популярной. Она заключается в том, что к непосредственным результатам относят характеристики выполненной деятельности. Автор приводит следующий пример: «Предположим, в рамках проекта проводится обучение. Собственно обучение является деятельностью в рамках проекта. Здесь вопросов ни у кого не возникает. А теперь внимание! Непосредственными результатами обучения называют следующее: сколько учебных курсов организовали, сколько часов длились занятия, сколько человек приняли участие в обучении. Но все перечисленное относится к самой деятельности, характеризует ее масштабы, отвечает на вопрос о том, сколько мы всего сделали. Все это характеристики (показатели) выполненной деятельности, но никак не ее непосредственные результаты. Что же является непосредственным результатом обучения, его прямым следствием? То, что происходит с обучаемыми: изменение их знаний, умений, навыков, отношения к чему-либо».
Стоит отметить, что описанная выше проблема интерпретации понятия непосредственных результатов с точки зрения характеристик деятельности является достаточно распространенной. Более того, можно сказать, что в большинстве рассмотренных в рамках данного анализа источников непосредственные результаты понимаются именно так – как характеристики деятельности.
Таким образом, в качестве рекомендованной позиции по этому вопросу видится та, что учитывает, с одной стороны, необходимость оценки результатов на уровне соотнесения с заявленными задачами проекта, но при этом – с включением компонента масштаба данных результатов, а следовательно, указания на характеристики самой деятельности (количество оказанных услуг, охваченная аудитория и т. п.).
Обращаясь к современным российским интерпретациям ключевых понятий, связанных с оценкой, приведем позицию экспертов одного из объединений игроков рынка оценки, активно работающих в направлении разработки системных решений в области государственных программ и проектов, – Счетной палаты РФ, а также Центра перспективных управленческих решений. В пособии по теории изменений, подготовленном в партнерстве экспертами данных организаций, приводятся следующие определения [Ким А. И. и др., 2020]:
• непосредственные результаты (outputs) – конкретные продукты, формируемые вследствие прямого государственного воздействия и возможные для использования целевыми аудиториями (благополучателями);
• отклик (react) – реакция благополучателей по использованию непосредственных результатов (в том числе в виде изменения поведения);
• конечные результаты (outcomes) – совокупность значимых изменений, возникающих у благополучателей после использования непосредственных результатов;
• итоговые эффекты (impacts) – желаемые средне- и долгосрочные социально-экономические изменения.
Таблица 2. Основные термины и определения в сфере импакта и оценки
Нельзя не упомянуть в данном контексте подход Global Impact Investing Network (GIIN) в связи с публикацией этой организацией в ноябре 2020 года новой методологии оценки, представленной как первая в таком роде рекомендация, позволяющая использовать унифицированные подходы и сравнивать любые проекты между собой (Methodology for Standardizing and Comparing Impact Performance). Стоит отметить, однако, что данная методология применима к использованию социальными инвесторами в целях выбора проектов для инвестиций. В рамках данного методического руководства предлагается выделение следующих уровней оценки: outputs – short term outcomes – long terms outcomes. Анализ outcomes в рамках данной методологии должен быть построен на нескольких уровнях:
