от команды Research Energy для БФ «Добрый город Петербург» и программы «Кухня НКО»
(май-август 2024)
Проблема исследования
Ежегодно десятки тысяч НКО получают несколько миллиардов рублей на реализацию проектов через механизм открытого грантового конкурса, неотъемлемые участники которого — эксперты, оценивающие конкурсные проекты по заданным критериям.
Развитие и повышение доступности технологий на основе искусственного интеллекта (ИИ) повлияло и на работу с заявками на гранты для некоммерческих организаций. Заявители стали использовать ИИ при написании грантовых заявок, а эксперты – при их оценке. Однако, несмотря на растущую популярность ИИ, это остается «серой зоной»: условия использования ИИ в заявках встречаются лишь у некоторых фондов, а единой гласной политики по использованию ИИ технологий не существует. Это может негативно влиять на прозрачность и справедливость конкурсного отбора.
Методология
Цель исследования: оценить распространенность практики использования ИИ при написании и оценке грантовых заявок и собрать мнения заявителей и экспертов грантодающих фондов о возможностях и рисках такой практики.
Задачи
- Узнать степень распространенности использования ИИ заявителями и экспертами при написании и оценке грантовых заявок.
- Собрать предположения заявителей и экспертов грантодающих фондов о распространенности использования ИИ при написании и оценке грантовых заявок (представителями своей группы и в других группах).
- Собрать спектр мнений заявителей и экспертов в грантодающих фондах и список предполагаемых возможностей/достоинств и проблем/опасений в случае массового использования ИИ при написании и оценке грантовых заявок.
- Узнать мнения заявителей и экспертов грантодающих фондов о плюсах и минусах отсутствия регулирования и слишком жесткого регулирования использования ИИ в написании и оценке грантовых заявок.
- Составить предложения о возможных правилах грантодающих фондов по использованию ИИ в написании и оценке грантовых заявок (со стороны заявителей и экспертов грантодающих фондов).
В данном исследовании под искусственным интеллектом мы подразумевали технологии на основе нейросетей, которые позволяют находить и обобщать информацию из интернета и генерировать текст и изображения по текстовому запросу пользователя. Например, ChatGPT, Midjourney, GigaChat, YandexGPT и др.
Наши гипотезы
Мы предположили, что из опрошенных авторов заявок не менее трети имеет опыт использования ИИ в написании грантовой заявки (минимум 1 эпизод, когда части текста, сгенерированные с помощью ИИ, были включены в текст заявки в оригинальном или отредактированном виде). Не менее четверти опрошенных экспертов грантовых конкурсов имеют опыт использования ИИ для оценки грантовых заявок (минимум 1 эпизод, когда ИИ привлекался к оценке целой заявки либо ее частей и в той или иной степени оказал влияние на оценку эксперта).
При этом большинство авторов заявок и грантовых экспертов оценивают % использования ИИ в написании близко к тому, что есть на практике. Большинство экспертов оценивают использование ИИ при оценке близко к тому, что есть на практике. А вот авторы заявок занижают свои оценки (предполагают, что эксперты пользуются ИИ для оценки реже, чем это фиксируется в практике).
Мы предположили также, что большинство авторов заявок и грантовых экспертов согласны с тем, что использование ИИ допустимо для написания и оценки заявки. И при этом большинство против того, чтобы полностью передать ИИ-алгоритмам написание и оценку.
Еще одной гипотезой стало, что авторы заявок видят больше плюсов, чем минусов, в в использовании ИИ при написании. Грантовые эксперты видят одинаково плюсов и минусов либо больше минусов в том, что авторы в заявках будут использовать ИИ. Эксперты грантовых конкурсов видят больше плюсов в использовании ИИ при оценке заявок. Авторы заявок видят больше минусов, чем плюсов в том, что эксперты будут использовать ИИ при оценке грантовых заявок.
Мы предположили, что большинство авторов заявок и грантовых экспертов согласны: использование ИИ в ближайшем будущем неизбежно, а полный запрет — нереален. И что в случае массового использования ИИ при написании и оценке грантовых заявок будет необходимо регулирование такой практики для экспертов и заявителей со стороны грантодающих фондов (и других организаторов конкурсов социальных проектов).
Метод исследования
Этап I. Глубинные интервью
Мы провели 6 интервью с заявителями и грантовыми экспертами (это были представители Школы региональных экспертов из разных регионов с разным опытом написания и оценки заявок), а также 7 интервью с лицами, принимающими решение о проведении конкурсов (ЛПР) грантодающих фондов, с целью уточнить процедуру конкурса, опыт респондентов в использовании ИИ и мнение о его использовании при написании и оценке заявок.
Этап II. Количественный опрос в Oprosso.
239 анкет заявителей и грантовых экспертов с целью фиксации частоты использования ИИ и мнений о необходимости регулирования процесса.
Большая часть респондентов, прошедших опрос, были в возрасте от 36 до 45 лет (41%). Примерно треть респондентов от 46 до 55 лет (30%). Еще меньше респондентов старше 56 лет (16%) и от 26 и 35 лет (11%). Меньше всего было людей от 18 до 25 лет (1%). Большая часть респондентов, прошедших опрос, была женского пола (82%). Мужского — 18%.
72% респондентов в текущее время работает в НКО. Больше половины респондентов пишут заявки для участия НКО в грантовых конкурсах (заявители) (60%). 35% участвуют и в написании, и в оценке заявок НКО на грантовых конкурсах. 5% занимаются исключительно оценкой заявок.
Около половины респондентов, имеющих опыт в написании заявок (заявители), работают в этой сфере более 7 лет (48%). Около трети — от 4 до 6 лет (27%). Еще меньше — от года до трех лет (22%). 3% заявителей пишут заявки для грантовых конкурсов менее года.
50% заявителей пишут от 3 до 6 заявок на грантовые конкурсы в год. 30% — до 2 заявок в год. 13% респондентов пишут от 7 до 10 заявок в год. Меньше всех участников опроса пишет 11 и более заявок в год (7%).
Равные доли респондентов, оценивающих заявки (эксперты), занимаются оценкой заявок более 7 лет (33%) и от 1 года до 3 лет (33%). Четверть экспертов работают в сфере оценки заявок от 4 до 6 лет (25%). Меньшее количество участников являются экспертами меньше года (8%).
Около половины респондентов оценивают от 11 до 50 заявок в год по всем конкурсам, в которых они являются экспертами (42%). Примерно в равной доле эксперты оценивают до 10 заявок (18%) и от 51 до 100 заявок (19%). Еще меньше респондентов оценивают от 101 до 300 заявок в год (16%). Более 300 заявок в год проверяет самая меньшая доля экспертов (5%).
Результаты исследования
Выводы
Респонденты предполагали, что мало авторов используют ИИ при написании заявок (2–3% от всего числа заявителей). Но из опрошенных авторов заявок не менее трети имеет опыт использования ИИ в написании грантовой заявки (32% заявителей пробовали и включили созданный ИИ материал в заявку, предварительно отредактировав его. 13% заявителей пробовали, но не использовали в конечном материале меньшая доля заявителей. 1% заявителей пробовал и включил материал в заявку без изменений).
Любопытно, что лишь 20% экспертов редко или довольно редко замечали использование ИИ в оцениваемых грантовых заявках.
На глубинных интервью авторы грантовых заявок предполагали, что эксперты не используют ИИ при оценке. Но на деле 9% экспертов пробовали использовать ИИ (хотя мы предполагали, что такой опыт будет у четверти опрошенных экспертов грантовых конкурсов).
Подтвердилась наша гипотеза: большинство авторов заявок и грантовых экспертов согласны с тем, что использование ИИ допустимо для написания заявки:
- 48% (большинство) респондентов, которые только пишут заявки, скорее или полностью согласны с допустимостью ИИ при написании.
- 41% (большинство) респондентов, которые и пишут, и оценивают заявки, считают, что ИИ допустим отчасти.
При этом большинство авторов заявок и грантовых экспертов скорее не согласны с тем, что использование ИИ допустимо для оценки заявки (29% респондентов считают, что использование ИИ скорее или полностью допустимо при оценке заявок. Меньше трети тех, кто считает, что ИИ отчасти допустим, отчасти нет — 27%).
Мы ошибались, предполагая, что авторы заявок видят больше плюсов в использовании ИИ при написании грантовых заявок. Только 30% авторов считают, что в использовании ИИ при написании заявок больше плюсов. Еще 31% затруднились ответить, 24% считают, что плюсов и минусов одинаково.
Авторы заявок видят одинаковое количество плюсов и минусов в том, что эксперты будут использовать ИИ при оценке грантовых заявок (30%), 28% склоняются к тому, что недостатков больше. И только 21% считает, что плюсов больше.
Среди экспертов также не подтвердилась наша гипотеза об отношении к ИИ при написании заявок авторами: 31% экспертов считает, что плюсов и минусов в использовании ИИ заявителями одинаково, 25% – больше минусов, и лишь 22% считают, что больше плюсов.
24% экспертов видят в использовании ИИ при оценке грантовых заявок минусов, 23% – больше плюсов, а 21% считает, что при применении ИИ одинаковое количество плюсов и минусов
В целом, большинство респондентов положительно настроены по поводу использования ИИ в грантовой сфере, однако все они видят риски и сложности использования технологии:
- Согласные с использованием ИИ отмечали его вспомогательную роль в грантовом процессе, корректность работы которой зависит от компетентности самого заявителя или эксперта.
- Несогласные с использованием ИИ подкрепляли свое мнение недостатками работы ИИ, поднимали вопросы этики и авторского права.
Большинство респондентов предполагает, что массовость использования ИИ при написании заявок, приведет к однотипным заявкам. А при оценке – повлияет на грантовые конкурсы в России: ухудшится ее качество, что приведет к плохой реализации проектов.
58% участников исследования заявили, что разрешили бы авторам заявок применять этот инструмент при соблюдении определенных условий:
- использование ИИ только для сбора и обработки первичной информации;
- использовать ИИ только в определённых описательных частях заявки (например, для описания актуальности);
- использовать ИИ для корректировки текста заявки;
- в конкурсных требованиях указывать информацию о том, какой процент текста может быть сгенерирован ИИ;
- снижать оценку за явное использование ИИ;
- указать в заявке информацию о том, в каких разделах применялся ИИ.
44% респондентов разрешили бы использовать ИИ при оценке заявок с соблюдением определенных условий: доверить ИИ проверку заявки на соответствие формальным требованиям. Помимо этого, предлагали реализовать «двухэтапную оценку»: оценка с помощью ИИ и экспертная оценка.
Большинство авторов заявок и грантовых экспертов выступают против того, чтобы полностью передать ИИ-алгоритмам написание грантовых заявок. В этом наша гипотеза подтвердилась: 51% респондентов отметили, что скорее или полностью не согласны с тем, чтобы передать ИИ написание грантовых заявок. Есть доля тех, кто отчасти согласен передать ИИ написание заявок, отчасти нет — 23%
Аналогично большинство авторов заявок и грантовых экспертов выступают против того, чтобы полностью передать ИИ-алгоритмам оценку грантовых заявок (46% респондентов отметили, что скорее или полностью не согласны с тем, чтобы передать ИИ оценку грантовых заявок. Еще 37% отчасти согласны, а отчасти нет).
Будущее и регламентация использования ИИ при написании и оценке заявок
Примерно половина авторов заявок и грантовых экспертов согласны с тем, что использование ИИ в ближайшем будущем неизбежно и при написании, и при оценке грантовых заявок (54% респондентов отметили, что в будущем заявители массово начнут использовать ИИ при написании грантовых заявок. В то же время только 25% респондентов отметили, что при оценке заявок ИИ будет популярен).
58% участников исследования заявили, что если бы они могли регулировать использование ИИ при написании заявок на гранты, то разрешили бы применять этот инструмент при соблюдении определенных условий.
Мы оказались правы в том, что большинство авторов заявок и грантовых экспертов признают нереальным полный запрет использования ИИ. И (что нас удивило) большинство участников считает, что запрет на использование ИИ при написании заявок не окажет существенного влияния на грантовый процесс.
Полный текст исследования можно скачать сверху и внизу страницы.
Вопросы про исследование можно задать Анне Орловой
Почта: a.orlova@ngokitchen.ru, Telegram: https://t.me/Orlova_aval.