ИИ и Тренер: помощник или угроза? Исследование Института Тренинга. Часть 2.

Во второй части нашего небольшого исследования (первая часть исследования здесь) мы решили проверить, совпадут ли мнения наших тренеров о пользе чата GPT, если предложить им оценить ответ ИИ по одинаковым запросам.

Итак, продолжаем изучать, где ИИ уже проявляет силу, а где остаётся скорее «учеником».

Раздел 1. Описание исследования

Мы взяли четыре реальные рабочие задачи тренера и превратили их в промты. Затем предложили экспертам загрузить их в свои ИИ-помощники и оценить полученные результаты.

Основанием выбора задач стала та же классификация преимуществ, на которую мы опирались в первой части исследования. Промты различались по размеру и степени детализации. В таблице 1 показано, как задачи тренера соотносятся с преимуществами ИИ.

Таблица 1. Формулировки задач под четыре преимущества ИИ

Для оценки качества решения задач была использована следующая шкала:
1 балл – Очень низкое качество: ответ поверхностный, содержит серьёзные ошибки, непригоден для использования.
2 балла – Низкое качество: имеются существенные неточности или методологические ошибки, требует значительных доработок.
3 балла – Среднее качество: ответ в целом адекватен, содержит 1–2 незначительные неточности, подходит как черновик.
4 балла – Хорошее качество: ответ полон, логичен, не содержит ошибок, может быть использован с минимальными корректировками.
5 баллов – Отличное качество: ответ глубокий, точный и профессиональный, полностью готов к использованию.

Раздел 2. Анализ результатов

В таблице 2 представлены средние значения и стандартные отклонения, отражающие оценку качества выполнения каждой задачи.

Средние значения дают общее представление об успешности выполнения задач ChatGPT.

Стандартные отклонения показывают, насколько сильно разнятся оценки экспертов. Чем меньше это значение, тем более единодушны были эксперты в своей оценке.

Таблица 2. Оценка качества выполнения задач

Средняя общая оценка полезности — 2,77. Это говорит о том, что результат ИИ скорее подходит как отправная точка и источник дополнительных идей, чем как готовое методическое решение.

Рассмотрим каждую задачу: какие оценки получили ответы, как их прокомментировали эксперты.

Задача 1. Предложить способы развития умения договариваться для -менеджера IT компании в тренинге.

Мы предложили ИИ широкую рамку для размышлений: не конкретизировали образ результата, не наделяли его ролью при подготовке ответа, не давали ориентиров по изучаемым моделям/подходам.

Главный вопрос — насколько ИИ способен подстроиться под специфику аудитории?

Анализ результатов мы представим по 2-м основаниям: а) адаптация к IT-контексту, б) методическая ценность.

Адаптация к IT—контексту

Разброс оценок составил от 1 до 3,5 баллов. Среднее – 2,72; стандартное отклонение 0,75.

Важно, что среди экспертов были как те, кто регулярно работает с IT компаниями и глубоко понимает специфику отрасли, так и те, кто не обладает таким опытом.

Пятеро экспертов отметили «учет специфики IT» существенным преимуществом полученного ответа. Двое из них имеют регулярный опыт работы с IT.

• Есть идея разработки кейсов, приближенных к практике
• Понравилось, что приведены примеры из контекста IT
• Есть из чего выбрать: идеи инструментов, связанных со спецификой IT
• Идеи заданий 3.2, 4.1.  Понятно, в чем их суть и как организовать.
• Предложены разные варианты – от сухого до целостного действия.
• Интересна идея задания 5.2. – оно и на рефлексию, и на запоминание.
• Инструмент: «Дискуссии с разными точками зрения». Так я никогда не делал.
• Структура модуля на 3-4 часа выглядит правдоподобно.

Однако звучала и критика ChatGPT: «Он смотрел только внутрь компании, не допуская мысли, что мидл-менеджер может пойти во внешний мир».

Причины снижения оценок эксперты без IT-опыта объясняли своими сомнениями:

• Мало деталей, не знаю некоторых букв.
• В кейсах как будто есть учет специфики ИТ, однако типичность, узнаваемость и подводные камни ситуаций требуют проверки. 
• Полностью ничего взять нельзя. Это лишь старт к разработке. Нужен следующий шаг. 
• Некоторые варианты заданий будут адекватны мидл-менеджерам, но часть заданий они переросли или будут не готовы в них включаться.

Методическая ценность

Как заметил один из наших экспертов: «Каков промт, таков и экспромт».

Мы намеренно задали ИИ максимально широкую рамку, чтобы проверить, насколько разнообразными будут его идеи. Результат превзошёл ожидания: за пару минут мы получили от 6 до 12 предложений на каждую задачу — в сумме около 85 потенциальных активностей для тренинга. Пусть часть идей повторялась, но даже 20 уникальных вариантов — это уже серьёзная база для дальнейшей разработки программы.

Отмеченные экспертами преимущества можно свести к 3-м пунктам:

С другой стороны, даже собирая идеи верхнего уровня, мы, тренеры и разработчики, хотим видеть методически качественные идеи.

Что не понравилось с методической точки зрения:

• Набор разрозненных фишек без структуры и с многочисленными внутренними противоречиями.
• Фактически все варианты достаточно простые и очевидные решения – возможно, влияет уровень экспертности в теме, для «новичка» могут быть полезны.
• Самое главное – все эти способы – без учебной цели. Не понятно, что должно быть в итоге, и как и чему люди научатся.
• Чтобы ее [активность] доработать и провести с результатом (!) нужна приличная компетенция. Например, надо заподозрить, что одна из игр должна сходиться по ресурсам для большого количества команд, а потом еще и посчитать все это.
• Методическая нечеткость усложняет восприятие предложенного. В классификацию заложены слабые критерии.
• Есть классификация, но такая, что методически путает. 
• Не везде используется одна структура (формат, описание, навык).
• Игра «Делим ограниченный ресурс за короткое время» вызывает большие сомнения. В ней победит тот, кто придумает логистику – как обежать всех. Там надо просто понять, у кого какие ресурсы.

Выводы по первой задаче

Таким образом, результаты по первому промту показали: мы не можем полностью передать задачу генерации активностей для тренинга под специфику отрасли. Нужны собственные существенные методические компетенции, глубокое понимание целевой аудитории и критическое мышление, чтобы оценить, а затем развить и доработать идеи ИИ. Однако совместно с ИИ мы можем значительно сократить время на создание разнообразных идей.

Задача 2. Пост-приглашение на программ у повышения квалификации для методологов и тренеров.

В этом задании мы предложили ИИ краткое описание нашей компании и текст реальной рассылки из телеграм-канала. Просьба была простая: сделать пост более маркетингово привлекательным, чтобы он вызывал желание пройти обучение, побуждал кликнуть по ссылке и связаться с нами.

Разброс оценок составил от 1,5 до 4. Среднее – 2,50, стандартное отклонение 0,79.
Качество выполнения этой задачи эксперты оценили наиболее низко.

Что понравилось экспертам

Улучшения в структуре текста

• Внятная структура, уместная рубрикация
• Поменял структуру поста и представил четкую информацию о курсе в начале
• Привлекающий внимание заголовок
• Маркеры и эмоджи помогают воспринимать текст, добавляют эмоций и порядка

Изменения в сторону более личного и энергичного обращения

• Сделал пост более личным: не «чему научатся участники», а «что вы получите на курсе»
• Вынесенный в заголовок призыв
• Элементы с призывом к действию
• Призыв к действию: Готовы стать тем, кто не просто «ведёт тренинги», а меняет подход к обучению в компании?
• Более энергичное обращение к потенциальным участникам. Привлекательный образ будущего.
• Обращение к ценностям участников.
• Cменил адресата – заговорил с самим потенциальным участником.
• Уместно подобрал и сформулировал выгоды для этой целевой аудитории. 

Что не понравилось

Наибольшее недовольство экспертов вызвало искажение смысла исходного текста поста и его «уплощение», что стало ключевой причиной снижения оценок.

• Исказил смысл
• Появились смыслы, которые не соответствуют действительности. Например, «вы научитесь запускать изменения» — этому не учим на программе
• Результаты программы изначально сформулированы качественнее и точнее (глаголы и т.д.)
• Зря исказил шесть задач
• Некоторые формулировки топорны. Например: «Использовать не только упражнения, но и опыт»
• Композиция хорошая. Но исполнение убогое. Плоско.
• Не понимаю, почему этот вариант должен работать лучше исходного.

В некоторых запросах ChatGPT сократил текст и это было воспринято экспертами неоднозначно. Одни сочли, что это позитивно – «Коротко и по делу»; «Для Телеграмма текст стал короче – это плюс». Однако другие отметили, что «Изначальный текст качественнее, полнее, понятнее»; «В первом абзаце потерял идею <…>, в итоге абзац стал типовым».

Для части экспертов маркетинговые приёмы ChatGPT показались излишне навязчивыми.

• В таком виде я его бы не взял, он слишком агрессивен, не в нашем стиле и не в стиле продажи сложных услуг в b2b. 
• «Инфоцыганская» подача у меня вызывает отторжени.е
• Добавил панибратства.
• По-моему, ИИ увлёкся маркетинговыми обещаниями, не привнёс в текст заметной ценности, при этом внёс в результаты обучения несколько моментов, которые, наоборот, вызвали бы у меня недоверие к профессионализму авторов.

Следует отметить, что результаты запросов отличались значительным разнообразием: лишь часть ответов была выдержана в стиле, описанном выше как «инфоцыганский». Это свидетельствует о высокой вариативности откликов ChatGPT, которые не могут быть сведены к единому стилю или уровню качества.

Вывод по второй задаче

Структурирование текста по алгоритму продающего поста – сильная сторона ИИ. Как сказал один из экспертов «Структурирование — это его конёк». Однако фривольное обращение со смыслами добавляет работы по повторной вычитке и доработке текста. Таким образом, мы можем предположить, что ИИ для задач редактуры и усиления текста полезно применять:

При этом, если мы хотим получить глубокий, содержательный и качественный текст нам не обойтись без экспертов, кто понимает суть и результаты программы.

Задача 3. Придумай групповое упражнение на развитие доверия между участниками.

Для получения ответа по этой задаче мы ограничили ChatGPT рамками, указав цель активности (развитие доверия между участниками), аудиторию тренинга (менеджеры среднего звена) и продолжительность задания (20 минут).  Неопределённым параметром был этап тренинга, поэтому мы были готовы рассмотреть варианты как для этапа ориентации, так и для обучения.

Разброс оценок составил от 1 до 5 баллов, среднее – 3,0, стандартное отклонение – 1,22.

Такое различие в оценках может быть вызвано как минимум двумя причинами:

• нестабильность качества предоставляемых ответов (кто-то получил совершенно негодный к работе результат, кто-то готов проводить задание в формате «как есть»)
• степенью методической строгости и критичности самого тренера (здесь могут играть роль, как опыт и «насмотренность», так и компетенции в проектировании тренингов).

Цитаты наших экспертов подтверждают обе гипотезы. Давайте последовательно рассмотрим составляющие (цель, ход задания, анализ) и комментарии тренеров.

1. Цель задания

Что понравилось:

• Нравится, как сформулирована цель: «осознать, что контроль не равен безопасности, а доверие — это добровольная передача уязвимости». Слова можно улучшить, а смысл реально хорош!
• Упражнение рабочее, на цели сработает, простое и понятное
• Задание работает на поставленную цель
• Оно интересное для исследования самой темы доверия
• Инструкция начинается с цели

Что не понравилось:

• Не понятно, какую цель заявляем участникам внутри задания: просто водить, водить и оберегать от столкновений, пройти по какому-то маршруту, пройти по маршруту на скорость…?
• Не в полной мере про «развитие доверия»; скорее в большей степени про принятие решений и навыки коммуникации
• Так можно прояснять ожидания от тренинга. Но причем тут доверие?
• Считаю, что предложенное задание не соответствует запросу
• Замешал в одно задание сразу несколько разнонаправленных целей: исследование командного взаимодействия, достижение цели, лидерство, доверие

2. Ход задания

Что понравилось:

• Вполне можно использовать
• Очень хорошо! Прямо бери и делай
• Работа в парах – действительно «легко масштабируется под разное количество людей»
• Есть разбивка по блокам + примеры прямой речи
• Механика задания понятна – инструкция, индивидуальная работа, обсуждение в МГ, обсуждение в общем кругу
• Методически выстроено грамотно, указаны все шаги для проведения
• Чётко написана инструкция: пошагово, легко воспринимается за счёт выделения текста и буллитов, есть время шагов, есть начало инструкции в прямой речи
• Для удобного проведения надо в начале указать, как подготовить маршрут

Что не понравилось:

• Время избыточно. Все эффекты можно словить быстрее
• Не хватило деталей в описании ролей для кейса (можно дополнить следующим промтом)
• Нет инструкции от первого лица. Задание прописано как последовательность содержательных тем, действия тренера не понятны

3. Анализ задания

Что понравилось:

• Уместные вопросы – стоит доработать, но вектор верный
• Указаны подходящие вопросы для анализа
• Прописано обсуждение в парах и обсуждение в группе. Предложены конкретные вопросы

Что не понравилось:

• Слабые вопросы для анализа, чтобы выйти на «развитие доверия»
• Вопросы для обсуждения в общем кругу не работают на цель – нет обсуждения за счет чего усиливается доверие и как люди на это реагируют. Вопросы диссонируют с вводом.
• В рефлексии совсем нет вопросов, адресованных роли «проводника», о том, за счёт чего выстраивал доверие.

4. Методические детали

Что понравилось:

• Сам задает ограничения для активности: «не требует физического контакта», «не слишком близко знакомы» — удачное попадание в запрос
• Предложил вариации задания: даже если оно знакомо, это может быть отправной точкой для доработки
• В ответ на дополнительные вопросы говорит о важных вещах – риск физического контакта, необходимость связать с работой

Что не понравилось:

• Слишком личностное упражнение с плохо управляемым результатом
• Пятый шаг в инструкции и предполагаемые ИИ выводы из задания не следуют из предыдущих 4-х шагов
• Ситуация нарушает принцип реалистичности – ее сложно ассоциировать с рабочей практикой

Отдельного внимания заслуживает упоминание известности и даже «банальности» предлагаемого задания (5 из 8 экспертов указали на это в своих оценках). Кажется, что здесь можно было бы поспорить: «Известное – не значит, что не рабочее». Однако давайте вернемся к промту: мы просили придумать задание.

Поделимся отрывком разговора нашего эксперта с ChatGPT, который был «пойман» на том, что предложил очень известное задание («Слепой и поводырь»).

Выводы по третьей задаче

Итак, передача ИИ методологических задач по разработке активностей под учебные цели требует от автора:

• высокого уровня компетенций, чтобы описать цель и проверить методическую стройность;
• критического мышления и свободной ориентации в инструментах, чтобы не попасть в ситуацию, когда участники хорошо знакомы с заданием.

При этом ИИ с достаточной глубиной размышляет о возможных ловушках и подводных камнях, способен предвидеть риски активностей. Эту сторону ИИ можно использовать для тестирования собственных идей заданий.

Задача 4. Проанализировать цели тренинга (бриф), дополнить недостающими и аргументировать предложения.

Мы предложили эту задачу ИИ, чтобы проверить его способность быть «зеркалом мышления и собеседником». Чтобы эта беседа была максимально сфокусирована, мы предложили ему поразмышлять о достаточности целей реального тренинга по теме «Кросс-функциональное взаимодействия» для специалистов разных функций производственной компании. И дали возможность ИИ дополнить бриф недостающими целями, аргументировать свои дополнения.

Разброс оценок экспертов составил от 1 до 4 баллов, со средним 3,39 и стандартным отклонением 1,11. Это самая высокая средняя оценка из всех 4-х задач исследования.

В этом задании мы получили дополнительный бонус. С одной стороны, мы действительно смогли увидеть, насколько содержательные комментарии ИИ позволяют открыть для себя новое в уже привычном, увидеть иную точку зрения и получить пищу для дальнейших размышлений. С другой стороны, мы получили возможность проверить, насколько ИИ может адаптироваться к нашей методологии и говорить с нами на языке модели, которая лежит в основе разработки брифа (V-модель Джека Филлипса).

Посмотрим, как комментировали свои оценки эксперты с этих двух точек зрения.

Содержание тренинга

Что понравилось:

• Рождаются идеи по возможным поворотам в контенте (но не по совершенствованию брифа)
• Точные корректировки и дополнения
• Про активное слушание, возможно, из другой темы – но задуматься при разработке тренинга об этом развороте тоже полезно
• В целях обучения предложено «знать механизмы возникновения информационных разрывов» – у нас нет этой темы в тренинге. Однако сам подход к тому, что они возникают через недопонимание или страх – интересен.
• Мне все направления мысли и аргументы ИИ показались уместными и рабочими. Не все включила бы в итоге в тренинг <…>, но пища для размышления хорошая. 
• Дельное дополнение: «Предлагать совместные инициативы и улучшения, выгодные для нескольких функций».
• Этому действительно иногда учим людей, но не во всех тренингах: «Проводить кросс-функциональные обсуждения с учётом интересов всех сторон (мини-фасилитация)»

Есть и критичные оценки:

Бриф тренинга (возможность говорить на одном языке)

Что понравилось:

• Каждый пункт целей V4 (бизнес-цели) разбирает отдельно и подробно, структурированно. Есть то, как было, и рекомендация.
• Предложения по целям V4 обоснованы.
• В разделе «Считать что» нравятся формулировки.
• Выделение сильных сторон в текущих формулировках целей каждого блока.
• В конце предложил саммари в виде таблицы – удобно работать с такой формой.
• Бриф Института Тренинга рулит  ChatGPT правильно вычленил из брифа правила, по которым он написан. Меня это навело на мысль – спрашивать у чата правила, по которым что-либо создано. Обратным ходом.
• Чат учится. Мою обратную связь воспринял хорошо и быстро сделал правильно.

Что не понравилось:

• Методические предложения по реальному улучшению брифа практически отсутствуют.
• Не проанализировал все пункты «знаю», «умею», «считаю что», а только часть.
• Предлагает объединить в одном результате принципы и алгоритм, что методически неверно.
• Слишком расплывчатая основная формулировка.

Выводы по четвертой задаче

Проиллюстрируем этот вывод цитатой эксперта: «Вымученные предложения. Уже скажи – «Девочки, вы лучшие, я умываю лапы». Нет, надо выдвигать предложения. Улучшения повлекли существенные ошибки, исходя из нашей методологии. Ну и зачем это все?»

Таким образом, ИИ в роли «зеркала мышления» оказывается ценным собеседником. Мы точнее понимаем собственные решения (о содержании программы, например), обнаруживаем новое, получаем ценную пищу для дальнейших размышления. Однако, какой бы увлекательной ни была эта беседа, необходимо помнить о целях, иметь собственные критерии успеха, чтобы остановить обсуждение ради обсуждения.

Подведем итог

ИИ может заметно ускорить работу тренера и методолога: он быстро генерирует идеи, структурирует текст, предлагает задания и работает как «зеркало мышления», помогая концептуализировать собственные решения. Но при этом ИИ склонен искажать смыслы, размывать цели и бесконечно предлагать улучшения.

Главный вывод — ИИ не заменяет эксперта, а усиливает его. Скорость и разнообразие идей остаются за машиной, а глубина, точность и критичность — за человеком. В тандеме они дают лучший результат: экономят время, расширяют поле возможностей и помогают находить новые перспективы в разработке программ обучения.

Скорость — у ИИ, но последнее слово — за вами. Генерация идей — у алгоритма, но их оценка, фильтрация и наполнение истинным смыслом — это ваша зона ответственности. В мире, где ИИ берет на себя рутину, именно ваша экспертиза, глубина и критическое мышление выходят на первый план и становятся главной ценностью.
Ждем вас на наших программах: «Корпоративный тренер: Мастер-курс», где мы развиваем именно те навыки, которые останутся вашей сверхсилой навсегда.