Опросите клиентов, чтобы выяснить, хотят ли они видеть в аналитических отчетах информацию о ключевых предположениях. Как часто они видят такую информацию?
Проверьте, может ли один аналитик эффективно определить свои собственные предположения, или это всегда следует делать в небольшой группе? Ответ кажется очевидным, но может быть полезно задокументировать величину разницы с помощью сравнения "до и после". Аналитиков обычно просят разработать свой собственный набор допущений до того, как они придут на встречу для проверки ключевых допущений. Сравните эти первоначальные списки со списком, составленным по итогам встречи.
Наблюдайте за несколькими группами, когда они проводят проверку ключевых предположений. После этого опросите всех аналитиков, чтобы определить, как они воспринимают свой опыт обучения во время встречи. Повлияло ли это на их размышления о наиболее вероятной гипотезе? Сделает ли их опыт более вероятным или менее вероятным использование этой техники в будущем? Проведите эксперимент, чтобы изучить влияние различных процедур применения этой техники.
МАТРИЦА ПЕРЕКРЕСТНОГО ВОЗДЕЙСТВИЯ
Матрица перекрестного воздействия, описанная в главе 5 , - это старая техника, которую Ричардс Хойер опробовал много лет назад, но, насколько нам обоим известно, сейчас она не используется в разведывательном сообществе США. Хойер рекомендует сделать ее частью стандартной тренировки на ранних этапах проекта, когда аналитик еще находится в режиме обучения, пытаясь разобраться в сложной ситуации. Это следующий логический шаг после проведения мозгового штурма для выявления всех значимых факторов или переменных, которые могут повлиять на ситуацию. Все факторы, выявленные в ходе мозгового штурма, заносятся в матрицу, которая затем используется для обсуждения того, как каждый фактор влияет на все остальные факторы, с которыми он связан в контексте конкретной проблемы. Такое групповое обсуждение взаимодействия каждой пары переменных - это познавательный опыт и хорошая основа для дальнейшего анализа и сотрудничества.
Матрица перекрестного воздействия - простая техника с очевидными преимуществами, но, как и любую другую технику, ее полезность можно и нужно проверять. Для этого есть несколько действенных способов:
Проведите интервью или опрос аналитиков после обсуждения перекрестного воздействия, чтобы узнать их мнение о его ценности в качестве учебного опыта.
Перед обсуждением перекрестного воздействия попросите каждого аналитика в отдельности выявить и проанализировать ключевые взаимосвязи между различными факторами. Затем сравните эти индивидуальные усилия с групповыми. Это должно показать преимущества группового процесса.
Разработайте сценарий и проведите эксперимент. Сравните выводы и качество отчета, подготовленного одной командой, которая не знала о концепции матрицы перекрестного воздействия, с отчетом другой команды, которую проинструктировали об использовании этой техники в качестве основы для обсуждения. Является ли анализ, подготовленный командой, которая использовала матрицу перекрестного воздействия, более полным и тщательным, чем анализ другой команды?
ВАЛИДАТОР ИНДИКАТОРОВ™
Indicators Validator™, описанный в главе 6 , - это относительно новая методика, разработанная Рэнди Ферсоном для проверки способности набора индикаторов обеспечивать раннее предупреждение о будущих событиях, например, о том, какой из нескольких потенциальных сценариев, по-видимому, развивается. В ней используется матрица, похожая на матрицу ACH, со сценариями, перечисленными в верхней части, и индикаторами в левой части. Для каждой комбинации индикатора и сценария аналитик оценивает по пятибалльной шкале вероятность того, что этот индикатор будет или не будет наблюдаться при развитии данного сценария. Этот рейтинг определяет диагностическую ценность каждого показателя или его способность диагностировать, какой сценарий становится наиболее вероятным.
Часто оказывается, что индикаторы не имеют практически никакой ценности, поскольку они соответствуют нескольким сценариям. Объяснение этому явлению заключается в том, что , когда аналитики определяют индикаторы, они обычно ищут индикаторы, которые согласуются со сценарием, который они хотят определить. Они не задумываются о том, что ценность индикатора снижается, если он также согласуется с другими гипотезами.
Программа Indicators Validator™ была разработана для удовлетворения ощутимой потребности аналитиков в лучшем понимании требований, предъявляемых к хорошему показателю. Однако в идеале необходимо проверить необходимость этой техники и ее эффективность, прежде чем поощрять всех аналитиков, работающих с индикаторами, к ее использованию. Такое тестирование может быть проведено следующим образом: