Несбалансированный набор доказательств: Доказательства и аргументы должны быть репрезентативными для проблемы в целом. Если имеется большое количество доказательств по смежным, но периферийным вопросам и сравнительно мало доказательств по основному вопросу, оценка за несоответствие может ввести в заблуждение.
Уменьшение отдачи: По мере накопления доказательств каждый новый пункт несоответствующей информации или аргументации оказывает меньшее влияние на баллы несоответствия, чем предыдущая информация. Например, влияние любого отдельного элемента меньше, когда их пятьдесят, чем когда их всего десять. Чтобы понять это, подумайте, что происходит, когда вы вычисляете среднее значение пятидесяти чисел. Каждое число имеет одинаковый вес, но добавление пятьдесят первого числа окажет меньшее влияние на среднее значение, чем если бы вы начали с десяти чисел и добавили еще одно. Иначе говоря, накопление релевантной информации со временем замедляет скорость изменения балла несоответствия в ответ на появление новой релевантной информации. Поэтому эти числа могут не отражать реальный объем изменений в ситуации, которую вы анализируете. Если вы оцениваете изменения с течением времени, желательно периодически удалять старую релевантную информацию или разделить релевантную информацию и анализировать старую и новую релевантную информацию отдельно.
При использовании ACH следует обратить внимание на некоторые другие предостережения:
Существует вероятность того, что ни одна из выявленных релевантных сведений не является диагностической.
Не вся необходимая информация указана.
Выявленная информация может быть неточной, обманчивой или вводящей в заблуждение.
Рейтинги субъективны и поэтому подвержены человеческому фактору.
Когда анализ проводится группой, результат может зависеть от здоровой групповой динамики.
Взаимосвязь с другими техниками
ACH часто используется в сочетании с другими методами. Например, структурированный мозговой штурм, метод номинальных групп, генератор множественных гипотез™ или метод Дельфи могут быть использованы для определения гипотез или релевантной информации, которые должны быть включены в анализ ACH, или для оценки значимости релевантной информации. Обнаружение обмана может выявить мотивы, возможности или средства противника для проведения обмана, а также прошлые практики обмана; информация об этих факторах должна быть включена в список релевантной информации ACH. Техника диагностического обоснования включена в метод ACH. На последнем этапе метода ACH определяются индикаторы для мониторинга будущих событий.
Матрица ACH призвана отражать всю релевантную информацию и аргументы, которые влияют на мышление человека в отношении определенного набора гипотез. Это означает, что она также должна включать предположения, выявленные в ходе проверки ключевых предположений ( глава 8 ). И наоборот, оценка соответствия элемента релевантной информации определенной гипотезе часто основывается на предположении. Оценивая соответствие релевантной информации в матрице ACH, аналитик должен спросить: "Если эта гипотеза верна, увижу ли я этот элемент релевантной информации?" Часто в ответ на этот вопрос можно услышать: "Все зависит от... . . ." Это означает, что, как бы ни оценивалась согласованность данного элемента релевантной информации, эта оценка будет основана на предположении - на том предположении, от которого "зависит" оценка. Эти предположения должны быть занесены в матрицу и затем рассмотрены в контексте проверки ключевых предположений.
Для перепроверки выводов анализа ACH можно использовать метод Дельфи ( глава 9 ). Нескольких внешних экспертов по отдельности просят оценить вероятность одного и того же набора гипотез и объяснить обоснование своих выводов. Если две разные группы аналитиков, использующие разные методы, приходят к одному и тому же выводу, это является основанием для значительного повышения уверенности в заключении. Если же они расходятся во мнениях, то отсутствие согласия также полезно, поскольку в этом случае можно попытаться понять, чем обоснованы разные суждения.
ACH и Argument Mapping (описанная на сайте в следующем разделе ) используются для решения одних и тех же типов сложных аналитических задач. Они оба являются систематическими методами организации релевантной информации, но работают принципиально по-разному и лучше всего используются на разных этапах аналитического процесса. На ранних этапах ACH используется для анализа ряда гипотез, чтобы определить, какая из них наиболее соответствует широкому массиву релевантной информации. На более поздних этапах, когда основное внимание уделяется разработке, оценке или представлению аргументов в пользу конкретного вывода, уместно использовать метод Argument Mapping. У каждого метода есть сильные и слабые стороны, поэтому оптимальным решением будет использование обоих.