Gerenciando inconsistências na analise de riscos

Estou conversando com colegas sobre avaliação de riscos de cenários de ameaças e algumas preocupações – legítimas – foram levantadas a respeito da inconsistência (variação), que pode existir entre as análises de risco realizadas por diferentes indivíduos.

Por razões de clareza e coerência sobre o termo consistência, consistência equivale ao grau de probabilidade que duas análises independentes de um cenário de risco específico apontar resultados semelhantes. Em outras palavras, os resultados do analista A são consistentes com os resultados do analista B.

A fim de enquadrar o problema, devemos nos perguntar da onde vem a origem da inconsistência. Na minha experiência, existem quatro principais fontes de inconsistência numa análise de risco:

1) O cenário é delimitado de forma diferente – ou seja, o analista A está operando a partir de um conjunto diferente de suposições (escopo) diferentes do escopo do analista B (por exemplo, a diferença pode incluir outras ameaças, ativos diferentes, etc.) Este, aliás, é um contribuinte para grandes variações nos resultados da análise e – em muitos casos, é o único e mais importante contribuinte.
2) Os analistas estão trabalhando com diferentes modelos de análise – ou seja, um analista está usando um modelo composto por variáveis X, Y e Z, enquanto o outro está usando um modelo composto por variáveis X, Y e W. Os modelos também podem ser baseados em diferentes algoritmos. A oportunidade para obter-se resultados inconsistentes é especialmente problemático quando os analistas estão usando seus próprios "modelos mentais" para análise, em comparação com um modelo estruturado que pode ser explicitamente mencionado.
3) Os analistas podem ter diferentes níveis de experiência e fontes de dados – portanto, um analista pode estimar que a variável C vale entre 5 e 10, e a estimativa do analista B para a mesma variável pode ser entre 40 e 100.
4) Algumas pessoas são péssimas para estimar valores para variáveis.

A primeira e a segunda fontes de inconsistência podem ser dramaticamente melhoradas, assegurando que os analistas estão tocando na mesma folha da partitura da música – ou seja, utilizando o mesmo modelo / método de análise.
A terceira fonte de incoerência pode ser significativamente reduzida (mas não eliminada), obtendo o opinião de especialistas no assunto envolvidos na análise. Por exemplo, como um especialista em riscos externo à empresa pode estimar danos à reputação? Este é um domínio de conhecimento interno e pessoal da empresa, e as pessoas certas devem participar. Também ajuda a ter mais de uma pessoa envolvida na análise para aumentar a experiência, a perspectiva as estimativas onde se baseiam os cenários em questão.
A quarta fonte de incoerência pode ser também significativamente reduzida (mas não eliminada) por meio de um treinamento de calibração semelhante ao que Douglas Hubbard apresenta em seu livro "How to Measure Anything". Você ficaria surpreso com o quanto de melhoria pode ser obtido na analise de riscos de cenários de ameaças.
Para acabar o assunto – a inconsistência nas análises de risco só é viável e aceita apenas nos casos onde o grau de variação não é significativo em relação às decisões tomadas e as incertezas inerentes aos dados coletados.

Bye.

Anúncios