跳到正文
DEV Community· Anderson Chipak·· 4 天前AI 評分57

三項數字決定 AI 治理報告是呈交董事會,還是淪為無人閲讀的附件

Três números que decidem se o relatório de IA sobe ao conselho ou vira anexo que ninguém lê

AI 導讀

作者建議董事會每季追蹤三項生成式 AI 治理數字:在用系統數量及其季度變化、已完成並簽署影響評估的系統數量,以及已記錄和處理的事故數量。董事會應聚焦治理流程、目標和控制是否有效,模型準確率等技術指標則交由技術及風險團隊;影響評估數量亦須按風險分類呈報。

正文

Três números que decidem se o relatório de IA sobe ao conselho ou vira anexo que ninguém lê

O silêncio que é a primeira métrica

Numa reunião de diretoria, alguém pergunta quantos sistemas de IA generativa a empresa usa hoje. Em boa parte das empresas que converso, a resposta é silêncio. Esse silêncio já é o indicador, só que ninguém mede. Sou auditor de sistemas críticos, e o erro que vejo com mais frequência é a diretoria receber métrica de IA sem nunca ter recebido esse inventário antes.

Duas camadas que não se confundem

A ISO 42001 separa, na cláusula 9.1, duas coisas que a maioria dos relatórios de IA ainda mistura numa tabela só. A primeira camada é o sistema de gestão: os processos de governança estão funcionando, os objetivos estão sendo atingidos, os controles continuam efetivos. A segunda camada é o comportamento de cada sistema de IA individual: acurácia, deriva, viés, disponibilidade.
O conselho precisa da primeira camada. A segunda pertence ao comitê técnico e ao time de risco, que a consomem com muito mais frequência e muito mais detalhe do que qualquer diretoria tem paciência de acompanhar. Levar métrica de modelo para dentro do conselho é o erro mais comum que eu vejo: a reunião trava discutindo uma taxa de acerto que ninguém ali sabe interpretar, e a pergunta que o conselho deveria estar fazendo, se a governança está funcionando, fica sem resposta.
O NIST AI RMF organiza essa segunda camada em quatro blocos de trabalho: escolher o método e a métrica certa para cada sistema, avaliar o sistema nas características de confiança que a norma lista, acompanhar ao longo do tempo o risco já identificado, e revisar se a própria métrica continua útil. Cada bloco tem dono técnico próprio. O que sobe ao conselho é o veredito de cada um, não a métrica bruta.

O vácuo que a pesquisa mostra

A pesquisa What Directors Think 2026, do Diligent Institute em parceria com a Corporate Board Member, ouviu mais de 200 conselheiros de empresa aberta no outono de 2025. 66% já usam IA no próprio trabalho de conselho. Só 22% têm algum processo formal de governança de IA em vigor. A competência técnica anda no mesmo compasso: apenas 8% dos conselheiros relatam domínio forte do assunto, o menor número entre todas as áreas cobertas pela pesquisa.
Eu leio esse descompasso como estrutural, não como má vontade. Dá para usar uma ferramenta de IA todo dia e nunca ter visto o inventário de sistemas que a própria empresa opera. São competências diferentes, e confundir uma com a outra é o que produz aquele silêncio na reunião de diretoria.

Três números, com período e denominador

O que eu levaria ao conselho a cada trimestre, no mínimo: quantos sistemas de IA generativa estão em uso hoje contra o trimestre anterior; quantos desses sistemas têm avaliação de impacto concluída e assinada; e quantos incidentes, mesmo pequenos, foram registrados e tratados. Nenhum dos três exige entender rede neural. Todos exigem inventário atualizado, e é aí que a maioria das empresas trava antes de chegar ao relatório.
Essas três linhas sustentam a norma por dentro: a ISO 42001 pede, na mesma cláusula 9.1, que a organização decida o quê monitorar, como monitorar e quando analisar o resultado, sem entregar uma lista genérica pronta. A lista acima não substitui essa decisão interna. É o piso mínimo que eu cobraria antes de aceitar que "estamos cuidando disso" é resposta suficiente.
Vale um cuidado, porque todo indicador bom tem um jeito de ser enganado: contar "sistemas avaliados" sem olhar o risco de cada um premia quem avalia primeiro os sistemas fáceis e deixa os de risco alto para depois, porque o número sobe do mesmo jeito. O indicador de avaliação de impacto precisa vir sempre acompanhado da classificação de risco, nunca como contagem solta. Sem esse par, o relatório mostra progresso enquanto o risco real continua intocado.

O que cabe numa página

Dashboard de governança de IA que precisa de treinamento para ser lido já nasceu errado para quem vai lê-lo numa reunião de uma hora com outros doze assuntos na pauta. O que cabe numa página só, com cor em vez de número decimal onde for possível: sistemas de IA generativa em uso, com variação contra o trimestre anterior; sistemas de risco alto ou médio sem avaliação de impacto concluída, com nome do dono e prazo; incidentes abertos e fechados no período, com tempo médio de encerramento; fornecedores de IA novos no período, com due diligence pendente ou concluída; e uma frase de uma linha dizendo se a governança está dentro do planejado, atrasada ou sem plano.

O exemplo que uso fora do contexto de IA

Eu vi esse mesmo erro de nível numa auditoria de ITIL que conduzi numa indústria. O indicador que sobreviveu na reunião de diretoria foi zero chamados perdidos e queda de 75% no tempo de processamento, porque tinha período, baseline e denominador declarados. "Melhoramos o atendimento" não teria sobrevivido àquela mesma reunião, porque não dizia nada que alguém pudesse conferir depois. A régua para métrica de IA que sobe ao conselho é a mesma: alguém de fora da área técnica consegue repetir a conta e chegar no mesmo número?

O que eu não levaria ao conselho

Taxa de acerto de modelo, tempo de resposta de API e volume de chamadas processadas são métricas boas, só que pertencem ao comitê técnico, não à pauta do conselho. Levar esse tipo de número para a diretoria tem um custo que ninguém cobra: a reunião gasta o tempo mais caro da empresa discutindo um detalhe de engenharia em vez de decidir se o programa de governança está funcionando.
Essa régua custa alguma coisa, e prefiro declarar o custo em vez de escondê-lo. Reduzir todo relatório de IA a três ou quatro números obriga alguém a decidir o que fica de fora, e o que fica de fora às vezes é exatamente a métrica técnica que o comitê de risco mais discutiu naquele trimestre. O conselho perde detalhe; em troca, ganha um relatório que lê em cinco minutos e decide algo com ele, em vez de um anexo de trinta páginas que ninguém abre antes da reunião.

Por onde eu começaria

Pelo inventário, porque nenhum dos três números deste relatório existe sem ele. Depois eu nomearia, por escrito, quem é dono de cada sistema e quem consolida o número final antes de ele chegar à pauta. Só então eu discutiria formato de dashboard, cor, gráfico, porque formato bonito em cima de inventário incompleto só esconde o problema por mais um trimestre.

Se o seu conselho pedisse amanhã os três números deste texto, inventário, avaliação de impacto e incidente, a resposta já existiria em algum lugar da empresa, ou alguém teria que montar na véspera da reunião?

Este texto é uma versão condensada de uma análise mais longa que publiquei em https://iso42001.com.br/artigos/metricas-governanca-ia-diretoria/

來源:DEV Community · dev.to