How AI observability addresses silent failure of AI systems

Os sistemas de inteligência artificial podem aprender com grandes quantidades de dados para descobrir padrões latentes complexos e valiosos. Eles permitem que os bancos evitem fraudes cada vez mais sofisticadas, gerenciem riscos e, em última análise, melhorem os resultados financeiros. No entanto, os sistemas de inteligência artificial podem sofrer de um problema sério, a falha silenciosa. Em uma falha silenciosa, os sistemas de inteligência artificial produzem resultados indesejados. Mas as partes interessadas relevantes só descobrem muito mais tarde que algo estava errado. As causas incluem campos de dados incorretos ou ausentes de um sistema ascendente ou novos padrões sutis de fraude. A observabilidade de inteligência a resolve falhas silenciosas, permitindo que as instituições financeiras entendam como seus sistemas estão funcionando na produção e ajustem rapidamente quaisquer problemas de maneira informada e oportuna.

O que é observabilidade de inteligência artificial?

A observabilidade de inteligência artificial (também conhecido como Observable AI) é um mecanismo que fornece continuamente insights sobre como um sistema de Inteligência artificial ou modelo de Machine Learning é executado na produção ao longo do tempo. Ele funciona coletando dados em um sistema de inteligência artificial, incluindo dados de entrada, previsões de modelo e rótulos de entrada (como estornos) para criar um ciclo de feedback para as partes interessadas relevantes. Portanto, a observabilidade, que é na teoria de controle, é uma medida quão bem podem os estados de um sistema ser inferidos a partir do conhecimento de suas saídas externas. A observabilidade e a controlabilidade de um sistema são conceitos matemáticos duais.

As partes interessadas contam com esses insights para realizar uma avaliação 360º para saber se um sistema de produção age de forma consistente e se comporta conforme o esperado em uma ampla gama de critérios. Caso contrário, as partes interessadas podem colaborar proativamente para introduzir quaisquer melhorias ou ajustes necessários. Assim, a capacidade de observação promove a supervisão humana, a responsabilidade e a adaptabilidade. Como diz o ditado, “você não pode gerenciar o que não pode medir”.

A observabilidade de inteligência artificial é um capacitador chave para as iniciativas de Inteligência artificial responsável das instituições financeiras, proporcionando maior transparência e visibilidade sobre como o sistema impacta os usuários finais ao longo do tempo em ambientes de produção dinâmicos, em vez de configurações off-line estáticas.

Por que as instituições financeiras devem se preocupar com a falha silenciosa de Inteligência Artificial.

Os sistemas de Inteligência artificial prevêem se as transações recebidas são fraudulentas ou legítimas com base nas características da transação e em uma combinação de pontuações de modelo e regras embutidas em código. No entanto, semanas depois, ao revisar KPIs ou durante uma verificação manual do sistema ad-hoc, o banco descobre que as perdas por fraude aumentaram devido a um pico de fraude não detectada. Em outras palavras, uma grande parte das transações fraudulentas não foi detectada.

Observe que o sistema estava totalmente operacional durante este período. A questão em questão está relacionada à qualidade dos resultados do sistema. Consequentemente, o banco descobre que seu sistema falhou silenciosamente.

Existem vários motivos pelos quais os resultados do sistema podem ser diferentes do comportamento esperado. Talvez os dados tenham mudado com o tempo, repentina ou gradualmente. Ou talvez os fraudadores tenham descoberto uma nova tática que o sistema não conseguiu detectar. Como alternativa, mesmo que o comportamento geral do sistema atenda às expectativas, podem ocorrer problemas para segmentos específicos de clientes ou locais e, portanto, não serem observáveis ​​no nível superior.

Seja qual for o motivo, sem insights contínuos sobre o desempenho do modelo de inteligência artificial na produção, o banco sofre maiores perdas por fraude. De maneira crítica, o problema se torna evidente depois que o sistema produz resultados indesejados. A essa altura, as equipes de ciência de dados devem voltar à prancheta para descobrir por que o sistema falhou e consertá-lo, geralmente com dados insuficientes sobre o que está acontecendo ao vivo.

 4 estágios de um loop de feedback

A falha silenciosa pode ser cara porque as partes interessadas só ficam sabendo depois que é tarde demais. Isso pode afetar a qualidade dos serviços prestados aos clientes e resultar em perdas financeiras, multas de conformidade e danos à reputação. A observabilidade da inteligência artificial ​​aborda isso introduzindo ciclos de feedback contínuos que transmitem informações importantes sobre a integridade e a qualidade dos dados, modelo e decisões de um sistema. Veja como funcionam os ciclos de feedback.

Etapa 1: Monitoramento

A primeira etapa é coletar os dados necessários para monitorar como um sistema de inteligência artificial se comporta ao longo do tempo. A coleta de dados deve abranger uma diversidade de sinais, incluindo as entradas do sistema (por exemplo, dados brutos), saídas (por exemplo, as decisões do sistema) e todas as etapas intermediárias relevantes (por exemplo, engenharia de recursos, pontuação de modelo e gatilhos de regra).

Etapa 2: Metrificação

A próxima etapa é detectar mudanças inesperadas no comportamento do sistema. A observação de inteligência artificial requer métricas dedicadas que expressam como o comportamento do sistema muda ao longo de semanas, meses ou janelas mais longas, uma vez que o modelo está em produção. A combinação de métricas deve fornecer uma visão 360º do sistema em um nível de granularidade apropriado.

Etapa 3: Alarmística

Uma vez que desvios significativos são detectados, é fundamental alertar as partes interessadas. Uma implementação típica apresenta de forma proativa a alarmística para que desvios significativos (por exemplo, mudanças nos dados, padrões emergentes) acionem alarmes relevantes para as equipes.

Etapa 4: Explicações

Finalmente, o ciclo de feedback deve produzir explicações interpretáveis ​​para métricas e alarmes. A usabilidade é um componente crucial da supervisão humana e essencial para acelerar as ações corretivas. As técnicas de visualização adequadas facilitam a compreensão e a abordagem dos problemas em questão. As partes interessadas podem revisar continuamente os indicadores do sistema e determinar o melhor curso de ação.

Por que a observabilidade da inteligência artificial ​​é importante?

Aqui estão alguns dos principais motivos pelos quais a observabilidade da inteligência artificial ​​deve ser uma consideração importante em serviços financeiros.

Detecte novos padrões de fraude mais rapidamente

Infelizmente, o setor de serviços financeiros atrai atores hostis que procuram contornar os sistemas de prevenção de crimes financeiros. Assim que os sistemas de detecção de fraudes baseados em inteligência artificial percebem um padrão de fraude, os fraudadores começam a testar novos.

A observabilidade de inteligência artificial é um ajuste natural para um ambiente tão dinâmico porque identifica mudanças nos dados e na resposta do sistema. O monitoramento contínuo de um sistema de inteligência artificial é o primeiro passo para a adaptabilidade e garantia de alto desempenho ao longo do tempo.

Um exemplo notável de mudança de padrões aconteceu quando os atores lícitos e ilícitos ajustaram seu comportamento por causa da pandemia COVID-19. Sem a observabilidade de inteligência artificial adequada, os sistemas de inteligência artificial podem ser opacos, dificultando a compreensão do impacto dessas mudanças.

Pegue mais bugs

Os sistemas de inteligência artificial normalmente interagem com vários outros sistemas. Portanto, mudanças de interface, casos extremos imprevistos e outros problemas são comuns. Mesmo que esses problemas não prejudiquem os recursos de previsão do sistema, eles podem afetar sua qualidade. Se esses bugs afetarem o sistema de inteligência artificial, é possível detectar rapidamente o problema e alertar as partes interessadas.

Feche a lacuna do rótulo de fraude

É comum medir o desempenho de um modelo comparando suas previsões com os resultados finais, conhecidos como rótulos. O problema com essa abordagem é que os rótulos de fraude não são imediatamente claros. Por exemplo, as instituições financeiras não percebem que algumas transações são fraudulentas até que um cliente relate ao seu banco. Os bancos irão eventualmente conduzir uma revisão e rotular retroativamente essas transações como fraude.

Isso significa que a avaliação de desempenho do modelo precisa considerar transações legítimas conhecidas, transações fraudulentas conhecidas e transações para as quais o rótulo é desconhecido. A observabilidade de inteligência artificial para as Instituições requer técnicas de monitoramento contínuo que podem fechar a lacuna do rótulo.

Atender às expectativas de inteligência artificial responsável

Os bancos e instituições financeiras que implementam a inteligência artificial também devem se comprometer a garantir que sigam os princípios de  inteligência artificial responsáveis.

Os preconceitos humanos e as questões sociais sistêmicas podem se infiltrar nos sistemas de Inteligência artificial, mesmo sem querer. O resultado pode ser decisões financeiras injustas que afetam desproporcionalmente certos grupos de pessoas com base em sua raça, sexo, idade ou status socioeconômico.

A observação de inteligência artificial permite que as instituições financeiras entendam como seus sistemas tratam as pessoas ao longo do tempo. As partes interessadas podem responder rapidamente aos padrões de polarização de IA antes que se transformem em problemas muito maiores. Isso é essencial para abordar os problemas de Inteligência artificial responsável, uma vez que um modelo é implantado.

Desenvolvimentos inesperados, como degradação do modelo, padrões de fraude emergentes ou mudanças nos dados podem prejudicar o desempenho de um sistema de inteligência artificial. A observabilidade da inteligência artificial ​​dá às partes interessadas visibilidade sobre se os sistemas de inteligência artificial estão se comportando conforme o esperado ou precisam ser ajustados, permitindo a manutenção proativa.

Ao implementar os princípios de inteligência artificial responsável, as instituições financeiras podem garantir que sua inteligência artificial esteja alinhada com seus valores éticos. Mas quais são os riscos e benefícios envolvidos? Siga nosso conteúdo e conheça mais sobre o tema.