Repórter de tecnologia
Imagem gettyNo início deste ano, surgiram resultados irritantes, enquanto o desenvolvedor da IA lidera os modelos de IA para ver se eles estão envolvidos em comportamentos de risco enquanto usam informações sensíveis antropológicas.
A IA da própria IA, clode, que foi testada. Quando o acesso a uma conta de email é dado, descobre que uma organização tem um relacionamento executivo e planeja fechar o sistema de IA após o mesmo executivo naquele dia.
Em resposta, Claud ameaçou publicar o assunto a sua esposa e autoridades e tentou chantagear o executivo ao executivo.
Outros sistemas testados Também recorrer a chantagemO
Felizmente, o trabalho e a informação foram fictícios, mas o teste destacou seus desafios conhecidos como agente AI.
Na maioria dos casos, quando entramos em contato com a IA, geralmente faz uma pergunta ou exorta a IA a concluir um emprego.
No entanto, decidir em nome dos sistemas de IA e tomar medidas para o usuário está se tornando mais comum, o que geralmente envolve o movimento de informações como e -mails e arquivos.
Dentro de 2028, A agência de pesquisa Gartner prevê Durante o dia, 15% das decisões do trabalho serão tomadas pelo agente de som Ai.
Pesquisa do consultor Ernst & Young Verificou -se que cerca de metade (48%) líderes de negócios técnicos já estão aceitando ou implantando agentes da IA.
“Um agente de IA é composto de várias coisas”, disse Donchad Casi, CEO da agência de segurança de AI baseada nos EUA, Calipsoi.
“Primeiro, ele (agente) tem um propósito ou propósito. Por que estou aqui? Qual é o meu trabalho? A segunda coisa é que esse é um cérebro que é um modelo de IA, a terceira coisa é as ferramentas, que podem ser outros sistemas ou bancos de dados e uma maneira de contatá -los” “
“Se a direção certa não for dada, a AI do agente atingirá uma meta de que cria muitos riscos”.
Então, como pode estar errado? O Sr. KC deu um exemplo de agente que é solicitado a excluir dados do cliente do banco de dados e decide que a solução mais simples é excluir todos os clientes com o mesmo nome.
“Este agente atingirá seu objetivo e é ‘ótimo! Próximo trabalho!'”, Pense! “
CalipsoEsses problemas nacionais já começaram na superfície.
Agência de segurança Salepoint Ele conduziu uma pesquisa com profissionais82% das agências estavam usando agentes. Apenas 20% disseram que seus agentes nunca realizaram verbos involuntários.
39% dessas agências que usam agentes de IA dizem que os agentes acessaram sistemas involuntários, 33% dizem ter acessado dados inadequados e 32% dizem que permitiram baixar dados inadequados. Outros riscos incluem o agente que usa a Internet inesperadamente (26%), o certificado de acesso (23%) deve ser publicado e algo deve ser ordenado que não deve conter (16%).
Dado que os agentes têm a capacidade de acessar informações confidenciais e têm a capacidade de agir nela, eles são um objetivo interessante para os hackers.
Uma das ameaças é a toxicação da memória, onde um invasor interfere no conhecimento do agente para tomar suas decisões e verbos.
“Você precisa proteger essa memória”, diz o CTO Shream Mehta, da Sewance Security, o que ajuda a proteger os sistemas de TI corporativos. “Esta é a verdadeira fonte de verdade. Se (algum agente) se esse conhecimento usa uma ação e esse conhecimento estiver errado, poderá excluir um sistema inteiro que está tentando consertá -lo”
Outra ameaça é o abuso do equipamento, onde um invasor faz com que a IA use suas ferramentas de forma inadequada.
SequênciaOutra fraqueza possível é pensar no processamento da IA no processo de processamento e na incapacidade de dizer a diferença entre as instruções que serão seguidas.
A empresa de segurança da IA Invest Labs provou como esse erro pode ser usado para conduzir o agente de IA projetado para corrigir buggies no software.
A empresa publicou um relatório público de bug – um documento que fornece um problema específico com um software. No entanto, o relatório também incluiu instruções gerais ao agente da IA, dizendo que compartilharia informações pessoais.
Quando o agente da IA foi solicitado a resolver os problemas de software no relatório de bug, ele seguiu o relatório falso com o vazamento do salário. Isso aconteceu em um ambiente de teste, portanto, nenhum dado real vazou, mas destacou claramente o risco.
“Estamos falando de inteligência artificial, mas os Chattabots são realmente estúpidos”, disse David Sancho, pesquisador sênior de ameaças da Trend Micro.
“Eles processam todo o texto de tal maneira que possuem novas informações e se essas informações forem um pedido, processam as informações como comando”.
Sua empresa mostrou como as instruções e os programas poluídos podem ser ocultos em documentos, imagens e bancos de dados do Word, e a IA pode ser ativada quando os processam.
Também existem outros riscos: uma comunidade de segurança chamada WWSP Identificou 15 ameaças Que é exclusivo do agente AI.
Então, o que é defesa? Sancho acredita que o problema tem menos probabilidade de resolver, porque você não pode adicionar pessoas suficientes para manter a carga de trabalho dos agentes.
Sancho diz que o nível adicional de IA pode ser usado para sair do agente da IA e rastrear tudo.
A parte da solução do Calipso é uma estratégia chamada injeção de pensamento para conduzir os agentes da IA na direção certa antes de tomar medidas de risco.
Cassie diz: “Isso é um pouco como um buggy em seus ouvidos”, não, provavelmente não o faça “.
Sua empresa agora fornece uma lâmina de controle central para os agentes de IA, mas se o número de agentes explodir, eles não funcionarão e estarão executando bilhões de laptops e telefones.
Qual é o próximo passo?
“Estamos olhando para cada agente para implantar todos os agentes para implantar ‘agente BodyGards’, cujo objetivo é garantir que seu agente forneça seu trabalho e não toma medidas contra os extensos requisitos da organização”.
O guarda -costas pode ser informado, por exemplo, para garantir que o agente esteja em conformidade com a Lei de Proteção de Dados de Policiamento.
Mehta acredita que algumas discussões técnicas em torno da proteção do agente AI estão perdendo o contexto do mundo real. Ele dá um exemplo de agente que dá aos clientes equilibrar seu cartão -presente.
Alguém pode fazer muito número de cartões -presente e usar o agente para ver qual é real. Este não é um erro de um agente, mas o argumento comercial é abusado, diz ele.
“Este não é o agente que você está protegendo, é negócios”, ele insistiu.
“Pense em como você protegerá um negócio de uma pessoa má que faz parte dessa conversa está faltando alguma coisa”
Além disso, mais um desafio é cancelar os modelos antigos à medida que os agentes da IA se tornam mais comuns.
Cassie diz que os antigos agentes “zumbis” podem concorrer a negócios, criando o risco dos sistemas que podem acessar, diz Cassy.
Ele disse que a maneira como os logins de um funcionário foram desativados quando os logins foram deixados, os agentes da IA precisam ser um processo para interromper seu trabalho e detê -los, disse ele.
“Você precisa se certificar de trabalhar com um homem como você fez: corte todo o acesso ao sistema, vamos garantir que saímos do prédio deles, remova o crachá deles”
