Até agora nos concentramos em agentes que utilizam algoritmos de busca off-line. Eles calculam uma solução completa antes de entrar no mundo real e depois executam a solução sem recorrer a suas percepções. Agora vamos conectá-lo!
A busca on-line é uma ideia necessária para ambientes desconhecidos, onde o agente não conhece quais estados existem ou o que suas ações fazem. Nesse lapso de ignorância, o agente enfrenta um problema de exploração usando suas ações como experimentos que valorizam suas escolhas. Um certo problema surge com a constatação de que nenhum algoritmo poderia evitar “becos sem saída” em todos os possíveis espaços de estados. Um beco sem saída para um robô, por exemplo, poderia ser algumas escadarias, rampas íngremes, precipícios e todos os tipos de terrenos naturais que representem ações irreversíveis.
Superados os problemas de becos sem saída, a ação promovida pelo agente em sua busca on-line é influenciada pela percepção que informa em qual estado ele se encontra. A partir dessa informação, o agente amplia invariavelmente seu mapa do ambiente. Isso causa a seguinte diferença entre os algoritmos off-line o os on-line: um algoritmo off-line pode expandir um nó em uma parte do espaço e depois expandir imediatamente um nó localizado em outra parte qualquer porque a expansão de nós envolvem ações simuladas, em vez de ações reais. Por outro lado, um algoritmo on-line pode descobrir sucessores para o nó que ele ocupa fisicamente!
Dessa forma, mesmo possuindo uma ignorância inicial, o agente de busca on-line oferece constantemente a possibilidade para um aprendizado. Em primeiro lugar eles aprendem o mapa do ambiente registrando o resultado de cada ação em cada estado. Em segundo lugar, os agentes de busca local adquirem estimativas mais precisas do custo de cada estado usando regras de atualização local que convergem eventualmente para valores exatos em todo o estado. Uma vez conhecido os valores exatos, ótimas decisões são tomadas pela simples movimentação em direção ao sucessor localizado na Subida de Encosta Estocástica.
Nosso agente, apesar do avanço gerado pela conexão on-line, descobre que esse novo mundo em potencial é permeado pela competição desigual. Ele terá que enfrentar os problemas que surgem quando tentar planejar com antecedência um mundo no qual outros agentes fazem planos contra ele.
A imprevisibilidade causada pela competição entre multiagentes inimigos interconectados faz com que nosso robô deixe sua infância para trás rapidamente. Nosso agente já esta pronto para os desafios enfrentados por um adolescente rebelde. E espero com muito otimismo que nosso amigo não carregue essa rebeldia para a fase adulta...
Nenhum comentário:
Postar um comentário