Conheça o Twill

O Twill é um script desenvolvido em Python que possibilita navegar em páginas web através do terminal. Com ele é possível seguir links, preencher formulários, trabalhar com cookies tudo isso através de scripts. A idéia do projeto é ser uma espécie de browser em linha de comando, seguindo manipulando todas as funções que um navegador consegue, deixando apenas JavaScript por fora.

A instalação do Twill pode ser feita através da página de downloads em http://twill.idyll.org/. Seu uso é feito por um shell interativo, no estilo Python, que pode ser chamado através de twill-sh. No prompt, um simples teste no Google pode ser feito com os passos abaixo:

setlocal query "twill Python"

go http://www.google.com/

fv 1 q $query
submit btnI     # use the "I'm feeling lucky" button

show

As linhas acima servem para fazer uma pesquisa no Google e clicar no botão “Estou com Sorte”, mostrando a página de resultados em seguida.

Além de permitir uma completa navegação via scripts, o Twill pode ser ótimo para fazer um teste de carga no servidor, simulando concorrência de usuários e manipulando forms. Nesse ponto pode ser mais eficiente que o Apache Benchmark (ab), que não é tão flexível. Um modelo de teste de carga:

twill-fork -n 50 -p 10 test-script

Onde no test-script, você deve colocar os passos a seguir na página. No caso acima, faz um fork de 10 processos simulando 50 acessos cada um.

Mais informações, visite o site oficial.