Ich frustriere gerade rum mit Perl. Als eifriger Spidermensch, der gerne automatisiert Webseiten runterlädt, und dann Voodooskripte drüber laufen lässt (z.B. unsere Comicseite), kam mir das Web Scraping Proxy sehr gelegen. Dieser Proxy nimmt HTTP Requests an (auch über HTTPS), leitet diese weiter (oh Wunder!), und gibt gleichzeitig Perlcode aus, mit dem sich die weitergeleiteten Requests nachbauen lassen. Das ist kühl, um z.B. hartnäckige Authorization-schemes zu knacken, oder einfach nur um automatisch Formulare auszufüllen, ohne sich die Formularfelder selber aus dem HTML-Code rauszusaugen.
Leider ist das Programm sehr spärlich gebaut (es kann z.B. keine HTTP Authorization, und Cookies werden nicht dekodiert in den generierten Code ausgegeben). Hier ist eine lesbarere neue Version. Allerdings funktioniert HTTPS anscheinend mit lynx-ssl, aber nicht mit Safari. *frust*