dados publicos
Tools and Libs for Scraping parlamento.pt
So what am I using to scrap the parlamento.pt site? Well, first let me tell you that i’m mostly a Microsoft Developer. I develop web applications with Visual Basic and (less) C# (using Visual Studio) and also MS SQLServer but I’ve also played and did a few projects with PHP and MySQL. Since the Hacklaviva [...]
Scraping parlamento.pt
Because scraping is the boring part of exploring data I tried to find the easiest, less time-consuming, yet easy to maintain set of tools to do it. Since the URLs are (somewhat) well known, I was able to skip the crawler, url discovery part of this projects, I just curl(ed) the page that I wanted [...]
Portuguese Opendata Projects
One of my “low-intensity” projects is the exploration of portuguese open-data, mostly governmental data. I’ve written some things about it (in portuguese) and also developed some (very few) applications but have never done anything really interesting, mostly because of the lack of time. Fortunately this year I came across a some interesting folks who also share [...]
Scrapers, Repositórios e APIs
Um boneco para me ajudar a perceber o que temos feito no Projecto Transparência 1. há um conjunto de sites onde vamos querer ir retirar informação 2. esse processo é feito criando programas que fazem o scrap dessa informação 3. essa informação é gravada em repositórios de desenvolvimento. os repositorios de desenvolvimento seriam aqueles sobre [...]
Open Data Hackathon no Hacklaviva
Programa do Open Data Hackathon no Hacklaviva A hackathon começa às 10:30 de sábado dia 4, e nesse dia dura até às 19:00. Há várias opções para almoçar na área. No domingo começaremos mais tarde*, das 14:30 às 18:00. Haverá uma introdução ao Transparência Hackday e ao trabalho que já realizamos, seguido de um brainstorm [...]
