Tag Archives: dados publicos

Fomentar a transparência

Posted on by
Reply

Na semana passada o TAF dizia no seu twitter “É impressionante como princípios _básicos_ de transparência na política são vistos com desconfiança pelas estruturas partidárias!“, a propósito da sua moção para colocar online o vídeo das assembleias municipais e que “foi derrotada por larga margem“.
Não consigo perceber que argumentos podem ser invocados para não aprovar uma medida que por exemplo Tomar e Redondo já usaram ou começaram a testar… (update 20100619 e também cascais) se alguém quiser apresentar alguns argumentos terei todo o gosto em tentar rebatê-los ou então assumir que realmente é uma má ideia.
Actualmente a única resposta que me ocorre é que como não é uma medida inovadora (porque até já é feita em concelhos de menor dimensão) então não interessa…

Quase na mesma altura uma pessoa que conheci do Brasil falava-me do site que foi criado no seu estado natal de Rio Grande do Sul que contém a informação de todos os gastos efectuados pelo Estado, e quando digo todos os gastos é mesmo todos, aparecendo os valores detalhados até praticamente ao nível da factura.
Lembro-me de há uns 7 anos ter feito uma aplicação do género para uma associação empresarial. Os gestores queriam saber se as receitas e as despesas estavam a seguir de acordo com o orçamentado e então compraram uma aplicação que detalhava toda essa informação indo desde a visão consolidada do grupo e diferentes empresas até à factura que tinha dado origem a essa despesa.

Numa organização pública, em que os contratos são públicos, em que os vencimentos são tabelados, em que os orçamentos são anunciados todos os anos não faz sentido aqueles que são provavelmente os principais “stakeholders” (para além de sermos stockholders) e que são os cidadãos não terem um acesso à moda do século xxi (online, completo, actualizado, atempado, referenciável, não proprietário, machine-readable) a essa informação. Alguns políticos podem ter medo dessa perspectiva porque acham que as pessoas vão interpretar mal esses dados… mas esquecem-se é que isso é uma oportunidade para explicar melhor aquilo que querem fazer com a “coisa pública”.

Este tipo de mudança é importante porque como dizia Raul Moreira Vidal na conferência Talks 2.0 (que podem ouvir no Porto em Conversa) um dos nossos problemas como sociedade é que ninguém confia em ninguém.
Referindo-se concretamente ao exemplo nórdico dizia que uma das diferenças para esses países era o facto de eles centrarem a construção da sociedade num principio que é a confiança, enquanto que em Portugal é o contrário.

Share

Transparência e acesso à informação como suporte à inovação

Posted on by
Reply

O facto de vivermos cada vez mais num mundo “always on” e “always connected”, em que a possibilidade de gerar e aceder a grandes volumes de dados está cada vez mais facilitada, tem criado as condições propícias para o aparecimento de soluções inovadoras no campo da visualização de dados como se pode ver nos projectos da Stamen Design ou no catálogo que tem sido desenvolvido por Manuel Lima no site VisualComplexity.

Para além da tecnologia, também o esforço de divulgação e discussão de ideias que movimentos ligados ao “Open Access” e “Open Data” têm feito e que destacam a importância da mudança de paradigmas de divulgação de informação tendencialmente fechados, incompativeis e não automatizáveis têm sido importantes para demonstrar que este é um caminho possível mesmo considerando as sempre necessárias questões de privacidade.

E se podemos argumentar que a inovação aparece simplesmente porque foi criada uma nova área de oportunidades, pelo facto de ser disponibilizada uma matéria-prima (dados) que não existia antes, também podemos sugerir que a interacção necessária entre os diferentes actores que podem explorar estes dados e que têm normalmente bases de conhecimento relativamente distintas (da ciência às artes) é um bom combustível para alimentar este ambiente.

Finalmente, seria interessante perceber de que forma algumas das experiências que têm sido feitas por alguns estados na divulgação de informação poderiam ser replicadas ao nivel empresarial, um pouco no espírito da ideia de Transparência Radical, por forma a criar novas áreas de inovação dentro das empresas.

Share

Dados Públicos #opendata

Posted on by
Reply

Nos anos mais recentes uma das tendências da web, e particularmente da web social, tem sido a criação de uma cultura de abertura no que diz respeito ao acesso a dados.

O principal objectivo por detrás de grande parte destas iniciativas, que se agrupam na expressão “open data“,  é aumentar a transparência de algumas instituições e torná-las mais escrutinaveis bem como permitir que outras instituições e individuos possam, de uma forma “século-21-simples”, aceder e explorar essa informação.

Algumas das primeiras iniciativas deste género com maior visibilidade foram levadas a cabo de uma forma estruturada pela Sunlight Foundation por exemplo com as iniciativas Open Congress / Money Trail ou MapLight e, como se percebe, o principal domínio de actuação eram os dados recolhidos por ou relacionados com a administração pública.
O principal argumento que justifica esta opção é o facto de, na grande maioria dos casos, estarmos a referir-nos a informação que diz respeito aos próprios cidadãos e suas actividades e que inclusivamente foi recolhida usando meios fornecidos pelos próprios cidadãos, através dos seus impostos, sendo por isso expectável que essa informação seja devolvida aos seus proprietários.


Continue reading →

Share

dados públicos

Posted on by
2

Por dados públicos entendo dados recolhidos por qualquer organismo público e que actualmente já possam ser requisitados livremente pelos cidadãos.

Na minha opinião deveria ser promovida a disponibilização dessa informação digital, em formatos abertos, através de plataformas facilmente “descobriveis” (findable) e “inquiriveis” (queriable).

Este processo deveria aplicar-se aos diferentes niveis de administração pública: central, regional, autárquico.
Deveria ser tão fácil encontrar dados sobre a população portuguesa (que mais ou menos facilmente encontramos no site do INE) como sobre o orçamento da mais pequena Junta de Freguesia.

Assim como um computador (hardware) não serve para nada sem um sistema operativo e outras aplicações (software), também o software não serve para nada sem dados para o alimentar.

Penso ainda que este é um ponto que pode contribuir decisivamente para questões cada vez mais importantes como a transparência e o escrutinio da utilzação de recursos públicos.

A seguir incluo uma apresentação daquilo que temos actualmente, porque me parece insuficiente e para onde poderíamos caminhar

—————-

O que temos actualmente
Em Portugal já temos alguns bons exemplos de disponibilização online de informação, como o site do INE e do Banco de Portugal, no entanto quem quiser construir algum tipo de trabalho em cima desses dados, seja um site para exploração de informação, seja uma análise estatística para uma dissertação de doutoramento, seja uma simples reportagem jornalística, terá sempre que passar pelo processo altamente ineficiente de aceder ao site, descobrir os indicadores a usar, exportar os resultados para um dos formatos disponíveis (excel, csv, …), copiar essa informação para o seu próprio software e só depois começar a explorar essa informação.

Este processo, para além de altamente improdutivo e ineficiente, cria também mais um nível de entropia na medida em que se perde a rastreabilidade em relação à fonte de dados… quando quiser voltar a ir buscar a mesma informação terei que efectuar todo o processo novamente… não há um mecanismo automatizável que me permita fazer tudo de uma só vez.
O ideal seria ter algo do tipo: www.ine.pt/indicadores/populacaoResidente/nutsII/2007?formato=xml
Este endereço deveria devolver os dados referentes à população residente em portugal, dividido por nuts II, em 2007, sendo esses dados devolvidos em formato XML.
Este método poderia ainda facilitar a actualização automática de informação que se perde quando copiamos informação entre sistemas na medida em que o mesmo endereço poderia fornecer os dados mais actualizados quando estes são sujeitos a correcção.

De notar que a opção que quer o INE quer o Banco de Portugal têm actualmente é uma solução que assenta no paradigma de que quem recolhe informação tem também que disponibilizar os meios para a visualizar.
Essa opção, inquestionável há uns cinco anos, já não é tão premente numa altura (da chamada web2.0) em que as ferramentas para trabalhar dados e grandes volumes de dados começam a estar disponiveis para um número cada vez mais alargado de pessoas. veja-se o ecossistema dos chamados mashups construidos em cima de apis (pt.wikipedia.org/wiki/API) públicas

Outros exemplo são os sistemas de informação geográfica que alguns sites de câmaras municipais disponibilizam como por exemplo a carta dos valores arquitectónicos que a cm-porto disponibiliza (http://sigweb.cm-porto.pt/munisigweb/mapviewer/sectionsviewer.aspx?id=29).
De facto a informação aí disponibilizada já está num formato digital mas, mais uma vez, obriga a que seja utilizada a plataforma que a própria câmara oferece. Para além disso, neste caso específico, não é sequer possível exportar a informação para um formato standard. O grande contra desta opção é que não consigo pegar na informação aqui disponibilizada, junta-la com informação que recolhi de outro serviço online (por exemplo população por freguesia ou simplesmente o tempo) e criar um novo serviço.
Na verdade a informação que é disponibilizada desta forma não difere muito da informação que só está disponivel quando temos que ir a uns serviços camarários, preencher um requerimento e depois esperar que alguém se digne a nos responder.

Outro exemplo de informação que aparentemente já está online mas que na verdade é pouco mais do que ter essa informação numa prateleira real de uma biblioteca são os documentos não sistematizados de informação facilmente sistematizável. Um exemplo concreto: os orçamentos camarários.
Provavelmente todos os sites das câmaras municipais disponibilizam um pdf com o documento que foi apresentado à assembleia municipal mas se nos perguntarmos que tipo de análise se consegue fazer facilmente a partir desse documento percebemos que não conseguimos muita coisa.
E a palavra chave aqui é o facilmente. Se temos informação em formato digital porque razão ela não há-de ser facilmente trabalhada?
Por exemplo, é fácil sistematizar a comparação entre anos das diferentes rubricas do orçamento? quanto prevejo gastar este ano em relação ao que gastei nos últimos cinco anos?
E se quiser comparar os orçamentos de câmaras municipais com populações semelhantes? por exemplo como compara o orçamento de uma câmara com 200.000 habitantes no Norte com outra de 200.000 no Sul? Ou uma outra com entre 50 e 75 mil habitantes no litoral com outra do género no interior?
Se temos os orçamentos em formato digital e temos a informação do número de pessoas por concelho também em formato digital o que falha aqui?
O que falha é o formato. Para este caso (e outros similares) deveria ser criado algo parecido com o SAFT que as empresas têm que entregar e que deveria ser acessivel através do site das próprias câmaras.
A minha proposta seria ter algo como:
www.camara-municipal.pt/orcamento/todasContas/2008
www.camara-municipal.pt/orcamento/cultura/2008

—————-

Que dados disponibilizar?
# que dados é que são / devem ser públicos
# que questões de privacidade se podem levantar

certamente que há questões de privacidade que se podem levantar quando disponibilizamos informação. não sou um especialista nesta área mas exemplos como o site http://transparencia-pt.org/ que inclui nomes de empresas e valores de contratos, ou a lista de devedores ao fisco fazem-me pensar que no essencial toda a informação contabilistica dos organismos públicos deve ser pública, desde as contas agregadoras do poc até à factura.
também informação indirecta recolhida pelos serviços da administração pública deve estar online. por exemplo o ministerio da economia tem a responsabilidade de verificar todas as bombas de gasolina do país, isso quer dizer que tem que saber onde elas estão, e se elas existem e são públicas porque não há-de essa informação estar online?
muitos outros exemplos existirá certamente. o principio de fundo aqui é: se essa informação foi obtida por um organismo público e que portanto pertence a todos nós então essa informação também deveria ser pública.

—————-

Outras questões

>>1. A quem interessa essa informação disponibilizada?
acho que isso não é assim tão importante porque na verdade quase nunca conseguimos antecipar os usos verdadeiramente inovadores e interessantes que podem aparecer quando algo de novo é disponibilizado ao mundo.
por exemplo quem é que imaginava que pelo simples facto de se ter criado uma coisa tão geeky como o protocolo http hoje teríamos esta realidade quase ubiqua que é o mundo online

>>2. Como evitar que informação relevante seja apresentada e não possa ser escondida?
toda a informação relevante tem que ser apresentada a alguém porque senão não é informação, é uma amontoado de dados que na verdade não serve para nada.
a questão que se levanta com a informação em formato digital é que ela dá visibilidade a problemas que já existiam.
problemas de privacidade ou de acesso à informação sempre existiram mas normalmente eram resolvidos pela simples razão de que essa informação estaria numa estante não identificada numa sala de um edifício que quase ninguém sabia que existia ou onde ficava… mas bastava ter essa informação indirecta (onde estavam as coisas) e conseguíamos chegar à informação.
é mais ou menos parecido com o conceito “security by obscurity”  http://en.wikipedia.org/wiki/Security_through_obscurity ou seja a segurança que implementas não é propriamente intrínseca ao processo mas antes é obtida pela dificuldade em conseguir saber sequer o que existe.

—————-

Iniciativas noutros países
http://vancouver.ca/ctyclerk/cclerk/20090519/documents/motionb2.pdf – Open Data, Open Standards and Open Source
http://ascher.ca/blog/2009/05/15/open-vancouver/ – open vancouver
As Sir Tim Berners-Lee (the creator of the web) discusses in this 15-minute TED talk, the simple act of releasing public data enables others to create value.  Of course, as the motion indicates, personal privacy rights trump, and we don’t want to release data on individual citizens — luckily that’s not needed in order to enable value creation.

http://oakland.crimespotting.org/

http://scilib.typepad.com/science_library_pad/2009/06/uk-open-data-open-government.html – uk open data, open government

Share

Notas sobre open data

Posted on by
2

A propósito do post data.gov, dados e portugal.

“The purpose of Data.gov is to increase public access to high value, machine readable datasets generated by the Executive Branch of the Federal Government.”

Esta questão da disponibilização online de dados que pela sua natureza são públicos interessa-me bastante até porque está bastante ligada com a necessidade de termos ferramentas que facilitem o escrutínio das opções que são tomadas pelos decisores públicos.
Há várias questões aqui que poderiam ser interessantes abordar:

  • que dados é que são / devem ser públicos
  • que questões de privacidade se podem levantar
  • como é que esses dados devem ser disponibilizados de forma a se poderem facilmente transformar em informação… os ficheiros de excel ou csv que muitas vezes estão online são de dificil tratamento
  • para que é que queremos ter esses dados públicos? aumentar a transparência e escrutínio das instituições; dados como infraestrutura para quem queira criar produtos que assentam na exploração desses dados (mashups e afins)
  • exemplos noutros países de mashups com exploração de dados publicos http://stamen.com/clients/cabspotting; http://oakland.crimespotting.org/
  • que exemplos já temos em portugal (ine, banco de portugal), como comparam por exemplo com o data.gov
  • e eventualmente sugerir ideias como os organismos publicos podem utilizar as ferramentas da web2.0 para atingir estes objectivos de abertura e transparência

Na minha opinião e tendo em conta só aquilo que conheço (e que naturalmente pode ser insuficiente) diria que Portugal está bastante avançado na disponibilização de alguma informação no que diz respeito aos indicadores macro, mas quando passamos para coisas mais finas como por exemplo saber que licenças de construção foram atribuídas num determinado concelho numa data especifica então aí nem com screen scrapping chegamos lá.

Como pessoa que gosta de explorar como os dados se podem transformar em visualizações apelativas e informativas fazem-me falta ainda alguns dados (que são normalmente actos públicos e que por isso acho que deveriam estar online) e, principalmente, que esses dados sejam passiveis de tratamento automático sistematizável.

Ver outras ideias sobre este tema em: “Publicidade de Informação“

Share

Regionalização – população

Posted on by
2

Uma das motivações menos “cientificas” para querer a regionalização é o “feeling”, no sentido de, tenho um feeling que alguma coisa vai mal no país e por isso se calhar é melhor mudarmos.

Um dos feelings prevalecentes é que a organização actual do estado não tem contribuído para o reequilíbrio da distribuição de pessoas pelo país, e de que esse desequilíbrio até pode ter aumentado.

De forma a validar ou não esse feeling resolvi fazer um mapa com a distribuição de população por nuts3 e ver como ele se comporta ao longo dos anos. A cor vermelha quer dizer que houve diminuição de população entre o ano indicado e o anterior, a verde o que houve aumento.

Variação da População entre 1991-2007

Como se pode ver no mapa é fácil constatar que nos último 18 anos praticamente todo o interior (e quase em todos os anos) continuou a perder população, que em parte terá ido para o litoral.
Os dados usados para esta comparação foram

Se olharmos para os dados base, e comparando as duas séries de forma independente de forma a evitar possíveis incongruências entre elas podemos ver, no periodo 2001-2007

Padrões mais ou menos semelhantes (embora com amplitudes maiores) surgem ao analisar os dados correspondentes a 1999-2000.

Uma nota para dizer que os dados referentes à subregião oeste não estão a ser representados já que apresentam uma discrepância muito grande nos limites das duas séries (ano 2001 da serie 2000-2007; ano 2000 serie2 1991-2000) que me levam a pensar que possa ter havido alguma alteração de critérios entre estes 2 períodos.

Variação de população entre 2001-2007

Share

Publicidade de Informação

Posted on by
1

Há uma diferenciação que pelo menos quando comecei a estudar era ensinada que é a diferença entre dados e informação. De uma forma muito sucinta, os dados são os componente da informação e com os mesmos dados podemos ter tipos de informação diferentes.

E a particularidade que nos faziam notar era que informatica era a criação / processamento de informação de uma forma automática. Isto é, alimentava-se um computador com dados, e por um qualquer processo automático / automatizável processavamos esses dados e criavamos informação.

Na idade da desintermediação da informação em que eu procuro os meus fornecedores de informação (blogs, online media, media tradicional) e em que a consumo quando quero (agregadores de feeds, podcasts, meo e outros) a questão do consumo de informação começa a estar bastante garantida.

Para além disso como quase tudo isto tem uma representação digital a velocidade com que essa informação circula é bastante mais que suficiente – desde que conheçamos os locais onde ela vai estar disponivel.
Mas nesta era digital ainda continuamos com 2 problemas:
1. nem sempre conhecemos os locais de publicitação de informação;
2. a desintermediação dos dados ainda não aconteceu, ou seja, embora eu possa escolher quem me presta a informação, não consigo pegar nos dados subjacentes e criar eu proprio a minha informação.

Na esfera pública isso reflecte-se nas seguintes perguntas exemplificativas:
- onde estão os orçamentos das freguesias do concelho do porto? não sei
- onde está o orçamento da cidade do porto. está aqui. mas onde estão os dados base para eu criar uma nova visualização sobre esses dados?

Mas há exemplos mais interessantes, nomeadamente o INE e o Banco de Portugal
Em qualquer um deles posso navegar na informação que disponibilizam (e é bastante), criar gráficos e até descarregar os dados base para depois os poder trabalhar.

Quase tudo perfeito. Só falta mesmo o quase. É que se por alguma razão eu quiser ter um gráfico que vá sendo actualizado conforme saem novos dados dessas instituições tenho que repetir manualmente o processo de aceder ao seu site, seleccionar os indicadores necessários, copiar para o meu excel ou google spreadsheet e depois voltar a mastigar esses dados de forma a obter a informação pretendida.

E o que é mais curioso é que a infraestrutura informática que o ine e o banco de portugal tiveram que montar para disponibilizar a informação como a têm actualmente foi certamente mais complicada do que a criação de um simples serviço que mediante um endereço devolve-se os dados pretendidos, por exemplo:
O que eu gostava de ter era www.ine.pt/indicadores/populacaoResidente/nuts/2007 que devolvesse uma simples pagina sem nenhum tipo de formatação de forma a poder consumir esses dados automaticamente.
(quem estiver interessado em aprofundar este conceito pode ver por exemplo o artigo da wikipedia sobre REST)

Voltando à questão inicial de descobrir a informação e poder automaticamente processar os seus dados subjacentes de forma a criar nova informação e trazendo isso para a questão publica o que eu gostava que a câmara do porto fizesse (e todas as outras naturalmente) era:
- criar um serviço de publicitação de todos os actos públicos da camara e seus organismos: estou a pensar em algo tão simples quanto poder fazer um pedido do tipo:
www.cm-porto.pt/eventos/todasAreas/proximoMes ou
www.cm-porto.pt/reunioes/assembleiaMunicipal/proximaSemana
que devolvesse algo parecido com:
data – local (gps) – descricao
- criar um serviço de exploração de todos os dados públicos produzidos pela camara e seus organismos
www.cm-porto.pt/orcamento/todasContas/2008
www.cm-porto.pt/orcamento/cultura/2008
www.cm-porto.pt/indicadoresInternos/departamentoX/ultimos5Anos
www.cm-porto.pt/(basicamente aquilo que aparece no servidor gis da câmara)

Quais os objectivos a atingir com isto:
- tornar a camara mais escrutinável
- fomentar a investigação na área de exploração e visualização de grandes volumes de informação (vejam-se exemplos como newsmap e outros )

Entretanto, e apesar de alguma dificuldade em “mastigar” os dados que o ine me disponibilizou via site, consegui fazer uma pequena demonstração daquilo que quero dizer quando me refiro a criar visualizações de dados. Mais do que a dificuldade técnica que possa ter surgida ao elaborar esse exemplo (e que não foi muito, limitou-se basicamente a copiar um exemplo de um livro) aquilo que me levou mais tempo foi mesmo ir ao site do ine, seleccionar os indicadores, copiar o conteúdo do ficheiro que criaram para o excel, por esses dados numa forma consumível pela minha aplicação.
O resultado é este e demonstra a população residente por nut3.

Share