Após assistir a várias palestras de Nêgo Bispo e a ler um de seus livros (A Terra Dá, a Terra Quer), resolvi pensar sobre suas ideias em relação ao desenvolvimento de software no Brasil.
Durante algum tempo, só me ocorreram coisas óbvias, e insatisfatórias, como usar software livre, mas um vídeo sobre as diferenças entre as plataformas PC Engine e Famicom, ambas baseadas na CPU 6502, mas com chips de suporte completamente diferentes, me vez ver que eu estava pensando a questão pelo ponto de vista errado.
Em plataformas de 8 bits, era preciso conhecer intimamente o ambiente a fim de obter os resultados esperados, ou, em muitos casos, qualquer resultado. O programador tinha que conhecer a CPU e os chips de suporte. Com a evolução das máquinas, muitos programadores passaram a pensar de forma completamente abstrata. Linguagens como Java reforçam essa noção e muitos programadores usam ORM, por exemplo, para evitar ter que sujar as mãos com SQL.
Entretanto, o banco de dados é muito mais que um interpretador de SQL. Oracle e Postresql oferecem vastas APIs e ferramentas como filas, que podem ajudar a estruturar sistemas de alto desempenho. Os sistemas operacionais *nix, via de regra, oferecem inúmeras ferramentas que podem ser usadas para prototipar ETLs, como bash, awk, sed, curl, Perl. Em muitos casos, uma solução de ETL pode ser escrita usando apenas o que o Linux oferece. Além disso, os recursos de baixo nível do sistema operacional, como HugeTables, quando adequadamente configurados, podem realçar sobremaneira o desempenho de um sistema. Até mesmo o tamanho de bloco de um volume pode ser importante para o desempenho de um software.
Muitos programadores, infelizmente, desenvolvem suas habilidades no deserto que é o Windows e desconhecem a existência de ferramentas basilares como awk. Um ambiente Linux com uma base Postgresql é um ambiente rico de pequenas soluções que podem ser conectadas para criar sistemas com excelente desempenho.
Então, o que eu percebi é que a forma colonial de pensar manifesta-se na mentalidade de quem cria soluções que não aproveitam o que a terra oferece, ou seja, o que o ambiente oferece. Uma aplicação Java com ORM tenta se distanciar ao máximo do banco de dados; um programador pode importar uma biblioteca para processar um PDF antes mesmo de considerar o Ghostscript; outro pode escrever um parser de CSV sem olhar para o awk. E o resultado é uma solução muito maior e mais pesada e que requer recursos muito além dos necessários.

