Docker com DBD::Oracle

São poucas as aplicações que não requerem conexão a um banco de dados. Então, após conseguir criar uma imagem de Docker com Perl e alguns pacotes adicionais, resolvi experimentar algo mais complicado: instalar o DBD::Oracle. Este pacote já é naturalmente difícil de instalar, mas com alguma experimentação, descobri uma maneira rápida e simples de resolver este problema.

Em primeiro lugar, é preciso buscar os rpms do cliente da Oracle. Inicialmente, usei os mais modernos (versão 12.2), mas estes não tinham tudo que o DBD::Oracle verifica na fase de testes (e a instalação falha). Então, usei os seguintes arquivos da versão 11.2:

• oracle-instantclient11.2-devel-11.2.0.3.0-1.x86_64.rpm
• oracle-instantclient11.2-basic-11.2.0.3.0-1.x86_64.rpm
• oracle-instantclient11.2-sqlplus-11.2.0.3.0-1.x86_64.rpm

Dentro da pasta do projeto, é preciso extrair os arquivos dos rpms, desta maneira: 

rpm2cpio oracle-instantclient11.2-devel-11.2.0.3.0-1.x86_64.rpm | cpio -idmv
rpm2cpio oracle-instantclient11.2-basic-11.2.0.3.0-1.x86_64.rpm | cpio -idmv
rpm2cpio oracle-instantclient11.2-sqlplus-11.2.0.3.0-1.x86_64.rpm | cpio -id/usr/lib64/libaio.so.1.0.1mv

A ordem não é importante. O resultado será uma pasta usr/ com várias subpastas e diversos arquivos ocupando cerca de 183MB.

Adicionalmente, é preciso copiar a bliblioteca libaio (Asynchronous I/O) do /usr/lib64 desta máquina para o usr/lib64 da pasta do projeto. Provavelmente haverá um link simbólico chamado libaio.so.1 apontando a um arquivo  libaio.so.1.0.1. Eu simplesmente copiei o arquivo com o nome libaio.so.1.

O Dockerfile requer apenas que seja adicionada essa pasta e que sejam preparadas as variáveis de ambiente.

FROM        perl:latest
MAINTAINER  forinti

ENV ORACLE_HOME /usr/lib/oracle/11.2/client64
ENV PATH $PATH:$ORACLE_HOME
ENV LD_LIBRARY_PATH $LD_LIBRARY_PATH:$ORACLE_HOME/lib:/usr/lib64

COPY usr/ /usr/
RUN curl -L http://cpanmin.us | perl - App::cpanminus
RUN cpanm DBI
RUN cpanm -v DBD::Oracle
RUN cpanm HTML::Parser
RUN cpanm Dancer2

EXPOSE 3000

CMD perl /app/hello.pl

As três linhas com ENV ajustam os valores das variáveis de ambiente. A opção -v na linha de instalação do DBD::Oracle faz com que todo o andamento da instalação seja impresso na tela. Sem essa opção, o cpanm escreve num arquivo de log que acaba sendo perdido quando ele falha e o docker termina.

Testes simples comprovaram que o driver funciona.

Primeiros passos com Docker

Um dilema que enfrento com frequência é o de instalar pacotes novos em servidores nos quais não quero mudar muito ou onde já existem versões conflitantes. Outro problema é o de manter registro de todos os pacotes que uma instalação complexa requer.

O Docker permite isolar as aplicações e então decidi experimentar criar uma imagem com a última versão do Perl, mas que executasse uma aplicação definida alhures e montada em tempo de execução.

Então, escrevi uma pequena aplicação com Dancer:

#!/usr/bin/perl
use Dancer2;

get '/hello/:name' => sub {
    return "Why, hello there " . params->{name};
};

dance;

É muito simples. Ela criar um servidor que atende a requisições do tipo http://localhost:3000/hello/nome. A porta default do Dancer é a 3000.

Então, o próximo passo foi definir uma imagem para o Docker a partir da última imagem do Perl. O Dockerfile contém:

FROM        perl:latest
MAINTAINER  forinti

RUN curl -L http://cpanmin.us | perl - App::cpanminus
RUN cpanm Dancer2

EXPOSE 3000

CMD perl /app/hello.pl

As seções são:

• FROM - indica a imagem inicial;
• MAINTAINER - serve apenas para registrar o dono do projeto;
• RUN - executa os comandos exatamente como numa linha de comando;
• EXPOSE - indica a porta que estará disponível para comunicação; e
• CMD - indica o comando que será executado quando o contêiner for criado.

Para facilitar a gerência do contêiner, resolvi usar o docker-compose, conforme o arquivo de configuração abaixo (docker-compose.yml):

version: '3.3'
services:
  hello:
    build: .
    container_name: hello
    restart: unless-stopped
    volumes:
      - type: bind
        source: /home/forinti/hello/
        target: /app
    ports:
      - "3000:3000"

Está definido um serviço (hello:) que servirá a porta 3000 (ports: define que a porta 3000 de dentro do contêiner corresponderá à porta 3000 fora do contêiner). O diretório /home/forinti/hello será montado dentro da imagem como /app. Além disso, o serviço será reiniciado, exceto se explicitamente terminado.

O diretório /home/forinti/hello contém os seguintes arquivos:

total 20
drwxrwxr-x  2 forinti forinti 4096 Dez 13 15:28 ./
drwxr-xr-x 49 forinti forinti 4096 Dez 13 12:37 ../
-rw-rw-r--  1 forinti forinti  223 Dez 13 15:27 docker-compose.yml
-rw-rw-r--  1 forinti forinti  172 Dez 13 15:28 Dockerfile
-rwxrw-r--  1 forinti forinti  120 Nov 21 16:19 hello.pl*

Para criar a imagem, basta rodar "docker-compose build". E, para iniciar o serviço, "docker-compose up".

$curl -XGET localhost:3000/hello/forinti
Why, hello there forinti

Dá para pegar gosto pela coisa.

Perl é ilegível

...para quem não sabe Perl. Claro. Mas é uma provocação que escuto muito de meus colegas que gostam de Java. Eu também gostava, mas antes dela tentar tanto se transformar numa linguagem hipster.

Bom, resolvi comparar a legibilidade com um problema simples: tenho um array e quero criar um string com a concatenação de todos os elementos não vazios.

my $s=join ';', grep {length>0} @lista;

Parece bem razoável. Um colega apresentou uma solução em Python.

s=';'.join([x for x in lista if len(x)>0])

Gostei. Simples e claro. Dá para usar. Já minha primeira tentativa em Java foi um pouco mais prolixa:

String s=String.join(";",(new ArrayList(lista))
  .removeAll(Arrays.asList("", null)));

String e String, ArrayList, Arrays e asList. Parece um poema concreto.

Um colega apontou o fato de haver uma alternativa mais moderna:

String s=lista.stream()
  .filter(s->s!=null && s.length()>0)
  .collect(Collectors.joining(";"));

Tive que quebrar esta solução moderna em 3 linhas para caber neste pequeno blog.

Consertando um Kobo

Há alguns anos ganhei um Kobo Touch. Ele funcionou muito bem até que, no último verão, a tela falhou. Por excesso de manuseio, ela deve ter fissurado e deixou de atualizar boa parte de sua área.

Imediatamente procurei uma forma de consertá-lo e descobri que é possível comprar a tela (da China, obviamente). Abri o leitor e descobri que o modelo da tela é ED060SCE(LF). Encontrei vários vendedores no AliExpress e decidi por um que vendia um ED060SCE(LF)C1. Não era exatamente o modelo do meu, mas servia. Infelizmente, não encontrei uma explicação para as variantes (para poder, ao menos, escolher a mais recente). Aparentemente, ED indica o fabricante (E-Ink); 060 indica o tamanho (6"); e SCE(LF) indica o modelo. Depois disso, as letras e os números indicam variações que só o fabricante conhece. Neste caso, encontrei T1 e C1.

Paguei US$18,00 (menos de R$60) e isso inclui ferramentas: quatro chaves de fenda (só foi preciso usar uma) e duas peças de plástico (uma para abrir e outra que não achei utilidade). Menos de um quinto do valor de um aparelho novo, embora a Livraria Cultura (que representava a canadense Kobo no Brasil) tenha desistido de vendê-lo. É uma pena, porque é um aparelho muito bom. Por outro lado, considerando o valor da tela, percebe-se que o valor de venda do aparelho era excessivo (eu comprei uma tela só e imagino que uma compra grande consiga um preço ainda melhor).

Duas coisas interessantes aparecem dentro do Kobo, Primeiro, há um cartão microSDHC de 2GB. Portanto, é possível aumentar a capacidade de armazenamento. Não testei, porque 2GB de livros já é uma quantidade infindável de leitura e, de qualquer maneira, há também um slot externo. Em segundo lugar, há uma porta serial. Se um dia a tela voltar a falhar, posso tranformar o Kobo noutra coisa.

A maior dificuldade na troca foi descolar a tela original. A placa-mãe está aparafusada numa base de plástico (que é forte, por sorte) e esta base é aparafusada à caixa. A tela fica colada tanto à caixa como à base de plástico. E a cola é forte. Foi preciso quebrar a tela em muitos pedacinhos para poder extraí-la da armação. A cola permaneceu e bastou para encaixar tudo novamente.

Acho triste que esses projetos sejam feitos de maneira a dificultar a manutenção. A caixa é montada por encaixes, mas eles exigem força e não é difícil quebrar a tela no processo. Além disso, a bateria é colada e os fios soldados: não é fácil trocá-la.

Embora não fosse tecnicamente interessante, esse conserto deu a satisfação de dar nova vida a um aparelho que, doutra sorte, iria para o lixo.

Anagramas

Inspirado num artigo publicado no do Hacker News, resolvi explorar os anagramas da língua portuguesa. O algoritmo é muito simples. Cada palavra é transformada numa chave que é composta por suas letras em ordem alfabética. Todas as palavras são guardadas num hash de acordo com a chave. Então, todas as palavras que possuem as mesmas combinações de letras são naturalmente agrupadas.

use strict;

my $dict;
my %anagrams;
open($dict, '<', 'wordlist-preao-latest.txt');
while (my $word=<$dict>) {
  chomp $word;
  my $index=$word;
  $index=~s/\-//g;  
  my $sorted = join "", sort split //, $index;
  push @{$anagrams{$sorted}}, $word;
}

for my $words (values %anagrams) {
  print "@$words\n" if @$words>1;
}

Modifiquei o código para que ignorasse os traços. O dicionário que encontrei possui, inclusivamente, todas as conjugações dos verbos.

O campeão de variações (22) foi este:

amestrei eremitas estiar-me estreiam 
estremai mastreei mastreie meterias 
rasteiem remateis remetais remetias 
reteimas ser-te-iam seriam-te teimar-se 
teimares temerias ter-me-ias ter-se-iam 
teriam-se terias-me

E os anagramas mais longos não são muito interessantes, porque a maioria é de diferentes conjugações. O mais longo é:

transcendentalizar-lhe-ias transcendentalizar-lhes-ia

E há muitos desses antes deste:

constitucionalizardes desconstitucionalizar

Pelo menos são verbos diferentes.

Com uma pequena adição ao programa, gerei um arquivo com todos os anagramas (um por linha) ordenados por ordem decrescente de comprimento:

my @sorted= sort { length $b <=> length $a } keys %anagrams;
for my $i (0..$#sorted) {
  if(scalar(@{$anagrams{$sorted[$i]}})>1) {
    print join ' ',@{$anagrams{$sorted[$i]}};
    print "\n";
  }
} 

São mais de 114 mil linhas e cerca de 3MB. A evolução natural é transformar isso num webservice e vender o AaaS (Anagrams as a Service).

Mandelbrot com expoentes complexos e animados

Depois de descobrir como gerar um mandelbrot com expoentes complexos, caí no dilema de como fazer uma animação disso. O dilema é qual intervalo escolher. Tendo duas dimensões, os números complexos podem variar tanto no eixo real quanto no eixo imaginário. Há infinitas variações possíveis.

Dado que a exponenciação com números imaginários tem o efeito de girar os números, decidi animar usando vetores de tamanho 2 em torno do zero. Então, eu começaria com 2 (o mandelbrot clássico). Girando o vetor por 90 graus no sentido anti-horário, eu chegaria a 0+2i. Mais 90 graus me levariam a -2, depois 0-2i e, finalmente, com 360 graus, eu estaria de volta a 2.

Então, a parte real varia com o cosseno e a parte imaginária varia com o seno. Basta dividir os 2*pi radianos do círculo pelo número de quadros que quisermos.

Testei primeiro com 4 passos e obtive as seguintes imagens:

Pareceu promisor. Então, decidi fazer uma animação com 1000 quadros.

use GD;
use strict;
use constant PI => 4 * atan2(1, 1);
use constant E => exp(1);
use constant MAXITER => 256;
use constant SIDE => 512;
use constant FRAMES => 1000;

sub mandel($$$$) {
  my $c=1;
  my ($x, $y, $rp, $ip)=@_;
  my $r=$x;
  my $i=$y;
  while($r**2+$i**2<4 && $c<MAXITER) {
    my $a=atan2($i,$r);
    my $b=$r**2+$i**2;
    my $p=($b**($rp/2))*(E**(-1*$ip*$a));
    my $nr=$p*cos($rp*$a+0.5*$ip*($b!=0?log($b):0));
    my $ni=$p*sin($rp*$a+0.5*$ip*($b!=0?log($b):0));
    $r=$nr+$x;
    $i=$ni+$y;
    $c++;
  }
  return $c;
}

my $img=new GD::Image(SIDE,SIDE); 
my @colours=();
for my $c (0..255) {
  $colours[$c]=$img->colorAllocate(($c*7)%255, ($c*13)%255, ($c*19)%255),
};

for my $frame (0..FRAMES-1) {
  my $theta=0;
  if($frame>0) {
    $theta=(2*PI)*($frame/FRAMES);
  }
  my $ip=2*sin($theta);
  my $rp=2*cos($theta);
  for my $a (0..SIDE) {
    for my $b (0..SIDE) {
      my $d=mandel(-2+(4*$a/SIDE), -2+(4*$b/SIDE), $rp, $ip);
      $img->setPixel($a, $b, $colours[$d]);
    }
  } 
  open(IMAGE, sprintf(">frame%04d.png", $frame));
  binmode IMAGE;
  print IMAGE $img->png;
  close IMAGE;
}

O código é simples e a biblioteca GD torna fácil a geração de PNGs (ou GIFs ou JPEGs...). Depois, usei ffmpeg para juntar tudo numa animação.

ffmpeg  -i frame%04d.png -vf curves=preset=lighter video.mp4

E o resultado final é este vídeo:

O vídeo está no youtube também.

Cobertura dos n primeiros primos II

Quando calculei a porcentagem de números inteiros que possuem fatores dentre os n primeiros primos, procurei calcular diretamente o valor. Deixei escapar uma maneira muito mais simples que é a de calcular quantos números não são cobertos pelos n primeiros primos.

Esse cálculo é mais simples. Calcular da maneira mais complexa me ensinou algumas coisas, mas a solução mais simples também vale a pena.

Os números que não são múltiplos de 2 são 1/2 do total. Os que não são múltiplos de 3 são 2/3 do total. Os que não são múltiplos de 5 são 4/5. E assim por diante.

Os que não são múltiplos de 2, 3, ou 5, são (1-1/2)(1-1/3)(1-1/5) do total. É muito mais simples a conta.

Em menos de 1s, um programa calculou que os primeiros 10.000 primos fazem parte de 95,14% de todos os inteiros. O programa original não consegue chegar a n=13 nesse tempo. Os primeiros 100.008 ajudam a quebrar a barreira dos 96%, mas o primeiro milhão não chega a 97% (96,6%).

O gráfico abaixo mostra o resultado dessas contas. Ele mostra, em escala, logarítmica, quantos inteiros não têm um fator dentre os primeiros n primos.

O código é tão insosso quanto o gráfico, então não vou publicá-lo.

Conectando Postgresql a Oracle com Perl

Postgresql oferece a possibilidade de mapear tabelas e vistas via FDWs (Foreign Data Wrappers). Isso, por si só, já é muito útil. Entretanto, melhor ainda seria poder invocar rotinas. Como o Postgresql permite escrever rotinas em Python, TCL, e Perl, a saída é óbvia.

create or replace 
function call_remote_function(varchar, varchar[]) returns varchar as $$
  use DBI;
  use DBD::Oracle;
  
  my $proc=shift;
  $proc=~s/[^A-Za-z0-9_.]//g;
  my $vars=shift;
  my $num_vars=scalar(@{$vars});
  my $placeholders=join(',',('?')x$num_vars);
    
  my $host=$ENV{'REMOTE_HOST'};
  my $schema=$ENV{'REMOTE_SCHEMA'};
  my $sid=$ENV{'REMOTE_SID'};
  my $pass=$ENV{'REMOTE_PASS'};
  
  my $db = DBI->connect("dbi:Oracle:host=$host;sid=$sid;server=POOLED", 
                        "$schema", "$pass", {ora_drcp=>1,ora_drcp_class=>'SHARED'})
    || die($DBI::errstr."\n");
  $db->{AutoCommit}=0;
  $db->{RaiseError}=1;

  my $result;
  my $cmd="BEGIN ?:=$proc($placeholders); END;";
  my $stmt=$db->prepare($cmd);
  my $i=1;
  $stmt->bind_param_inout($i, \$result, {ora_type=>SQLT_CHR});
  for my $var (@{$vars}) {
    $stmt->bind_param(++$i, $var);
  };
  $stmt->execute();
  $db->disconnect();
  return $result;
$$ language plperlu;

Esta é uma versão que vale para qualquer número de parâmetros. Escrevi também uma versão para nenhum parâmetro, um parâmetro, e dois parâmetros.

Como essa função faz algumas coisas perigosas, ela só pode ser criada por uma conta administrativa. Além disso, a linguagem escolhida é a plperlu, quando rotinas normais podem ser declaradas com plperl.

Os parâmetros são inseridos como variáveis de ligação (bind variables), então não me preocupei muito com a segurança delas. O nome da rotina, entretanto é inserida diretamente no comando. Então, adicionei uma linha para limpar caracteres indesejados:

  $proc=~s/[^A-Za-z0-9_.]//g;

Essa linha retira todos os caracteres que não forem alfabéticos, numéricos, traço-baixo, ou ponto.

Os dados de conexão são escondidos como variáveis de ambiente do usuário que roda o banco. Além disso, no lado do Oracle, defini um pool de conexões (usando DRCP - Database Resident Connection Pooling). O tempo de execução das chamadas variava entre 300ms e 500ms. Com o DRCP, o teto passou a ser 300ms e normalmente elas são invocadas em cerca de 100ms.

No banco Oracle, adicionei uma entrada ao tnsnames.ora:

DB_POOLED =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = host.com)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = POOLED)
      (SID = DB)
    )
  )

E depois iniciei a pool com um comando:

execute dbms_connection_pool.start_pool();

Posso invocar uma função remota assim:

select call_remote_function('substr', array['postgresql', '2', '3']);

Mas prefiro criar funções locais para esconder a pilantragem:

CREATE OR REPLACE FUNCTION 
oracle_substr(p_str varchar, p_start varchar, p_length varchar) RETURNS varchar AS $$
begin
  return call_remote_function('substr', array[p_str, p_start, p_length]);
end;
$$ LANGUAGE plpgsql;

2017

Este ano é especial porque, além de ser primo, eu farei um aniversário primo. Então, resolvi descobrir quantos aniversários primos eu já completei.

Escrevi, para esta tarefa um pouco de Perl:

#!/usr/bin/perl
my @primes=qw(
   2 3 5 7 11 13 17 19 23 29
31 37 41 43 47 53 59 61 67 71
73 79 83 89 97 101 103 107 109 113
127 131 137 139 149 151 157 163 167 173
179 181 191 193 197 199 211 223 227 229
233 239 241 251 257 263 269 271 277 281
283 293 307 311 313 317 331 337 347 349
353 359 367 373 379 383 389 397 401 409
419 421 431 433 439 443 449 457 461 463
467 479 487 491 499 503 509 521 523 541
547 557 563 569 571 577 587 593 599 601
607 613 617 619 631 641 643 647 653 659
661 673 677 683 691 701 709 719 727 733
739 743 751 757 761 769 773 787 797 809
811 821 823 827 829 839 853 857 859 863
877 881 883 887 907 911 919 929 937 941
947 953 967 971 977 983 991 997 1009 1013
1019 1021 1031 1033 1039 1049 1051 1061 1063 1069
1087 1091 1093 1097 1103 1109 1117 1123 1129 1151
1153 1163 1171 1181 1187 1193 1201 1213 1217 1223
1229 1231 1237 1249 1259 1277 1279 1283 1289 1291
1297 1301 1303 1307 1319 1321 1327 1361 1367 1373
1381 1399 1409 1423 1427 1429 1433 1439 1447 1451
1453 1459 1471 1481 1483 1487 1489 1493 1499 1511
1523 1531 1543 1549 1553 1559 1567 1571 1579 1583
1597 1601 1607 1609 1613 1619 1621 1627 1637 1657
1663 1667 1669 1693 1697 1699 1709 1721 1723 1733
1741 1747 1753 1759 1777 1783 1787 1789 1801 1811
1823 1831 1847 1861 1867 1871 1873 1877 1879 1889
1901 1907 1913 1931 1933 1949 1951 1973 1979 1987
1993 1997 1999 2003 2011 2017 2027 2029 2039 2053
2063 2069 2081 2083 2087 2089 2099 2111 2113 2129
2131 2137 2141 2143 2153 2161 2179 2203 2207 2213);

my %primes=map { $_ => 1 } @primes;

my $birth=1966;

for my $i (1..100) {
  if (exists $primes{$i} && exists $primes{$birth+$i}) {
    print "$i ".($birth+$i)."\n";
  }
}

Eu estou no meu sétimo aniversário primo em ano primo. Para uma pessoa nascida em 1966, o resultado seria este:

7 1973
13 1979
31 1997
37 2003
61 2027
73 2039
97 2063

Curiosamente, muitas pessoas nunca experimentarão esse evento.

Então, como uma pergunta sempre leva a outra, pensei: quantos anos há em que as pessoas que neles nasceram nunca experimentarão um aniversário primo num ano primo e qual o ano que levaria ao maior número desses eventos? Testei do ano 1 ao ano 2000.

Do ano 1 ao ano 2000, as pessoas nascidas em 1302 diferentes anos tiveram essa sorte. Se seu reduzisse para 70 anos a idade máxima, seriam 1301 anos. Então, cerca de um terço das pessoas nunca passará por isso.

Os que nasceram nos anos 6AD e 30AD podiam ter 13 aniversários primos em anos primos, se vivessem até os 70 anos. Se eu aumentar para 100 anos a expectativa de vida, os nascidos no ano 30AD teriam 18 desses eventos.

No segundo milênio, os melhores anos para nascer foram 1410 e 1470 (14 aniversários primos em anos primos para quem viver até os 100 anos). No terceiro milênio, os anos mais interessantes são 2640 e 2670 (15 eventos para quem viver até os 100). Nos últimos 100 anos (de 1917 a 2017), os anos de 1980 e 1956 resultam em 12 eventos.

Os anos que nunca fazem isso são especiais também. Alguns, como 1943, 1975, e 1979 não passam por isso nem em 100 mil anos, o que eu poderia ter deduzido, já que sempre fazem aniversário par em ano ímpar. Nascidos em 1977 terão o prazer de fazer 2 em 1979 e só. Então, quem nasceu num ano ímpar, só pode fazer um aniversário primo num ano primo no seu segundo aniversário. Isso reduz bastante as possibilidades e torna mais interessante o fato de nascer dois anos antes de um ano primo.