Mostrando postagens classificadas por relevância para a consulta MIT. Ordenar por data Mostrar todas as postagens
Mostrando postagens classificadas por relevância para a consulta MIT. Ordenar por data Mostrar todas as postagens

Eliza: A história da inteligência artificial do Emacs

Emacs Eliza

Eliza: A psiquiatra de inteligência artificial do Emacs

 Eliza, como já é de conhecimento de muitos de nós, é uma psiquiatra feita de inteligência artificial que fica escondida no editor de texto emacs. Bastando digitar no terminal de comandos M-x doctor, é disponibilizado um chatbot dentro do emacs que te serve como uma psiquiatra e responderá as suas perguntas.


 Mas quem criou a Eliza? E com qual propósito? Como é uma inteligência artificial do Emacs, não teria sido Richard Stallman o autor da Eliza? E a resposta para a ultima pergunta é não. Mesmo que muitos afirmam que sim por ter trabalhando no instituto de inteligência artificial do MIT, na verdade aqui neste artigo vamos tratar do verdadeiro pai da Eliza.

 Muito se fala sobre inteligência artificial nos dias atuais. As pessoas passaram a temer que algo como exterminador do Futuro de James Cameron possa ser desencadeado com tal tecnologia. AI é algo muito presente no Linux; a versão 4.0 do kernel Linux foi lançada tendo como destaque exatamente estar pronto para AI; em 2015 a empresa Takepoint anunciou um rifle com Linux que mira automaticamente (lendo tal noticia, parece que cada vez mais esse temor se concretiza). Mas de onde surgiu a ideia de inteligência artificial? Quem são seus autores? E para qual finalidade?

 Em 1950, Alan Turing publicou o Teste de Turing (Turing Test) que na verdade o nome real é Maquinário e inteligência da computação (COMPUTING MACHINERY AND INTELLIGENCE) que propõe a teoria se computadores seriam realmente capazes de pensar como seres humanos ao ponto que humanos não conseguiriam distinguir se estariam conversando com máquinas ou com humanos de verdade. Este artigo é um dos princípios da inteligência artificial; porém, no mesmo ano, Isaac Asimov publicaria a ficção cientifica Eu, Robo que em 2004 se tornia o filme estrelado por Will Smith. Asimov também é o autor das Leis da Robótica (criadas em 1942) que determina três regras que os robôs devem seguir para não representarem uma ameaça a humanidade (são regras que podem ser percebidas na animação Astro boy de 2009).

 A inspiração para o nome da obra de Asimov veio de outra obra datada de 1939 e de autoria dos irmãos Earl e Otto Binder (Otto é conhecido por ser o co-autor de Supergirl) que se chamava exatamente... Eu, robo... E em 1942, seria publicado Adam Link salva o mundo (também de autoria de Earl) e que basicamente é uma continuação da obra de 1939. Anterior as obras citadas, já havia peça teatral A revolta dos robôs, originalmente conhecida como R. U. R (abreviação de Rossumovi Univerzální Roboti = Robôs Universais de Rossum) escrita pelo tcheco Karel Čapek em 1920.


 Séculos antes de todas estas obras, René Descartes (o mesmo autor do termo "penso, logo exito") já tratado sobre inteligencia artificial em "DISCOURSE ON METHOD" de 1637 que descreve:
“E não devemos confundir a fala com os movimentos naturais que indicam as paixões — e que podem ser imitados por máquinas, assim como manifestados por animais —, nem tampouco pensar, como alguns dos antigos, que os animais falam, ainda que não compreendamos a sua linguagem.”
 
  A da Ada Lavelace pouco mais de 200 anos depois descreveu em 'Sketch of the Analytical Engine invented by Charles Babbage, Esq.' [by I. F. Menabrea with notes by Ada Lovelace], Scientific Memoirs, 1843 que as máquinas carecem de capacidade para pensamento independente, criatividade ou consciência, servindo, em vez disso, como ferramentas sofisticadas que executam instruções concebidas por humanos: 
"A Máquina Analítica não tem qualquer pretensão de originar algo. Ela pode realizar tudo o que soubermos instruí-la a executar. Ela pode seguir análises, mas não possui a capacidade de antecipar quaisquer relações ou verdades analíticas."

 Ok, mas o que todas essas obras tem a ver com a Eliza? Na verdade somente uma nos interessa para a explicação, que é o teste de Turin. Eliza foi criada em 1.966 pelo judeu Joseph Weizenbaum (um dos fundadores do campo de inteligência artificial do M.I.T) em uma linguagem de programação de sua autoria chamada MAD-SLIP e que foi baseada em outras linguagens sendo MAD (Michigan Algorithm Decoder) baseada na linguagem Algol e SLIP (Symmetric LIst Processor que é o recurso de processamento de listas) baseada na própria linguagem LISP e que foi adicionado à linguagem MAD em 1963. O código da Eliza está disponível em PDF sob a licença CC0.

Joseph Weizenbaum, o verdadeiro pai da Eliza
Joseph Weizenbaum, o verdadeiro pai da Eliza

 Weizenbaum descreve como a ELIZA funciona:
"De um ponto de vista, um script ELIZA é um programa e ELIZA é um interpretador. De outra perspectiva, ELIZA aparece como um ator que deve depender de um script para suas linhas. O script determina o framework contextual que a ELIZA possa estar esperando para conversar plausivelmente".
 O primeiro programa a ser executado chama-se DOCTOR e o nome da damília desses programas é ELIZA. O DOCTOR faz com que a ELIZA responda as perguntas. somente o nome DOCTOR apareceu em sua publicação em 1966, não o código ELIZA que interpreta os scripts. Os códigos para o doctor podem ser conferido aqui.


 Na época as pessoas chegaram a acreditar que a ELIZA teria sido escrito em Lisp devido Bernie Cosell ter escrito sua própria versão de ELIZA na linguagem Lisp. Cosell nunca viu o código original da ELIZA, mas se baseou na descrição de algoritmo de Joseph Weizenbaum.

  A Eliza passou no Teste de Turing provando que o conceito de computadores com inteligência parecida com a humana é facilmente algo falso. O chatbot psicoterapeuta parece estar conversando com você, mas que no decorrer da conversa, parece estar mudando de assunto ou as frases começam a ficar repetitivas e não fazer mais sentido. O que ocorre é que a Eliza respondia somente a certos parâmetros das conversas; ao invés de ler toda a frase, a Eliza lia certas palavras chaves do seu texto e respondia baseado nisso. 

 O nome ELIZA foi inspirado no personagem Eliza Doolitle da peça teatral Pigmalião de George Bernard Shaw. Joseph demonstrou como é fácil fazer com que um computador aparente ser inteligente. ELIZA é de certa forma a precursora de tecnologias que utilizamos hoje em dia como Siri da  Apple, Alexa da Amazon, Google assistente e Cortana da Microsoft; mas existem  vários clones da ELIZA que podem ser conferidos clicando aqui. Um deles é o GNU EMACS "doctor" (disponível aqui) e como está descrito na página de clones da ELIZA que:
"O GNU EMACS incluiu um built-in "Doctor" desde mais ou menos 1985. Ele afirma utilizar técnicas "semelhantes à da clássica Eliza", mas não diz se é baseado no código Lisp de Cosell ou na publicação de Weizenbaum. Lars Brinkhoff, que coleciona versões históricas do Emacs, observa que o "Doctor" não estava presente no GNU Emacs 16.60, de julho de 1985, mas aparece no Emacs 17.61, de abril de 1986, com a seguinte informação: "Copyright (C) 1985 Sidney Markowitz e Richard M. Stallman". Embora seja desconhecido se Stallman na verdade viu a versão de Cosell, é bem parecido com o que ele fez, sendo um hacker Lisp e nos arredores do MIT na época que a versão de Lisp estaria circulando."

 O código disponibilizado por Lars pode ser conferido clicando aqui. Na verdade eu acredito que o Stallman teve acesso ao código fonte da Eliza e simplesmente o incorporado no Emacs fazendo modificações como inserir seu nome no lugar dos autores originais, mas que também não vai admitir isso já que reconhecer o trabalho de terceiros não é o seu forte.

A queda da GPL?

Top licenças Open Source no Github
Top licenças Open Source no Github
Ao longo de sua adoção no Linux a GPL ganhou força, respeito, destaque e até autoridade. As empresas não querem saber se o software é livre ou não, elas querem que o serviço delas sejam feitos. Se o software livre atende a seus serviços, Logo elas irão favorece-lo. Por conta desse caso de sucesso (Linux), as próprias empresas e projetos passaram a adotar a GPL acreditando ser correto, confiável e até passando a fazer contribuições com muita frequência para os projetos uma vez que eles se tornaram viáveis como no artigo "Para que serve a liberdade?"
"Para que serve a liberdade?"
 A GPL fazia sentido (e acredito que ainda poderia fazer sentido) como descrito no artigo "As incríveis vantagens proporcionadas pelo software livre e de código aberto", quando a GPL era a GPL.
"As incríveis vantagens proporcionadas pelo software livre e de código aberto"
 Há pessoas que nem sabem o porque estão a defendendo. Isso eu falo pessoas que são considerado gente grande e aclamada. Para começar, a maioria das pessoas tem a concepção errada do que é software livre e de código aberto. Elas veem software livre como software de graça. Muitos acabam sendo nesse aspecto agindo como sangue sugas querendo as coisas de mão beijada não retribuindo de alguma forma.

 O que está errado é o fato de que os amantes de Linux e da liberdade do software tratam Linux como GNU. Apesar de Linux fazer uso de ferramentas do GNU, os dois são projetos distintos (e é isso que muita gente ate hoje não mentalizou). Essa imagem de GNU/Linux precisa ser desvinculada das mentes das pessoas. Não existe GNU e Linux como uma coisa só. Linux não deve satisfação para o GNU e nem vice versa.

 Depois do meu vídeo GPL e o capitalismo e toda discussão no vídeo, resolvi escrever este artigo mostrando como anda a GPL depois da versão 3 e depois de toda a atitude (errada) tomada pela FSF:


 Acho incrível é que mesmo depois de mostrado tudo isso, há pessoas que continuaram e que continuarão batendo na mesma tecla. Mas com as atitudes (até radicais) da FSF, indivíduos, projetos e empresas passaram a temer a GPL. O que era para ser liberdade acabou passando ser uma ditadura.

 Como resultado disso, a GPL passou a entrar em declínio como pode ser visto no gráfico abaixo extraído do site Red Monkey onde a GPLv2 era predominante em 2010 e passou em 2017 a ser a licença MIT (tendo essências das licenças BSD com algumas modificações)

acompanhamento-de-adocao-das-licencas-open-source-entre-2010-e-2017
Acompanhamento de adoção das licenças open source entre 2010 e 2017
No site BlackDuck também mostra o gráfico top licenças Open Source, demonstra a mesma coisa tendo a MIT predominando, a GPLv2 em segundo lugar, a Apache em terceiro (nessa entra forte o Android) e depois a GPLv3:

Top-licencas-open-source
Top licenças open source
 A GPL fazia sentido na versão 2. Hoje ela perdeu a sua característica, essência e sentido com a vinda da GPLv3. O único e real motivo que a FSF criou a GPLv3 foi pelo medo de se tornar politicamente irrelevante. Ela queria que o destaque fosse ao GNU e não Linux (tornando o GNU o garoto Estrela). Tenham cuidado, pois vocês podem estar defendendo gnu e não a liberdade.

Confiram também como anda a adoção das licenças no proprio site Github (e qual melhor né)

Como anda a adoção da GPL no Github
Como anda a adoção da GPL no Github


Microsoft torna principal algoritmo do Bing Open Source

Algorítimo que acelera a busca do Bing agora é Open Source
Algoritmo que acelera a busca do Bing agora é Open Source
 Foi publicado no TechCrunch que a Microsoft tornou Open Source um algoritmo muito importante do seu motor de busca, o Bing. O algoritmo disponibilizado foi de uma biblioteca chamada SPTAG (Space Partition Tree And Graph) que faz com que a busca realizada pelos usuários retorne mais rápida através dos dados coletados e AI (Artificial Intelligence = Inteligência Artificial). 
Gaáfico-como-o-SPTAG-funciona
Gráfico vetor demostrando como o SPTAG funciona











Essa biblioteca foi disponibilizada sob licença MIT (ainda bem) e fornecem todas as ferramentas necessárias para trabalhar com Linux e Windows. Sei que vão ter o que afirmam que eu odeio GNU com a minha afirmação sobre a licença MIT, mas que já leu meu artigo A queda da GPL? (e eu sei que muitos não leem porque depois veem me fazer as mesmas perguntas do que eu já falei) sabe do que eu estou falando.

 A Microsoft espera que esse algoritmo venha possibilitar que os desenvolvedores construam soluções similares e isso faz com que encontrem outros caso de usos em clientes e ambientes corporativos (além de poder aplicar novas soluções encontradas ao seu próprio motor de busca).
Linux-da-migração-a-administração-do-sistema-operacional
CLIQUE AQUI, VENHA APRENDER LINUX COMIGO E TORNE-SE UM VERDADEIRO PROFISSIONAL.
 Como afirmado pela empresas, alguns anos atrás o o sistema de busca era simples. Os usuários digitavam um conjunto de palavras a respeito do assunto que que queriam. Hoje os mesmos usuários podem arrastar imagens para dentro do buscador (que inclusive foi tema no filme Buscando que aconselho assistirem, principalmente os pais) ou utilizar um assistente inteligente fazendo-lhe uma pergunta. Podem até mesmo fazer uma pergunta e aguardar uma resposta e não uma lista de páginas. Através desta biblioteca, a microsoft consegue realizar busca através de bilhões de pedaços de informações em mile segundos.
Agradeço ao Xalas pela revisão feita no meu texto.

Analisando 6 diferentes implementações do comando sed

Different implementatins of sed command

Analisando e comparando seis diferentes implementações do comando sed


 Em abriu deste ano eu escrevi o artigo minised: Um sed melhor do que o sed. sed é um comando que como seu próprio nome sugere (Stream EDitor), serve para editar/alterar as informações que são exibidas em sua tela (observação que deve ser feita é que arquivos acessados através do sed não são modificados, apenas a forma como as informações são exibidas; a não ser que as informações exibidas sejam redirecionadas ao arquivo de origem). sed Foi um dos primeiros comandos desenvolvidos para o Unix para processamento de dados e, conforme o e-mail de lançamento do kernel Linux 0.02 "intitulado Códigos livres de kernel parecido com minix para AT-386" no grupo comp.os.minix, é descrito que sed também foi um dos primeiros comandos a ser utilizado pelo Linux:

"Ainda está na versão 0.02 (+1 (muito pequeno) patch já), mas executei com sucesso bash/gcc/gnu-make/gnu-sed/compress nele."

 O gnu-sed é a implementação utilizada na maioria das distribuições Linux porém, como existem diferentes implementações do mesmo comando (assim como existem diferentes implementações de todos os comandos e de todas as ferramentas), eu resolvi analisar e comparar ao menos seis delas apresentando aqui neste artigo os resultados de cada uma.

 Eu analisei o gnu-sed 4.8 disponível no Fedora 35 (sed-4.8-8.fc35.x86_64); o minised 1.16 já apresentado aqui no blog; o Busybox_SED que apesar de ter originado do gnu-sed, já não possui uma unica linha de código do do gnu-sed; logo não tendo mais nenhuma relação um com o outro (para entender melhor sobre esse caso, leia o meu artigo "O Paradoxo do Navio de Teseu no mundo open source" clicando aqui); as versões do toybox 0.8.6 e 0.8.7; o 9base sed (de origem do plan9 e depois portado para outros sistemas operacionais) e por fim o sbase sed de origem do Unix e portado para outros Unixes (incluindo Linux na lista de outros Unix) que não possui versão específica. Neste artigo eu irei avaliar as implementações por:
  • Licença
  • Tamanho do binário
  • Recursos disponíveis
  • descrição de ajuda
  • Desempenho
  • bugs
 Para os testes eu utilizei o terminal de comandos zsh por proporcionar melhores informações (inclusive uso de CPU por padrão) e devido o Bash por vezes já ter apresentado bugs que não podem nos garantir confiabilidade nos resultados (leia mais sobre os bugs que encontrei no bash clicando aqui). Em conjunto eu utilizei o comando time.

Stdout difference between bash and zsh by running the time command

Diferença de exibição de resultados do comando time entre os terminais de comando bash e zsh.


 Fiz uso dos materiais públicos aurelio, the mouseless Dev que possui até mesmo um mapa mental muito interessante, o manual gnu-sed e os próprios arquivos de testes disponibilizados pelos próprios comandos.

https://themouseless.dev/images/2021/sed/sed.jpg
Mapa mental do comando sed do site The Mouseless Dev

 Ao final de cada teste, eu irei classificar uma ou mais implementações como vencedores e na conclusão do artigo eu irei classificar da primeira a terceira colocação a partir da que proporcionar a maior quantidade de vantagens. Agora vamos partir para o arrebento.


LICENÇAS

 Neste primeiro tópico eu analiso quais as licenças adotadas por cada implementação levando em conta que cada licença proporciona vantagens e desvantagens. Parece um assunto irrelevante, mas trata-se de algo que pode afetar fortemente todo o mercado, todo um ecossistema e automaticamente você (se hoje o busybox estivesse sob GPLv3, provavelmente você nem teria um roteador em sua casa).

Licenças adotadas por cada implementação do comando sed
Licenças adotadas por cada implementação do comando

 Enquanto o gnu-sed está sob GPLv3+, o busybox-sed manteve-se sob GPLv2 mesmo tendo originado-se do gnu-sed (como pode ser lido no artigo O Paradoxo do Navio de Teseu no mundo open source) e é mantido pelo FFC.

BusyBox is not a GNU project, so the Free Software Foundation does not hold its copyrights; instead, those copyrights are retained by the original authors. As Rob looked over the code, he found many contributions with the usual "or any later version" language which would allow a change to GPLv3. Others, however, had the explicit "version 2 only" language. Some, contributed by one Linus Torvalds, state that they "may be redistributed as per the Linux copyright." Some other contributions carry a BSD license - originally with the GPL-incompatible advertising clause. It was quite the mixture of licenses.
Passe o cursos sobre a imagem para ler a tradução (texto original, basta clicar aqui)

 O sbase e o 9base estão sob MIT (9base sob MIT/X Consortium License); o minised foi disponibilizado sob GPL a partir da versão 1.13 e passou a ser disponibilizado sob BSD-like a partir da versão 1.14 em diante com o consentimento de Eric Raymond. O toybox está sob a clausula zero BSD (0-BSD) criada por Rob Landley que na verdade trata-se de uma Domínio Publico apenas sob o nome de BSD (com a aprovação dos próprios membros dos BSDs).

 VENCEDOR: Com exceção da GPL (que possui tendência natural a declínio), todos as demais licenças são muito boas. O busybox_SED ainda pode levar alguma vantagem com a GPLv2 por não ser incompatível com o kernel Linux e ser menos negativamente impactante que a GPLv3.


TAMANHO DOS BINÁRIOS

 Tenha em mente que, quanto menor o binário, melhor é em todos os sentidos (segurança, desempenho, modularidade e portabilidade). Códigos menores se tornam mais fáceis de manter e serem atualizados.

the more code you deploy the opportunity an attacker has
Passe o cursor sobre a imagem para ler a tradução

 Como mencionado no site do projeto embutils (que infelizmente não entrou para nossa lista), o userland dos Unix geralmente é composto de comandos dos BSDs e do projeto gnu. Na época que surgiram, as técnicas de desenvolvimento eram diferentes; os projetos focavam somente em recurso, mas não na otimização do tamanho.

Most of the typical Unix userland typically comes from either the GNU project or the BSD people. Those sources are ancient and optimized for features, not for small size, and now that computers are fast enough and have lots of RAM, implementations became larger and larger. Features like internationalization eat lots of memory and disk space.

Passe o cursor sobre a imagem para ler a tradução

 No episódio 06 do Linux Link Radio Rob Landley menciona que na época em que era mantenedor do BusyBox curiosamente descobriu que foram  escritas 833 linhas de código apenas para implementar o comando cat... E parece que não mudou muita coisa já que o gnu cat hoje ele possui 805 linhas... Outra coisa bem curiosa relatada por Rob é que, um simples código "hello World" linkado estaticamente à glibc, gera um binário de 400k.... Desenvolvedores de embarcados são declaradamente inimigos mortais da glibc.

 Para dispositivos como embarcados e até mesmo para o processo de boot, binários grandes são simplesmente inviáveis e parece não fazer sentido, mas mesmo em ambientes como desktop, servidores e até supercomputadores binários menores também são extremamente importantes pois assim o sistema consegue melhor desempenho em seus processos, é carregado mais rápido pela  cache L2, deixa o buffer mais livre.

 Há ressalvas a serem consideradas durante as avaliações como sua ligação se dinâmica ou estática, quais bibliotecas foram utilizadas, qual compilador e com quais flags e assim por diante. As ressalvas foram feitas em asteriscos (*).

sed implementations binaries size
Tamanho de cada implementação do comandos sed.

*Relembrando aqui que menor significa melhor
**Eu compilei o minised estaticamente a dietlibc.
***Consta no site do busybox que o busybox_SED possui 89K; porém, após baixar, seu tamanho final é de 92K (também likado estaticamente. Baixe aqui para conferir).
**** Eu compilei o sed do toybox dinamicamente para que pudéssemos saber o seu real tamanho.

 VENCEDOR: Neste caso eu deixo três colocados. O toybox sed em primeiro com apenas 36k; o minised em segundo com apenas 44k, e o sbase sed em terceiro com 56K.

minised and toybox sed size comparasion
Comparação de tamanhos entre minised linkado estaticamente e toybox sed linkado dinamicamente

 Você deve estar se perguntando se não seria injusto sendo que o toybox foi ligado dinamicamente enquanto quer o minised estaticamente. E a resposta é que o minised, mesmo ligado dinamicamente, é maior do que toybox sed. Confiram os resultados na imagem abaixo.

Size comparasion between minised statically and dinamikly linked
Comparação de tamanhos entre minised linkado tanto dinamicamente quanto estaticamente

 Além do mais, eu testei as versões binárias do toybox já disponibilizadas pelo próprio projeto que são linkadas estaticamente, e os comandos estão incorporados ao terminal (sendo um deles o sed). Mesmo contendo 231 comandos incorporados a si, o toybox  0.8.7 possui apenas 716K.

Reparem a quantidade de comandos dentro do toybox 0.8.7 em apenas 716k (sendo um deles, o comando sed que está selecionado nesta leu).
Reparem a quantidade de comandos dentro do toybox 0.8.7 em apenas 716k (sendo um deles, o comando sed que está selecionado nesta imagem).


RECURSOS

 É agora que constataremos se o tamanho dos binários fazem jus à quantidade de recursos. Reforçando o que foi dito no tópico anterior, quanto menor o binário, melhor é porém, não vai adiantar muito o binário ser pequeno e enxuto se não conter os recursos necessários para a sua adoção.

 Além do mais, esse é um ponto extremamente importante pois uma regra histórica que não falha é que, mesmo que um programa contenha certos bugs, mas possui os recursos que as pessoas querem (ou precisam), elas aceitam conviver com tais bugs. Tudo uma questão de prós e contras; além do que os bugs podem ser corrigidos ao longo do tempo (ou não, vai saber a complexidade).

 Podemos dizer que neste tópico o gnu-sed dispensa explicações pois um ponto forte das ferramentas do gnu (não por total mérito seu) mas que é mal divulgado pelo próprio projeto é exatamente a parte de recursos possuindo até mesmo extensões próprias. OK para o gnu-sed.

 No arquivo BUG do minised é descrito "Focarão nas conformidades POSIX e pequeno tamanho - extensões do GNU sed provavelmente não serão aceitas". O minised possui um diretório chamado tests que após compilá-lo, podemos executar o script run, conforme descrito em seu arquivo Makefile (cd tests; ./run ../minised) ou bastando executar o comando make check que se encarregará de fazer esse trabalho (realizando o total de 68 testes). Um dos testes falha (especificamente o empty-lhs), mas como descrito no próprio resultado, essa falha é intencional.

minised make check
Testes disponibilizados pelo próprio minised

 O toybox também disponibiliza seus próprios arquivos de teste também dentro do diretório tests. No total, ele realiza 91 testes com o toybox sed.

toybox sed test files
Teste disponibilizados pelo próprio toybox

 O toybox sed possui uma lista dentro do seu próprio código fonte com algumas pequenas pendências a serem ajustados como "fazer y// lidar com delimitadores unicode, lidar com retorno de erro a partir do emit(), error_msg/exit consistentemente", "Qual a coisa certa a se fazer com -i quando escrever as falhas? Skip ou next?". Eu considero uma lista baixa; lógico que prefiro ver estas questões sanadas, mas são consideráveis.


O Busybox sed também possui uma pequena lista comentada em seu código fonte de apenas três de pequenos detalhes a serem acertados. 

 Eu não encontrei algumas pendências tanto no sbase quanto no 9base e não foram ruim nos testes.

 VENCEDOR: Empate geral. Em todos os testes que eu realizei, todas as implementações conseguiram processar com sucesso.


DESCRIÇÃO DE AJUDA

 Descrições de ajuda (--help e manpages) assim como as licenças, parecem ser irrelevantes, porém pense no seguinte cenário; você está administrando o seu sistema, precisa consultar uma opção e sabe que tal comando não possui opção de ajuda. Até aí, tudo bem, basta consultar a manpage... Certo?...

 A resposta é... depende de qual distribuição estamos falando. Distribuições como Alpine Linux ou Porteus não possuem manpages por padrão. E se de repente você não possui acesso a internet? O que você faz?...

 Do que adiante um programa conter todos os recursos necessários sendo que não vem com as informações de como utilizá-los? Seria o mesmo que uma TV não acompanhar manual de instruções. Alias, eu já vi empresas adotarem uma certa distribuição devido a facilidade em encontrar informações e soluções de problemas. Então, por mais que pareça algo irrelevante, descrições de ajuda é algo extremamente importante.

 E aqui vamos nós para a nossa analise. O minised, apesar de possuir uma boa manpage, não possui a opção --help por padrão. Eu acredito que poderia possuir ao menos uma leve descrição assim no sbase e no 9base. Ou melhor, assim como o busybox_SED; enxuta e explicativa.

minised and sbase sed help
Descrição de ajuda do minised e do sbase sed

Me lembra muito a descrição no Solaris
Me lembra muito a descrição no Solaris

busybox sed --help
descrição de ajuda do busybox sed

 O gnu-sed e o toybox sed são os que melhores implementam tais descrições. Aqui eu postei apenas uma porção de toda a descrição de ambos.


gnu sed options
Descrição de ajuda do gnu-sed

toybox sed options
Descrição de ajuda do toybox sed


[27/11/2023] Estranhamente na versão 0.8.10 do toybox, a opção --help ficou bem limitada assim como da implementação do sbase e do Solaris. Porém, como já mostrado tanto aqui no blog quanto no canal, o toybox possui a opção help seguido do comando. Então, digitando toybox help sed, o comando sed do toybox oferece opções muito mais completa.

toybox help sed
opção help do terminal de comandos toybox


VENCEDOR: Empate entre o toybox sed e o gnu-sed


POSSÍVEIS BUGS

 Já que falamos de recursos, agora vamos tratar de... bugs. O que é uma parte um pouco complicada de se tratar já que difícil constatar a real quantidade de bugs de um programa. Como todos sabem, há relatos de bugs que só foram encontrados mais uma década após sua existência. O bug estava lá mas só foi detectado dois de tanto tempo.

 Então, o que podemos fazer aqui é relatar os que já estão reportados em bug reports, procurar por informações em man pages, comentários dentro dos códigos, informações nos arquivos README e BUGS ou... da forma mais árdua, testando mesmo assim como já mostrei alguns que reportei e podem ser conferidos no meu canal clicando aqui. O que alias não é o meu interesse.

 Por exemplo, no arquivo BUGS do minised é descrito como não havendo a necessidade de regressão até o momento; porém, como puderam acompanhar no inicio, vale ressaltar que sua base de código é bem pequena (o que é muito vantajoso). Apesar disso, eu encontrei apenas dois comentários de FIXME nos códigos sedcomp.c e sedexec.c (/* FIXME: scan for the brace end */ e /* FIXME: lastep becomes start */).

 O mesmo ocorre no toybox sed (tendo sua base de código ainda menor que do minised). A primeira versão do sed no toybox surgiu na versão 0.5.1 (em Novembro de 2014). De lá para cá, poucos bugs foram encontrados (total de 11 bugs encontrados e corrigidos desde então. Um deles pode ser conferido clicando aqui) e poucos deles eram críticos. O minised teve 12 correções desde a versão 1.3 que podem ser lidos em seu README.

 E que comece o choro e ranger de dentes. O gnu-sed é o que mais podemos encontrar bugs. Em seu próprio git (clicando aqui) ou podem ser conferidos no Debian Bugs clicando aqui apresentam uma lista de bugs conhecidos.

 Já o Busybox_SED possui apenas duas informações de FIXME em seu código mas é possível consultar bugs em seu próprio bug reports clicando aqui.

 No código do sbase sed existem 20 comentários com o dizer FIXME. Estes comentários descrevem correcções que ainda são necessárias. Foi difícil encontrar algo relacionado ao 9base sed, há sim correções ocorrendo e podem ser conferidas no próprio git do plan9port (clicando aqui), mas não é uma lista fácil de encontrar (muito menos especificamente de seu sed).

 VENCEDOR:  Com excessão do gnu-sed, todos os demais apresentaram baixa quantidade de bugs.


DESEMPENHO

 E por fim, a parte que a galera vai para delírio: benchmarks... Parece que a galera pira com essa palavra. Aqui eu considerei analisar tanto o uso de CPU quanto o tempo para a concluir as operações. E obtivemos os seguintes resultados:


 Estranhamente tanto o gnu-sed, o sbase sed, o 9base sed e o busybox_SED se comportam da mesma forma. eles sempre se mantêm na margem de 86-89% de uso de CPU, nunca a menos nem a mais do que isso. Mas não devemos analisar unicamente o uso de CPU pois, de certo forma, isso pode significar tanto algo bom quanto algo ruim; tudo vai depender muito da situação.

 Reparem um exemplo disso na imagem abaixo onde fiz uma analise entre o minised e o gnu-sed sendo eles separados pela faixa azul. Enquanto o gnu-sed manteve o uso de 89% de CPU, o minised desta vez fez uso de 106%. Apesar do uso de CPU do minised ter sido mais alto, o mimised concluiu sua operação em 120ms enquanto que o gnu-sed concluiu a mesma operação em 284ms.

minised and GNU sed comparasion.
Comparação de uso de CPU e tempo de conclusão entre minised e gnu-sed

 Para que o gnu-sed, sbase sed, 9base sed e o busybox_SED consigam concluir as operações no mesmo tempo que o minised, seria necessário que utilizassem entre 136,17% a 161,87% a mais de CPU além dos 89% já utilizado. O que totalizaria entre 225,17% a 250,87% de uso de CPU.

 VENCEDOR: Empate entre o minised (utilizando entre 61% - 76% de CPU porém, com menor tempo de execução) e toybox sed (utilizando entre 50% - 76% de CPU, algumas vezes atingindo 88%). Os demais ficam entre 86% a 89% de uso de CPU e o mesmo tempo de execução.


CONCLUSÃO

 O primeiro lugar fica para o toybox sed com 6 pontos. O minised em segundo com 5 pontos perdendo apenas na descrição de ajuda apesar que possui uma boa manpage. Então poderíamos declarar empate entre os dois já que o minised possui desempenho melhor do que o toybox sed.

 O segundo lugar ficaria empatado entre o busybox_SED com quatro ponto (tamanho, recursos, descrição de ajuda e poucos bugs) e o sbase sed (licença, tamanho, recursos e poucos bugs). O 9base sed teve três pontos (licença, recursos e bugs) e o gnu-sed apenas dois pontos (recursos e descrição de ajuda).

sed implementations analise conclusion
Conclusão da analise das implementações do sed

Existem outras implementações ou comandos semelhantes como é o caso do comando sd , mas não nos interessa para este artigo.

sd é um comando que pode substituir find, sed e awk.
sd é um comando que pode substituir find, sed e awk.

Marcadores

A pior história sobre Linux que já ouvi (6) A.I (2) ambiente gráfico (19) AMD (14) analise (10) Andriod (17) android (9) Apple (1) arm (5) artigo (5) aws (1) bc (24) benchmark (6) BetrFS (1) biglinux (1) blackhat (1) BSDs (36) btrfs (32) bugs (2) Caixa de Ferramentas do UNIX (18) canonical (1) canto do Diego Lins (2) certificações Linux (7) Código Fonte (53) comandos (34) comp (1) compressores (9) consoles (1) container (8) CPU (20) cracker (1) criptografia (5) crowdfunding (9) cursos (24) daemons (14) Debian (31) desempenho (2) desenvolvimento (105) desktop (19) DevOps (3) DevSecOps (4) dic (1) Dica de leitura (91) dica DLins (2) dicas do Flávio (27) Dicas TechWarn (1) diet libc (4) diocast (1) dioliunx (3) distribuições Linux (15) Docker (13) DragonflyBSD (24) driver (2) dropbear (3) ead Diolinux (2) edição de vídeo (5) embarcados (1) EMMI Linux (4) emuladores (9) endless (5) English interview (3) Enless OS (2) entrevista (17) espaço aberto (82) evento (6) facebook (1) Fedora (11) filesystem (82) financiamento coletivo (2) fork (4) fox n forests (4) FreeBSD (23) Funtoo Linux (13) games (96) garbage collector (1) gerenciadores de pacotes (4) glaucus (8) GOG (3) google (9) gpu (4) hacker (2) hardware (104) hash (1) helenos (3) I.A (1) init system (13) Intel (16) inteligencia artificial (2) IoT (1) ispconfig (1) jogos (40) kde (1) kernel (144) lançamento (64) leis (1) LFCS (1) libs (2) licenças (10) Linus (16) linus torvalds (2) Linux (196) linux foundation (3) linux para leigos (1) live (4) lkgr (1) LPI (8) LTS (1) Mac (1) machine learning (1) matemática (9) mesa redonda (27) microcontroladores (1) microsoft (6) microst (1) muito além do GNU (183) musl (3) não viva de boatos (9) navegadores (5) NetBSD (7) newlib (1) nim (13) nimlang (5) nintendo (2) novatec (17) novidades (1) nuvem (1) o meu ambiente de trabalho (3) off-topic (12) ONLYOFFICE (5) open source (85) OpenBSD (8) OpenShift (1) oracle (1) os vários sabores de Linux (46) padrim (2) palestras e eventos (5) partições (6) pentest (8) performance (1) pipewire (1) plan9 (3) playstation (1) processadores (30) professor Augusto Manzano (11) Programação (72) promoção (1) propagandas com Linux (8) ps4 (1) real-time. (1) Red Hat (23) redes (4) resenha nerd (5) Resumo da Semana do Dlins (2) resumo do Tux (19) retrospectiva Linux (1) risc-V (14) RISCV (13) rtos (2) runlevel (2) rust (16) Sega (1) Sega Saturn (1) segurança digital (29) servidor web (2) servidores (3) shell (13) shell script (10) sistema operacional (26) skarnet (2) smartphones (3) Software livre e de código aberto (150) sorteio (3) Steam (11) Steam no Linux (9) supercomputadores (4) suse (7) systemd (9) terminal (91) terminal de comandos (22) toca do tux (1) toybox (32) tutorial (6) Tux (3) ubuntu (1) unboxing (7) UNIX (17) UNIX Toolbox (13) vartroy (1) vga (1) virtualização (3) vulnerabilidade (8) wayland (5) web (1) whatsapp (1) whitehat (1) Windows Subsystem for Linux (2) wine (14) WoT (1) yash (1) ZFS (16) zsh (3)