Esta é uma noticia um pouco tardia, mas depois de um bom tempo, Felix von Leitner que é o criador da dietlibc e de muitos outros programas, parece estar de volta a ativa. No final do ano passado, Felix lançou novas versões das bibliotecas dietlibc e da libowfat.
dietlibc é uma biblioteca do Linux otimizada para tamanho que pode ser utilizada criar binários pequenos estaticamente lincados para as arquiteturas alpha, arm, ia64, mips, mipsel, ppc, parisc, s390, sparc e x86. Já a libowfat é uma reimplementação da biblioteca libdjb que fornece interfaces de Daniel Bernstein ( com algumas extensões).
A ultima versão da dietlibc havia sido lançada em 2013 e da libowfat em 2016 (o que não é tão tarde). No final do ano passado, Felix lançou a versão 0.34 de ambas as bibliotecas.
Estas bibliotecas, mesmo que antigas, em versão beta e terem ficado um bom tempo sem atualização (nesse ultimo caso, me refiro a dietlibc) são muito importantes devido aos seus recursos estando ainda disponíveis em vários repositórios de muitas distribuições e até mesmo sendo utilizada em programas atuais. Confiram o vídeo abaixo sobre a ditelibc e vejam como tal biblioteca é interessante:
Houveram muitas mudanças e melhorias nessa nova versão da dietlibc como a adição de novos recursos, de seguraça, correções de bugs:
Já na libowfat foram poucas e mais simples de relatar aqui como remoção de warnings do OpenBSD por informarem não ser mais necessário, moveram os headers para <libowfat/> no install, correção no fix fmt_ip6 feita por Erwin Hoffmann, adição de suporte a MSG_ZEROCOPY [somente utilizado para buffers menores que 8k (>8k)], uso de writev em buffer_put para uma leve melhoria no perf, adição da experimental da API iom para multithreaded I/O multiplexing (em io.h)
Eu decidi baixar a nova versão e testar a dietlibc compilando novamente o embutils assim como já havia feito no vídeo "Dando uma olhada no embutils" que é um pacote com conjunto de comandos que já utilizamos diariamente como ls, cp, dd e muito mais. Esse pode ser um substituto para o core utils do GNU apresentando tamanhos muito enxutos mesmo linkados estaticamente (conforme a dietlibc promete ser). O comando ls do embutils por exemplo tem 20k linkado estaticamente enquanto que o ls do core utils tem 128k linkado dinamicamente. Simplesmente surpreendente.
Caso queira saber como compilei o embutils utilizando a dietlibc, confira o vídeo abaixo:
Durante o processo de compilação houve alguns warnings, mas nada assustador.
Testei o dd do embutils (que é um comando do GNU que eu gosto muito e podemos dizer que no Linux tem) gerando um arquivo vazio e depois criando mais swap com o mkswap do toybox (lembrando que mkswap não é um comando do GNU, e sim do próprio Linux fazendo parte do pacote Util-Linux mantido por karel Zak da Red Hat, mas quis testar o mkswap do toybox também).
comando dd no embutils compilado com a dietlibc 0.34
Um cara chamado Gabriel Ravie (que também é contribuidor da musl) entrou em contato com a equipe da dietlibc para que pudesse reportar bugs relacionados ao suporte à unidade de ponto flutuante. Houveram respostas de membros do projeto e até mesmo do Felix informando que o suporte a ponto flutuante na dietlibc infelizmente é na melhor das hipóteses, incompleto.
"Eu escrevi um códigos de formatação de "segure a minha cerveja" uns dez anos atrás que falha com mais frequencia do que funciona. Eu amaria ter um patch de alguém que saiba o que está fazenda." Disse Felix
O interesse de Gabriel Ravie é em sua maior parte, academico e em seu projeto pessoal chamado Yalict (e que pode ser conferido clicando aqui). A partir daí, Gabriel Ravie trabalhou em 8 patches com correções de bugs e adição de novos recursos a dietlibc. O assunto aqui talvez seja um pouco técnico demais para usuários comuns mas não quero deixar de relatar. Como sempre alguém pode aparecer aqui e dizer:
Mas em que isso é importante para o usuário final?
Parece que este argumento virou moda na boca dos usuários de Linux ao longo dos anos. PRIMEIRO que geralmente as informações aqui do meu blog e do meu canal não tem como foco ser voltados a usuário final, outros já fazem isso. SEGUNDO... está descrito que este artigo é para usuário final? E TERCEIRO e mais importante é que nada do que está escrito aqui é importante para um usuário final; porém sem tais recursos, o usuário final acaba não tendo a aplicação que ele utiliza. Exemplo disso; o que é importa para o usuário final saber que o ntfsv3 não possui suporte a shared-write mmap? Nada, mas sem o shared-write mmap no ntfsv3, o usuário final não consegue rodar a Steam.... Agora então vamos as novidades da dietlibc.
Seis desses patches s'ao voltado a correções de erros do printf (relacionados a formatação de valores mínimos de tipos restritos, ao printf("%.10000000d", 1) retornar valor como 10000000) e do scanf permitindo que armazene de tamanho de ponteiros corretamente. Outros dois corrigem flags que são ignoradas pela dietlibc como 0 retornando valores errados.
Além de correções, Gabriel Ravier também adicionou novos recursos para realizar conversão (que não vou entrar em detalhes) à dietlibc como %t ao printf e suporte %j, %z%t ao scanf. Além destes recursos, há também uma implementação de suporte inicial à %c. e a função wcsncmp para realizar comparação de caracteres. Agora é aguardar que seja lançada uma nova versão da dietlibc com tais melhorias.
Se não fossem ideologias e filosofias desnecessárias nas comunidade, dietlibc deveria ter sido ao longo dos anos a biblioteca sucessora da glibc nas distribuições Linux e não terem criado um fork (sim, a libc6 nas distribuições Linux é na verdade um fork da glibc e não a glibc em si, que inclusive já morreu). Por conta disso, a biblioteca recebeu menos atenção que merecida e muitos recursos levam muito tempo para aparecer. Mas como sempre, nunca sabemos sobre o futuro.
Finalmente, depois de seis anos, foi lança a versão 0.35 da biblioteca dietlibc que é muito abordada tanto aqui no blog quanto no canal. Por mais que não seja popularmente conhecida, essa é uma biblioteca fortemente utilizada em vários ambientes, especialmente em embarcados assim também como a Newlib.
Eu já realizei testes de binários linkados à dietlibc (como o embutils que é um pacote parecido com o coreutils, minised, runit e muitos outros) e os resultados são surpreendentes. Por esse motivo eu torço para que a dietlibc continue recebendo cada vez mais atenção de várias grupos. A versão 0.34 da dietlibc havia sido lançada em 2018 porém, no últimos dois anos, alguns grupos vem enviando tanto patches quanto testes para a biblioteca.
No dia 5 de Janeiro de 2023 por exemplo, Gabriel Ravier enviou um patch com algumas correções no retorno de valores do recurso wcs{,n}cmp (para near-limits assinado com valores wchar_t) correções em seu comportamento e correções que evitam overfalow. Mas esta não foi a sua única contribuição; Gabriel fez o total de dez contribuições corrigindo várias falhas (especialmente do printf), adicionando melhor segurança, definindo valores e adicionando novos recursos (um deles no scanf).
Já no dia 13 de Janeiro do mesmo ano, Jai Arora, Abhishek Rose, Shubhani Gupta e Sorav Bansal da empresa indiana CompilerAI Research GroupIIT reportaram uma série de bugs em funções da dietlibc. A empresa foi tão organizada que disponibilizou códigos fonte em seu próprio repositório no Githube quais flags foram utilizadas durante o processo de compilação para que os bugs possam ser reproduzidos, analisados e assim futuramente corrigidos. Acredito que boa parte possa ter sido corrigido nessa nova versão.
Bessel e ARM na dietlibc
Ficamos um bom tempo sem noticias até que Larry Doolittle, que participa também do desenvolvimento do TinyCC, enviou no final do ano passado dois patches; um com apenas nove linhas e outro com mais sete, para que sejam utilizados nos sub-testes runtests.sh e funcionarem melhor. Sem eles, há certos bugs que fazem com que o shell reclame que cada arquivo dentro de test/*/runtests.sh não seja executado. Outro trabalho que Larry está atuando é na função de Bessel que aponta das versões 12 e 13 do GCC.
"Eu sei algo sobre funções de Bessel, então isso despertou meu interesse e comecei a me aprofundar. Eu aprendi duas coisas principais: bessel.c inclui uma seção escrita somente para x86 e não possui nenhum banco de testes."
Larry criou um tarball de 8 kbyte e postou em seu site pessoal contendo implementações de código de pesquisa bessel.c reescritos de forma simples e portável. O arquivos pode ser baixado em:
Bessel function test with sizeof(double) == 8 and sizeof(long double) == 8
in 176: J max errors 0.0000000000456691 0.00000000007 0.00000000008 0.0000000009
in 175: Y max errors 0.00000000014 0.00000000023 0.000000005 0.000000084
max |J| at known zeros 0.00000000002 0.0000016 0.0000011
max |Y| at known zeros 0.00000000087 0.0000011 0.0000007
Y_0 at first zero 0.00000000327
Hankel modulus-squared max error 0.00000000139
FAIL
O novo banco de testes é quatro vezes maior e Larry trabalha para concluir a documentação antes de submeter o patch. E por ultimo, Larry reportou um problema que ocorre na dietlibc com a arquitetura ARM quando utilizadas algumas flags. Não se trata de um problema exclusivo na arquitetura ARM, esses erros ocorrem em muitas arquiteturas, menos em x86_64 e x32.
"DEFAULTCFLAGS e seu -nostdinc também é problemático para construir json em qualquer arquitetura exceto em x86_64 and x32... ...gamma.h sofre da mesma codificação específica 387 assim como bessel.c. ... ... Tentar consrtuir código de usuário utilizando quaisquer funções matemática falha, faltando coisas como sin cos exp log, que são definidas em assembly em x86_64 e i386. ..."
Estes são alguns trechos que eu traduzi e que notei que o grande problema é que estes recursos não foram portados para outras arquiteturas. Agora é esperar que as comunidades trabalhem nos problemas. Reports já temos.
More working around optimiser bugs (04/07/2024)
Thorsten Glaser da Evolvis informou que a dietlibc entra em um loop interminável na arquitetura arm64 devido o GCC otimizar a implementação da chamada strlen. Uma solução sugerida por Thorsten foi adicionar a opção -ffreestanding na variável DEFAULTCFLAGS (e IMHO bootloaders, kernels e libcs também precisam ser construídas com essa opção) que corrige esse problema.
Eu baixei e testei a nova versão da dietlibc compilando tanto em embutils, quanto o minised e o runit e todos foram bem sucedidos; não houve incompatibilidade com a nova versão.
Depois do lançamento da versão 0.35 no dia 7 de Novembro do ano passado (3 dias após o lançamento da versão 0.35), a dietlibc recebeu mais três patches e um git request enviados por Friedrich Beckmann que trabalha no provedor de e-mail alemão posteo.de.
Os dois primeiros patches estão relacionados a arquitetura aarch64. O primeiro trabalhando com o símbolo __clone que é necessário para pthread_internal.c e solucionar o problema que Friedrich notou ao tentar construir gatling no Raspberry Pi linkando-o ao t.c da libowfat; o que acabou reportando missing symbol __clone required pela dietlibc libpthread. O segundo já relacionado ao símbolo __getauxval da libgcc também necessário para aarch64.
Durante a live sobre o minit init system, uma coisa chamou a atenção e chocou os inscritos, o tamanho final dos binários pois são assustadoramente muito pequenos ao ponto que pediram para verificar as dependências dos programas; ou seja, as bibliotecas dinâmicas. A questão é que mesmo sendo tão pequeno, o minit faz uso de biblioteca de forma estática (o que chega a ser mais assustador ainda)
Sequencia de comandos "du", "ls" e "ldd" no diretório minittest para conferir o tamanho total, o que há no diretório e se os binários são linkados dinâmica ou estaticamente.
Confesso que também fiquei chocado a primeira vez que vi isso coisa de cinco anos atras. Chegava a ser mentalmente inaceitável ver um binário tão pequeno e ter a biblioteca lincada estaticamente ao binário. Talvez você se pergunte o porque e vamos para o arrebento na explicação. Matéria de certificações LPI e LFCS:
O que biblioteca dinâmica e o que é biblioteca estática?
Quais as vantagens e desvantagens de ambas?
Assunto já tratado aqui no blog, mas vamos lá
Resposta para a pergunta #1
Biblioteca dinâmica trata-se de programas que dependem de bibliotecas externas que no Linux geralmente as encontramos em diretórios como /lib. no Windows é o que chamamos de DLLs. Portanto, para tal programa funcionar, ele precisará carregar essas bibliotecas e se não forem encontradas, o programa não será executado. A imagem abaixo mostra de quais bibliotecas os Bash depende para estar em funcionamento.
Dependências do Bash
Já o termo biblioteca estática referem-se a programas que não dependem de bibliotecas para funcionar. Porque? Simples, a/s biblioteca/s já está/ão incorporada/s ao programas e por isso vemos a seguinte mensagem com o comando ldd.
Depenicas do minit
Resposta para a pergunta #2
Vantagem de programas lincados estaticamente as bibliotecas: Proporciona melhor desempenho por não precisar ficar realizando requisições a bibliotecas e proporciona maior segurança ao programa.
Desvantagem: O programa fica maior ocupando maior espaço em dispositivo de armazenamento e de memória quando em execução já que tudo é incorporado a um binário só.
Bom, se essas são as vantagens e desvantagens das ligações estáticas, as dinâmicas se tornam o inverso, mas se tornam uma solução também para reduzir consumo de hardware.
Nesse aspecto, a dietlibc e musl proporcionam o melhor dos dois mundos nos dando o permitindo usufruir dos benefícios de programas lincados estaticamente com o tamanho dos lincados dinamicamente.
Tabela comparativa de recursos e tamanhos entre musl, uClibc, dietlibc e glibc
Tamanho final com cada biblioteca.
Foi de onde surgiu a ideia da serie "Muito além do GNU", pois percebi que não usamos Linux com o máximo que ele tem a oferecer, com o seu real potencial, com o seu real poder de fogo (digamos que ainda nem despertamos o sétimo sentido do Linux com armadura de ouro) e deixamos de usufruir de todos esse benefícios em prol a uma paixão.
O bem da verdade é que não sabemos o real potencial do Linux; utilizamos do jeito que está, ficamos satisfeitos e paramos pro aí mesmo (o que não há nada de errado, mas acabamos pro limitar o que podemos fazer).
Vivemos em uma nova época, um novo período onde muitas mudanças benéficas ocorreram e muitas outras ocorrem ou estão ocorrendo no Linux. Essas mudanças beneficiam os desenvolvedores, os sysadmins, os usuários finais, os projetos, comunidades e os ambientes corporativos. Se já estava bom da forma que o utilizamos antes disso tudo, imaginem hoje.
Continuando a série Muito Além do GNU
e agora com uma biblioteca muito poderosa que é a dietlibc. Seu uso
poderia ser bem maior do que o atual desde que já apresenta grandes
casos de sucesso.
Confiram o vídeo para saber mais sobre a biblioteca:
O FreeBSD 16 ainda não foi lançado (previsto para Dezembro de 2027), mas vários sites como FOSS Force, FOSSLinux, Slashdot e Phoronix veem publicando desde o dia 14 de Julho que o FreeBSD 16 conta com um dos seus principais destaques, ter removido completamente todo código fonte que seja regido sob a licença GPL da base do sistema operacional. No dia 21 de Fevereiro foi aberto o ticket D55424 intitulado "Retire dialog" que descreve:
"Esse é o ultimo restante de software GPL na base do sistema. O instalador fez transição para o bsddialog quatro anos atrás e o ultimo consumidor de dialog restante, o dpv, foi desligado mais de dois anos atrás. Aposentem o dpv, libdpv, libfigpar (utilizado apenas pelo dpv), e o próprio dialog."
"Com o diff e cdialog do GNU removidos, isso agora é apenas uma casca vazia."
Com esse commit, foi concluída a remoção completa da subtree do GNU da arvore de código fonte do FreeBSD (inclusive até das notas do arquivo README) tendo todos eles entrado para obsoletefiles.inc.
bsddialog
A equipe do FreeBSD vem fazendo este pesado trabalho ao longo de um bom tempo. Duas soluções que o FreeBSD adotou eu já apresentei aqui no meu blog, sendo elas o comando bc de autoria de Gavin Howard e que é utilizado também no Android como dependencia para compilar seu kernel (e que já reportei um bug) e o pacote libarchive que contem comandos como tar, minitar, cpio e unzip.
Migrar para alternativas sob outras licenças open-source ou remover todo código sob alguma GPL se tornou um processo natural, coisa tal que já foi feito no próprio Android há muito tempo. Nas notas de rodapé do about do toybox é descrito:
"Desde que o Android não era "GNU/Linux" de jeito nenhum, nós precisávamos limpar todos os vestígios de software gnu de sua compilação para obter um sistema auto-suficiente limpo."
Como mostro no artigo É possível que um dia Linux saia da GPL? a popularidade da GPL vem caindo cada vez mais desde de 2007 tanto para novos projetos quanto para projetos já consolidados que migraram para outras licenças. No próprio Android explicitamente se desencoraja o uso das licenças GPL e LGPL em seus produtos e gradativamente reimplementaram componentes (como sua pilha bluetooth) que estavam sob tais licenças por outros sob licença Apache (sim para quem não acreditam, o Android é uma distribuição Linux open-source). O Android ainda carrega a política de não conter nada sob GPL em seu user space; apenas em seu kernel space utiliza GPL já que que se trata do kernel linux vanilla onde não removem e nem modificam nada do kernel, apenas adicionando o que necessitam.
Já a Apple congelou o Xcode nas últimas versões do GPLv2 (GCC 4.2.1 com binutils 2.17) por mais de 5 anos enquanto patrocinava o desenvolvimento de novos projetos (clang/llvm/lld) para substituí-los, implementou um novo servidor SMB do zero para substituir o Samba, substituiu o bash pelo zsh e assim fez com toda a sua pilha de programas da base do MacOS X.
Existem até projetos que mesmo que continuem utilizando GPL em seus projetos, acabam deixando notas autorizando o uso e a promessa de não processar os usuários. Veja como exemplo a FAQ da dietlibc:
"Q: GPL é ruim! Agora eu não posso compilar meus programas BSD com a diet libc!
A: Errado. você pode compilá-los e utilizá-los. Você só não pode redistribuir os binários. Dito isso: Eu não vou processar ninguém por distribuir binários de programas BSD linkados à dietlibc, contanto que o código fonte esteja disponível em algum lugar público."
A própria Linux Foundation fundou a SPDX (System Package Data EXchange: ISO/IEC 5962:2021) para que, de forma simples de explicar, proteger legalmente os projetos evitando que eles tenham conflitos entre as licenças open-source. O toybox por exemplo, sendo regido sob a clausula zero BSD (0BSD) possui um identificador da SPDX que te direciona ao site oficial BSD Zero Clause License | Software Package Data Exchange (SPDX).
Ainda é possível utilizar software licenciado sob GPL no FreeBSD através de instalação separada (o que é algo que ocorre também no Android).
Como eu já disse no passado:
Nem todas as ferramentas que utilizamos nas distribuições Linux são do projeto GNU como alegam. A maioria são do próprio Linux* ou de outros Unix.
As ferramentas do GNU são substituíveis.
Nem toda ferramenta que o projeto GNU alega ser deles é deles de fato.
A maioria do código das ferramentas do projeto GNU é desenvolvido por outros projetos (incluindo o próprio Linux) e outras empresas, menos pelo próprio projeto GNU (foram quando não dão créditos as pessoas).
*Pois é, mentiram para você esse tempo todo alegando que Linux é somente o kernel do sistema operacional.
A farsa por trás do termo "Linux é somente o kernel": A verdade que não te contam sobre isso
Por quase três décadas vem sendo propagado aos quatro cantos do mundo a vaga informação:
"O nome do sistema operacional não é Linux, Linux é somente o kernel do sistema operacional e somente com o kernel você não faz nada. As ferramentas do sistema operacional são do projeto GNU. Então, o nome correto é GNU/Linux."
Ou postam em todos os lugares o estafante texto de autoria de Ricahrd Stallman:
"...Eu gostaria intervir por um momento. O que você está se referindo como Linux, é de fato, GNU/Linux, ou como eu recentemente passei a chamar, GNU mais Linux. Linux não é um sistema operacional em si..." ... "....Linux é o kernel: O programa no sistema que aloca recursos da máquina para outros programas que você executa. O kernel é uma parte essencial de um sistema operacional, mas inútil por si só..."
Agora a moda da vez é dizer "GNU com ou sem Linux"... Patéticos... Estranho é que eu percebi que passaram a utilizar este argumento depois que mencionei no meu vídeo Linux ou GNU/Linux? Eis a questão que "no meu canal eu trato de Linux com ou sem GNU". Simplesmente pegaram a mesma frase inverteram, mas eu duvido que eles vivam sem Linux:
Eu até poderia escrever pelo menos mais dois ou três artigos debatendo ponto por ponto desta frase, mas o meu foco aqui será unicamente no trecho "Linux é apenas o kernel". Então, bora!
Linux: mais do que o kernel do sistema operacional
Linux surgiu como um pequeno e singelo kernel, com apenas um conjunto de drivers que Linus portou de seu emulador de terminal que havia desenvolvido como aprendizado, o suporte a hardware era limitado, travava quando atingia o limite máximo de memória e estes são apenas alguns dos problemas que Linux enfrentava. No final da descrição da licença do kernel 0.01 (que nesta ocasião ainda era regido sob a licença da convenção de Berna do século XIX) o próprio Linus Torvalds afirmou na época que:
"Infelizmente, um kernel por si só não te leva a lugar algum. Para se ter um sistema funcional você precisa de um shell, compiladores, uma biblioteca e etc. Essas são partes separadas e muitas estão sob uma licença rigorosa (ou mesmo mais flexível). A maioria das ferramentas utilizadas com Linux são software do GNU e estão sob a GNU copyleft."
Não somente em sua licença como também no arquivo README Linux—a free unix-386 kernel, especificamente em Coisas faltando/incompletas no Linux (Things missing/incomplete in Linux) é descrito que:
"Nenhum dos importantes comandos de administração do sistema ainda foram escritos para Linux. Estes incluem coisas como mkfs, format, fsck, mknod e etc. Alguns destes precisam de recursos do kernel ainda não implementados (format, mknod), alguns precisam apenas serem escritos. Assim como a biblioteca, eu aceitaria quaisquer arquivos distribuíveis livremente."
Se o desenvolvimento do Linux tivesse parado por aqui, estaria correto afirmar que Linux era apenas um kernel, mas este argumento foi válido somente até a versão 0.10, pois a partir do kernel 0.11, lançado no dia 19 de Dezembro de 1991 (apenas quatro meses após seu nascimento), surgiram os primeiros comandos do Linux fidsk, mkfs e fsck desenvolvidos pelo próprio Linus Torvalds para tornar Linux self-hosting já que acidentalmente Linus havia discado a partição do Minix ao invés de seu modem destruindo completamente a partição do Minix:
Menos de um mês depois, foi lançado o kernel 0.12 com mais comandos como o mkswap, pois nesta versão originou-se o suporte a memória virtual no Linux, também chamado paginação de disco ou paginação de memória (Memory paging ou disc paging em inglês). A ideia surgiu quando um alemão contatou Linus perguntando como utilizar o GCC no Linux já que ele possuía apenas 2MB de RAM e era a exata quantidade exigida para executar o GCC. Foi aí que durante três dias Linus trabalhou no desenvolvimento da paginação de disco, vindo a concluí-la no dia 25 de Dezembro de 1991. Isso foi uma revolução no Linux pois não era um qualquer sistema operacional possuía suporte a memória virtual. Daí em diante as pessoas pararam de comparar Linux ao Minix e passaram a compará-lo ao Coherenlt que foi o primeiro clone do Unix na história:
A maioria dos comandos desenvolvidos por Linus Torvalds ainda estão presentes nas distribuições e também deram origem a outros pacotes como o util-Linux, o e2fsprogs e o busybox. Hoje em dia, a maioria dos comandos nas distribuições são do próprio Linux:
A partir da versão 0.11 Linux passou de um simples, pequeno e inacabado kernel a um kernel self-hosting contendo os recursos e comandos necessários para a sua administração do sistema, quebrando assim o ciclo do README do kernel 0.01. Mas a comunidade Linux não parou por aí e vocês verão a seguir como a partir destes recursos, a comunidade Linux o evoluiu para um sistema operacional.
Fato curioso é que Linus havia perdido interesse em continuar o desenvolvimento do Linux até ocorrer o acidente com o Minix. Já pensou se isso não tivesse acontecido ?
Só com um kernel e as ferramentas do projeto GNU, você não consegue fazer porcaria nenhuma já que o GNU não possui metade das ferramentas necessárias para se ter um sistema operacional.
A evolução do Linux
Surgiu então a primeira comunidade Linux composta por membros da comunidade Minix. Hoje a comunidade Linux é composta por indivíduos, organizações, instituições governamentais, acadêmicas e empresariais do mundo todo.
Sua gigantesca comunidade não o limitou a simplesmente um kernel com comandos e passou a transforma-lo em um verdadeiro sistema operacional desenvolvendo todos os tipos de recursos necessários para isso além de portar ferramentas de outros Unix para Linux (sim, Linux também é um Unix. Aliás, Linux é mais do que um Unix)e receber suporte de outros projetos como é o caso do comando file (que eu não faço ideia de onde o projeto GNU tirou que pertence a eles) e o Shadow. Exemplos de pacotes e comandos do próprio Linux são o at, o Batch (que é uma parte do at), o Linux PAM, o Procps, o Psmisc, o Util-linux, e2fsprogs, iproute2, kmod. De bibliotecas facilmente temos a uclibc, a dietlibc, a musl, newlib e klibc. Existe uma lista enorme somente de bibliotecas C mas poderíamos contar até com mais em outras linguagens. Já mostrei aqui três compiladores além do GCC que compilam o kernel Linux como o tinyCC, o ICC da Intel e o LLVM. Na parte de init systems (BSD, SysVinit, upstart, systemd e etc) também temos uma lista enorme e de carregadores de boot temos outros também. Confiram mais em /pub/linux/utils/ e pub/linux/.
Já se passaram 34 anos e muita coisa mudou desde o seu primeiro lançamento. E de tudo o que foi mencionado aqui, sabe o que pertence ao GNU? Nada! Tudo no Linux é uma questão de escolha; opções não faltam.
Kernel: A alma do sistema operacional
Se lembram da frase "Algumas destas (ferramemtas) precisam de recursos do kernel" no README lá no início do artigo? Pois é, três coisas podemos mencionar aqui que ocorrem a medida que novos recursos ganham vida no kernel. A primeira é o desenvolvimento de ferramentas para a administração exatamente de recursos do kernel como exemplos os comandos do iproute2 (arpd, bridge, ctstat, devlink, ip, lnstat, nstat, rdma, routef, routel, rtacct, rtmon, rtstat, ss, tc e tipc) para administrar o framework de sub-sistema de redes do Linux; o iptables e nftables para administrar o framework de filtro de pacotes netfilter; os comandos do e2fsprogs (lsattr, chattr, fuse2fs, badblocks, dumpe2fs, e2freefrag, e2fsck, e2image, e2label, e2mmpstatus, e2undo, e4crypt, e4defrag, filefrag, fsck.ext2, fsck.ext3, fsck.ext4, logsave, mke2fs, mkfs.ext2, mkfs.ext3, mkfs.ext4, mklost+found, resize2fs, tune2fs) para a administração de recursos sistemas de arquivos da familia ext*; podemos citar atributos estendidos com o getfattr e o setfattr, ACL POSIX, capabilities e os comandos para administração dos sistemas de arquivos como btrfsprogs, xfsprogs e os próprios comandos fdisk, mkfs, mount e fsck são parte da administração dos sistemas de arquivos; os comandos getenforce, setenforce e até a opção -Z no comando ls são para administrar o SELinux (bom, essa é bem básica do SELinux já que o mundo SELinux é muito maior do que isso); os módulos Apparmor, Tomoyo, MAC e DAC também possuem seus comandos; o comando watchdog para monitorar e gerenciar comportamentos anormais de hardware e software e automaticamente reset ou rebootar o sistema se necessário utilizam o módulos como softdog e incontáveis outros. No Linux existe até o módulo B.A.T.M.A.N. (better approach to mobile ad-hoc networking) que utiliza os comandos batctl e batman-adv para administração (há também a daemon comando alfred).
A segunda é o desenvolvimento de ferramentas devido o kernel fornecer recursos para isso. Containers por exemplo são uma mistura dos recursos name space e cgroups (cgroups é fonte de recursos para vários outros programas que utilizamos e uma das principais fontes de recursos para do systemd. O systemd faz uso também do dbus que inclusive é utilizado também na parte de virtualização); o próprio kvm (kernel based virtual machine) como o próprio nome diz é um recurso do kernel para virtualização e que foi adicionado por volta de 2007 (veja na RedHat e na aws); o iproute2 já citado anteriormente, depende de vários recursos do kernel como exemplo a parte de routing policy database (ip rule list e ip route list table local) que depende dos recursos do kernel IP: advanced router e IP: policy routing e o seu IP in IP tunneling que depende dos módulos ipip.o e new_tunnel.o; o novo comando mu (veja também no git) utilizado para exibir o uso de memória por arquivo, depende da systemcall cachestat() do kernel; todos os programas dependem do kernel para serem executados através do recursoELF (Exectuable and Loadable File) que substituiu o a.out.
Sabe o shebang (#!) que utilizamos no início de nossos scripts? Pois é! Não é o shell que lê este comentário para interpretar os scripts e sim o kernel através da system call execv (fs/exec.c).
Recursos ELF e #! dentro de Executable file formats no kernel
Até o seu navegador depende de recursos do kernel a para sua execução e não estou falando de drivers drivers, estou falando de gerenciamento de processo e memória, acesso ao sistema de arquivos, recursos de segurança como Sandboxing e etc.
A terceira é o desenvolvimento de novos programas pegando partes do código do próprio kernel. Citando dois exemplos, na FAQ da dietlibc descreve que é utilizado o layout struct stat do kernel em sua interface. O segundo é no projeto Psmisc (que contém comandos como killall, pidof e pstree) que utilizaram o src/loop.h do pacote util-linux que por sua vez, pegaram do kernel Linux.
O kernel é mais do que o coração do sistema operacional, ele é a alma do sistema operacional pois seu sistema operacional depende muito mais do kernel do que você imagina. Se só com o kernel não se faz nada, sem o kernel, muito menos. Sem o kernel não há sistema operacional.
Linux: Mais do que um Unix
Aproveitando que falamos de pegar partes do código do próprio kernel para para a construção de novas ferramentas, quero sugerir meu artigo Linux: Mais do que um Unix onde debato sobre algumas das centenas de system calls da API própria do Linux que lhe proporciona recursos que nenhum outro Unix possui (e nem a API POSIX).
Por que foi propagado que Linux é apenas o kernel?
Este foi o meio que RMS, a FSF e o projeto GNU resolveram utilizar para virar os holofotes para si, tentar se tornar o centro das atenções e se promover já que ideia de ter um sistema operacional completo falhou. Como Rob Landley menciona no Ohio Talk em 2013:
"Os BSD não é uma ameaça existencial para o Linux, mas o Linux é para o GNU".
O projeto GNU foi iniciado quase oito anos antes do Linux e como tudo na vida é incerto, o curso da história mudou, Linux tomou proporção que não era esperada e passou a ganhar notoriedade em toda a comunidade de tecnologia que não, proporção essa que todos esperavam que ocorreria para o GNU.
Sabendo que as pessoas não possuem o hábito de leitura (e esse é o grande declino moral das sociedades), passaram então a explorar este ponto fraco a seu favor. No final das contas, tudo uma questão de vaidade ou outras intenções. O que mais me intriga é ver profissionais de Linux vergonhosamente defenderem este argumento.
Conclusão
Foi-se o tempo que Linux era somente um kernel. O que começou como um projeto pessoal, um pequeno kernel sem pretensões ou expectativas, apenas uma diversão e um desafio para um hacker aplicar seus conhecimentos, inesperadamente evoluiu e se tornou um verdadeiro sistema operacional contendo comandos, shells, bibliotecas, init systems e até mesmo sua própria API.
Pode não ser considerado um sistema operacional completo, o que dificilmente algum sistema operacional é (muito menos o GNU) já que em todos os sistemas operacionais (especialmente no GNU que não contém metade das ferramentas necessárias para se ter um sistema operacional funcional) são utilizadas ferramentas de outros sistemas ou de outros projetos pois o compartilhamento de conhecimento e a colaboratividade sempre foram as bases da cultura hacker.
E se Linux fosse realmente apenas o kernel do sistema operacinal, sabe qual a importância isso teria entre verdadeiros profissionais de tecnologia? NENHUMA! O importante é o sistema funcionar e atender as demandas.
Já aos que vão vir afirmar que discordam (sempre escuto ou leio isso), só tenho um recado a deixar: Eu não dou a mínima importância para concordância ou discordância. As evidencias estão aí, basta terem maturidade e hábito de leitura.