DragonflyBSD receberá suporte a Hypervisor do NetBSD
Kamil Rytarowski (CTO da Moritz Systems) informou que a Motriz Systems reservou Code Bounty (que é um meio de financiamento do DragonflyBSD) para trabalhar no port de Hypervisor para o DragonflyBSD tendo como principal desenvolvedor Jaromir Dolecek. Há duas propostas de port de Hypervisor:
nvmm do NetBSD
bhyve do FreeBSD
A Motriz Systems planeja portar o NVMM (NetBSD Virtual Machine Monitor) para o DragonflyBSD. NVMM é uma plataforma hypervisor que fornece suporte a aceleração via hardware. Uma API de virtualização é carregada pela biblioteca libnvmm que permite criar e gerenciar facilmente máquinas virtuais com o NVMM. O pacote Qemu no pkgsrc foi modificado para alavancar a API de virtualização e prover emulação rápida.
Módulo nvmm carregado com Qemu no NetBSD
Muito trabalho já feito como por exemplo a compatibilidade com a API do NetBSD 9.0 e com melhorias do NetBSD-current, suporte tanto a Intel quanto AMD e já há um processo de upstream NVMM para o Qemu e quando estiver pronto, o backend do NVMM no Qemu deve funcionar bem no DragonflyBSD out of the box (e disponível do Dports).
O planejamento interno da Motriz Systems é de terminar o projeto até o dia 1° de Setembro de 2020 e todo o projeto será publicado nos seguintes links:
O professor Daniel Rossier Iniciou o sistema operacional SO3 (Smart Object Oriented Operating System em 2013 como contexto de bacharelado e desde então vem crescendo bastante. SO3 é um sistema operacional compacto, leve, cheio de recursos e particularmente adequado para dispositivos embarcados. O SO3 possui suporte a musl como libc padrão, funciona muito bem com o QEMU/vExpress e no Raspberry Pi 4.
Sendo fortemente baseado nos princípios do Linux (utiliza o build system do Linux (kbuild) e até mesmo partes de código do Linux como os mecanismos de linked list (struct list_head), macros, bitops e outros tipos de declarações além de conceitos do Linux para utilizar o Qemu), é completamente open source estando sob a GPLv2 e é um ótimo ambiente acadêmico para Palestra e projetos industriais.
Seus principais recursos são o suporte a LVGL como ambiente gráfico (LVGL pode ser testado em ambiente emulado desde que não tenha nenhum driver framebuffer/video para RPi4); suporte a pilha de rede lwIP; suporte a MUSL libc (mas já mencionado. Foi adotado devido ser uma biblioteca leve e poderosa); suporte a MMU, user/kernel space, rootfs (atualmente FAT-32/MMC) e suporte a device trees e embarcados em uma imagem U-boot FIT (U-boot é necessário para bootar o SO3). Há planos para adicionar suporte as arquiteturas AArch64 e RISC-V.
jslinux - executando outros sistemas operacionais dentro do navegador
Fabrice Bellard desenvolveu um emulador em JavaScript permitindo rodar outros sistemas operacionais dentro do navegador. Para quem não sabe quem é Fabrice Bellard, Fabrice Bellard é o cara que criou o QEMU. Só que Fabrice não é conhecido somente pelo QEMU; é conhecido também pelo FFMPEG, ganhador de premio de matemática, vários outros projetos que podem ser conferidos clicando aqui e inclusive o seu compilador TinyCC já foi tema no meu canal:
Se juntarmos as ferramentas de Felix von Leitner (criador da Dietlibc), Fabrice Bellard e Rob Landley, podemos dizer que as ferramentas dos caras constituem um sistema operacional quase completo.
Em 2018 Fabrice Bellard disponibilizou o JSLinux, uma nova ferramenta onde você pode rodar outros sistemas operacionais direto do navegador. A história é um pouco mais antiga pois seu desenvolvimento foi iniciado em 2011, recebeu modificações em 2015 e melhorias em 2016. Ainda é bem limitado (suporte somente para X86 e RiscV64; aos sistemas Alpine Linux, Fedora 29, Buildroot, Windows 2000 e FreeDOS. Além de limitação de uso) mas achei interessante compartilhar somente como base de conhecimento.
Cada vez mais novos recursos são agregados aos navegadores ao ponto de se tornarem mais do que simplesmente navegadores. Estamos chegando a um ponto onde os navegadores serão mais como um sistema operacional somente dependendo do kernel de um sistema operacional.
De certa forma eu acho a ideia de aplicações sendo executadas dentro dos navegadores muito interessante por não limitar a qual sistema operacional que se utiliza (Linux, Windows, MacOS ou seja lá o que for) ou a qual arquitetura. A limitação poderá ocorrer em qual navegador a aplicação funciona melhor (e é claro que é pequenos detalhes como em qual sistema operacional o navegador funciona melhor ou possuir tais recursos de sua API), mas acredito que aplicações é uma iniciativa que já há muito tempo deveria estar em atividade.
Desde antes do lançamento dos novos computadores da Apple com processadores ARM, a expectativa da galera poder rodar Linux já era muito grande desde que Linux já possui suporte a arquitetura ARM. Eu me lembro de ter lido que a Apple trabalharia para que não fosse possível utilizar outro sistema operacional em seus novos chips porém saiu a noticia no site TechRadar que sim, agora é possível rodar Linux em chips Apple M1 utilizando o QEMU.
O desenvolvedor da AmazonAlexander Graf trabalhou em patches para adaptar o Qemu e assim ser possível rodar tando Windows quando Linux no Apple M1. No momento seus patches estão na versão 2 (que como principal característica está consumir menos CPU), foram enviados para a aprovação e podem ser conferidos clicando aqui.
Joe Masters da Red Hat postou uma imagem instalando o Fedora 33 no M1 MacBook Air agradeceu a Alexander Graf pelos Patches.
Ainda não é uma das melhores opções e como dito pelo próprio Joe é de longe a melhor experiencia e ainda precisa de muito polimento. Ainda não é considerado necessariamente rodar Linux ou Windows nos Apple M1, mas como foi até mencionado, isso facilitará o trabalho dos desenvolvedores em várias partes. Tanto é que já estão utilizando seus patches para isso e pode ser conferido o novo projeto clicando aqui.
Acelerando o desenvolvimento do Kernel com virtme-ng
Foi anunciado pela Linux Foundation que Andrea Righi que trabalhava para a Canonical e agora trabalha como engenheiro de software da NVIDIA (especializado em sistemas operacionais, virtualização e analise de desempenho) irá apresentar no dia 02 de Novembro o Webinar sobre o virtme-ng, uma ferramenta que rapidamente constrói e executa kernels dentro de um snapshot virtualizado em seu sistema live.
Andrea demonstra que grande parte do processo de desenvolvimento do kernel é geralmente dedicado a instalá-lo, rebootar o sistema, testá-lo, debuga-lo, coletar resultados e repetir essa mesmo operação que é muito lento e desgastante.
O virtme-ng fornece uma base para bootar o kernel recompilado ou qualquer outra imagem do kernel dentro de um ambiente copy-on-write virtualizado no sistema atual. O virtme-ng é escrito na maior parte em Python e faz uso de ferramentas como QEMU ou KVM, virtiofs, e overlayfs para esta finalidade.
A ideia é simplificar o trabalho dos desenvolvedores do kernel criando um sendbox para teste que ofereça desempenho próximo do ambiente real sem a necessidade de um ambiente de teste. Nesse Webinar será demonstrado como utilizar o virtme-ng com exemplos práticos e cenários reais.
Kevin Daudt anunciou o lançamento do Alpine Linux 3.14.0. Essa nova versão trás o suporte a linguagem lua 5.4.3, HAProxy 2.4.0, KDE 21.04.2, nginx 1.20.0 e njs 0.5.3, Node.js 14.17.0, Plasma 5.22.0, PostgreSQL 13.3, Python 3.9.5, R 4.1.0, QEMU 6.0.0, Zabbix 5.4.1. Essa é ainformação resumida do próprio site do projeto; não há muito o que se falar, somente que se trata
Para quem não conhece o j-core e a Turtle board, j-core é uma geração de processadores que estão nascendo baseados nos processadores dos consoles Sega; o Sega 32X, o Sega Saturn e o Dreamcast (os processadores SuperH que foram desenvolvidos pela Hitachi no final da década de 90 como uma segunda geração de RISCs híbridos). Esses processadores foram também amplamente utilizados em áreas fora do mercado de consoles como nas industrias automotivas no Japão.
O criador do projeto uClinux, Jeff Dionne (que é engenheiro de hardware), criou um novo design de processador compatível com o conjunto de instruções do SuperH e o disponibilizou sob a licença BSD em 2015 (hoje, o j-core).
Caso queria saber mais, além dos links que podem ser clicado aqui no artigo, vou deixar o vídeo aqui para poderem assistir:
A primeira geração do j-core é o j2, que é compatível com o sh2 (processador do Sega Saturn). O Linux, o gcc, binutils e a biblioteca Musl possuem suporte ao j-core out of the box. O QEMU possui suporte ao sh4, mas necessita do seu próprio kernel (ainda).
Hoje foi anunciado o lançamento do Alpine Linux 3.13.0 (a primeira versão estável da série v3.13). esta versão traz o kernel Linux 5.10.7, ZFS 2.0.1, musl 1.2, GCC 10.2.1, Busybox 1.32.1, Git 2.30.0, Knot DNS 3.0.3, MariaDB 10.5.8, Node.js 14.15.4, Nextcloud 20.0.4, PostgreSQL 13.1, QEMU 5.2.0, Xen 4.14.1 e Zabbix 5.2.3.
Além dos mencionados, agora o Alpine possui suporte a cloud images (../cloud) oficial, suporte incial ao cloud-init, introduz o novo ifupdown-ng (que é um substituto para o ifupdown do busybox), melhorias no suporte a rede wifi e muito mais
Podem parecer poucas novidades nesta versão se analisarmos somente quais os novos comandos que ele trás, porém ele recebeu trinta commits adicionando novos recursos ao toysh como funções do shell, variáveis locais, job control está a meio caminho andado, suporte trace e a set builtin.
Foram adicionados os comandos pwgen, base32, unicode, o readelf foi promovido (saindo de pendente e ainda recebeu hardened contra invalid input) e o sha3sum agora é carregado por padrão no defconfig (que pode ser conferido no meu vídeo dando uma olhada no toybox).
O comando chsh não foi promovido devido fazer parte de um grupo de comandos que serão promovidos juntos (os comandos useradd, userdel, groupadd e groupdel).
Vários comandos receberam novas opções como o file que agora reconhece o novo formato de binários XML do Android (que também recebeu hardened contra invalid input); o devmen agora trabalha em modo nommu; o df -a passou a exibir sistemas de arquivos sobremontados; o test -k verifica sticky bit. Há um pequeno erro no comando test que não aparecem as opções ao executar test --help e que neste caso funcionará somente com a opção antiga (help test). Se bem que o próprio comando do gnu (man 1 test) não exibe nenhuma informação quando digitado test --help e sim através do help test. Então o test do toybox está dentro dos mesmo padrões.
A opção -t foi adicionada aos comandos install, cp e mv e a opção -u ao cp e ao cpio; o comando find-executable verifica se possuímos permissão de execução (evitando problemas com o SELinux por exemplo); o date recebeu vários recursos (--iso, %:z formato da saída, e --utc como um sinônimo para -u); o sed recebeu a opção s///x; unidades a saída do comando ulimit, modo de cor ao comando hexedit (que agora é o padrão) e foi adicionado um portability.h para o comando df interpretar o statvfs do MacOS.
Além de já ter sido portado para FreeBSD e para o MacOS, agora é possível também criar binários toybox para o OpenBSD (utilizando o mesmo comando make freebsd_defconfig).
O toybox ainda recebeu várias correções de bugs e limpezas e sua biblioteca também recebeu novos recursos. O projeto disponibiliza o prebuilt de binários estáticos e também Imagens do mkroot possíveis de bootar através do QEMU (utilizando o kernel vanilla linux-5.12, exceto para a arquitetura s390 que depende de outro patch)
Desta vez estamos vendo o HelenOS tendo suporte a Raspberry Pi e ao DOSBox. Parece estranho alguém querer rodar alguma aplicação no DOSBox, mas como Jiri Svoboda descreve em seu blog:
"Isso pode soar estranho, mas o DOSBox é um emulador de máquina completo (CPU + periféricos) e *além* de um emulador DOS. "
"Mas por que alguém iria querer rodar o HelenOS no DOSBox eu escuto você perguntando. Bom, além de ser muito legal, DOSBox consegue emular alguns hardwares que o Qemu não, tais quais algumas placas de vídeo e de áudio antigas, MIDI e etc."
Está aí um motivo interessante e que é valido como carta na manga até mesmo para nós (ou até mesmo como material de estudo. Por que não?). Já outro usuário postou um vídeo exibindo o HelenOS rodando em um Raspberry Pi e o vídeo pode ser conferido logo abaixo:
Martin Decky também postou um commit para utilizar char32_t ao invés de wchat_t para representar strings UTF-32. De acordo com Martin, o novo tipo char32_t é obviamente uma opção muito mais adequada. Compatibilidades com o padrão C é mantido e muita revisão já está sendo feito pela comunidade.
Quer saber mais sobre o HelenOS? Além de vários artigos aqui no blog, há um vídeo especial no meu canal esclarecendo como o sistema operacional é.
Porém, no dia 08 de Maio de 2019 Fabrice Bellard iniciou o desenvolvimento de um novo tipo de compressor de arquivos chamado nncp. Talvez você não esteja familiarizado com esse nome, mas Fabrice Bellard é o autor do ffmpeg, do Qemu e do compilador TCC que é nove vezes mais rápido que o GCC:
nncp (abreviação de Neural Networks ComPressor) é um novo algoritmo experimental de compressão sem perda de dados baseado no modelos de redes neurais pura, dicionário de pré-processamento e também baseado no modelo Transformer.
Há dois arquivos pdf disponíveis no site do projeto ( nncp_v2.1.pdf de 2021 e nncp.pdf o de 2019) que demonstram os resultados comparando os resultados do nncp com do gzip (com a opção -9), do xz (idem) e do CMIX (que é outro compactador que eu pretendo falar com vocês em um próximo artigo). Os arquivos também entregam toda a explicação sobre os compactador, algorítimo utilizado e muito mais.
Em Novembro de 2020 eu resolvi testar o nncp porém, eu acabei não achando os resultados muito interessantes, pelo menos não ainda. Talvez eu não compilei o compactador com as opções corretas ou talvez não eu utilizei as próprias opções do compactador ideais para a situação; mesmo assim a experiencia não foi boa; o compactador fez uso excessivo de hardware e levou muito tempo para tentar compactar 114MB. Ressalva, tentar compactar pois após mais de sies minutos esperando, eu cansei e interrompi processo. No final, o nncp só havia compactado um megabyte do pacote alvo.
Após seis minutos aguardando o nncp compactar 114MB utilizando quatro threads da minha CPU, eu desisti e interrompi o processo. Depois repeti a mesma operação porém com oito threads e também foi o mesmo desgaste.
O resultado final após interromper seis minutos de compactação foi apenas 1MB compactado.
Tentei utilizar o algoritmo de otimização SGD também disponível no nncp porém, mesmo assim, não resultou em muita coisa. É até aceitável uma vez que ainda se trata de um compactador ainda em fase experimental.
Esse ano eu resolvi testar novamente já que esta nova versão traz novidades muito interessantes como utilizar o modelo Transformer (Transformer model ou machine_learning_model) e substituir o Pytorch pelo uso da biblioteca LibNC por incluir suporte a CUDA* e obter melhor desempenho.
A partir da terceira versão do nncp podemos utilizar as seguintes opçoes em sua sintaxe:
./nncp --cuda --profile enwik9 --preprocess 16384,512 c enwik9 out.bin ./nncp --cuda --profile enwik9 --preprocess 16384,512 c enwik9 out.bin
ou
./nncp --cuda --profile enwik8 --preprocess 4096,512 c enwik8 out.bin ./nncp --cuda --profile enwik8 --preprocess 4096,512 c enwik8 out.bin
Eu tentei compilar a terceira versão e não foi muito bem sucedido. Apesar de os testes não terem sido bem sucedidos, ainda é aceitável já que o compactador ainda está em fase experimental. Vou aguardar para ver se quando sair uma atualização, eu consigo utilizar com a opção CUDA.
O nncp está disponível para Linux e Windows sob licença MIT porém a biblioteca LibNC é disponibilizada somente de forma binária.
*O suporte a CUDA está disponível somente para Linux. Pode ser que venha ter em uma versão futura.