Mostrando postagens classificadas por relevância para a consulta cuda. Ordenar por data Mostrar todas as postagens
Mostrando postagens classificadas por relevância para a consulta cuda. Ordenar por data Mostrar todas as postagens

nncp: O compactador que promete ser melhor que o XZ

nncp - neural networks compressor com tranformer model
nncp - neural networks compressor com tranformer model

    Nós sempre ficamos surpresos com o nível de compressão do XZ. Basta analisarmos o próprio Linux que anunciou no dia 14/05/2017 que passaria a distribuir o kernel compactado através do XZ. O kernel Linux 5.12.9 por exemplo, possui o tamanho estimado de 112 MB (118.157.312 bytes) quando compactado e 1,05 GB (1.137.635.328 bytes) quando descompactado. No meu curso mesmo eu apresento a diferente enorme de compressão entre o Gzip, o Bizp2 e o XZ.

    Porém, no dia 08 de Maio de 2019 Fabrice Bellard iniciou o desenvolvimento de um novo tipo de compressor de arquivos chamado nncp. Talvez você não esteja familiarizado com esse nome, mas Fabrice Bellard é o autor do ffmpeg, do Qemu e do compilador TCC que é nove vezes mais rápido que o GCC:


     nncp (abreviação de Neural Networks ComPressor) é um novo algoritmo experimental de compressão sem perda de dados baseado no modelos de redes neurais pura, dicionário de pré-processamento e também baseado no modelo Transformer.


    Há dois arquivos pdf disponíveis no site do projeto ( nncp_v2.1.pdf de 2021 e nncp.pdf o de 2019) que demonstram os resultados comparando os resultados do nncp com do gzip (com a opção -9), do xz (idem) e do CMIX (que é outro compactador que eu pretendo falar com vocês em um próximo artigo). Os arquivos também entregam toda a explicação sobre os compactador, algorítimo utilizado e muito mais. 

Resulto com enwik8
Resulto com enwik8

Resulto com enwik9
Resulto com enwik9

    Em Novembro de 2020 eu resolvi testar o nncp porém, eu acabei não achando os resultados muito interessantes, pelo menos não ainda. Talvez eu não compilei o compactador com as opções corretas ou talvez não eu utilizei as próprias opções do compactador ideais para a situação; mesmo assim a experiencia não foi boa; o compactador fez uso excessivo de hardware e levou muito tempo para tentar compactar 114MB. Ressalva, tentar compactar pois após mais de sies minutos esperando, eu cansei e interrompi processo. No final, o nncp só havia compactado um megabyte do pacote alvo.

Após seis minutos aguardando o nncp compactar 114MB utilizando quatro threads da minha CPU, eu desisti e interrompi o processo.
Após seis minutos aguardando o nncp compactar 114MB utilizando quatro threads da minha CPU, eu desisti e interrompi o processo. Depois repeti a mesma operação porém com oito threads e também foi o mesmo desgaste.

O resultado final após interromper seis minutos de compactação foi apenas 1MB compactado.
O resultado final após interromper seis minutos de compactação foi apenas 1MB compactado.

    Tentei utilizar o algoritmo de otimização SGD também disponível no nncp porém, mesmo assim, não resultou em muita coisa. É até aceitável uma vez que ainda se trata de um compactador ainda em fase experimental.

    Esse ano eu resolvi testar novamente já que esta nova versão traz novidades muito interessantes como utilizar o modelo Transformer (Transformer model ou  machine_learning_model) e substituir o Pytorch pelo uso da biblioteca LibNC por incluir suporte a CUDA* e obter melhor desempenho.

    A partir da terceira versão do nncp  podemos utilizar as seguintes opçoes em sua sintaxe:
./nncp --cuda --profile enwik9 --preprocess 16384,512 c enwik9 out.bin  ./nncp --cuda --profile enwik9 --preprocess 16384,512 c enwik9 out.bin
ou
./nncp --cuda --profile enwik8 --preprocess 4096,512 c enwik8 out.bin  ./nncp --cuda --profile enwik8 --preprocess 4096,512 c enwik8 out.bin
    Eu tentei compilar a terceira versão e não foi muito bem sucedido. Apesar de os testes não terem sido bem sucedidos, ainda é aceitável já que o compactador ainda está em fase experimental. Vou aguardar para ver se quando sair uma atualização, eu consigo utilizar com a opção CUDA.

    O nncp está disponível para Linux e Windows sob licença MIT porém a biblioteca LibNC é disponibilizada somente de forma binária.

*O suporte a CUDA está disponível somente para Linux. Pode ser que venha ter em uma versão futura.

https://bellard.org/nncp/

Observação: Não confunda o compactador nncp com o NNCP (Node to Node copy). São ferramentas com o mesmo porém com propósitos diferentes.

Red Hat e Nvidia trabalhando juntas na implantação de AI e data science

Red Hat e Nvidia acelerando a implantação de AI e data science
Red Hat e Nvidia acelerando a implantação de AI e data science
 A Red Hat e a Nvidia apresentaram no Red Hat Summit a combinação da plataforma de computação de GPUs da Nvidia e o recem anunciado OpenShift 4 para acelerar a implementação de inteligencia artificial e data science através do Kubernetes.
CLIQUE AQUI, VENHA APRENDER LINUX COMIGO E TORNE-SE UM VERDADEIRO PROFISSIONAL.
CLIQUE AQUI, APRENDA LINUX COMIGO E TORNE-SE UM VERDADEIRO PROFISSIONAL
 Essa combinação faz com que através do Kubernetes, tarefas que levavam grande parte do dia para serem realizadas, agora levam menos de uma hora. Para atender as necessidades atuais da AI, data science e computação de auto desempenho a arquitetura de computação paralela CUDA e as bibliotecas de aceleração CUDA-X foram abraçadas por mais de 1 milhão de desenvolvedores.
Red Hat e Nvidia acelerando a implantação de AI e data science
Red Hat e Nvidia acelerando a implantação de AI e data science
 Para a Nvidia, o investimento em aplicações aceleradas via GPU é justificável e faz sentido já que suas arquiteturas comuns rodam desdelaptops a data centers e nuvem. Data science é o primeiro passo e como a mesma experiencia em data centers pode ser frustrante, é aonde a Red Hat entra em cena com a plataforma OpenShift 4 tornando mais fácil implementar o Kubernetes através de clusters, reduzindo a complexidade administrativa. Red Hat sempre inovando com suas parcerias.

Resumo do Tux 19/12/2015

Fala cambada, beleza? Ó eu aqui TRÁVÊIS!

 Bom, essa semana terei que realizar o Resumo do Tux (novamente...) por aqui, por duas razões:
Estou concentrando os esforços que faria o vídeo de hoje no vídeo de natal, que como sabem, é um presente que estou preparando para vocês.
Segundo ponto é que hoje a chuva está forte e relampeando muito. Não sei aonde vocês moram, mas a estrutura aqui em São Paulo e horrível nessas ocasiões (ocorre queda de energia). Por isso estou postando o Resumo do Tux tão tarde hoje.

Resumo do Tux 19 12 2015

 Indo direto ao assunto, essa semana teve o quinto vídeo da série "O Mundo sem Linux" com a Anny realizando uma Exploração Espacial.

 No dia 16 de Dezembro foi publicado que em menos um mês linux ganhou mais 100 jogos:

"Levou menos de um mês para ir de 1.600 para 1.700 games na biblioteca do Steam para Linux".
http://news.softpedia.com/news/steam-for-linux-now-has-1700-games-with-less-than-1-marketshare-497245.shtml

 Lançada a atualização do CentOS Linux 7 Rolling November com rebase do OS para o Red Hat Enterprise Linux 7.2

A AMD anuncia que a empresa está disponibilizando software e ferramentas open-source para fornecer aos desenvolvedores de jogos, aplicações heterogeneas, e aplicações HPC acesso mais profundo ao GPU e aos recursos do GPU. AMD e também seu grupo de tecnologias Radeon [Radeon Technologies Group (RTG)] estão buscando meios de facilitar o desenvolvimento de jogos, assim desenvolvedores podem mais facilmente re-utilizar código e portar seus jogos de consoles para o PC. Com GPUOpen, desenvolvedores de jogos terão acesso direto ao hardware do GPU, assim como acesso (http://hothardware.com/news/amd-goes-open-source-announces-gpuopen-initiative-new-compiler-and-drivers-for-lunix-and-hpc) para uma larga coleção de efeitos open source, ferramentas, bibliotecas e SDKs, que estão são feitas disponiveis no GitHub sob uma licença open-source MIT. Como parte do esforço, a empresa está também disponibilizando um novo compilador C++ HCC que será uma ferramenta em capacitar desenvolvedores mais facimentes alavancar os recursos de GPU discreto em sistemas heterogeneos. O compilador HCC também permite os desenvolvedores converter código CUDA para C++ portável. De acordo com a AMD, testes internos mostram que em muitos casos, 90% ou mais do código CUDA podem ser automáticamente convertidos para C++ com o final de 10% percent convertido manualmente na linguagem amplamente popular C++. Um programa de acesso inicial para as ferramentas da "Boltzmann Initiative" é planejado para 2016.

Clonezilla Live 2.4.5-6 (uma distro baseada no repositório do Debian Sid) migra para o Kernel Linux 4.3-1-1. Devido a essas alterações, a distro deixa o supoporte a arquitetura i586 (agora somente a i686, i686-PAE e AMD64), atualiza o pacote drbl para 2.18.6-drbl. Correções de bugs também ocorreram e cegaram a agradecer a Luciano pela questão do botão desligar:

"Shutdown" should be "Desligar" in luanguage file pt_BR. Thanks to Luciano (lboni2 _at_ yahoo com br) for correcting this.

Falando de kernel

 Está disponível o kernel Linux 4.1.15 LTS agora com melhorias nos filesysrems Btrfs, EXT4 e no IPv6. O site Linux Today informa que esse é o kernel estável mais avançado disponível.


Agora, quer saber de mais noticias sobre o mundo Linux e tecnologia? Diolinux na véia meus caros.
Tem alguma noticias que viu e gostou? Deixo nos comentários. Vamos gostar muito :-)

Lançado John the Ripper 1.9.0-jumbo-1

Lançado John the Ripper 1.9.0-jumbo-1
Lançado John the Ripper 1.9.0-jumbo-1
 É, um nome um tanto estranho para uma aplicação fazendo referência ao Jack. John the Ripper é um software Open Source projetado para quebra de senhas de forma rápida. Sua primeira forma de ser distribuído é somente o código fonte e gratuita, mas também permitindo a obtenção comercial para o uso em outros sistemas operacionais variados.
CLIQUE AQUI, VENHA APRENDER LINUX COMIGO E TORNE-SE UM VERDADEIRO PROFISSIONAL.
CLIQUE AQUI, VENHA APRENDER LINUX COMIGO E TORNE-SE UM VERDADEIRO PROFISSIONAL.
 Dentre a lista de sistemas operacionais disponíveis estão vários sabores de Unix, macOS, Windows, DOS, BeOS e OpenVMS. Seu primeiro propósito histórico era detectar senhas fracas em Unix tendo suporte a vários tipos de hashes diferentes.

 Foi lançada a versão 1.9.0-jumbo-1 disponível primeiramente e principalmente no site oficial do desenvolvedor (que é inclusive um dos financiadores da biblioteca musl) e no momento somente o tarball do código fonte.

 No total são mais 6.000 commits na arvore jumbo (jumbo tree) durante quatro anos e meio de trabalho (sem contar os commits na arvore JtR).

 Dentre as principais mudanças (sem entrar em detalhes) estão a otimização do desempenho no carregamento e na quebra de senhas, adição de novos recursos como de benchmark utilizando diferentes a senha, implementação de Bitslice DES com suporte a mais conjunto de instruções SIMD em várias arquiteturas (Bitslice DES também recebeu suporte a expressões S-box), suporte a FPGA para sete tipos de hashes, remoção do suporte a CUDA focando mais em OpenCL por ser mais portável (tendo no momento suporte a 88 formatos em OpenCL). E honestamente? Eu vou deixar por aqui porque a lista de novos recursos a essa nova versão é imensa, galera. Corram lá e confiram as novidades.

lançada newlib 4.1.0


    Neste dia 7 de Setembro Paul Zimmermann anunciou o lançamento 4.1.0 da biblioteca newlib. que tem como co-autor Vincenzo Innocente. Na verdade a versão 4.1.0 já havia sido lançado em Dezembro do ano passado porém essa nova versão será mantida como 4.1.0. O argumento apresentado para manterem a versão foi que encontraram grandes erros em algumas funções [em exemplo que dão é do erro máximo para binary64 expm1 ter crescido de 0.902 para 0.907 ulps (units in last place)].
    Essa nova (mesma) versão trará também suporte a duas novas bibliotecas, Apple e CUDA e considera Musl 1.2.2.

Microsoft porta DirectX para Linux

Microsoft para Linux

Microsoft porta DirectX para Linux

 Hoje o site MSPower anunciou que que a Microsoft portou o Directx Para Linux (novamente). o DirectX foi disponibilizado como driver no site kernel.org sendo movido para a área do Hyper-V tendo total suporte a virtualização de aceleradores gráficos.

DirectX for Linux

DirectX for Linux

 Há também total suporte a APIs OpenCL, OpenVINO e OneAPI em GPUs Intel GPU para permitir que desenvolvedores escrevam seus códigos que funcionam bem tanto no Linux quanto no Windows.

 De acordo com o site, o driver foi reescrito do zero e organizado em camadas lógicas para que os revisores open source entendam melhor como o driver é construído.
"Muitos esforços foram feitos para abordar o feedback da comunidade neste conjunto revisado de patches e esperamos que isso esteja se aproximando do que a comunidade
gostaria de ver.
Entre o projeto de tempo de execução de computação da Intel e o libdxg, agora temos uma implementação totalmente de código aberto de nossa pilha de computação virtualizada dentro do WSL. Continuaremos a oferecer suporte tanto à API de espaço do usuário de código aberto em nossa abstração de computação quanto à de código fechado (CUDA, DX12), deixando para os proprietários e parceiros da API decidir o que faz mais sentido para eles."
 Será que veremos a Microsoft adotando Linux no lugar do Windows? Pode ser que veremos, Eu já levantei essa bola uma vez onde apresentei fatos históricos de isso já ter ocorrido. Pode ser que veremos uma distribuição Linux com a GUI e ferramentas do Windows assim como ocorreu com  MacOSX (o NetWare pode entrar dentro desta lista também). Mas e vocês? O que acham?

Marcadores

A pior história sobre Linux que já ouvi (6) A.I (2) ambiente gráfico (19) AMD (14) analise (10) Andriod (17) android (9) Apple (1) arm (5) artigo (5) aws (1) bc (24) benchmark (6) BetrFS (1) biglinux (1) blackhat (1) BSDs (36) btrfs (32) bugs (2) Caixa de Ferramentas do UNIX (18) canonical (1) canto do Diego Lins (2) certificações Linux (7) Código Fonte (53) comandos (34) comp (1) compressores (9) consoles (1) container (8) CPU (20) cracker (1) criptografia (5) crowdfunding (9) cursos (24) daemons (14) Debian (31) desempenho (2) desenvolvimento (105) desktop (19) DevOps (3) DevSecOps (4) dic (1) Dica de leitura (91) dica DLins (2) dicas do Flávio (27) Dicas TechWarn (1) diet libc (4) diocast (1) dioliunx (3) distribuições Linux (15) Docker (13) DragonflyBSD (24) driver (2) dropbear (3) ead Diolinux (2) edição de vídeo (5) embarcados (1) EMMI Linux (4) emuladores (9) endless (5) English interview (3) Enless OS (2) entrevista (17) espaço aberto (82) evento (6) facebook (1) Fedora (11) filesystem (82) financiamento coletivo (2) fork (4) fox n forests (4) FreeBSD (23) Funtoo Linux (13) games (96) garbage collector (1) gerenciadores de pacotes (4) glaucus (8) GOG (3) google (9) gpu (4) hacker (2) hardware (104) hash (1) helenos (3) I.A (1) init system (13) Intel (16) inteligencia artificial (2) IoT (1) ispconfig (1) jogos (40) kde (1) kernel (144) lançamento (64) leis (1) LFCS (1) libs (2) licenças (10) Linus (16) linus torvalds (2) Linux (196) linux foundation (3) linux para leigos (1) live (4) lkgr (1) LPI (8) LTS (1) Mac (1) machine learning (1) matemática (9) mesa redonda (27) microcontroladores (1) microsoft (6) microst (1) muito além do GNU (183) musl (3) não viva de boatos (9) navegadores (5) NetBSD (7) newlib (1) nim (13) nimlang (5) nintendo (2) novatec (17) novidades (1) nuvem (1) o meu ambiente de trabalho (3) off-topic (12) ONLYOFFICE (5) open source (85) OpenBSD (8) OpenShift (1) oracle (1) os vários sabores de Linux (46) padrim (2) palestras e eventos (5) partições (6) pentest (8) performance (1) pipewire (1) plan9 (3) playstation (1) processadores (30) professor Augusto Manzano (11) Programação (72) promoção (1) propagandas com Linux (8) ps4 (1) real-time. (1) Red Hat (23) redes (4) resenha nerd (5) Resumo da Semana do Dlins (2) resumo do Tux (19) retrospectiva Linux (1) risc-V (14) RISCV (13) rtos (2) runlevel (2) rust (16) Sega (1) Sega Saturn (1) segurança digital (29) servidor web (2) servidores (3) shell (13) shell script (10) sistema operacional (26) skarnet (2) smartphones (3) Software livre e de código aberto (150) sorteio (3) Steam (11) Steam no Linux (9) supercomputadores (4) suse (7) systemd (9) terminal (91) terminal de comandos (22) toca do tux (1) toybox (32) tutorial (6) Tux (3) ubuntu (1) unboxing (7) UNIX (17) UNIX Toolbox (13) vartroy (1) vga (1) virtualização (3) vulnerabilidade (8) wayland (5) web (1) whatsapp (1) whitehat (1) Windows Subsystem for Linux (2) wine (14) WoT (1) yash (1) ZFS (16) zsh (3)