quinta-feira, 5 de dezembro de 2013

ANTIVIRUS NAS NUVENS


A computação nas nuvens ( Cloud Computing) é um termo que chegou aos ouvidos do público em 2008, divulgado principalmente pela empresa Google.
 Apesar de ainda não estar definida, o conceito básico é que através de um dispositivo conectado a internet (Pc, Celular, SmartPhone) você terá acesso a todas as suas aplicações direto em um  servidor, sem necessidade de instalação de programas e armazenamento de dados localmente.
A computação nas nuvens hoje consiste em uma confiável infra-estrutura composta por Data Centers em servidores com diferentes níveis de tecnologias de virtualização. Os serviços são acessíveis em qualquer parte do mundo, com a nuvem (internet) sendo o único ponto de acesso para todas as necessidades do usuário final.
Apesar desse modelo se tornar conhecido só agora, o Google e a IBM já trabalham nessa modelo há bastante tempo. Em 2002 o Google iniciou o desenvolvimento do Google Apps, com agenda, correio eletrônico, editor de texto, planilha eletrônica, comunicador instantâneo, que não precisam ser baixados, você usa esses programas conectados pela internet direto nos servidores dele, inclusive armazena os arquivos, isso permite que você tenha os programas e os dados acessíveis de qualquer lugar.
Um dos benefícios dessa tecnologia é a diminuição do custo de manutenção dos atuais PCs, teríamos apenas um computador com um chip ligado a internet, que é a nuvem de computadores.
Nesse novo ambiente, os programas antivírus atuais, que rodam nos computadores pessoais, não terão grande utilidade. É necessário que os aplicativos de detecção de códigos maliciosos também sejam repensados para o ambiente da nuvem de computação.
É isto o que estão fazendo pesquisadores da Universidade de Michigan, nos Estados Unidos, que apresentaram seu projeto chamado CloudAV - antivírus  a nuvem de computação, numa tradução livre. O novo conceito move a funcionalidade dos programas antivírus para a rede da nuvem de computação, analisando os arquivos utilizando múltiplos sistemas de detecção e programas de detecção comportamental, tudo simultaneamente.

1        O ANTIVIRUS VAI PARA AS NUVENS


O alerta foi dado pela Universidade de Michigan, nos Estados Unidos: seu antivírus não é mais o mesmo. Os pesquisadores da universidade compararam 12 antivírus populares e descobriram que a detecção é de apenas 35% do malware - e o PC ainda fica vulnerável por períodos de até 48 dias. O fato é que a web 2.0 e a computação em nuvem estão mudando a maneira como as ameaças chegam aos internautas.
Consequentemente, as táticas de combate precisam mudar também. Mas não é um processo imediato. Essa tarefa leva tempo e depende da evolução da infra-estrutura da internet e dos serviços.
As estatísticas de ataque evoluem em progressão aritmética. A cada hora, mais de 800 novos códigos maliciosos ameaçam os computadores, nas contas da Trend Micro. Em 2007, a Symantec detectou um aumento de 468% no número de novas ameaças em relação a 2006 — de 125,2 mil para 711,9 mil. No primeiro semestre de 2008, a F-Secure registrou mais ameaças (900 mil) do que o total detectado no decorrer do ano passado inteiro, que foi de 500 mil. Uma pesquisa da Panda Security revelou outro dado alarmante: mesmo usando antivírus atualizado, 72% das empresas e 23% das residências têm computadores contaminados. “Duas em cada dez máquinas com antivírus atualizado estão infectadas”, afirma Eduardo D’Antona, diretor-executivo da Panda.
Com a popularidade da web 2.0 e a explosão das redes sociais, a tendência é esse quadro se agravar. A Trend Micro descobriu, em março, que mais de 400 kits projetados para gerar sites de phishing tinham como alvo serviços da web 2.0, como redes sociais, compartilhamento de vídeos e VoIP, além de bancos e sites de webmail. As ameaças estão escondidas nas páginas de um site ou e-mail e, em geral, se instalam no computador do usuário mesmo que ele não clique em nada. Um banner publicitário aparentemente inocente, num site de rede social, pode instalar programas maliciosos no computador sem que a vítima perceba. “Ao abrir um e-mail, o usuário muitas vezes é direcionado a um site onde o código malicioso é injetado automaticamente”, diz Fábio Picoli, diretor da Trend Micro. “E esse arquivo pode acessar outros sites, que vão baixando códigos.”
Detectar essas ameaças é um desafio que o antivírus não consegue encarar. “A vacina convencional só age quando o arquivo é executado no computador”, diz Picoli. Além disso, diante da rapidez da propagação de malware, fica cada vez mais difícil manter as vacinas atualizadas. O tempo para descobrir o vírus, entender como ele funciona desenvolver o antídoto e distribuí-lo é cerca de uma hora. Os fabricantes trabalham para reduzir esse prazo. Mas isso exigiria uma atualização constante das vacinas no micro do usuário. “Como a quantidade de malware é grande, esse arquivo fica cada vez maior, exigindo mais tempo para o download”, diz Márcio Lebrão, presidente da McAfee.

2.1     PROTEÇÃO NA NUVEM


Como enfrentar as novas ameaças? É aí que entram os novos conceitos de proteção, adotados por alguns fabricantes. Um deles é a proteção na nuvem, defendida por empresas como Trend, Panda e McAfee — e também pela Universidade de Michigan — como caminho para uma nova geração de antivírus. “Como não existem mais epidemias e sim ataques com focos específicos, mas em grande quantidade, a saída é levar os serviços para a nuvem para ganhar agilidade”, diz Eduardo D’Antona, da Panda. A idéia é evitar que o malware chegue ao computador do usuário — que, de qualquer forma, continuará tendo um antivírus. Esse aplicativo, contudo, passa a ter, na retaguarda, a proteção de servidores espalhados pelo mundo, na forma de um serviço web. Mantidos pelos fabricantes de antivírus, esses servidores armazenam as bases de dados sobre ameaças, que acumulam informações obtidas a partir de ocorrências registradas no mundo todo.
Quando um arquivo suspeito é detectado, as informações sobre ele são enviadas aos servidores na nuvem, onde são analisadas e comparadas para a identificação do malware. “Com isso, é possível criar correlacionamentos abrangendo o mundo todo e estabelecer padrões de vacina com maior velocidade”, afirmaD’Antona. Outra vantagem desse conceito, segundo ele, está na economia de recursos do PC do usuário — já que o processamento é feito nos servidores. A Panda, que diz ter 13 milhões de vírus cadastrados em seu banco de dados, vem adotando a proteção na nuvem em soluções como o serviço de e-mail TrustLayer. Esse serviço usa um sistema heurístico (que busca soluções por meio de aproximações sucessivas) para bloquear, ainda na internet, ameaças desconhecidas. Para isso, antes de chegar ao computador do usuário, os e-mails são desviados para os servidores espalhados por mais de 50 países, onde são filtrados. O que é suspeito fica retido na nuvem. Além disso, os antivírus da Panda, tanto para empresas como para indivíduos, estão sendo reforçados por uma ferramenta que verifica o conteúdo da máquina em busca de ameaças que tenham furado o bloqueio. Também nesse caso, os arquivos suspeitos são enviados para análise nos servidores da Panda. “Se a anomalia já tiver sido identificada em outro local, é criado um padrão de vacina, que é espalhado para toda a base de clientes”, explica D’Antona.
A Trend Micro adotou o conceito de proteção na nuvem em sua nova geração de produtos de segurança chamada Smart Protection Network. O serviço da Trend entra em ação quando o usuário faz um upload, seja para acessar sua caixa de e-mail ou um site. Nesse caso, ele é direcionado à rede de servidores da Trend, que realiza, em média, 5 bilhões de pesquisas em páginas da web por dia. “A idéia é fazer consultas constantes à base de informações, que está na nuvem, bloqueando as ameaças antes que cheguem ao usuário e antes até de haver uma vacina”, afirma Fábio Picoli. Se não estiverem cadastrados no banco de dados de ameaças, os arquivos suspeitos ficam retidos até que os servidores confirmem se são maliciosos ou não. Nesse processo, entram as tecnologias de correlação (que analisa comportamentos para detectar aqueles que, em conjunto, representam ameaças) e de avaliação de reputação de e-mail (que valida o endereço IP) e de web (que verifica a credibilidade dos sites).
Para a McAfee, a computação em nuvem é mais uma ferramenta que pode complementar — e reforçar — o antivírus do micro. “É uma forma de evitar que o usuário tenha de manter um arquivo muito grande de vacinas no seu computador”, diz Márcio Lebrão. Com a computação em nuvem, a idéia é ter o arquivo de vacinas nos servidores, que vão enviar ao PC do usuário apenas o antídoto necessário para uma ameaça específica.
2.2   ANTIVÍRUS VIRTUALIZADO E PARALELIZADO

"O CloudAV virtualiza e paraleliza a funcionalidade da detecção com múltiplos engines antivírus, aumentando significativamente a proteção total," afirma o pesquisador Farnam Jahanian, que criou o CloudAV juntamente com seus colegas Jon Oberheide e Evan Cooke.
Para desenvolver o antivírus virtual os pesquisadores avaliaram 12 programas antivírus tradicionais agindo contra 7.220 programas maliciosos, incluindo vírus. Os programas avaliados foram: Avast, AVG, BitDefender, ClamAV, CWSandbox, F-Prot, F-Secure, Kaspersky, McAfee, Norman Sandbox, Symantec e Trend Micro.

2.3    Múltiplas detecções simultâneas

No CloudAV, cada engine de detecção opera em sua própria máquina virtual, agindo em paralelo. O resultado é que cada arquivo é verificado por múltiplos sistemas de detecção, um agindo de forma eficaz onde os demais são ineficientes.
O CloudAV pode ser acessado de qualquer computador, ou qualquer equipamento móvel, que rode um programa que faz a interface com a nuvem de antivírus. Cada vez que o computador está prestes a receber um documento ou um programa que está sendo baixado, o arquivo é automaticamente  detectado e enviado para a nuvem de antivírus, que o analisa utilizando todas as 12 ferramentas antivírus disponíveis.
3          CONSIDERAÇÕES FINAIS
            Com o avanço dos malware e da utilização da internet os usuários comuns de computadores ficam com baixa imunidade a ataques viróticos. Os antivírus comuns não conseguem bloquear tais ameaças fazendo com que crie uma ilusão de segurança que não existe ou é falha.
            A utilização de programas na internet torna a vida do usuário mais fácil pois ele pode acessar de várias partes do mundo o seus documentos e informações necessárias compartilhando-as com quem desejar, esta idéia foi a precursora da invenção do conceito de Antivírus nas nuvens, ou seja um antivírus on-line baseado em informações de diversos servidores espalhados pelo mundo.
            Este novo tipo de Antivírus facilitará para a identificação de novas ameaças e na propagação de atualizações do antivírus, tornando a internet um ambiente mais seguro.

4          REFERÊNCIAS

Diário de um bit-, Computação nas nuvens ,http://diariodeumbit.site50.net/2008/12/o-que-e-a-computacao-nas-nuvens.html , Visitado em 23/04/2009

Antivírus vai para as nuvens, http://www.depositonaweb.com.br/251/o-antivirus-vai-para-a-nuvem/ 23/4/2009 visitado em 23/04/2009

sábado, 16 de junho de 2012

Web crawler: "Te encontrei..."

Os Web crawlers (ou simplesmente crawlers) têm um papel importante na nossa vida hoje. Como exemplos clássicos de Web crawlers, podemos citar o Google Bot, o Yahoo! Slurp e o MsnBot. Sem esses crawlers, não teríamos a busca do Google, do Yahoo! ou do Bing. [ Caso você tenha um site  e queira que ele seja encontrado você precisa saber que negócio é esse]


A Web constitui a maior e mais variada base de dados do mundo, onde as informações, distribuídas em sítios, abrangem uma ampla gama de assuntos. Os textos estão armazenados em hiperdocumentos e hiperligações, de forma semi-estruturada ou não-estruturada, e não possuem um contexto único, ou seja, assuntos diferentes e hiperligações para contextos diferentes podem ser encontrados em um mesmo hiperdocumento. Para facilitar a busca por uma determinada informação, faz-se necessário que os dados da Web sejam primeiramente encontrados, filtrados e categorizados. Essas tarefas podem ser executadas manualmente, mas o custo seria elevado, a eficiência baixa, e a eficácia seria questionável, visto que é humanamente impossível garantir o escrutínio de uma parte significativa da Web em busca de determinada informação. Os processos que localizam, obtêm e indexam automaticamente hiperdocumentos na Web são chamados crawlers, robots ou spiders [ Me explica melhor hiperdocumentos my god]





  1. Fila: pode conter uma ou mais URLs. Dependendo do tamanho da fila, a mesma pode estar no disco, ao invés de somente na memória.
  1. Downloader: geralmente costuma-se colocar um downloader multithreaded.
  1. Parser: esse é o mais interessante. Ele vai extrair informações da página baixada pelo downloader segundo as especificações passadas pra ele. É pra ele que você irá dizer que quer extrair todas as imagens de uma determinada página.
  1. Storage: pode ser qualquer tipo de armazenamento em qualquer tipo de mídia. 

O processo que um Web crawler executa é chamado de Web crawling ou spidering. Muitos sites, em particular os motores de busca, usam crawlers para manter uma base de dados atualizada. Os Web crawlers são principalmente utilizados para criar uma cópia de todas as páginas visitadas para um pós-processamento por um motor de busca que irá indexar as páginas baixadas para prover buscas mais rápidas. Crawlers também podem ser usados para tarefas de manutenção automatizadas em um Web site, como checar os links ou validar o código HTML. Os crawlers também podem ser usados para obter tipos específicos de informação das páginas da Web, como minerar endereços de email (mais comumente para spam).
Um Web crawler é um tipo de robô de Internet ou agente de software. Em geral, ele começa com uma lista de URLs para visitar (também chamado de seeds). À medida que o crawler visita essas URLs, ele identifica todos os links na página e os adiciona na lista de URLs para visitar. Tais URLs são visitadas recursivamente de acordo com um conjunto de regras.


Deu para entender um pouquinho o que é Web Crawler... então divirta-se  e veja os seguintes tutoriais..
Web Crawler Pyton
Web Crawler Linux
Web Spider Linux

quarta-feira, 16 de novembro de 2011

Problemas com o .xxx

Como a maioria sabe o domínio xxx foi destinado a facilitar a identificação de sites com conteúdo pornográfico.
A Icann, que é controlada pelo governo dos Estados Unidos, vinha resistindo à criação do domínio. Por várias vezes nos últimos anos, a empresa rejeitou um pedido da norte-americana ICM Registry de autorização para distribuir endereços de sites com sufixo .xxx, até dar seu sinal positivo. Uma das questões discutidas na época de de aceitação do domínio .xxx que para manter a neutralidade na concessão dos nomes de domínio, deveria ser criado o .xxx, permitindo que sites com conteúdo sexualmente explícito utilizassem o sufixo de maneira voluntária.
Entretanto agora existe um outro problema numa tentativa de proteger seus respectivos patrimônios da pornografia e de ciberataques, algumas instituições americanas estudam a possibilidade de comprar domínios xxx, destinados a conteúdo pornográfico. Com isso estas universidades estão comprando domínios como por exemplo Universidade.xxx . Está tendencia ainda não chegou ao brasil, mas provavelmente isto pode acontecer nos próximos anos.