Web crawler: "Te encontrei..."

Os Web crawlers (ou simplesmente crawlers) têm um papel importante na nossa vida hoje. Como exemplos clássicos de Web crawlers, podemos citar o Google Bot, o Yahoo! Slurp e o MsnBot. Sem esses crawlers, não teríamos a busca do Google, do Yahoo! ou do Bing. [ Caso você tenha um site  e queira que ele seja encontrado você precisa saber que negócio é esse]


A Web constitui a maior e mais variada base de dados do mundo, onde as informações, distribuídas em sítios, abrangem uma ampla gama de assuntos. Os textos estão armazenados em hiperdocumentos e hiperligações, de forma semi-estruturada ou não-estruturada, e não possuem um contexto único, ou seja, assuntos diferentes e hiperligações para contextos diferentes podem ser encontrados em um mesmo hiperdocumento. Para facilitar a busca por uma determinada informação, faz-se necessário que os dados da Web sejam primeiramente encontrados, filtrados e categorizados. Essas tarefas podem ser executadas manualmente, mas o custo seria elevado, a eficiência baixa, e a eficácia seria questionável, visto que é humanamente impossível garantir o escrutínio de uma parte significativa da Web em busca de determinada informação. Os processos que localizam, obtêm e indexam automaticamente hiperdocumentos na Web são chamados crawlers, robots ou spiders [ Me explica melhor hiperdocumentos my god]

1. Fila: pode conter uma ou mais URLs. Dependendo do tamanho da fila, a mesma pode estar no disco, ao invés de somente na memória.

1. Downloader: geralmente costuma-se colocar um downloader multithreaded.

1. Parser: esse é o mais interessante. Ele vai extrair informações da página baixada pelo downloader segundo as especificações passadas pra ele. É pra ele que você irá dizer que quer extrair todas as imagens de uma determinada página.

1. Storage: pode ser qualquer tipo de armazenamento em qualquer tipo de mídia. 

O processo que um Web crawler executa é chamado de Web crawling ou spidering. Muitos sites, em particular os motores de busca, usam crawlers para manter uma base de dados atualizada. Os Web crawlers são principalmente utilizados para criar uma cópia de todas as páginas visitadas para um pós-processamento por um motor de busca que irá indexar as páginas baixadas para prover buscas mais rápidas. Crawlers também podem ser usados para tarefas de manutenção automatizadas em um Web site, como checar os links ou validar o código HTML. Os crawlers também podem ser usados para obter tipos específicos de informação das páginas da Web, como minerar endereços de email (mais comumente para spam).
Um Web crawler é um tipo de robô de Internet ou agente de software. Em geral, ele começa com uma lista de URLs para visitar (também chamado de seeds). À medida que o crawler visita essas URLs, ele identifica todos os links na página e os adiciona na lista de URLs para visitar. Tais URLs são visitadas recursivamente de acordo com um conjunto de regras.


Deu para entender um pouquinho o que é Web Crawler... então divirta-se  e veja os seguintes tutoriais..
Web Crawler Pyton
Web Crawler Linux
Web Spider Linux

Problemas com o .xxx

Como a maioria sabe o domínio xxx foi destinado a facilitar a identificação de sites com conteúdo pornográfico.

A Icann, que é controlada pelo governo dos Estados Unidos, vinha resistindo à criação do domínio. Por várias vezes nos últimos anos, a empresa rejeitou um pedido da norte-americana ICM Registry de autorização para distribuir endereços de sites com sufixo .xxx, até dar seu sinal positivo. Uma das questões discutidas na época de de aceitação do domínio .xxx que para manter a neutralidade na concessão dos nomes de domínio, deveria ser criado o .xxx, permitindo que sites com conteúdo sexualmente explícito utilizassem o sufixo de maneira voluntária.

Entretanto agora existe um outro problema numa tentativa de proteger seus respectivos patrimônios da pornografia e de ciberataques, algumas instituições americanas estudam a possibilidade de comprar domínios xxx, destinados a conteúdo pornográfico. Com isso estas universidades estão comprando domínios como por exemplo Universidade.xxx . Está tendencia ainda não chegou ao brasil, mas provavelmente isto pode acontecer nos próximos anos.

Fluidodinâmica computacional : Para desenvolvedores e não desenvolvedores

Galera um ferramenta muito interessante que é bastante utilizada na engenharia é a fluidodinâmica computacional, também conhecida como CFD. Ela resolve através de algoritmos numéricos fenômenos de escoamento de fluídos entre outras coisas. Existem diversas ferramentas pagas que utilizam do resolver seus problemas de engenharia como o ANSYS CFX e PHOENIX, entretanto estas são ferramentas comerciais.
Uma escolha é adotar ferramentas grátis como o OPEN FOAM que apesar de ser livre não possui inteface amigável e  extremamente complexo, principalmente para não desenvolvedores.
O CFD esta sendo utilizado em diversas áreas como engenharia automotiva, construções e de aeronaves.
Uma boa pedida é começar a ler e discutir como esta ferramenta funciona...

Ler mais em...
Até mais....