#web crawl

Algunas personas pueden tener una pregunta como esta, "¿Podemos usar los datos de Internet?" No hay duda de que Internet proporciona tanta información increíble hoy que podríamos descubrir qué tan valiosa podría ser. Por eso surge el web data scraping. El Web data scraping, el proceso de algo así como copiar y pegar automáticamente, es un campo en crecimiento que puede proporcionar información poderosa para respaldar el análisis y la inteligencia empresarial.

There's this phenomenon, analysed and visualised a lot of times, that if you keep clicking on the first link in a Wikipedia article, you'll eventually get to Philosophy (or, more precisely, into a loop that has Philosophy in it, and a couple of other related articles). So I decided to write my own code to test this, it's in Python and it's basically a crawler. Initially I was planning on making a tree-like visual output of this, but upon seeing how much is out there of the kind already, I chose showing how it runs in real time instead.

Neste final de semana comecei a fazer um motor de busca, utilizando o node.js, ele vai funcionar basicamente da seguinte maneira.

Web Crawl - ( Http, jQuery e Underscore )

Banco de Dados para indexar as fontes. ( MongoDB, Mongoose )

Algoritimo de recomendação, de procura por palavras, algo semelhante ao ( Zipf's law ),

navegação por graficos e modo classico.

Quero fazer algo que não fique dependente de um banco de dados para funcionar. E sim, quando for feito uma cópia do projeto, quem estiver utilizando podera indexar novas fontes, em uma base de dados própria.

Funcionando com pesquisas direcionadas há algumas redes sociais. E também por geolocalização retornando um local.

Link para o repositório: https://github.com/kaiquewdev/schrodinger