Pequeño Scrapper de Wikipedia

Un scrapper es un pequeño programa (normalmente llamado script) que cumple la función de extraer datos de una página web leyendo su contenido.

En el caso de ruby es muy fácil hacer un scrapper de una página web utilizando la gema mechanize, por ejemplo digamos si quisiéramos extraer el contenido de la wikipedia de la página 2014 (lo más importante del año hasta ahora) podríamos hacer lo siguiente:

Paso 1) instalar la gema Mechanize desde el terminal

$gem install mechanize

Paso 2) crear el script “wiki-parser.rb”

require "open-uri"
require "mechanize"

def main()
  agent = Mechanize.new
  agent.user_agent_alias = 'Mac Safari'
  agent.get("http://es.wikipedia.org/wiki/2014") do |page|
    puts page.parser.css('#content').text
  end
end

main()

¿ Cómo funciona?

Primero crea una agente, este agente será el que se conecte con la página y la descargue, en la siguiente línea se especifica un user_agent así el servidor que te entrega la página crees que te estas conectando desde Safari, aunque bien podrías decir que el llamado viene de firefox, chrome, o incluso Internet Explorer.

Finalmente el agente se conecta con la página de la wikipedia y muestra el contenido que esté debajo dentro del area de contenido, o sea que este script no muestra la información que está en las barras de navegación, para saber donde tienes que apuntar puedes dentro de una página web puedes entrar a ella y ocupar el inspector de elementos.

Gonzalo Sánchez
Share Button

About Gonzalo Sánchez

Emprendedor lean, Ingeniero civil informático dedicado al desarrollo de una mejor web con ruby on rails. Fanático de los números y las métricas y por sobre todo fundador de en1mes.
10 years ago Tutoriales, , 2,286
SQL JoinsBring your Cup | 4º Lugar mundial en el hack4good
You Might Also Like
 
 

Leave a Reply