Ir al contenido

Usuario:InfoBot/infobot.py

De Wikipedia, la enciclopedia libre
# -*- coding: utf-8  -*-

#    Jesús Ruiz-Ayúcar Vázquez <chuso AT gnoma DOT es>
#    Copyright (C) 2007  Jesús Ruiz-Ayúcar Vázquez
#
#    This program is free software: you can redistribute it and/or modify
#    it under the terms of the GNU General Public License as published by
#    the Free Software Foundation, either version 3 of the License, or
#    (at your option) any later version.
#
#    This program is distributed in the hope that it will be useful,
#    but WITHOUT ANY WARRANTY; without even the implied warranty of
#    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
#    GNU General Public License for more details.
#
#    You should have received a copy of the GNU General Public License
#    along with this program.  If not, see <http://www.gnu.org/licenses/>.

import sys, re , time, sets, getopt
import wikipedia, pagegenerators, catlib, config

# Acerca de infobot.py:
#
# Este script se encarga de averiguar qué campos del infobox de ciudades están completados
# El único requisito es partir de una página en la que todos los enlaces apunten a los municipios
# que se quieran analizar. Se puede personalizar los campos comprobar, para ello deben ponerse a 
# True o False cada parámetro. Además, para poder comprobar que la alcaldía y el censo están actualizados
# se deben utilizar los campos alcalde_año y ine_año en el infobox respectivamente.
#
# Para establecer la página sobre la que trabajar hay que añadir la ruta relativa en el campo url

# Parámetros globales
url = u"Wikiproyecto:Toledo/Infobox"	# url en la que están los enlaces a municipios
infobox = False				# Para comprobar existencia del infobox
mapa = True				# Para comprobar existencia del mapa
coor = False				# Para comprobar existencia de las coordenadas
altitud = False				# Para comprobar existencia de la altitud
superficie = False			# Para comprobar existencia de la superficie
poblacion = False			# Para comprobar existencia de población. 
					# Debe tener un año ine en el campo ine_anyo
ine_anyo = 2006
gentilicio = True			# Para comprobar existencia del gentilicio
alcaldia = False			# Para comprobar existencia de la alcaldía (alcalde o 
					# alcaldesa). Debe tener un año de alcaldía en alcaldia_anyo
alcaldia_anyo = 2007
tamanyo = True				# Para extraer el tamaño del documento
codigo_postal = True			# Para comprobar existencia del código postal
escudo = True				# Para comprobar existencia del escudo
bandera = True				# Para comprobar existencia de la bandera
patron = True				# Para comprobar existencia del patrón
patrona = True				# Para comprobar existencia de la patrona
partido = True				# Para comprobar existencia del partido judicial
capital = True				# Para comprobar existencia de la distancia a la
					# capital de provincia. Debe tener el nombre de la
					# capital en nombre_capital
nombre_capital = "Toledo"

verbose = False				# Modo verboso, para que muestre información por consola
debug = False				# Modo debug, para que no actualicer y comprobar
					# previamente el resultado

yes = u"Ok"				# Texto que indicará que el campo existe y es correcto
no = u""				# Texto que indicará que el campo no existe o es erróneo

def usage():
	wikipedia.output(u"Cómo usar este script\n")
	wikipedia.output(u"-h, --help: Muestra esta ayuda")
	wikipedia.output(u"-d, --debug: Modo debug. No actualiza la página y muestra la salida")
	wikipedia.output(u"--infobox=[si|no]: Comprobar existencia de infobox")
	wikipedia.output(u"--mapa=[si|no]: Comprobar existencia de mapa")
	wikipedia.output(u"--coor=[si|no]: Comprobar existencia de coordenadas")
	wikipedia.output(u"--altitud=[si|no]: Comprobar existencia de altitud")
	wikipedia.output(u"--superficie=[si|no]: Comprobar existencia de superficie")
	wikipedia.output(u"--poblacion=[si|no]: Comprobar existencia de poblacion")
	wikipedia.output(u"--ine_ayo=[año]: Establecer año del censo INE")
	wikipedia.output(u"--gentilicio=[si|no]: Comprobar existencia de gentilicio")
	wikipedia.output(u"--alcaldia=[si|no]: Comprobar existencia de alcaldia")
	wikipedia.output(u"--alcaldia_anyo=[año]: Establecer primer año de la legislatura de la alcaldia")
	wikipedia.output(u"--tamanyo=[si|no]: Mostrar tamaño del artículo")
	wikipedia.output(u"--codigo_postal=[si|no]: Comprobar existencia de codigo postal")

def getparams():
	global infobox, mapa, coor, altitud, superficie, poblacion, ine_anyo, gentilicio, alcaldia, alcaldia_anyo, tamanyo, codigo_postal
	try:
		opts, args = getopt.getopt(sys.argv[1:], "hd:v", ["help", "debug", "infobox=", "mapa=", "coor=", "altitud=", "superficie=", "poblacion=", "ine_anyo=", "gentilicio=", "alcaldia=", "alcaldia_anyo=", "tamanyo=", "codigo_postal="])
	except getopt.GetoptError:
		# Mostrar información de ayuda y salir
		usage()
		sys.exit(2)
	for o, a in opts:
		if o == "-v":
			verbose = True
		if o in ("-h", "--help"):
			usage()
			sys.exit()
		if o in ("-d", "--debug"):
			debug = True
		if o in ("--infobox"):
			if a in ("si", "Si"):
				infobox = True
			if a in ("no", "No"):
				infobox = False
		if o in ("--mapa="):
			if a in ("si", "Si"):
				mapa = True
			if a in ("no", "No"):
				mapa = False
		if o in ("--coor="):
			if a in ("si", "Si"):
				coor = True
			if a in ("no", "No"):
				coor = False
		if o in ("--altitud="):
			if a in ("si", "Si"):
				altitud = True
			if a in ("no", "No"):
				altitud = False
		if o in ("--superficie="):
			if a in ("si", "Si"):
				superficie = True
			if a in ("no", "No"):
				superficie = False
		if o in ("--poblacion="):
			if a in ("si", "Si"):
				poblacion = True
			if a in ("no", "No"):
				poblacion = False
		if o in ("--gentilicio="):
			if a in ("si", "Si"):
				gentilicio = True
			if a in ("no", "No"):
				gentilicio = False
		if o in ("--alcaldia="):
			if a in ("si", "Si"):
				alcaldia = True
			if a in ("no", "No"):
				alcaldia = False
		if o in ("--tamanyo="):
			if a in ("si", "Si"):
				tamanyo = True
			if a in ("no", "No"):
				tamanyo = False
		if o in ("--codigo_postal="):
			if a in ("si", "Si"):
				codigo_postal = True
			if a in ("no", "No"):
				codigo_postal = False
		if o in ("--ine_anyo="):
			ine_anyo = a
		if o in ("--alcaldia_anyo="):
			alcaldia_anyo = a

def main():
	# Parametros wikipedia
	es_site = wikipedia.Site('es','wikipedia','InfoBot')
	sp = wikipedia.Page(es_site, url)
	
	getparams()
	
	# Salida preliminar
	salida=u""
	salida+=u"{| class=\"wikitable\"\n"
	salida+=u"|+ '''Código de colores'''\n"
	salida+=u"! Color\n"
	salida+=u"! Clave\n"
	salida+=u"! Rango (bytes)\n"
	salida+=u"|-\n"
	salida+=u"| bgcolor=\"#ff0000\"| || #ff0000 || 0-500\n"
	salida+=u"|-\n"
	salida+=u"| bgcolor=\"#ff3000\"| || #ff3000 || 501-1000\n"
	salida+=u"|-\n"
	salida+=u"| bgcolor=\"#ff6000\"| || #ff6000 || 1001-2000 \n"
	salida+=u"|-\n"
	salida+=u"| bgcolor=\"#ff9000\"| || #ff9000 || 2001-3000\n"
	salida+=u"|-\n"
	salida+=u"| bgcolor=\"#ffc000\"| || #ffc000 || 3001-4000\n"
	salida+=u"|-\n"
	salida+=u"| bgcolor=\"#ffff00\"| || #ffff00 || 4001-5000\n"
	salida+=u"|-\n"
	salida+=u"| bgcolor=\"#ccff00\"| || #ccff00 || 5001-6000\n"
	salida+=u"|-\n"
	salida+=u"| bgcolor=\"#99ff00\"| || #99ff00 || 6001-7000\n"
	salida+=u"|-\n"
	salida+=u"| bgcolor=\"#66ff00\"| || #66ff00 || 7001-8000\n"
	salida+=u"|-\n"
	salida+=u"| bgcolor=\"#33ff00\"| || #33ff00 || 8001-9000\n"
	salida+=u"|-\n"
	salida+=u"| bgcolor=\"#00ff00\"| || #00ff00 || >9001\n"
	salida+=u"|}\n\n"
	salida+=u"{| class=\"sortable wikitable\"\n"
	salida+=u"! Municipio\n"
	if infobox:
		salida+=u"! Infobox\n"
	if mapa:
		salida+=u"! Mapa\n"
	if coor:
		salida+=u"! Coord\n"
	if altitud:
		salida+=u"! Altitud\n"
	if superficie:
		salida+=u"! Superf\n"
	if poblacion:
		salida+=u"! Pob. %d\n" % (ine_anyo)
	if gentilicio:
		salida+=u"! Gentilicio\n"
	if alcaldia:
		salida+=u"! Alcaldía %d\n" % (alcaldia_anyo)
	if codigo_postal:
		salida+=u"! CP\n"
	if escudo:
		salida+=u"! Escudo\n"
	if bandera:
		salida+=u"! Bandera\n"
	if patron:
		salida+=u"! Patrón\n"
	if patrona:
		salida+=u"! Patrona\n"
	if partido:
		salida+=u"! Partido\n"
	if capital:
		salida+=u"! Distancia a capital\n"
	if tamanyo:
		salida+=u"! Tamaño\n"
	
	# Generamos lista de poblaciones
	gen = pagegenerators.LinkedPageGenerator(sp)
	gen = pagegenerators.NamespaceFilterPageGenerator(gen,[0])
	preloadingGen = pagegenerators.PreloadingGenerator(gen, pageNumber = 500)
	
	# Navegamos por cada municipio para extraer información
	for page in preloadingGen:
		# Obtenemos solo enlaces a páginas "reales"
		if re.search(ur"Image",page.title()):
			continue
		if page.isRedirectPage():
			page=wikipedia.Page(page.site(), page.getRedirectTarget())
	
		# Extraemos el texto
		texto=page.get()
	
		# Comprobamos si tiene infobox
		if infobox:
			infobox_output=no
			if re.search(ur"(?s)\{\{[Ii]nfobox.ciudad.España",texto):
				infobox_output=yes
	
		# Comprobamos si tiene mapa
		if mapa:
			mapa_output=no
			if re.search(ur"(?s)\|\s*[iI]magen?\s*=\s*\[\[[Ii]magen?:.+\]\]", texto):
				mapa_output=yes
	
		# Comprobamos si tiene coordenadas
		if coor:
			coor_output=no
			if re.search(ur"(?s)\|\s*coor\s*=\s*\{\{coor d?m?s?\|[\d\|]+\|[NnSs][\d\|]+\|[EeOoWw][\|]?\}\}", texto):
				coor_output=yes
	
		# Comprobamos si tiene altitud
		if altitud:
			altitud_output=no
			if re.search(ur"(?s)\|\s*altitud\s*=\s*\d", texto):
				altitud_output=yes
	
		# Comprobamos si tiene superficie
		if superficie:
			superficie_output=no
			if re.search(ur"(?s)\|\s*superficie\s*=\s*\d", texto):
				superficie_output=yes
	
		# Comprobamos si tiene población
		if poblacion:
			poblacion_output=no
			if re.search(ur"(?s)\|\s*población\s*=\s*\d", texto):
				if re.search(ur"(?s)\|\s*ine_año\s*=\s*%d" % (ine_anyo), texto):
					poblacion_output=yes
	
		# Comprobamos si tiene gentilicio
		if gentilicio:
			gentilicio_output=no
			if re.search(ur"(?s)\|\s*gentilicio\s*=\s*[\wá-úÁ-ÚñÑ]+", texto):
				gentilicio_output=yes
		
		if codigo_postal:
			codigo_postal_output=no
			if re.search(ur"(?s)\|\s*cp\s*=\s*\d{4,5}", texto):
				codigo_postal_output=yes
	
		# Comprobamos si tiene alcalde
		if alcaldia:
			alcaldia_output=no
			if re.search(ur"(?s)\|\s*alcalde(sa)?\s*=\s*\[?\[?[\wá-úÁ-ÚñÑ]+", texto):
				if re.search(ur"(?s)\|\s*alcalde(sa)?_año\s*=\s*%d" % (alcaldia_anyo), texto):
					alcaldia_output=yes
	
		# Comprobamos si tiene escudo
		if escudo:
			escudo_output=no
			if not re.search(ur"(?s)\|\s*escudo\s*=\s*no", texto):
				if re.search(ur"(?s)\|\s*escudo\s*=\s*[\wá-úÁ-ÚñÑ\-\_\.]+", texto):
					escudo_output=yes

		# Comprobamos si tiene bandera
		if bandera:
			bandera_output=no
			if not re.search(ur"(?s)\|\s*bandera\s*=\s*no", texto):
				if re.search(ur"(?s)\|\s*bandera\s*=\s*[\wá-úÁ-ÚñÑ\-\_\.]+", texto):
					bandera_output=yes

		# Comprobamos si tiene patrón
		if patron:
			patron_output=no
			if re.search(ur"(?s)\|\s*patrón\s*=\s*\[?\[?[\wá-úÁ-ÚñÑ]+", texto):
				patron_output=yes

		# Comprobamos si tiene patrona
		if patrona:
			patrona_output=no
			if re.search(ur"(?s)\|\s*patrona\s*=\s*\[?\[?[\wá-úÁ-ÚñÑ]+", texto):
				patrona_output=yes

		# Comprobamos si tiene partido
		if partido:
			partido_output=no
			if re.search(ur"(?s)\|\s*partido\s*=\s*\[?\[?[\wá-úÁ-ÚñÑ]+", texto):
				partido_output=yes

		# Comprobamos si tiene la distancia a la capital
		if capital:
			capital_output=no
			m = re.search(ur"(?s)\|\s*referencia(\d*)\s*=\s*\[?\[?%s\]?\]?" % (nombre_capital),texto,re.IGNORECASE)
			if (m):
				ref_id = m.group(1)
				p = re.search(ur"(?s)\|\s*distancia%s\s*=\s*\d+" % (ref_id),texto)
				if (p):
					capital_output=yes

		# Asignamos un color en función del tamaño en bytes de la página
		if tamanyo:
			tam=len(texto)
			if tam <500:
				tam_s='bgcolor="#ff0000" | %d' % (tam)
			elif tam < 1000:
				tam_s='bgcolor="#ff3000" | %d' % (tam)
			elif tam < 2000:
				tam_s='bgcolor="#ff6000" | %d' % (tam)
			elif tam < 3000:
				tam_s='bgcolor="#ff9000" | %d' % (tam)
			elif tam < 4000:
				tam_s='bgcolor="#ffc000" | %d' % (tam)
			elif tam < 5000:
				tam_s='bgcolor="#ffff00" | %d' % (tam)
			elif tam < 6000:
				tam_s='bgcolor="#ccff00" | %d' % (tam)
			elif tam < 7000:
				tam_s='bgcolor="#99ff00" | %d' % (tam)
			elif tam < 8000:
				tam_s='bgcolor="#66ff00" | %d' % (tam)
			elif tam < 9000:
				tam_s='bgcolor="#33ff00" | %d' % (tam)
			else:
				tam_s='bgcolor="#00ff00" | %d' % (tam)
	
		if verbose:
			# Mostramos salida por consola
	        	wikipedia.output( u"==== %s ==== (%s) - (%d) - %s" % (page.title(),infobox,tam, coor) )
			
		# Sacamos el código wikipedia con la fila del municipio
		salida+=u"|--\n| [[%s]]" % (page.title())
		if infobox:
			salida+=u" || %s" % (infobox_output)
		if mapa:
			salida+=u" || %s" % (mapa_output)
		if coor:
			salida+=u" || %s" % (coor_output)
		if altitud:
			salida+=u" || %s" % (altitud_output)
		if superficie:
			salida+=u" || %s" % (superficie_output)
		if poblacion:
			salida+=u" || %s" % (poblacion_output)
		if gentilicio:
			salida+=u" || %s" % (gentilicio_output)
		if alcaldia:
			salida+=u" || %s" % (alcaldia_output)
		if codigo_postal:
			salida+=u" || %s" % (codigo_postal_output)
		if escudo:
			salida+=u" || %s" % (escudo_output)
		if bandera:
			salida+=u" || %s" % (bandera_output)
		if patron:
			salida+=u" || %s" % (patron_output)
		if patrona:
			salida+=u" || %s" % (patrona_output)
		if partido:
			salida+=u" || %s" % (partido_output)
		if capital:
			salida+=u" || %s" % (capital_output)
		if tamanyo:
			salida+=u" || %s" % (tam_s)
		salida+=u" \n"
	salida+=u"|}"
	
	if debug:
		wikipedia.output( u"%s" % (salida) )
	else:
		# Actualizamos información en la wikipedia
		sp.put(salida,comment=u"actualizando", minorEdit= True)
if __name__ == "__main__":
	main()