¿No es posible reciclar el archivo del viejo EsDebian?

33 envíos / 0 nuevos
Último envío
#1 Mié, 24/02/2016 - 20:54
darkblacklife
Imagen de darkblacklife
Desconectado/a
colaborador
se unió: 23/02/16

¿No es posible reciclar el archivo del viejo EsDebian?

Estado: 
[ACTIVO]

Hola a todo mundo, una "idea" que seguro no tiene nada de original y que ya la deben haber pensado (pero que no se cuales dificultades tiene llevarla acabo)...

Yo no se nada del tema de como funciona el soft y la base de datos de un foro, pero si existe el archivo del viejo foro/sitio... ¿no hay manera de "pegar" el contenido directamente en este foro y que vuelvan a estar todas las entradas que había antes? ¿no hay forma de recrear todas las cuentas de usuario?... digo, que de un saque se ponga en línea una copia del foro viejo... y cada usuario tenía un mail con el que se registró, ¿en ese archivo, no estarán esos mails metidos de alguna manera para mandar invitaciones a los viejos usuarios al nuevo foro?... ¿qué es lo que realmente está archivado? yo hasta donde pude ver se puede navegar por todos los contenidos, incluso los artículos publicados por los usuarios, solo que no anda el motor de búsqueda... No se puede decir que está perdido, solo difícil de acceder... Tiene que haber una manera, que yo no se cual es, de reciclar todo eso (y que no sea trabajo de hormiga copiandolo manualmente). ¿Nadie es o conoce a un "experto" en el tema?

Bueno, nada, yo no estoy dando ninguna solución, solo preguntando qué impide hacer eso...

Mié, 24/02/2016 - 22:55
rockyiii
Imagen de rockyiii
Conectado
administrator
se unió: 11/01/16

Lo importante es que por lo menos todavía contamos con un backup de esdebian.

Eso si, la idea es ir recuperando la wiki y en lo posible las entradas de blog (que se podrían ir poniendo como artículos con el permiso de sus autores). Lamentablemente habrá que ir haciéndolo de forma manual.frown

 

Jue, 25/02/2016 - 07:59
cnicolas
Imagen de cnicolas
Desconectado/a
colaborador
se unió: 21/02/16

Por mi parte rockyii tienes permisos para poner cualquier articulo mio de esdebian en la web si asi lo consideras oportuno

Debian y GNU/Linux en el core informatico.

Jue, 25/02/2016 - 12:59
darkblacklife
Imagen de darkblacklife
Desconectado/a
colaborador
se unió: 23/02/16

Sería expectacular tener todas las entradas del viejo foro incorporadas en el foro nuevo como si fueran temas cerrados. Existan o no esos usuarios en el nuevo foro.

Yo pensé que quedaba guardado en un formato interno igual al del foro, pero supongo que en realidad solo guarda un formato externo visualmente similar, ¿no?... Igual se me ocurre que alguién con mucha maña programando podria escribirse un programita que barriera todo el archivo y fuera organizando la información en un formato manejable... Obviamente yo no soy esa persona, pero ¿donde están esos super hacker informaticos de la películas cuando uno los necesita? laugh
 

ExDebian - La mayor comunidad de Debian en español

 

Vie, 26/02/2016 - 11:59
Devuan
Imagen de Devuan
Desconectado/a
se unió: 21/02/16

SI es posible, NO hay voluntad !

Vie, 26/02/2016 - 13:18 (Responder a #5)
elpatosilva
Imagen de elpatosilva
Desconectado/a
moderador
se unió: 22/01/16

Devuan wrote:

SI es posible, NO hay voluntad !

Este es el ultimo "backup" de esdebian en la Wayback Machine https://web.archive.org/web/20150905092141/http://www.esdebian.org/

Lo invito a usted y a cualquiera que tenga tiempo, le ponga toda la voluntad disponible y parsee esos datos a algun formato que pueda ser inyectado dentro de drupal.

Me gustaria ayudarlo mas pero lamentablemente no tengo idea de como hacer eso en Drupal, no le podria asegurar que sea posible, ni nadie que conozca lo sabe. En ese punto le va a tener que agregar un poco de voluntad extra.

 

Saludos

 La democracia es el proceso que garantiza que no seamos gobernados mejor de lo que nos merecemos.

Vie, 26/02/2016 - 14:06 (Responder a #6)
caliban
Imagen de caliban
Conectado
moderador
se unió: 14/01/16

Devuan wrote:

SI es posible, NO hay voluntad !

Dado que haces dos afirmaciones categóricas ,entiendo que :

Sí es posible hacerlo y te consta con tanta seguridad que seguro vos sabes en detalles como se hace

No hay voluntad ,por que sabiendo hacerlo no tenes ganas .

Entonces, quizá en un acto de generosidad podes poner una guia, detallada , de como se hace dicho proceso,seguro algún miembro del foro se pondrá en la labor. ¿cierto ?

Lun, 29/02/2016 - 14:47
Dec0
Imagen de Dec0
Desconectado/a
se unió: 29/02/16

Hola a todos, qué bueno saber de ustedes.

Pueden poner mis mensajes sin problemas.

Las guías de APT, comandos y demás eran brutales, espero que se puedan recuperar.

 

Saludos.

Mar, 01/03/2016 - 16:02
Phenom
Imagen de Phenom
Desconectado/a
se unió: 24/02/16

Yo tambien  espero que se pueda recuperar algo , almenos la  wiki , es una de las cosas más importantes , para mi !! 

Mar, 01/03/2016 - 16:10
caliban
Imagen de caliban
Conectado
moderador
se unió: 14/01/16

Hasta que no se recupere,  reconfigure el formato y se instale en parte o en todo la wiki de esdebian, siempre le queda a cada usuario recuperarla , y  guardarla en su propia pc , ver el tema :

http://www.exdebian.org/página-ayuda/donde-encontrar-los-archivos-de-esdebian

Mar, 01/03/2016 - 17:20
esbrinartot
Imagen de esbrinartot
Desconectado/a
se unió: 28/02/16

¿Y no se podria hablar con el antiguo administrador de esdebian para que cediera la base de datos y el resto de material?

Jue, 03/03/2016 - 07:19
Devuan
Imagen de Devuan
Desconectado/a
se unió: 21/02/16

Deja de soñar papito !

Jue, 03/03/2016 - 09:41 (Responder a #12)
elpatosilva
Imagen de elpatosilva
Desconectado/a
moderador
se unió: 22/01/16

Devuan wrote:

Deja de soñar papito !

La forma adecuada de responder es: "No creo que eso que propones sea posible"

 

Respetemos la netiquette, si hasta hay un RFC al respecto https://tools.ietf.org/html/rfc1855

 La democracia es el proceso que garantiza que no seamos gobernados mejor de lo que nos merecemos.

Dom, 06/03/2016 - 08:46
jsalvador
Imagen de jsalvador
Desconectado/a
se unió: 18/02/16

Lo genial seria conseguir una copia de la base de datos, parsearla y meterla aquí... Con nabble-discourse se está haciendo, y si ambos foros son PHP, más fácil será aún.

Porque si no, hacerlo a mano... Como que no. Muchos años acumulando contenido.


Enseñé a mi madre a usar Linux: ella me dio la vida, yo le di la libertad.

http://juanjosalvador.es

Dom, 06/03/2016 - 15:49
rockyiii
Imagen de rockyiii
Conectado
administrator
se unió: 11/01/16

Realmente dudo que exista una copia de esdebian con su base de datos. todos sabemos que desde hace años ariel no participaba en esdebian para nada.

Lo raro es que nadie cierra un sitio que fundó hace 15 años sin despedirse y avisar del cierre.

Sin ponerme a hacer especulaciones de las cosas que le podrían haber pasado a su dueño, o los motivos, etc. creo que lo mas probable es que, ante la falta de pago, el web hosting aya borrado todo (no se cual es el protocolo que tienen pero supongo que después de un tiempo si no pagan borran todo).

Además que con el poco interés que demostraba por esdebian en estos últimos años, no creo que su dueño haya mantenido un backup del sitio en forma regular y actualizada.

Yo creo que lo mejor que podríamos hacer es ir copiando y pegando los art de la wiki (después se le dará el formato etc)

 

Vie, 18/03/2016 - 18:22 (Responder a #15)
Pajaro_xdd
Imagen de Pajaro_xdd
Desconectado/a
colaborador
se unió: 16/03/16

darkblacklife wrote:
Sería expectacular tener todas las entradas del viejo foro incorporadas en el foro nuevo como si fueran temas cerrados. Existan o no esos usuarios en el nuevo foro.

Yo pensé que quedaba guardado en un formato interno igual al del foro, pero supongo que en realidad solo guarda un formato externo visualmente similar, ¿no?... Igual se me ocurre que alguién con mucha maña programando podria escribirse un programita que barriera todo el archivo y fuera organizando la información en un formato manejable... Obviamente yo no soy esa persona, pero ¿donde están esos super hacker informaticos de la películas cuando uno los necesita?

 

elpatosilva wrote:

Devuan wrote:

SI es posible, NO hay voluntad !

Este es el ultimo "backup" de esdebian en la Wayback Machine https://web.archive.org/web/20150905092141/http://www.esdebian.org/

Lo invito a usted y a cualquiera que tenga tiempo, le ponga toda la voluntad disponible y parsee esos datos a algun formato que pueda ser inyectado dentro de drupal.

Me gustaria ayudarlo mas pero lamentablemente no tengo idea de como hacer eso en Drupal, no le podria asegurar que sea posible, ni nadie que conozca lo sabe. En ese punto le va a tener que agregar un poco de voluntad extra.

 

Saludos

 

@darkblacklife: No te equivocas, los posts si que "se guardan en un formato interno". En realidad cuando escribes un post en contenido se guarda en la base de datos de la aplicación web.

 

@elpatosilva: Si que se puede hacer, y en realidad es 'relativamente facil de hacer.

 

Bueno, creo que se podría hacer un programa que visite el backup de la wiki de esdebian, visite cada una de las categorias, y guarde la información de los posts de cada categoria, despues otro programa que se conecte a la base de datos de drupal de esta web para añadir las entradas de forma automática.

 

Yo me he puesto manos a la obra y de momento llevo esto:

#!/usr/bin/env python3
#
#  esdebianWikiDownloader.py
#  
#  Copyright 2016 Pajaro_xdd <p4bloalvarez@gmail.com>
#  
#  This program is free software; you can redistribute it and/or modify
#  it under the terms of the GNU General Public License as published by
#  the Free Software Foundation; either version 2 of the License, or
#  (at your option) any later version.
#  
#  This program is distributed in the hope that it will be useful,
#  but WITHOUT ANY WARRANTY; without even the implied warranty of
#  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
#  GNU General Public License for more details.
#  
#  You should have received a copy of the GNU General Public License
#  along with this program; if not, write to the Free Software
#  Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston,
#  MA 02110-1301, USA.
#  
#  

class esdebianWiki:
	def __init__(self):
		import urllib3
		from bs4 import BeautifulSoup
		self.urllib3 = urllib3
		self.BeautifulSoup = BeautifulSoup
		del BeautifulSoup
		del urllib3
		self.wikisuburl = '/web/20150906035714/http://www.esdebian.org/wiki'
		self.baseurl = 'web.archive.org'
		self.ua = {'user-agent': 'Mozilla/5.0 (X11; Linux i686; rv:38.0) Gecko/20100101 Firefox/38.0 Iceweasel/38.6.1'}
	def getLinks(self):
		"""Retorna una lista de diccionarios que contienen el título y URL de cada uno de los enlaces que aparecen
		en el board de la wiki de esdebian"""
		self.http = self.urllib3.connectionpool.HTTPConnectionPool(self.baseurl, headers=self.ua)
		self.wikirequest = self.http.request('GET', self.wikisuburl)
		if self.wikirequest.status != 200:
			print('GET Error')
			return -1
		self.wikihtml = self.wikirequest.data.decode('utf-8')
		self.souphtml = self.BeautifulSoup(self.wikihtml, 'lxml')
		self.__divcategorias = self.souphtml.find_all('div', {'class': "categorias"})
		self.__categorias = self.__divcategorias[0].find_all('div')
		self.lista = []
		for a in self.__categorias:
			if 'cat' in str(a):
				url = a.a['href']
				title = a.a.getText()
				self.lista.append({title: url})
		return self.lista
	def getPosts(self, linksList):
		"""A esta función se le pasa cómo argumento la lista generada por la función getLinks. Descarga el contenido de dichos
		links y lo guarda en una lista, la cual para cada link contiene:
		Un diccionario:
			Key: Título
			Value: Una listas que contiene un diccionario con:
					Key: URL
					Value: Código HTML"""
		self.titles = []
		self.htmls = {}
		self.urls = {}
		for link in linksList:
			http = self.urllib3.connectionpool.HTTPConnectionPool(self.baseurl, headers=self.ua)
			html = http.request('GET', list(link.values())[0])
			soup = self.BeautifulSoup(html.data.decode('utf-8'), 'lxml')
			node = soup.find('div', {'class': 'node'})
			content = node.find('div', {'class': 'content'}).div
			self.titles.append(list(link.keys())[0])
			self.htmls.update({list(link.keys())[0]: content})
			self.urls.update({list(link.keys())[0]: list(link.values())[0]})
			#self.htmls.append({list(link.keys())[0]: [{list(link.values())[0]: content}]})
		return self.titles, self.urls, self.htmls

 

Y este es un ejemplo de uso, el cuál guarda los documentos descargados en la carpeta html:

#!/usr/bin/env python3
#
#  main.py
#  
#  Copyright 2016 Pajaro <p4bloalvarez@gmail.com>
#  
#  This program is free software; you can redistribute it and/or modify
#  it under the terms of the GNU General Public License as published by
#  the Free Software Foundation; either version 2 of the License, or
#  (at your option) any later version.
#  
#  This program is distributed in the hope that it will be useful,
#  but WITHOUT ANY WARRANTY; without even the implied warranty of
#  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
#  GNU General Public License for more details.
#  
#  You should have received a copy of the GNU General Public License
#  along with this program; if not, write to the Free Software
#  Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston,
#  MA 02110-1301, USA.
#  
#  

import esdebianWikiDownloader
from os import system

print('Downloading posts, wait please...')
wiki = esdebianWikiDownloader.esdebianWiki()
links = wiki.getLinks()
posts = wiki.getPosts(links)
system('mkdir html 2</dev/null')

for a in posts[0]:
     name = a.replace('/', '') + '.html'
     file = open('html/' + name, 'w')
     file.writelines(str(posts[2][a]))
     file.close()

print('Success!\nHTML file stored in "html" folder.Good learning ;)')

 

 

Lo unico es que descarga lo que es el indice de posts, y no los posts en sí.

Cuándo tenga tiempo lo corregiré.

Si alguien sabe programar en python, C o sabe SQL y quiere ayudar  que me contacte por mensaje privado o me busque en Telegram con éste nombre de usuario :)

"Mi cuerpo se cansó, mi vida bostezó, pero mi mente sigue en pie."

Sáb, 19/03/2016 - 11:34
NerveNet
Imagen de NerveNet
Desconectado/a
colaborador
se unió: 14/03/16

Bueno, lo poco que publiqué lo puedo subir como articulos pero algunos son realmente viejunos...

A un clic de distancia de ti...

Sáb, 19/03/2016 - 21:12 (Responder a #17)
darkblacklife
Imagen de darkblacklife
Desconectado/a
colaborador
se unió: 23/02/16

Pajaro_xdd

Espectacular!!! Ojalá funcione, y que incluso se puedan recuperar los post del foro... Espero que tengás éxito, yo apenas toqué C, y estoy ocupado escribiendo una tésis, lamento no poder ayudarte pero te aliento y te felicito por el intento...

ExDebian - La mayor comunidad de Debian en español

 

Dom, 20/03/2016 - 13:18 (Responder a #18)
rockyiii
Imagen de rockyiii
Conectado
administrator
se unió: 11/01/16

NerveNet wrote:

Bueno, lo poco que publiqué lo puedo subir como articulos pero algunos son realmente viejunos...

Sobre los artículos que hablan de algún acontecimiento pasado (tipo noticias de la actualización de un so, programa, etc) o tutoriales sobre programas que ya no existen o son obsoletos (por ejemplo. "solucionar el problema de automontaje de unidades usb en kde 3.5"), etc, etc. queda en el criterio de cada uno.
 

saludos...

Lun, 21/03/2016 - 15:05 (Responder a #19)
Pajaro_xdd
Imagen de Pajaro_xdd
Desconectado/a
colaborador
se unió: 16/03/16

Gracias hombre!

Tranquilo, si no es que quiera ayuda, sólo lo dije por que seguramente alguien quiera colaborar, vamos, digo yo xD

 

Bueno, al parecer ya he recuperado todos los posts de la wiki, aquí el script:

#!/usr/bin/env python
#
#  debianWiki.py
#  
#  Copyright 2016 Pajaro <p4bloalvarez@gmail.com>
#  
#  This program is free software; you can redistribute it and/or modify
#  it under the terms of the GNU General Public License as published by
#  the Free Software Foundation; either version 2 of the License, or
#  (at your option) any later version.
#  
#  This program is distributed in the hope that it will be useful,
#  but WITHOUT ANY WARRANTY; without even the implied warranty of
#  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
#  GNU General Public License for more details.
#  
#  You should have received a copy of the GNU General Public License
#  along with this program; if not, write to the Free Software
#  Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston,
#  MA 02110-1301, USA.
#  
#  

class debianWiki:
	def __init__(self):
		import urllib3
		from bs4 import BeautifulSoup
		self.urllib3 = urllib3
		self.BeautifulSoup = BeautifulSoup
		del urllib3
		del BeautifulSoup
		self.host = 'web.archive.org'
		self.subUrl = 'http://web.archive.org/web/20150905092141/http://www.esdebian.org/wiki'
	def getLinks(self, links=None):
		if not links:
			links = [self.subUrl]
			print('DEBUG: links value: {0}'.format(links))
		titles = []
		urls = []
		htmls = []
		http = self.urllib3.connectionpool.HTTPConnectionPool(self.host, headers={'user-agent': 'Mozilla/5.0 (X11; Linux i686; rv:38.0) Gecko/20100101 Firefox/38.0 Iceweasel/38.6.1'})
		for link in links:
			print('DEBUG: link value: {0}'.format(link))
			html = self.BeautifulSoup(http.request('GET', link).data.decode('utf-8'), 'lxml')
			categories = html.find('div', {'class': 'categorias'})
			try:
				categories_href = categories.find_all('a')
			except:
				pass
			for url in categories_href:
				urls.append(url['href'])
				try:
					categories_href = categories.find_all('a')
				except:
					pass
			for title in categories_href:
				titles.append(title.string)
		return titles, urls
	def downloadContents(self, titles, urls):
		htmls = []
		http = self.urllib3.connectionpool.HTTPConnectionPool(self.host, headers={'user-agent': 'Mozilla/5.0 (X11; Linux i686; rv:38.0) Gecko/20100101 Firefox/38.0 Iceweasel/38.6.1'})
		for url in urls:
			print('DEBUG: url value: {0}'.format(url))
			html = self.BeautifulSoup(http.request('GET', url).data.decode('utf-8'), 'lxml').find('div', {'class': 'node'}).find('div', {'class': 'content'})
			htmls.append(html)
		return titles, urls, htmls

Ahora solo queda hablar con el staff y espero que en unos pocos dias ya esté lista la wiki :D

Salu2!

Pajaro

"Mi cuerpo se cansó, mi vida bostezó, pero mi mente sigue en pie."

Lun, 21/03/2016 - 15:40
caliban
Imagen de caliban
Conectado
moderador
se unió: 14/01/16

El punto no es recuperar todos los artículos de la wiki de esdebian, yo los tengo (desde hace un par de años ),y varios también 

El asunto es adaptarlos ( y transcribirlos ) al reducido código htlm que acepta esta wiki .

Y de paso actualizar lo que hay que actualizar en cada uno, evitar los caducos e inútiles  etc.