Barrapunto

Personalmente yo estoy interesado en un cluster pero no de balanceo de carga, lo que me interesa es para juntar la potencia de varios pcs en uno (tiene un nombre pero no me acuerdo, sorry). ¿Existe algo para linux o windows? Graciass!!

Aunque mi mayor ilusión sería hacerlo sobre Slackware

Hummmm... slackware creo que no es apto para tareas corporales ;-)

Mírate la web del proyecto openmosix [sourceforge.net] (en Inglés). Además si buscas por ahí hay un montón de manuales y referencias justamente a este sistema.

Si se puede montar Cluster en novell Con OES. Oes no es mas el que SLES9 + el SP1 o el NW6.5 con Sp3. Lo que han echo es cambiarle el nombre. Se puede montar un Cluster con un nodo en Linux y otro en Netware, o dos en Linux. viene todo docmentado en: http://www.novell.com/es-es/documentation/ y mas comcretamente en: http://www.novell.com/documentation/ncs_lx/index.h tml

Es privativo (por lo q ya estoy esperando a q alguien se me tire al cuello), pero el mejor de lo que he conocido hasta ahora. He estado una buena temporada trabajando con él y todo ha ido como la seda.

Supongo que de su web podrás bajarte alguna demo; el problema es luego convencer a la empresas de que paguen las licencias, q no son baratas precisamente.

Para hacer un balanceo de carga en Linux te recomiendo que uses el LVS (Linux Virtual Server) que consiste en disponer de una maquina frontal con una unica ip virtual que hace la funcion de router hacia las maquinas traseras que componen la granja de servidores. Es un sistema robusto (el mismo gestiona HW redundante), rapido y muy adaptable. El Piranha, que comentas, no es mas que un front-end de configuracion del LVS.
El LVS esta en la cluster suite de RH, pero se puede instalar en otras distros. Aqui te dejo la pagina web del proyecto.
http://www.linuxvirtualserver.org/
El tema de migracion de procesos entre servidores de un cluster es distinto, para ello tendras que recurrir a un beowulf.

Si no quieres recurrir al inglés, tienes al menos un libro [pearsoneducacion.com] en español que trata este tema. Espero que te sirva.

Yo en estos momentos estoy jugando con linux-HA
( http://www.linux-ha.org )

Me he montado un cluster con dos pc's, y funciona de maravilla. ( dos PC's que comparten una IP,y una serie de servicios. En todo momento solo uno de ellos tiene los servicios levantados, conmutando automáticamente de uno a otro cuando el servidor activo se cae)

muy simple y eficiente. Además no depende de un repartidor de carga, que si se cae deja tieso al sistema.... :-)

.

Tenes unas cuantas opciones para hacer un cluster de procesamiento distribuido. Por ahi te mencionaron OpenMosix que es un fork del Mosix cuando el autor se decidio a empezar a cobrarlo. Para usar OM tenes que parchear el kernel y usar un shell propio que se encarga de paralelizar los procesos. Tambien tenes el Grid de Sun, que segun tengo entendido es potente pero me parece que te lo cobran. La opcion clasica es Beowulf, segun tengo entendido es la que te da mejor rendimiento porque tiene una menor granularidad, la gran contra(?) es que tenes que recompilar las aplicaciones usando las librerias de Beo. Idea que en general quienes no usan Gentoo evitamos.

Me leído por ahí sobre algun proyecto de computación que consistía en realizar un "clusters" con 4 Power Mac G5 duales y Linux, pero no sé cómo lo hacían, aunque el objetivo era conseguir la mayor capacidad de cálculo computacional a precio 'razonable', sin necesidad de tener que encargar una mini-supercomputadora a Hp, IBM, etc.

Lo pregunto por curiosidad, porque me sorprendió que haya iniciativas de estas y que al final salga mucho más barato construirse una maquina de estas carácterísticas.

Una máquina así podría ser muy interesante para realizar cálulos en campos como la ingeniería, matemáticas, química, sin tener que hacer un desembolso importante.

¿Alguién conoce proyectos de estos?

NOTA: No recuerdo exactamente, pero lo ví en una web tipo engadget.com o similar, y se la construían unos estudiantes de lo que debía de ser
una FP

Veritas Cluster Server no es un servicio de cluster por definicion, ahora tenemos 300 cluster montados en netware 6 y se preve migrarlos a SLES9, por ahora el cluster con un nodo en linux y otro en netware van como al seda. NCS lo puedes poner en cualquier distro de linux

Si que puedes usar gfs con slackware, nosotros lo usamos bajo debian.

Para clusteres de alta disponibilidad puedes usar, heartbeat, las maquinas se comunican entre ellas y si alguna cae otra toma su ip.

Otra opcion es usar LVS (Linux Virtual server), Tienes una maquina que se encarga de redirigir las peticiones a una ip, entre un pool de servidores, comprueba los servicios cada cierto tiempo y si uno de los servidores falla lo remueve del pool.

El gfs da un buen resultado en estos casos, ya que puedes usarlo para escribir simultaneamente en un mismo sistema de ficheros que comparta el pool de servidores para tener las mismas paginas web, acceso ftp, etc...

En cuanto a calculo, puedes usar algun cluster tipo beowulf, este se basa en librerias que implementan sistemas de mensajes entre las maquinas, tienes que programar usando estas librerias para que haya paralelizacion.

Otra solucion mas facil, pero con menos rendimiento, seria openmosix, que distribuye procesos (con carga baja de I/O) entre los diferentes nodos.

Siempre puedes hacer algo artesanal, como podria ser un bash script para ripear video, partiendo el video en varios trozos y usando claves rsa para el ssh, puedes mandar a procesar cada trozo de video a un nodo, cuando esten procesados todos los trozos los vuelves a juntar.

Espero que te sirva de algo.

en esta liga puedes encontrar las instrucciones para configurar/probar un cluster usando LAM-MPI para PVM no he encontrado la info en español, pero puedes descargartela del sitio de OSCAR http://www.generacio.com/cluster/cluster1.html

Respecto al tema de los clusters de alta disponibilidad (HA). Los que lo tengais montados y hagais uso de esta solución en entornos empresariales, ¿qué solución usais para el almacenamiento compartido? Ando buscando desde hace unos días algún array de discos SATA con 2 canales SCSI precisamente para este tema. ¿En vez de compartir discos sincronizais entre los nodos?

Hace tiempo que busco algo para hacer un cluster de mysql (activo-activo) de dos o más nodos.

He probado el nuevo sistema propio de mysql "ndb" pero no me convence por varias razones: todo en memoria principal(hace falta mucha memoria en los nodos, falta de caracteristicas en el motor ndb y la propia implementacion que es un poco "cutre", sin embargo me parece un sistema cojonudo el "shared nothing".

He probado con exito lvs para ello con sistemas S.A.N pero tampoco me convence mucho este sistema con bases de datos.

También estoy trasteando con una implementación de un driver java "c-jdbc" que abstrae toda la capa de clustering, pero no tengo muchas esperanzas en cuanto al rendimiento por motivos obvios.

¿alguien ha hecho algo parecido o sabe de alguna solución?

Yo estoy haciendo mi PFC basándome en Condor. Es un sistema de planificación de carga HTP (así que distribuye procesos, no sirve para programar un proceso para multiprocesador como MPI o PVM). Consta de varios procesos que se ejecutan como daemons y un conjunto de programas para acceder a ellos. Además tiene APIs para acceder a él vía SOAP o Perl. Tiene versión para Windows, Linux, MacOS X...

Además tiene otras características que sólo he visto en él, como checkpointing (puede parar la ejecución de un proceso y continuarlo en ese punto más tarde) y llamadas remotas (por ejemplo redirige un fopen al ordenador de envío). Estas características sólo se pueden utilizar si ha sido compilado con unas librerías propias.

No tiene problemas para enviar ficheros (incluso comprimidos) de entrada, así que puede disponer de ellos aunque no estén en un directorio compartido (Sun Grid Engine, similar, no puede).

He estado buscando bastante, y si lo que quieres es un sistema de distribución de procesos en una red de ordenadores, y que sea multiplataforma, es lo mejor. Leí algo sobre LVS pero no tenía tan buena pinta, y que yo sepa no había versiones más que para Linux.

Para más información, la web oficial es http://www.cs.wisc.edu/condor/ [wisc.edu]

PD: no es open source, pero la licencia [wisc.edu] parece bastante permisiva. No es un producto comercial ni similar.

¿conocéis alguna web de recursos en clustering?

Echa un vistazo a Hispacluster [hispacluster.org]. No tiene mucho movimiento, pero está todo en español.

en tux.cl, en la sección de articulos hay toda una sección de clustering con un howto de openmosix y uno de bewluf, eso sí, lo que me interes saber es como funcionan las tarjetas de vídeo en los clusters mosix, ¿es posible que quede como un sistema doble monitor?¿o para eso tienen que estar las dos targetas de vídeo en el mismo ordenador? saludos desde Chile

depende de lo que quieras hacer. Si quieres poner un oracle rac , pues usas GFS [redhat.com] , si lo que buscas es capacidad de calculo, pues usas openMosix [sourceforge.net] , y si solo quieres alta disponibilidad de alguna aplicación, pues con HeartBeat [linux-ha.org] vas apañado. Tambien puedes combinar distintas soluciones y ser un poco original, o si no quieres comerte la olla, pues tienes veritas cluster o cualquier otra solucion de estas de pago.

Tanto de la ps2; como si esperas un poco, de la ps3.
:-)

Pues para SLES 9 si que hay algo para clustering, aunque no tengo ni idea de como va.

Arranca Yast --> Sistema --> High Availability.

Esto utiliza heartbeat.

Ahora solo te queda utilizar tu buscador favorito, montones de horas y paciencia.

Saludos
chen

Hola

Hace aproximadamente un par de años, uno de los integrantes del "core team" de la ASSL [assl-site.net] desarrolló su proyecto de final de carrera entorno a la implementación de Arquitecturas de Clustering de Alta Disponibilidad y Escalabilidad (ACADE) [assl-site.net]. El enlace te llevará al documento de la memoria en PDF, en el cual se explica detalladamente lo que debes hacer para implementar un cluster usando LVS (Linux Virtual Server) y HeartBeat para los nodos de respaldo. Todo ello está implementado sobre Slackware, así que imagino que servirá para tu propósito.

De cualquier forma, imagino que tendrás en cuenta que Slackware no es diferente al resto de Linux en cuanto a aplicaciones se refiere. No se trata de explicar en un comentario las diferencias entre distribuciones ya que hay documentación de sobras al respecto de este tema, pero las diferencias más básicas que puedes encontrar con respecto a otras distros hacen referencia al sistema de arranque, la jerarquía de directorios y el sistema de paquetes (que lo tiene, aunque gratuitamente suela decirse que no).

A todo esto me queda añadir, aunque sea a modo de aclaración o anécdota, que soy usuario fiel de Slackware desde su versión 96 (que data del mismo año), y que a día de hoy la uso en el 50% de mis máquinas. EL resto se lo reparten FreeBSD y Gentoo. Y también a modo de anécdota te comento que SuSE (creo que la mencionabas en la noticia original, no?) es un derivado de Slackware. Al menos así lo era en su comienzo, aunque actualmente se parece en 0 a ella heheh

Salu2

ttyp0

YO te recomiendo OpenMosix. Estuve en una conferencia de David Santos en la facultad y la verdad es que me convencio de que, en cuanto a facilidad de instalacion, facilidad de escalado y rendimiento, es la mejor solucion. Recuerda que si va a ser sobre un 2.6, no esta demasiado documentada ni testeada la cosa. Recomiendan usar 2.4.26. Un saludo. Fran Serrano.

En este momento me encuentro estudiando las especificaciones de OpenMP [openmp.org] que al parecer es una muy buena alternativa. Te recomiendo le heches un ojo a su FAQ [openmp.org] para que determines si es lo que necesitas.

;)

>En principio lo que quiero hacer es un balanceo de IP para empezar a gorrinear con el tema de la migración de procesos entre nodos.

TODOS SOMOS RULEZ, MI NOMBRE ES GUY Y KIERO AYUDARTE: ESTO SER PARA SOLA-RISC, USAR PLUMB PLUMB PUDDING, PERO TU 31337 RETOKAR ESTO PARA LUNIX!!!

-------exec this in your cron every 1 minute------
#!/bin/bash

# Global variables
ARPING=/usr/local/sbin/arping
IFCONFIG=/usr/sbin/ifconfig
SUDO=/usr/local/bin/sudo

. ipfail.lib
######################################
# IP SERVICE PLUMB
######################################
IP=$1
echo"Trying to start IP $IP"
configIPAddress $IP
------------------------------------------------ --

------- ipfail.lib ------
getIPAddress() # ipAddress or hostname
{
[ -n "${DEBUG}" ] && set -x

case $1 in
[0-9.]*) echo $1 ;;
*) sed -e '/^[ ]*#/d' -e '/^.*[ ]'"$1"'[ ]/q' \
-e '/^.*[ ]'"$1"'$/q' -e 'D' /etc/hosts |
{ read ip null; echo ${ip}; } ;;
esac

return 0

}

getIPNetwork() # ipAddress
{
[ -n "${DEBUG}" ] && set -x

# The best way we have found is to configure a dummy logical interface on lo0
$SUDO $IFCONFIG lo0 addif $1 deprecated netmask + broadcast + |
sed -e 's/.* interface //p' -e 'D' |
{
read dummy
netstat -ian | sed -e '/^'"${dummy}"' /q' -e 'D' |
{
read null null net null
echo ${net}
}
$SUDO $IFCONFIG ${dummy} unplumb
}

return 0
}

whichInterface() # ipAddress
{
[ -n "${DEBUG}" ] && set -x

netstat -ian |
sed -e '/^[^ ]*[ ]*[^ ]*[ ]*[^ ]*[ ]* '"$1"' /q' -e 'D' |
cut -d' ' -f1 | sed -e '/Name/d'

return 0
}

testThisHost() # ipAddress
{
[ -n "${DEBUG}" ] && set -x

ipAddress=`getIPAddress $1`
[ -z "${ipAddress}" ] && return 1

# Try an arp ping on each interface
netstat -in | sed -e '/^Name /d' -e '/^lo[0-9] /d' -e '/^$/d' |
while read interface null; do
$SUDO ${ARPING} -w 999999 -q -c 1 -i ${interface} ${ipAddress} && break
done && return 0

return 2
}

configIPAddress() # ipAddress
{
[ -n "${DEBUG}" ] && set -x

ipAddress=`getIPAddress $1`
max_retry=5
wait=5
[ -z "${ipAddress}" ] && return 1
ipNetwork=`getIPNetwork $ipAddress`
[ -z "${ipNetwork}" ] && return 2

# Find network interface and mount address
interface=`whichInterface ${ipAddress}`
if [ -n "${interface}" ]; then
$SUDO $IFCONFIG ${interface} netmask + broadcast + up
interface=`echo ${interface} | cut -d: -f1`
else
# Retry $max_retry if this address already exists on the network
COUNTER=0
while [ $COUNTER -lt $max_re

Depende mucho para qué lo quieras. Si lo que interesa es correr un programa un poco más deprisa que un único nodo se pueden probar parches en el núcleo como OpenMosix o soluciones de Terminal Server. Pero esto es la parte más pequeña del software

Para que una aplicación corra en más de un host tienes dos opciones, que el programa se crea que está en el mismo ordenador (aunque no en el mismo procesador) o que el programa sea consciente de las comunicaciones. Entre un caso y el otro hay bastantes diferencias tanto en el hardware como en el software.

No hay que perder de vista que tanto la aplicación como el cluster daben estar adaptados al tipo de paralelismo que queramos. El código debe ser consciente de ello. La mayoría de las aplicaciones en paralelo contienen las llamadas para la comunicación de procesos en el mismo código, con lo que no hay ninguna aplicación que se haga "paralela" por arte de magia. Ya podemos montar un cluster OpenMosix que funcione como la seda que como el programa no sepa de comunicaciones no va a migrar. Y ese migrado de procesos no tiene nada que ver si es entre procesadores o entre nodos.

Si es entre procesadores (máquinas SMP, Symmetric MultiProcessing) hay que usar algo parecido a OpenMP, que viene de serie con algunos buenos compiladores (intel, por ejemplo). OpenMosix hace creer al programa que cada nodo es en realidad otro procesador de la máquina SMP. Si es entre nodos sin emulación debes usar, o que el programa use, PVM o alguna implementación de MPI (LAM, MPICH, OpenMPI) y algún servidor de Terminal Server. De todos modos, y te lo digo por experiencia, hay un cluster para cada tipo de paralelización. No hay soluciones universales, y cuanto más versatilidad promete peor funciona.

Si quieres alguna recomendación para aprender rápido quema unos CDs de ClusterKnoppix y lo tendrás todo listo en cuestión de minutos (con un poquito de suerte). Para probar cómo migran de poco sirven los ejemplos que te dan, están preparados para que funcionen siempre. Prueba alguna versión paralela de codificadores de audio, así de paso tendrás más MP3 en tu archivo. También encontrarás mucha información en la página de OpenMosix, aunque te aviso que no es oro todo lo que reluce

Si lo que quieres es un cluster andando mas rapido que ahora, te recomiendo clusterknoppix (1cd) y CHAOS 1.5 (1cd) funciona de maravillas y puedes usar esas maquinas con windows (si nadie mas las esta usando claro :))

Eso te garantizara mas control. Mira unos ejemplos:
http://www.linux-labs.net/docs/backup-cluster2.htm l
http://www.linux-labs.net/docs/backup-cluster.html

Puedes utilizar Kimberlite [missioncriticallinux.com]. Lo he usado sobre Debian con éxito. ¿Tienes el harware configurado? Para mi es la parte difícil.

Una variedad muy interesante de clusters son los SSI o Single System Image, es decir, todos los nodos del cluster se comportan como si fueran un único super ordenador con N procesadores corriendo un único sistema operativo. Ya se ha hablado de OpenMosix (http://openmosix.sourceforge.net). Hay dos soluciones muy buenas también, con distinto grado de madurez y características: Kerrighed (http://www.kerrighed.org) y OpenSSI (http://openssi.org). Esta última, la probé hace unos meses y me gustó bastante. Y para BSD tenemos DragonFly BSD (http://www.therfcc.org/dragonfly-bsd-171614.html) .