Asterisk con Alta-Disponibilidad + MySQL

En algunas ocasiones nos vemos en la necesidad de crear un Cluster de alta disponibilidad para nuestros servicios de Asterisk. A continuación se describen los pasos necesarios para llevar esto acabo en nuestros servidores usando Asterisk y MySQL(por si queremos usar Asterisk Realtime Architechture).

Estos pasos están basados en las instrucciones que brinda Digium y los tutoriales de DRBD para MySQL.
Este tutorial no esta hecho para hacer copy&paste.
El color verde indica que son pasos para realizar en ambos servidores.
El color Naranja indica que son pasos para realizar en el servidor primario.
El color Rojo indica que son pasos para realizar en el servidor secundario.
El Hostname del Servidor primario es "node1".
El Hostname del Servidor secundario es "node2".
La dirección IP del servidor primario es 10.0.1.51
La dirección IP del servidor secundario es 10.0.1.52
La dirección IP compartida del cluster y a la que deberán apuntar los servicios(como el registro de teléfonos, MySQL o apache) es 10.0.1.50.
La dirección IP del Gateway es 10.0.1.1.
Se puede adaptar fácilmente el Hardware Failover que provee Digium(rseries) y los servicios de Apache.

La Imagen anterior describe el funcionamiento del Cluster:
-- Escenario 1: El servidor primario esta activo y el secundario esta en modo pasivo esperando.
-- Escenario 2: El servidor Primario ha entrado en estado de falla(por conexión de RED o por reinicio o falla en el kernel), el servidor secundario entonces, se convierte en el servidor primario y es marcado como activo.
-- Escenario 3: El servidor secundario(antes primario) se ha recuperado de la falla y ha entrado en modo pasivo.
-- Escenario 4: El servidor primario(antes secundario)  ha presentado falla  y el servidor secundario(antes primario) es marcado como servidor primario nuevamente y entra en modo activo.


Paso 1 ---- Realizar en Ambos Servidores:

Instala CentOS 5.X(Los agentes de recursos "ocf"de Digium no son compatibles con las versiones 6.X de CentOS). Escoger el modo de partición manual y dejar un espacio libre sin formateo ni nada, en este tutorial yo he dejado 5GB sin particionar. Este espacio será donde guardemos nuestros datos a replicar en el Cluster, así que deberán considerar cuanto espacio necesitaran para sus archivos y logs.

Paso 2 ---- Realizar en Ambos Servidores:

Instala las dependencias para nuestros servidores. Primero añadiré el repositorio de rpmforge:

#rpm -ihv http://pkgs.repoforge.org/rpmforge-release/rpmforge-release-0.5.2-2.el5.rf.[ARCH].rpm

Cambia [ARCH] por la arquitectura del servidor: i386 o x86_64.

Ahora instala las dependencias:

#yum -y install kernel kernel-devel libxml2  libxml2-devel  libtiff  libtiff-devel  lame httpd  mysql mysql-devel mysql-server php  php-pear  php-mysql  php-gd openssl openssl-devel perl  bison ncurses-devel audiofile-devel curl sox gcc newt-devel libusb-devel glibc-devel  zlib-devel svn gcc-c++ subversion make nano wget cfdisk

Paso 3 ---- Realizar en Ambos Servidores:

Ejecuta el comando:

#cfdisk

Obtendrás una ventana como esta:

Selecciona el espacio libre y crea una nueva partición con todo el espacio libre usando los botones: New, Primary, Write. Al finalizar te preguntara si quieres efectuar los cambios, escribe la palabra: yes y da enter.

Cuando el proceso termine reinicia el servidor:

#reboot  

Una vez que el servidor haya arrancado de nuevo hay que limpiar la nueva partición usando el siguiente comando:

#dd if=/dev/zero of=/dev/[hs]da[#] bs=1M; sync

Cambia /dev/[hs]da[#] por tu dispositivo que puede ser SDA3,HDA3 o SDB3 HDB3 etc. En este tutorial es HDA3.

Veras una salida similar cuando termine el proceso, dependiendo del tamaño de tu partición y de la velocidad de tus discos duros puede tomar minutos u horas.

Crea un nuevo directorio en /usr/src:

#cd /usr/src/
#mkdir asterisk
#cd asterisk/

En el nuevo directorio descarga Asterisk y sus componentes:

#wget http://downloads.asterisk.org/pub/telephony/dahdi-linux-complete/dahdi-linux-complete-2.6.1+2.6.1.tar.gz
#wget http://downloads.asterisk.org/pub/telephony/libpri/libpri-1.4.13.tar.gz
#wget http://downloads.asterisk.org/pub/telephony/certified-asterisk/certified-asterisk-1.8.11-current.tar.gz
#wget http://downloads.digium.com/pub/telephony/rseries/rseries-current.tar.gz

Descomprime los archivos fuente:

#for i in `ls *gz`; do tar zxvf $i; done

Compilamos DAHDI:

#cd dahdi-linux-complete-2.6.1+2.6.1
#make && make all && make install && make config

Compilamos LibrPRI y configuramos DAHDI:

#cd ../libpri-1.4.13
#make && make install
#service dahdi start
#dahdi_genconf
#dahdi_cfg -vvvvv

Instalamos los agentes de Digium para el cluster:

#cd ../rseries-1.0.0/
#make && make install

Paso 4 ---- Realizar solo en  Servidor Primario..

Instalar Asterisk en el servidor primario:

#cd ../certified-asterisk-1.8.11-cert9
#contrib/scripts/get_mp3_source.sh
#./configure && make menuselect

En el menú selecciona las aplicaciones que quieras disponibles en tu asterisk:

Guarda los cambios y compila Asterisk:

#make && make install && make config && make samples

Inicia el servicio de Mysql y detenlo esto solo para crear las bases de datos por default.

#service mysqld start
#service mysqld stop

Paso 5 ---- Realizar en Ambos Servidores.

Cambiate al directorio de rseries:

#cd /usr/src/asterisk/rseries-1.0.0/

Instala los servicios de DRBD:

#yum -y install drbd83 kmod-drbd83

Instala Libesmtp, dependencia necesaria para Pacemaker:

#wget http://dl.fedoraproject.org/pub/epel/5/[ARCH]/libesmtp-1.0.4-5.el5.[ARCH].rpm #64bits

Cambia [ARCH] por la arquitectura del servidor: i386 o x86_64.

Instala PaceMaker y Corosync:

#wget -O /etc/yum.repos.d/pacemaker.repo http://clusterlabs.org/rpm/epel-5/clusterlabs.repo
#yum -y install -x heartbeat-stonith* pacemaker corosync

Estamos exluyendo el paquete heratbeat-stonith ya que cre un conflicto con pacemaker.

Instala los archivos de configuración que provee Digium:

#make samples

Agrega estas lineas al archivo /etc/drbd.conf:

echo "include \"drbd.d/global_common.conf\";" >> /etc/drbd.conf
echo "include \"drbd.d/*.res\";" >> /etc/drbd.conf

Edita el archivo /etc/drbd.d/asterisk.res. Cambia astnode1 por el nombre el hostname del servidor primario, cambia astnode2 por el hostname del servidor secundario, cambia /dev/sda3 por la partición que creamos con el espacio libre(en este tutorial hda3). Cambia las IPs por las de tus servidores primarios y secundarios.Cambia el correo electrónico por el tuyo o el administrador del sistema en este tutorial el archivo quedo así:

resource asterisk {
  handlers {
    split-brain "/usr/lib/drbd/notify-split-brain.sh clusteradmin@example.com";
  }

  net {
    after-sb-0pri discard-younger-primary;
    after-sb-1pri discard-secondary;
    after-sb-2pri disconnect;
  }

  on node1 {
    device    /dev/drbd0;
    disk      /dev/hda3;
    address   10.0.1.51:7789;    
    meta-disk internal;
  }
  on node2 {
    device    /dev/drbd0;
    disk      /dev/hda3;
    address   10.0.1.52:7789;
    meta-disk internal;
  }
}

Crea el Recurso llamado asterisk e inicia el servicio de DRDB:

#drbdadm create-md asterisk
#service drbd start

Paso 6 ---- Realizar solo en  Servidor Primario.

A continuación crea el UUID llamado Asterisk, y formatea la partición que será usada por el cluster tipo: EXT3

#drbdadm disconnect asterisk
#drbdadm -- --clear-bitmap new-current-uuid asterisk
#drbdadm -- --overwrite-data-of-peer primary asterisk
#mkfs.ext3 -m0 /dev/drbd0
#drbdadm secondary asterisk
#drbdadm detach asterisk
#drbdadm up asterisk

Crea el directorio que será usado para el cluster, pero antes marca como nodo primario para poder montarlo:

#drbdadm primary asterisk
#mkdir /mnt/asterisk

Monta la partición:

#mount -t ext3 /dev/drbd0 /mnt/asterisk

Ahora crea el directorio donde estará Mysql:

#mkdir /mnt/asterisk/mysql
#mkdir /mnt/asterisk/mysql/data
#cd /mnt/asterisk/mysql

Copia el contenido del directorio de Mysql al nuevo directorio:

#cp -aR /var/lib/mysql/* /mnt/asterisk/mysql/data
#ls data/

Mueve el archivo /etc/my.cnf al nuevo directorio de Mysql:

#mv /etc/my.cnf .

Crea un enlace simbólico al nuevo directorio:

#ln -s /mnt/asterisk/mysql/my.cnf /etc/

Edita el archivo my.cnf y cambia la directiva de DATADIR: datadir=/mnt/asterisk/mysql/data.

Crea un archivo dummy solo para verificar la replicación en el nodo secundario.

#touch test11

Desmonta la partición y marca el nodo como secundario:

#cd --

#umount /mnt/asterisk
#drbdadm secondary asterisk

Paso 7 ---- Realizar solo en Servidor Secundario

Elimina el archivo /etc/my.cnf

#rm -rf /etc/my.cnf

Vamos a verificar que los archivos de nuestra partición en el cluster se repliquen. Marca el servidor como primario y crea el mismo directorio:

#drbdadm primary asterisk
#mkdir /mnt/asterisk

Monta la partición y cambiate al directorio:

#mount -t ext3 /dev/drbd0 /mnt/asterisk
#cd /mnt/asterisk

Haz un enlace simbolico del archo my.cnf al directorio de la partición del cluster:

#ln -s /mnt/asterisk/mysql/my.cnf /etc/

Verifica que el archivo my.cnf sea el mismo que editamos anteriormente, es decir, que contenga:  datadir=/mnt/asterisk/mysql/data

Verifica que los archivos de Mysql y el archivo test11 existan en el directorio:

#ls

Si los archivos existen la replicación va de maravilla.

Desmonta la partición y marca el nodo como secundario:

#cd --
#umount /mnt/asterisk
#drbdadm secondary asterisk

Paso 8 ---- Realizar solo en  Servidor Primario.

Cambiate al directorio de rseries, mara el servdiro como primario y monta la partición:

#cd /usr/src/asterisk/rseries-1.0.0
#drbdadm primary asterisk
#mount -t ext3 /dev/drbd0 /mnt/asterisk/

Ejecuta el script cretalinks.sh:

#./createlinks.sh

Veras una salida como la siguiente:

Elimina el script de asterisk para que no arranque automáticamente cuando inicie el sistema, desmonta la partición y marca el nodo como secundario:

#chkconfig --del asterisk
#umount /mnt/asterisk
#drbdadm secondary asterisk

Paso 9 ---- Realizar solo en Servidor Secundario

Cambiate al directorio de rseries, marca el nodo como primario, monta la partición y ejecuta el script createlinks.sh:

#cd /usr/src/asterisk/rseries-1.0.0
#drbdadm primary asterisk
#mount -t ext3 /dev/drbd0 /mnt/asterisk/
#./createlinks.sh

Veras una salida como en la imagen anterior.

Cambiate al directorio de Asterisk, configura las mismas opciones que se configuraron en el servidor primario. Compilalo solo ejecutando make && make install. Desmonta la partición y marca el nodo como secundario.

#cd ../certified-asterisk-1.8.11-cert9
#contrib/scripts/get_mp3_source.sh
#./configure && make menuselect
#make && make install
#umount /mnt/asterisk/
#drbdadm secondary asterisk

Paso 10 ---- Realizar en Ambos Servidores.

Edita el archivo /etc/corosync/corosync.conf. Cambia la opción bindnetaddr, y las opciones memberaddr. Para este tutorial el archivo quedo de la siguiente manera:

totem {
        version: 2
        token: 3000
        token_retransmits_before_loss_const: 10
        join: 60
        consensus: 5000
        vsftype: none
        max_messages: 20
        clear_node_high_bit: yes
        secauth: off
        threads: 0
        rrp_mode: none

        interface {
                ringnumber: 0
                bindnetaddr: 10.0.1.0
                broadcast: yes
                mcastport: 5405
                member {
                        memberaddr: 10.0.1.51
                }
                member {
                        memberaddr: 10.0.1.52
                }
        }
}

aisexec {
        user:   root
        group:  root
}

logging {
        fileline: off
        to_stderr: yes
        to_logfile: no
        to_syslog: yes
        syslog_facility: daemon
        debug: off
        timestamp: on
        logger_subsys {
                subsys: AMF
                debug: off
                tags: enter|leave|trace1|trace2|trace3|trace4|trace6
        }
}

amf {
        mode: disabled
}

Inicia el servicio de Corosync y añade drbd y corosync al startup:

#service corosync start
#chkconfig drdb on
#chkconfig corosync on

Verifica el estado del Cluster con el siguiente comando:

#cat /proc/drbd

Veras una imagen como la siguiente:

Veras que se esta sincronizando la particion del cluster, también verás como Secondary/Secondary(no como en la imagen).

Si el proceso de sincronización reporta que tardará mucho tiempo puedes usar este comando para acelerar la velocidad de sincronización:

#drbdsetup /dev/drbd0 syncer -r 250M

La velocidad máxima de sincronización dependerá de la velocidad de tus tarjetas de red así como la velocidad de escritura de tus discos duros. Para más información de como calcular la velocidad ve a este enlace.

Una vez que el estado sea UpToDate/UpToDate reinicia los servidores:

#reboot

Paso 11 ---- Realizar solo en  Servidor Primario.

Edita el siguiente codigo para que:
-- node1 y node2. Sean los hostnames de tus servidores. En este ejemplo node1 y node2
-- ip bajo ClusterIP. Sea la Ip de tu Cluster, la IP flotante. En este ejemplo 10.0.1.50
-- cidr_mask bajo ClusterIP. Sea la mascara de tu red. en este ejemplo de 24bits(255.255.255.0)
- -host_list bajo GatewayStatus. Sea el gateway de tu red. en este ejemplo 10.0.1.1

node node1
node node2
primitive ClusterIP ocf:heartbeat:IPaddr2 \
        params ip="10.0.1.50" cidr_netmask="24" \
        op monitor interval="5"
primitive drbd ocf:linbit:drbd \
      params drbd_resource="asterisk" \
      op monitor start-delay="10" interval="5"  \
primitive drbd_fs ocf:heartbeat:Filesystem \
      params device="/dev/drbd0" directory="/mnt/asterisk/" fstype="ext3"
primitive mysqld lsb:mysqld
primitive Asterisk ocf:Digium:asterisk \
        op monitor interval="5"
primitive GatewayStatus ocf:pacemaker:ping \
        params host_list="10.0.1.1" multiplier="100" \
        op monitor interval="5" timeout="10"
ms drbd_ms drbd \
        meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"
clone GatewayStatusClone GatewayStatus
location Asterisk-with-ping Asterisk \
        rule $id="Asterisk-with-ping-rule" -inf: not_defined pingd or pingd lte 0
group mysql drbd_fs ClusterIP mysqld
colocation mysql_on_drbd inf: mysql drbd_ms:Master
order mysql_after_drbd inf: drbd_ms:promote mysql:start
colocation Everything-with-Asterisk inf: ( drbd_ms:Master )  ( ClusterIP drbd_fs )  Asterisk
order  Asterisk-after-Everything inf:   ( drbd_ms:promote ) ( ClusterIP drbd_fs )  Asterisk:start
property $id="cib-bootstrap-options" \
        cluster-infrastructure="openais" \
        expected-quorum-votes="2" \
        stonith-enabled="false" \
        no-quorum-policy="ignore"
rsc_defaults $id="rsc-options" \
        resource-stickiness="99"

Una vez que has editado el archivo Cluster_Mysql_Asterisk.cfg, actualiza la configuración de pacemaker:

#crm configure load update Cluster_Mysql_Asterisk.cfg

Si todo sale bien veras una salida como la siguiente y los servicios de MySQL y Asterisk se iniciaran en el nodo primario:

Para verificar que los servicios estén corriendo puedes revisar el estado del cluster con:

#crm_mon

Y verás algo así:

Demostración:

El siguiente video muestra las pruebas del cluster. Asterisk esta configurado con "static realtime" obteniendo los datos de una base de datos de MySQL. Este tutorial no cubre la cofiguración de ARA(Asterisk Realtime Architechture).

Herramientas para diagnosticar fallas:

Puedes ejecutar el siguiente comando en el nodo secundario para verificar que la configuración de pacemaker se replico:

#crm configure show

Para detener los servicios del cluster:

#crm configure property stop-all-resources=true

Para borrar la configuracion del cluster:

#crm configure erase

Verificar el estado del cluster:

#crm_mon

Verificar el estado de la sincronización y los roles de los servidores:

#cat /prco/drbd

Aumentar la velocidad de sincronización:

#drbdsetup /dev/drbd0 syncer -r 250M