TSN en Smart Grids – Comunicaciones deterministas para operaciones críticas

Comunicación presentada al VI Congreso Smart Grids

Autores

• Jorge Sánchez Garrido & Antonio Jurado Caballero, Investigadores Predoctorales, Universidad de Granada
• Jorge Machado Cano & Marco Fuentes García, Ingenieros de Sistemas Empotrados, Seven Solutions
• Alberto Sánchez Pérez, Responsable de Innovación, Grupo Cuerva
• Jorge Cuadros Vílchez, Responsable de Explotación de Red, Grupo Cuerva
• Antonio Alcántara López, Cluster Manager, Asociación Clúster Granada Plaza Tecnológica y Biotecnológica
• Jesús Torres Tenor, Director de Integración TIC, Fundación CIRCE
• Eduardo Ros Vidal & Javier Díaz Alonso, Catedráticos, Universidad de Granada

Resumen

TSN (Time-Sensitive Networks) es un conjunto de estándares que evoluciona las redes locales de comunicación actuales basadas en Ethernet. Introduce una tecnología para agregar flujos de datos diversos sobre la misma red y, especialmente, proporciona tratamientos diferenciados que garantizan un determinado ancho de banda o retardo para conexiones o mensajes concretos. Aborda así las características más limitantes de estas redes en sistemas críticos: retardo variable y manejo de congestión, ya que TSN habilita un rendimiento conocido incluso en redes saturadas. El proyecto presentado demuestra una aplicación de esta tecnología en buses digitales o interfaces de nivel de campo de subestaciones eléctricas. Se ha desplegado una red con tráfico múltiple de subestación, con disparos analógicos de alta prioridad digitalizados y señalización de control (GOOSE IEC 61850), así como tráfico genérico. Este escenario ha sido validado en laboratorio y en campo, con infraestructura real, transportando mediante TSN una orden de apertura de interruptor. Los resultados incluyen evaluación detallada del rendimiento y una arquitectura de referencia basada en TSN para el despliegue de funcionalidades Smart Grid.

Palabras clave

TSN, Comunicaciones, Redes LAN, Subestación Digital, Distribución, GOOSE, Digitalización

Introducción

Motivación y contexto del trabajo

Los retos a los que deben enfrentarse las redes eléctricas del presente son de sobra conocidos e incluyen, por ejemplo, el incremento de fuentes renovables, la expansión de los recursos distribuidos, el crecimiento de la demanda o la necesidad de optimizar el suministro. Es necesario un sistema más inteligente, en el que las capacidades de adquisición de datos, monitorización y control se extiendan a lo largo de toda la red. Esto requiere un despliegue extremo a extremo de tecnologías de información y comunicaciones para lograr una gestión que aumente el control del operador y las posibilidades de análisis o acción.

En las Smart Grid, las subestaciones eléctricas son agentes directamente afectados por las directrices internacionales como el Winter Package. Se requiere aumentar la eficiencia de la operación diaria, asegurar la calidad del suministro o una gestión más activa del distribuidor, con visibilidad y gestión de los datos de la red (Eandis, 2014).  Nace así hace tiempo el concepto de subestación digital, aquella donde el sistema de control y los procesos relacionados con su operación se han digitalizado. En resumen, estas instalaciones cuentan con una red de comunicaciones local en la que se integran sus funciones habituales de protección, control y supervisión, interconectando equipos de automatización de última generación.

La arquitectura asociada se divide normalmente en los niveles conceptuales de proceso, posición y subestación, que organizan las diferentes funciones según su campo de aplicación, equipos implicados y criticidad (Figura 1).

Las redes introducidas para dar soporte a este concepto se basan en el modelo TCP/IP y Ethernet, base de las comunicaciones actuales tipo Internet y sobre la cual se desarrollan las tecnologías de última generación. Tradicionalmente, en aras de la correcta transmisión de los datos, estas redes sacrifican el determinismo en la ruta y retardo de los mensajes. Esto puede producir un comportamiento impredecible con retardos o pérdidas de paquetes en condiciones de sobrecarga de la red, lo que choca con las prestaciones necesarias en entornos industriales y operaciones críticas (Kleineberg & Schneider, 2018).  En consecuencia, la digitalización de estas funciones en subestaciones se desarrolla de forma prudente, generalmente por la criticidad de las operaciones que acogen y de la importancia de estas instalaciones en el sistema de distribución (Torres et al, 2018).

Por lo tanto, TSN (Time-Sensitive Networks) se presenta como un salto cualitativo para el correcto rendimiento de aplicaciones críticas digitalizadas, dada su condición de nueva tecnología para garantizar tiempos de transmisión y anchos de banda conocidos en comunicaciones TCP/IP Ethernet (Pop et al, 2018).

Presentación de la tecnología TSN

TSN es un conjunto de estándares que permite comunicación en tiempo real totalmente determinista (ancho de banda y retardo) a través de redes actuales Ethernet, superando las barreras presentadas. Nace de la normalización del Grupo de Trabajo de IEEE para la familia de estándares IEEE 802.1, como una evolución de normas previas para el tratamiento de audio y vídeo (AVB). El objetivo original siempre fue introducir garantías en cuanto a la robustez y determinismo de flujos de datos heterogéneos sobre una misma red Ethernet, tecnología llamada a sustituir interfaces propietarias gracias a su amplia estandarización, capacidad e interoperabilidad.

La evolución hacia TSN tuvo lugar a través de la extensión de la base de AVB para su uso en redes industriales de mayor tamaño y diversidad de tráfico. Como resultado, los equipos TSN disponen de un conjunto de capacidades de gestión de comunicaciones que permiten integrar datos de distinta prioridad y mensajes críticos con comunicaciones generalistas o Best-Effort (sin rendimiento garantizado, sujetas a las condiciones de la red).

IEEE define una serie de normas independientes que pueden combinarse de forma flexible para alcanzar el potencial completo de TSN. Por ejemplo, una de las principales es la de sincronización (802.1AS), que proporciona una referencia de tiempo común a todos los equipos de la red para coordinar el tráfico. Otro componente básico son los clasificadores (802.1Qbv), responsables de priorizar selectivamente los mensajes asegurando el determinismo en las comunicaciones. También destacan la reserva de recursos (802.1Qcc) y transmisión redundante de datos críticos (802.1CB). La combinación de estos mecanismos hace que TSN sea aplicable en multitud de escenarios, desde los originales de redes multimedia hasta todo sistema industrial. En definitiva, todas estas capacidades se combinan en dispositivos y redes TSN para lograr el rendimiento deseado en operaciones críticas.

El proyecto: TSN para smart grids

Dentro del contexto anterior se impulsa el proyecto “Comunicaciones deterministas para la Industria 4.0: TSN para Smart Grid”, desarrollo conjunto del Grupo Cuerva (DSO situada en Granada), Seven Solutions (especialistas en TSN), la Universidad de Granada (UGR) y el clúster tecnológico OnGranada, que ha realizado una labor crucial de ecosistema regional para materializar la colaboración de los socios.

El objetivo principal del proyecto es demostrar la viabilidad y conveniencia de TSN en Smart Grid. Seven Solutions y la UGR han estado a cargo del desarrollo tecnológico de los equipos de comunicaciones y la red de pruebas en laboratorio, mientras que el Grupo Cuerva ha definido los casos de uso y potencial de TSN en subestaciones y distribución. También fomentó la colaboración de CIRCE para establecer la arquitectura del demostrador real del proyecto y dar soporte a las pruebas de campo, dado su bagaje en sistemas de automatización de subestaciones de nueva generación.

Material y métodos

Para mostrar la aplicación de TSN, el proyecto ha diseñado montajes experimentales de validación tecnológica, tanto para un caso de uso en una subestación real como para pruebas avanzadas de laboratorio. Tras una presentación de los componentes de la red y la subestación, este apartado describe la arquitectura tipo de comunicaciones y su adaptación a la subestación. Posteriormente se detalla la justificación del montaje de laboratorio y la metodología general para la obtención de resultados.

Los escenarios del proyecto emplean equipos TSN desarrollados por Seven Solutions (switch, emisor y receptor). Su hardware se basa en electrónica programable (ARM+FPGA) donde se integran los principales estándares de IEEE para las redes TSN: sincronización (802.1AS), clasificación del tráfico (802.1Qbv), y reserva de recursos (802.1Qcc).

Dispositivos del proyecto

• Switch TSN de 4 Puertos de Seven Solutions. Nodo de red principal del proyecto, con un sistema operativo en tiempo real (RTEMS). Implementado en un dispositivo Zynq-7000 de Xilinx (Zynq, 2019) que combina un procesador ARM de doble núcleo y una FPGA para programar las funciones de red Ethernet y las mejoras de TSN.
• Nodo TSN ZEN (“Zynq-Embedded Node”). Nodo de red de dos puertos, también basado en Zynq-7000. Actúa como Emisor y Receptor de los flujos TSN de tráfico crítico del proyecto. Dispone de entradas y salidas digitales para poder conectar señales de la subestación y transformar así circuitos cableados en enlaces de comunicación (Figura 2).
• Equipos Informáticos de Propósito General. Se emplean PCs para introducir en la red tráfico de subestación digital (GOOSE IEC61850, prioridad media) e información genérica para aumentar la carga de la red (prioridad baja).  Convivirán con los mensajes críticos transmitidos por los nodos TSN.
• Software Simulador de tráfico de Subestación (GOOSE). Aplicación desarrollada por CIRCE para generar los mensajes de protocolo GOOSE que se inyectarán a la red.
• Software de Transmisión de Vídeo y Generadores de Tráfico. Servidores de vídeo y generadores de tráfico para introducir el tráfico de prioridad baja.
• Entorno Software de los Nodos TSN. Desarrollado por Seven Solutions, consiste en el sistema operativo de tiempo real de los nodos, los drivers de red, y las APIs de configuración de TSN y gPTP (sincronización).
• Equipamiento genérico de laboratorio. Incluye generadores de señales para simular un volumen elevado de disparos de subestación, osciloscopios y frecuencímetros digitales para las medidas de latencia, y analizadores de tráfico (Wireshark) para el análisis de la integridad de los diferentes flujos de la red (pérdida de paquetes).

Montaje experimental en la subestación

Los equipos previos pueden combinarse en una red tipo orientada a su validación en campo. La parte izquierda de la Figura 2 representa el montaje de la red tipo del proyecto.

• Los equipos Publisher y Subscriber representan dos equipos reales que emiten y reciben tráfico operacional de la subestación susceptible de ser optimizado con tecnología TSN.
• Los equipos Best Effort Receiver y Emitter generan el tráfico menos sensible al tiempo que comparte la red con las operaciones críticas anteriores, comprometiendo su rendimiento.
• Los nuevos nodos TSN del proyecto (nodos ZEN y Switches TSN) organizan las comunicaciones de la red LAN, donde convivirán todos los flujos de información, garantizando especialmente el rendimiento del tramo que los une y del tráfico prioritario.
• Los PLC emisor y receptor representan una comunicación directa de un bus de campo general.
• Dicha comunicación directa se replica en el enlace TSN mediante los triggers de emisión y recepción.
• Se comparará el rendimiento de ambos enlaces, el bus de campo ad-hoc y su “espejo” TSN.

Con esta base, Grupo Cuerva y CIRCE realizaron un ejercicio de caracterización de la subestación escogida para demostración (SE Escúzar, Granada), con el objetivo de integrar esta arquitectura en una instalación real. La automatización de la subestación estaba basada en conexiones de fibra punto a punto, sin estructura compartida de comunicaciones. Por lo tanto, no se dispone de tráfico digital que pueda ser trasladado a TSN para estudiar la mejora de rendimiento asociada, un objetivo que se dejó para las pruebas de laboratorio.

Esto no impide buscar en la subestación una función de campo, análoga a la del diseño tipo de la Figura 2, e integrarla con los equipos publicadores y suscriptores. Se contrastará así el comportamiento del enlace TSN frente a la conexión directa. El montaje final en la subestación (Figura 2, derecha) se introdujo en una celda de línea de media tensión:

• La función de proceso real objetivo es una apertura del interruptor. Es comparable a un disparo (ambas acaban abriendo el interruptor), por lo que permite comprobar el rendimiento de TSN en uno de los casos de uso más críticos de la subestación. Es el enlace analógico de la Figura 2.
• Esta función presenta ventajas añadidas en el contexto del piloto: puede accionarse a voluntad y no necesita inyectar tensión o corriente en el equpo de protección.
• Su cableado a través del relé biestable (parte superior derecha de la imagen) permite conectar una de sus salidas libres como trigger al osciloscopio para medir este retardo analógico.
• Para replicar la orden de apertura en el enlace TSN, debe cablearse al equipo TSN publicador un contacto auxiliar asociado a la emisión de la señal. Afortunadamente, se dispone de una salida duplicada de apertura en el relé de protección de la celda (7IRD de ZIV). En el lado receptor, una salida digital del equipo suscriptor TSN conectada al osciloscopio, activada al recibir la señal digitalizada, medirá el retardo del enlace TSN.

Metodología para pruebas de laboratorio

El montaje experimental de la subestación se amplió según la red tipo de la Figura 2 en un entorno de laboratorio para realizar pruebas adicionales.  El objetivo complementario principal fue poder generar una mayor cantidad de señales críticas (apertura del interruptor en el demostrador). En la subestación el número de operaciones estaba limitado por las características mecánicas de la celda y el efecto penalizador de múltiples operaciones en su vida útil.

Igualmente, se siguieron incorporando con libertad flujos GOOSE y de tráfico genérico junto a la transmisión de mensajes prioritarios. Fue posible así caracterizar la latencia del tráfico crítico con pruebas más numerosas, estudiando distintas configuraciones de los clasificadores de mensajes. La variedad se logra cambiando el periodo de ciclo del clasificador en sucesivas iteraciones (Tabla I). El periodo de ciclo de cada iteración se dividió en tres intervalos asociados (Intn) en los que se configuran sus colas de prioridad (Q[prio]) para servir a un tipo de tráfico u otro.

La Tabla I considera las siguientes Clases de Tráfico:

• Crítico: Triggers analógicos digitalizados. Prioridad: 2 (Alta). Tasa Generación: 100 Hz (0,4 Mbps).
• Mensajes de Subestación: Mensajes GOOSE. Prioridad: 1 (Media). Ancho de Banda: 0,1-0,6]Mbps.
• Best-Effort (BE): Flujo de datos Ethernet generalista. Prioridad 0 (Baja). Ancho de Banda: 50 Mbps.

Resultados: demostrador de la subestación eléctrica

En la subestación, con el montaje según las Figuras 2 y 3, se llevaron a cabo dos tipos de experimento:

• Experimento I. Se generan dos aperturas desde la protección 7IRD. La primera fue para medir el retardo del enlace analógico y la segunda para medir la latencia de propagación del mensaje digitalizado por la red TSN.
• Latencia red Analógica ad-hoc: 209 ms.
• Incluye: cierre salida 7IRD, propagación al relé, cierre contacto relé (Figura 2).
• Latencia red TSN: 30 ms.
• Incluye: cierre salida 7IRD, conversión A/D en ZEN1, comunicación TSN y conversión D/A en ZEN 2 (Figura 2).
• Experimento II. De nuevo se genera una orden de apertura, que se propaga digitalizada por TSN. A la vez, dos PC portátiles saturan la red con tráfico genérico. El objetivo es ver si la congestión impacta en los mensajes críticos.
• Latencia de los mensajes críticos por la red TSN con flujos Best-Effort: 30 ms.

En una primera observación, puede extraerse que el canal TSN logra una transmisión de la señal notablemente más rápida en términos relativos que el circuito analógico. Evidentemente, este mejor rendimiento está ligado al tiempo mecánico de activación del relé, pero el experimento II demuestra que el retardo por comunicaciones, utilizando TSN, será estable y garantizado con un valor de 30 ms, independientemente de la carga de la red.

Resultado: laboratorio

Las pruebas de comunicación en el laboratorio completan los experimentos de campo en la subestación, generando un mayor volumen de disparos críticos y caracterizando más detalladamente los resultados. Se realizaron pruebas (iteraciones de la Tabla I) que agregan todos los flujos de comunicación en la misma red (crítico, GOOSE y genérico). Estas pruebas permiten estudiar el determinismo obtenido en dos términos: latencia garantizada para el tráfico crítico y minimización del descarte o pérdida de mensajes de menor prioridad (Tabla II).

La latencia del tráfico crítico varía entre el mínimo inevitable de la propagación por el enlace (25 ms) y el peor caso de gestión TSN, que añade el tiempo de espera hasta la activación de la cola del tráfico crítico (duración de Int0 e Int1). La desviación estándar de la latencia del tráfico crítico coincide aproximadamente con la duración del intervalo del tráfico crítico (Int2). Estos resultados dependen de la configuración del sistema (Tabla I). Respecto al resto de información, se verifica que el sistema favorece al tráfico GOOSE, de prioridad media, en detrimento de los flujos genéricos cuando su tasa de transmisión congestiona la red.

Discusiones y conclusiones

• Este trabajo ha mostrado una aplicación de una red TSN en el entorno de una subestación eléctrica para una de sus funciones más críticas: la apertura de un interruptor. Se comprueba por lo tanto la posibilidad de usar esta tecnología para digitalizar todas las comunicaciones de la subestación.
• Seven Solutions logra un retardo acotado de 30 microsegundos por equipo de comunicaciones. Incluso considerando varios tramos interconectados, es viable respetar los requisitos de tiempo de respuesta para faltas en subestaciones, que parten de intervalos entre 80 y 120 ms para funciones instantáneas (REE, 2005).
• Se ha confirmado que el tiempo de operación no se ve afectado por la introducción de comunicaciones con TSN, teniendo en cuenta el tiempo de reacción del relé (200 us según el montaje experimental) y los tiempos de apertura característicos de interruptor (50-60 ms según fabricante). Al contrario, esta tecnología permite acotar y garantizar el tiempo específico de comunicaciones, de cuantificación generalmente más difícil.
• La garantía de tiempo para los mensajes críticos es independiente del resto del tráfico. Además, se puede modular en función de la configuración de los equipos de red TSN.
  • Esto presenta gran potencial en una subestación digital, que combina flujos operacionales (estados, medidas) y no operacionales (intercambio de archivos, registros) de diferente criticidad y ancho de banda.
• En consecuencia, TSN puede ser un factor clave para superar las barreras de adopción de tecnologías digitales en subestaciones. Esto destaca especialmente en el bus de proceso (medidas para control y protección):
  • TSN es capaz de agregar otros flujos de menor prioridad junto a los mensajes críticos, preservando la integridad de los más prioritarios (mensajes críticos y GOOSE) cuando la red pudiese dar lugar a pérdidas por congestión.
  • Disponer de un tiempo de transmisión garantizado convierte el problema de fiabilidad y la tolerancia al fallo del sistema en un asunto de redundancia de la red de comunicaciones, para el cual existen tecnologías con tiempos de recuperación nulos o casi nulos (e.g. PRP y HSR).
  • La arquitectura empleada en el caso de uso (publicador-receptor) es replicable directamente en los enlaces típicos de bus de campo, como la transmisión de medida digital entre Merging Units y protecciones.
• Los resultados abren camino para proyectos de implementaciones completas de Smart Grid basadas en TSN. Una línea de ampliación es profundizar en la caracterización del sistema estudiando la influencia de diversos parámetros de configuración en el nivel de determinismo de las comunicaciones.
• Este proyecto constituye una de las primeras demostraciones documentadas de aplicación de TSN en una subestación real, contando además con una distribuidora eléctrica para definir los criterios de usuario.

Agradecimientos

El proyecto “Comunicaciones deterministas para la Industria 4.0: TSN para Smart Grid” ha sido financiado por el Ministerio de Industria, Comercio y Turismo dentro del programa de apoyo a las AEI para contribuir a la mejora de la competitividad de la industria española (2018) y es continuación de otro proyecto de la misma convocatoria de 2017.

Referencias

• (802.1WG) IEEE 802.1 Working Group (29 de septiembre de 2019)
• Eandis, 2014. Integrating IEC 61850 in the Eandis Grid.
• O. Kleineberg, A. Schneider. Time-sensitive Networking for Dummies. Belden Hirschmann and Wiley, 2018
• P. Pop et al. (…) Fog Computing for Industrial Automation through TSN. IEEE Comms Standards Mag., 2018
• Red Eléctrica de España. Criterios generales de protección del Sistema eléctrico peninsular español. 2005
• J. Torres et al. Interoperabilidad IEC 61850 en los servicios del operador de distribución. V Congreso Smart Grids. Madrid, 2018.
• (Zynq) Zynq-7000 Product Brief (1 de octubre de 2019)