¿Qué ocurre cuando se dirige a la innovación a algunas de las mentes más inteligentes de la empresa, en lugar de al funcionamiento?
Es algo que preguntamos a menudo a nuestros clientes. Recientemente, nos lo hemos preguntado a nosotros mismos. La respuesta, en esta ocasión, es un producto completamente diferente, pero totalmente en sintonía con el enfoque de bat365de capacitar a las organizaciones para hacer cosas increíbles con los datos no estructurados.
Cloud Block Store es una derivación de la rapidísima tecnología que impulsa bat365 Data Services , que permite ingerir, buscar, analizar, auditar y supervisar miles de millones de archivos de bat365 y otros recursos compartidos en tiempo casi real. Proporciona una plataforma de almacenamiento hiperconvergente y nativa de la nube que puede desplegarse bajo demanda y ampliarse según sea necesario.
Disponible en el mercado de Google Cloud Platform (GCP) para los clústeres de Google Kubernetes Engine (GKE), bat365 Cloud Block Store (CBS) es una plataforma de almacenamiento persistente a escala web de Kubernetes para aplicaciones en contenedores. Cloud Block Store tiene la capacidad de aumentar la escala cuando se necesitan más recursos, o reducirla cuando se requieren menos recursos. Sin límites de escalado, CBS presenta una caché de lectura distribuida escalable para aplicaciones en contenedores, optimizando los recursos del clúster Kubernetes para cargas de trabajo de alto rendimiento.
¿Por qué es importante el almacén de bloques en la nube para Kubernetes?
Los contenedores se utilizan ahora en las organizaciones, desde las pequeñas startups hasta las grandes empresas. Las organizaciones necesitan diferentes niveles de persistencia de datos para sus aplicaciones en contenedores. Las aplicaciones Kubernetes han sido diseñadas para utilizar volúmenes que siguen al contenedor a nivel de pods, lo que significa que se crean y eliminan junto con los pods. Estas aplicaciones se conocen como sin estado. Muchas aplicaciones de contenedor requerirán un volumen de almacenamiento que almacene información durante el uso del contenedor, para que esté disponible si el contenedor o pod es eliminado. Cuando el pod o contenedor se reinicia debe resolver cualquier cambio de datos que haya ocurrido.
En otras palabras, los volúmenes se comportan más como una base de datos. Estas aplicaciones se conocen como stateful.
bat365 Cloud Block Store proporciona los volúmenes de almacenamiento persistente necesarios para las aplicaciones con y sin estado mediante la creación de una caché de lectura distribuida escalable. Esta caché de lectura es un clúster de nodos GKE escalables creados para la alta disponibilidad de los datos y fáciles de integrar con las aplicaciones Kubernetes.
La optimización de Cloud Block Store se centra en el rendimiento y la fiabilidad. Para acelerar la ingesta de bloques y evitar su pérdida en caso de fallo de un nodo, Cloud Block Store despliega servicios de caché redundantes y compartidos para facilitar el acceso a los datos. Esto crea un rendimiento óptimo, si un nodo de caché de lectura fallara, otro nodo podría acceder a los datos desde los servicios de caché. Todos los datos se almacenan finalmente en Google Cloud Storage para una durabilidad a largo plazo.
Cloud Block Store se implementa como una colección de pods y contenedores gestionados por Kubernetes. Kubernetes despliega el número óptimo de cada tipo de contenedor para mantener el nivel de servicio deseado.
El escalado automático para obtener más recursos se produce cuando los aciertos de la caché de lectura superan un umbral de fallos de aciertos. La reducción de la escala se produce cuando el umbral de aciertos de la caché supera un límite inferior de fallos de aciertos o una tasa de ancho de banda de 1 MB/seg. o inferior, lo que significa que se están utilizando menos recursos.
La reducción de la escala disminuye los costes del uso de la capacidad de Cloud Block Store, ya que los clientes solo pagan 0,0003 dólares por gigabyte/día de Google Cloud Storage. Los costes adicionales del clúster Google Kubernetes Engine se aplican y son independientes de CBS. A continuación se presentan algunos aspectos destacados de las características y la arquitectura de CBS.
Características:
- Thin Provisioned, global deduplication & compression
- AES256 Encryption
- CSI Driver Complaint
- Unlimited Mountable Snapshots
- Simple to implement via CLI and Automation
- Real-time stats and reporting
- Support for Intel Optane in AppDirect mode (16TB cache)
- High Performance POSIX Volume Interface
Arquitectura a escala web:
- Up to 1PB Volume Namespace
- 100TB or greater Distributed Read Cache on local & persistent SSD
- Auto Scale out and down, based on Read Cache hits (and cost)
- Backup, Archival and Analytics workloads I/O Performance Optimized
La capa de procesamiento de datos (DPL) acepta/procesa las solicitudes de los clientes desde un dispositivo de bloques o un servicio S3. La deduplicación global, la compresión y la conversión a un tamaño de bloque de 4K se realizan en la DPL, proporcionando eficiencia en el almacenamiento de datos para operaciones de datos de alto rendimiento.
El Cloud Block Store se presenta como una caché de lectura distribuida a las aplicaciones cliente como una interfaz POSIX de alto rendimiento. El servicio de caché de diario garantiza que los datos que no se encuentran en la caché de lectura distribuida están disponibles en la caché de diario, y los metadatos de otros servicios de caché se encuentran en el servicio de backend de Cassandra. Todos los servicios de caché trabajan conjuntamente para mantener los datos disponibles desde cualquier nodo del cluster GKE para las peticiones de los clientes.
Aspectos más destacados
- Cloud Block Store is a scale-out block-based cache that is shared by all compute instances within a GKE cluster.
- Kubernetes applications that employ a block device interface can benefit from Cloud Block Store.
- Cloud Block Store is presented to Kubernetes applications as a persistent volume utilizing a high performance POSIX interface as a mountable directory to a container or pod.
- The Distributed Read Cache service is scalable to add more nodes with additional local persistent SSD’s to grow the capacity.
- All ingested blocks into Cloud Block Store are eventually uploaded to S3 backend cloud for durable storage
- Only the most recently and frequently accessed data is stored in Cloud Block Store as a distributed read cache (nodes local SSD).
- When a block is requested by a user, any node in the distributed cache node can respond, no matter which node stores this block to the cache. This is due to global deduplication when ingested. Any block can be read at any time.
- If a block is not cached, it is retrieved from S3 (GCP storage) and stored back into the distributed read cache.
In summary, bat365 Cloud Block Store is at the leading edge of persistent container storage for cloud-native architectures for enterprise containerized applications. Using a variety of novel approaches to keep costs low, Cloud Block Store provides a clear ROI by allowing you to leverage high performance persistent Kubernetes container storage. Installation is easy from the Google Cloud Platform Marketplace. A Google Kubernetes Engine cluster is a prerequisite, documentation available at the marketplace site has recommended cluster specifications, sample gcloud commands for installation, and a CBS management interface to execute API calls for valuable insights from Cloud Block Store.