O novo serviço colunar da Capella adiciona análise de dados em tempo real para ajudar as organizações a criar aplicativos modernos e adaptáveis em tempo real.
Hoje, em AWS re:InventNa semana passada, a Couchbase anunciou o serviço colunar Capella, um novo serviço de análise de dados em tempo real para a nossa plataforma de dados em nuvem, que permite aplicativos adaptáveis em tempo real.
O Capella columnar é um serviço que introduz um armazenamento columnar e uma ampla integração de dados em nosso banco de dados como serviço (DBaaS), permitindo assim análise de dados em tempo real na mesma plataforma que cargas de trabalho de aplicativos operacionais. Ao convergir aplicativos operacionais e analíticos em tempo real em uma única plataforma de banco de dados, o Couchbase elimina o atrito para oferecer experiências premium aos clientes, especialmente aquelas que incorporam inteligência artificial. Chamamos essas experiências de aplicativos adaptativos porque elas oferecem contextualização e hiperpersonalização, possibilitadas por cálculos analíticos em tempo real, entre outros recursos.
Percebemos que a verdadeira análise de dados em tempo real só pode ser realizada se os cálculos forem processados simultaneamente e junto com o aplicativo em execução. E só poderão ser úteis se esses resultados analíticos em tempo real forem imediatamente gravados de volta no banco de dados operacional e nos aplicativos que ele atende. Esse tipo de reconciliação entre a análise em tempo real e os aplicativos operacionais tem confundido o setor de bancos de dados há décadas.
Por que é tão difícil operacionalizar a análise de dados em tempo real?
De acordo com a Forrester, 73% de dados na empresa NÃO são usados em análises, e 40% de projetos de Big Data FALHARAM em gerar valor. Por quê? Porque leva muito tempo para transformar qualquer insight analítico em uma ação operacional, especialmente quando tanto a medida analítica quanto o aplicativo operacional são alimentados por vários bancos de dados relacionais e NoSQL, ETL complicado e pontos de integração impossíveis de entender.
A análise de dados em tempo real requer uma grande quantidade de dados
A análise geralmente consome grandes volumes de dados que são caros para persistir no armazenamento e para agregar cálculos. Os cálculos demoram muito ao consultar e agregar grandes volumes de dados, e as varreduras de linha são caras. A solução desses problemas de volume e latência foi o início do setor de análise.
-
- Os sistemas analíticos adotaram "cubos" OLAP que armazenam medidas pré-calculadas para evitar a despesa de executar cálculos repetidamente.
- É por isso que os sistemas analíticos também adotaram um modelo de armazenamento colunar mais ágil, que permitia consultar apenas as dimensões de dados específicas desejadas, em vez de varrer cada linha em cada coluna.
- Esse também é o motivo pelo qual os sistemas analíticos modernos dimensionam os recursos de computação separadamente dos recursos de armazenamento.
- Observe que o Big Data foi uma força centralizadora, assim como a computação em nuvem e a análise de fluxo contínuo, que tentam reduzir o problema do volume de dados e torná-lo gerenciável.
No entanto, tudo isso não abordou a capacidade de operacionalizar automaticamente as medidas analíticas dentro dos aplicativos, a fim de torná-los imediatamente mais inteligentes.
Como você torna a análise de dados em tempo real acionável?
As medidas analíticas em tempo real (também conhecidas como "Insights") ainda são muito difíceis de serem operacionalizadas nos aplicativos corporativos. Quando eu trabalhava para um fornecedor de ferramentas de business intelligence, costumávamos dizer que criávamos, Insights práticos com nossos painéis interativos. Mas os insights acionáveis ainda são um mito, porque não havia como incorporar medidas analíticas, derivadas de grandes e diversas quantidades de dados corporativos, dentro dos aplicativos sem intervenção humana. Sempre foi necessário que uma pessoa apertasse um botão.
A maioria dos sistemas analíticos não reinserir os valores de dados derivados que eles calculam nos sistemas operacionais. Geralmente, eles apresentam seus resultados apenas como "painéis", que são ótimos para visualização, mas difíceis de acelerar a tomada de medidas. O atraso na tomada de ação geralmente é de minutos a dias. Esse é o intervalo de latência de write-back e esse é um problema que já tem 50 anos. É por isso que a análise quase nunca é uma atividade "em tempo real", como uma transação de banco de dados.
O Couchbase Columnar eliminará a lacuna de latência de gravação e retorno para aplicativos operacionais.
Nosso serviço Capella columnar ampliará os recursos analíticos em tempo real disponíveis no Couchbase. O serviço Columnar adiciona o seguinte ao Capella:
-
- Um novo Log-Structured Merge (LSM) orientado por coluna mais árvore B estruturada mecanismo de armazenamento desenvolvido para expandir o desempenho analítico e a capacidade do Capella. Ele oferece compactação impressionante e acesso de alta velocidade baseado em colunas aos seus dados. Esse mecanismo sem servidor será dimensionado dinamicamente enquanto contém terabytes de dados analíticos. Seus dados são armazenados no AWS S3 e separados de nossos recursos de computação.
- Aprimoramos nossa solução baseada em MPP mecanismo de computaçãopermitindo cálculos em tempo real, independentemente do tamanho dos dados. Esse recurso de agregação usa SQL++ para consultas e inclui a função Otimizador baseado em custo patenteado do Couchbase para garantir um desempenho excepcional, mesmo quando as consultas são complexas.
- Recursos de ingestão em tempo real com a tecnologia Apache KafkaO processo de extração de dados é um processo de conexão, captura e extração de dados de praticamente qualquer banco de dados ou aplicativo. Esse processo também transforma os dados extraídos em estruturas JSON amigáveis ao desenvolvedor enquanto estão em trânsito. Imagine ingestão em tempo real de objetos BSON em Capella columnar!
- Leituras, importações (e exportações) baseadas em arquivos para dados armazenados no AWS S3, incluindo JSON, Parquet, Avro, CSV e outros formatos de texto.
- Codificação de conversação usando Capella iQpara permitir que os desenvolvedores usem interações de linguagem natural com o ChatGPT (ou, eventualmente, seu modelo de linguagem grande de IA generativa favorito) para o desenvolvimento do SQL++.
- Suporte nativo para Tableau e PowerBI para desenvolvimento e visualização de análises.
- Novas APIs de dados para ler e gravar medidas analíticas de volta aos aplicativos operacionais alimentados pelo Capella. Isso elimina o problema de décadas de incorporação da análise de dados em tempo real nos aplicativos.
Isso resulta na capacidade de executar cálculos analíticos em grande escala e em tempo real que podem ser usados à medida que novos dados são disponibilizados em aplicativos alimentados por esse e por outros serviços da Capella, como Key/Value, Query, Search, Eventing e Mobile App Services. Os clientes podem criar e fornecer aplicativos adaptáveis que incorporam resultados analíticos em tempo real.
O que torna o Capella Columnar melhor para aplicativos que precisam de análise em tempo real?
Esta é a primeira vez que uma única plataforma de banco de dados cria contêineres de armazenamento especializados e otimizados para dados operacionais transacionais e dados analíticos, melhor armazenados em um formato colunar. Cada contêiner de armazenamento, Magma para dados operacionais e colunar para dados analíticos, foi criado com base em um projeto de mesclagem estruturada em log (LSM), que não é apenas rápido, mas oferece melhor compactação, taxa de transferência de E/S e utilização de recursos.
É como poder flutuar e voar ao mesmo tempo.
O MongoDB Atlas também não tem isso?
Não, o MongoDB anunciou Índices do armazenamento de colunasque é uma estrutura de indexação duplicada em relação aos dados que persistem em seu mecanismo de armazenamento singular, o WiredTiger. Todos os dados ainda são armazenados no WiredTiger, o equivalente do MongoDB a Loja de sofás. O WiredTiger consome 50% da memória disponível quando está em uso, o que é um dos motivos pelos quais o O MongoDB não é dimensionado de forma tão eficiente quanto o Couchbase e o Capella.
A abordagem do Couchbase oferece melhor desempenho e melhores oportunidades de incorporar dados externos para análise sem contaminar ou inchar o armazenamento dos dados operacionais. Assim, ambos os mecanismos trabalham e dimensionam suas cargas de trabalho de forma independente, embora residam no mesmo cluster.
O que é um aplicativo adaptável?
Um aplicativo adaptável pode ajustar seu comportamento e seus recursos em tempo real com base em vários fatores, como preferências do usuário, condições ambientais, entradas de dados ou mudanças nas circunstâncias. O objetivo dos aplicativos adaptáveis é proporcionar uma experiência de usuário hiperpersonalizada e responsiva, adaptando dinamicamente sua funcionalidade às necessidades específicas e ao contexto atual do usuário.
Principais características dos aplicativos adaptáveis
Hiper personalização: Os aplicativos adaptáveis podem personalizar a interface do usuário, o conteúdo e a funcionalidade para atender à situação, às preferências e aos requisitos de cada usuário. Essa personalização pode aumentar a satisfação e a produtividade do usuário.
Consciência do contexto: Os aplicativos adaptáveis podem se adaptar com base no contexto atual, que pode incluir fatores como localização, tipo de dispositivo, condições de rede, hora do dia e comportamentos passados e presentes.
Por exemplo, um aplicativo de navegação pode adaptar suas sugestões de rota com base nas condições de tráfego em tempo real e no tempo de viagem.
Aprendizado e inteligência: Os aplicativos adaptativos incorporarão aprendizado de máquina preditivo, inteligência artificial, cálculos em tempo real e conversas geradoras de IA para analisar continuamente o comportamento do usuário e melhorar sua capacidade de adaptação. Eles podem aprender com as interações anteriores para fazer previsões melhores e recomendações imediatas.
Flexibilidade: Os aplicativos adaptáveis são projetados para serem flexíveis, ricos em recursos e facilmente configuráveis. Os dados em aplicativos adaptáveis devem estar disponíveis em formatos flexíveis, como JSON, para criar ou modificar entradas de dados imprevistas, como aprimorar perfis de conta com novos atributos de personalização ou armazenar prompts e respostas de conversas com LLMs.
Personalização: Os usuários podem ter a opção de ajustar as configurações ou fornecer feedback para ajudar o aplicativo a se adaptar às suas necessidades.
Automação: Eles podem automatizar determinadas tarefas e processos, facilitando aos usuários a realização de suas metas sem intervenção manual.
Cálculo: Eles podem instigar e responder a dados calculados, como inventário em tempo real, planejamento e estimativa de capacidade ou outras métricas analíticas em tempo real. É por isso que precisamos adicionar o serviço Capella columnar.
Desempenho excepcional: Os aplicativos adaptáveis devem ser capazes de reagir em tempo real para evitar perder uma oportunidade de resposta. A latência é o inimigo dos aplicativos adaptáveis.
Borda e habilitado para dispositivos móveis: Os aplicativos adaptáveis serão inerentemente móveis e operarão na borda devido ao comportamento de seus usuários. Os dispositivos móveis serão um local importante de onde os dados dos aplicativos adaptáveis serão originados e o destino para o qual os dados serão consumidos.
Situacional: Os aplicativos adaptáveis antecipam e executam ações que trazem dados e funcionalidades do aplicativo para o usuário, sem que ele tenha solicitado.
Conexão cruzada: Os aplicativos adaptativos farão a conexão cruzada das informações de personalização de conta entre os serviços opcionais do usuário, de modo que os programas de fidelidade de seu banco, companhia aérea e hotel coordenem ações entre si, como o upgrade em tempo real quando você estiver ultrapassando o limite do status "platina".
Para obter mais informações sobre aplicativos adaptáveis, consulte o novo relatório de roteiro de mercado da Forrester, A arquitetura transpolítica 2.0 evolui para oferecer suporte a recursos distribuídos, multimodelos e de IA.
Resumo
O serviço columnar do Couchbase Capella permitirá que os clientes:
Melhorar a agilidade e o desempenho. O Capella columnar funciona em um aplicativo com tecnologia Capella para permitir a ingestão rápida e sem esquema, sem a necessidade de realizar extração, transformação e carregamento (ETL). O serviço pode distribuir dados de cargas de trabalho operacionais para realizar análises em tempo real de dados operacionais e, em seguida, influenciar imediatamente o comportamento do aplicativo com essas informações. Além disso, a separação da computação e do armazenamento significa que o Capella columnar pode ser dimensionado rapidamente para atender às necessidades analíticas ou de aplicativos em constante mudança.
Ingestão de fluxo de fontes de dados empresariais em tempo real. Com o Capella columnar, a análise operacional não se limita apenas aos dados operacionais, pois os usuários podem incluir JSON externo, relacional, streaming e outros conjuntos de dados de aplicativos SaaS ou outras fontes de gerenciamento de banco de dados. O Capella columnar pode analisar uma verdadeira variedade de dados em uma única e simples declaração. Por exemplo, ele pode analisar dados do Couchbase, S3, BSON, Cassandra e MySQL, tudo na mesma instrução.
Aumentar a facilidade de uso para os desenvolvedores. A Capella columnar usa o mesmo Linguagem de consulta SQL++ em aplicativos operacionais e analíticos em tempo real. Isso significa que os desenvolvedores que já conhecem SQL podem criar facilmente aplicativos em uma única plataforma com uma única linguagem de consulta, em vez de ter que usar duas linguagens de consulta diferentes. O novo serviço também conta com recursos de linguagem natural Capella iQ como copiloto do SQL++ para uma codificação mais rápida.
Reduzir a complexidade e o custo. Ao convergir a análise operacional e em tempo real em uma única plataforma de dados, os clientes podem obter mais com a Capella e com um menor custo total de propriedade (TCO) em vez de absorver o custo de uma plataforma de banco de dados para cargas de trabalho operacionais e outra para análises quase em tempo real. Além disso, as equipes que convertem dados JSON em bancos de dados analíticos tradicionais não precisarão mais passar por um processo de conversão complexo.
