Opções de implantação do Atlas Search
Visão geral
É possível estruturar seu Atlas cluster com diferentes tipos de sistema, provedores de nuvem e camadas de cluster para atender às necessidades de um ambiente de pré-produção ou produção. Use essas recomendações para selecionar o tipo de sistema, o provedor de nuvem e a região, e as camadas do cluster e Atlas Search para executar a Atlas Search vetorial.
ambiente | Tipo de implementação | Camada do cluster | Região do provedor de nuvem | Arquitetura de nó |
|---|---|---|---|---|
Testando queries | Flex or dedicated cluster Local deployment | M0, Flex, or higher tierN/A | All N/A | Processos do MongoDB e Atlas Search executados no mesmo nó |
Aplicativos de protótipos | Cluster dedicado, fragmentado ou não fragmentado |
| Todos | Processos do MongoDB e Atlas Search executados no mesmo nó |
Produção | Cluster dedicado com nós de pesquisa separados, fragmentados ou não fragmentados |
| Amazon Web Services e Azure em algumas regiões do ou Google Cloud Platform em todas as regiões | Processos do MongoDB e Atlas Search executados em nós diferentes |
As seções a seguir descrevem cada ambiente:
Ambientes de teste e protótipos
Para testar suas queries de pesquisa e criar protótipos do seu aplicativo, recomendamos o tipo de implantação e a arquitetura de nó descritos nas seções a seguir.
Essa configuração é mais adequada para os seguintes casos de uso:
Menos de 2M de documentos no total para indexar
Menos de 10 GB de dados indexados
Menos de 10.000 queries em um período de 7 dias
Se seu uso exceder os valores listados, migre para nós de pesquisa dedicados.
As seções a seguir descrevem a arquitetura deste nó em mais detalhes.
- Tipo de implementação
Para testar queries do Atlas Search em clusters na nuvem, você pode implantar um cluster dedicado.
Para testar queries do Atlas Search localmente, crie um sistema local do Atlas usando o Atlas CLI. Pode ser um conjunto de réplicas de um único nó hospedado em seu computador local. As implantações locais são limitadas pelos recursos de CPU, memória e armazenamento de sua máquina local. Quando seu aplicação estiver pronto para produção, migre sua implantação local do Atlas para um ambiente de produção.
- Cluster Tiers
Para testar suas queries do Atlas Search , use clusters gratuitos (
M0) e Flex.Para criar um protótipo de seu aplicação, use clusters dedicados
M10,M20e de nível superior, ou implemente nós de pesquisa dedicados para isolamento do volume de trabalho. Quando seu aplicação estiver pronto para produção e para lidar com grandes conjuntos de dados, faça o upgrade para níveis superiores.- Provedor de nuvem e região
Use qualquer região de provedor de nuvem compatível.
O provedor de nuvem e a região escolhida afetam as opções de configuração disponíveis para as camadas do cluster e o custo de execução do cluster.
Arquitetura de nó
Para ambientes de teste e prototipagem, recomendamos uma arquitetura de nó em que os processos do MongoDB e do Atlas Search executam no mesmo nó. No diagrama a seguir deste modelo de implantação, o processo Atlas Search mongot é executado junto com o mongod em cada nó no cluster Atlas e eles compartilham os mesmos recursos.
Por padrão, o Atlas habilita o processo mongot do Atlas Search no mesmo nó que executa o processo mongod quando você cria seu primeiro índice do Atlas Search .
Quando você executa uma query, o Atlas Search utiliza a preferência de leitura configurada para identificar o nó no qual executar a query. A query primeiro vai para o processo do MongoDB, que é mongod para um cluster de conjunto de réplicas ou mongos para um cluster fragmentado.
Para um cluster de conjunto de réplicas, o processo mongod direciona a query para o mongot no mesmo nó. Para clusters fragmentados, os dados do seu cluster são particionados em mongod instâncias (fragmentos) e cada processo mongot só pode acessar os dados na instância mongod no mesmo nó. Portanto, você não pode executar queries do Atlas Search que tenham como alvo um fragmento específico. mongos roteia a query para todos os fragmentos, fazendo estas dispersar e reunir queries. Se você usar zonas para distribuir uma coleção fragmentada em um subconjunto dos fragmentos no cluster, o Atlas Search roteará a query para a zona que contém os fragmentos da coleção que você está fazendo query e executará suas queries $search somente nos fragmentos em que a coleção está localizada.
Após a query ser roteada para um processo mongot do Atlas Search, o processo mongot realiza a pesquisa e a pontuação e retorna os IDs dos documentos e outros metadados da pesquisa para os resultados correspondentes ao processo mongod. O processo mongod realiza uma busca completa de documentos de forma implícita para os resultados correspondentes e devolve os resultados ao cliente. Se você usar a opção $search concorrente em sua query, o Atlas Search ativará o paralelismo intraquery. Para saber mais, consulte Paralelizar a execução de query entre segmentos.
Para saber mais sobre o processo mongot, consulte Processamento de query.
Você pode definir campos de origem armazenados no seu índice do Atlas Search para que o processo mongot possa armazenar os campos especificados em mongot. Você pode então usar a opção returnStoredSource na sua query do Atlas Search para recuperar os campos armazenados para documentos correspondentes diretamente de mongot em vez de fazer uma pesquisa completa de documentos no banco de dados.
Benefícios
Quando você habilita o Atlas Search, pode facilmente construir uma pesquisa em cima de seus dados com um mecanismo de pesquisa integrado e totalmente gerenciado que se sincroniza automaticamente com seu banco de dados. O Atlas Search fornece uma linguagem de query avançada que usa estágios de pipeline de agregação do Atlas Search, como $search e $searchMeta para pesquisa de texto completo e $vectorSearch para pesquisa semântica em conjunto com outros estágios de pipeline de agregação do MongoDB e classificação de resultados baseada em pontuação.
Dependendo dos recursos provisionados para seu cluster, a implantação de ambos os processos no mesmo nó pode ser mais econômicas do que executar o processo de pesquisa em um nó dedicado separado.
Limitações
Você pode experimentar a contenção de recursos entre o mongod do banco de dados e os processos mongot de pesquisa. Isso pode afetar negativamente o desempenho do índice e a latência das queries. Para oferecer suporte a aplicativos prontos para produção e suas cargas de trabalho de pesquisa, migre para nós de pesquisa dedicados.
Custo
Não há taxas ou encargos adicionais quando você ativa a O Atlas Search no seu cluster do Atlas. No entanto, você pode observar um aumento na utilização de recursos no cluster para grandes coleções indexadas ou definições de índice.
Considerações
Como os processos mongod e mongot são executados no mesmo nó, mongot pode ficar indisponível em determinadas circunstâncias. A tabela a seguir descreve as possíveis causas:
Causa | Descrição |
|---|---|
Dimensionamento da camada do cluster - Armazenamento de rede | Quando você escala um cluster para cima ou para baixo, o Atlas provisiona uma nova instância. Após a instância estar pronta, o Atlas anexa o armazenamento de rede e inicia Se o |
Dimensionamento da camada do cluster - SSD local | Quando você escala um Atlas cluster usando o SSD local, não é possível reter o armazenamento e anexe-o novamente aos novos nós. Portanto, o Atlas executa uma sincronização inicial para reconstruir os índices de pesquisa. As queries de pesquisa falham até que a sincronização inicial seja concluída. |
Downgrade do Lucene | Em casos raros em que é necessário fazer o downgrade do Lucene, talvez você não consiga ler os formatos de índice Lucene mais recentes. |
Ajuste de armazenamento | Você pode manter o armazenamento de rede conectado aos nós do Atlas cluster. Isso permite que você expanda ou contraia a capacidade de volume sem impacto para No entanto, reter o armazenamento de rede pode não ser possível em determinadas regiões, quando o cluster estiver usando discos NVMe locais ou em outras circunstâncias raras. Nesses casos, o Atlas executa uma sincronização inicial e as queries de pesquisa falham até que a sincronização inicial seja concluída. |
| Durante uma atualização de versão do |
Novo nó | Quando você adiciona um novo nó ao seu cluster, o Atlas executa uma sincronização inicial para criar os índices de pesquisa. As queries de pesquisa que usam o novo nó |
Reinicialização ou substituição da instância |
|
| Sempre que o processo |
Ambiente de produção
Para seu aplicativo pronto para produção, recomendamos usar o tipo de implantação e a arquitetura de nó descritos nas seções a seguir.
Essa configuração é mais adequada para os seguintes casos de uso:
Se você optar por migrar seu ambiente de teste existente para a produção, adicione nós de pesquisa dedicados ao seu cluster. Para saber mais, consulte Migrar para nós de pesquisa dedicados.
Se você criar uma nova implantação de produção do zero, certifique-se de usar clusters de nível
M10ou superior que oferecem suporte ao Atlas Search nas regiões e zonas onde o Atlas Search está disponível e adicione nós de pesquisa dedicados ao seu ambiente. Para saber mais, consulte Adicionar nós de pesquisa dedicados.
- Tipo de implementação
Para aplicativos prontos para produção, use
M10,M20e níveis superiores de cluster dedicado. Esses clusters de nível superior podem lidar com grandes conjuntos de dados e cargas de trabalho de produção.Recomendamos que você também implemente nós de pesquisa dedicados. Se seus requisitos de pesquisa aumentarem, você poderá escalar seu sistema de pesquisa independentemente de escalar os nós do MongoDB .
- Provedor de nuvem e região
Use nós de pesquisa em todas as regiões do Google Cloud e em um subconjunto de regiões da AWS e do Azure. Você deve selecionar um provedor de nuvem e uma região em que os nós de pesquisa estejam disponíveis para sua implantação.
Todas as camadas de cluster estão disponíveis em regiões de provedores de nuvem com suporte. O provedor de nuvem e a região que você escolher afetam as opções de configuração e as camadas de pesquisa disponíveis para o cluster e o custo de execução do cluster.
Arquitetura de nó
Para ambientes de produção, recomendamos uma arquitetura de nó na qual os processos do MongoDB e do Atlas Search são executados em nós separados. Para implantar nós de pesquisa separados, consulte Migrar para nós de pesquisa dedicados.
No diagrama a seguir deste modelo de implantação, o processo Atlas Search mongot é executado em nós de pesquisa dedicados, que são separados dos nós do cluster nos quais o processo mongod é executado.
O Atlas implanta nós de pesquisa com cada cluster ou com cada fragmento no cluster. Por exemplo, se você implantar dois nós de pesquisa para um cluster com três shards, o Atlas implantará seis nós de pesquisa (dois por shard). Você também pode configurar o número de nós de pesquisa e a quantidade de recursos provisionados para cada nó de pesquisa.
Ao implantar nós de pesquisa separados, o Atlas atribui automaticamente um mongod para cada mongot para indexação. O mongot comunica com o mongod para ouvir e sincronizar as alterações de índice para os índices que armazena. O Atlas Search indexa e processa suas queries de forma semelhante a uma implantação em que os processos mongod e mongot são executados no mesmo nó. Para mais informações, consulte Gerenciar índices do Atlas Search e Queries e índices. Para saber mais sobre a implantação de nós de pesquisa separadamente, consulte Nós de pesquisa para isolamento de carga de trabalho.
Quando você migra para os Nós de Pesquisa, o Atlas implanta os Nós de Pesquisa, mas não atende a queries nos nós até que ele crie com êxito todos os índices no cluster nos Nós de Pesquisa. Enquanto o Atlas cria os índices nos novos nós, ele continua a atender queries usando os índices nos nós do cluster. O Atlas começa a atender queries dos nós de pesquisa somente depois de criar com êxito os índices nos nós de pesquisa e remover os índices nos nós do cluster.
Quando você executa uma query, a query é roteada para mongod com base na preferência de leitura configurada. O processo mongod encaminha a query de pesquisa por meio de um balanceador de carga no mesmo nó, que distribui as solicitações entre todos os processos mongot.
O Atlas Search mongot executa a pesquisa e pontuação e retorna os IDs dos documentos e metadados dos resultados correspondentes para mongod. Em seguida, o mongod executa uma pesquisa completa de documentos para os resultados correspondentes e retorna os resultados para o cliente. Se você usar a opção $search concorrente em sua query, o Atlas Search ativará o paralelismo intraquery. Para saber mais, consulte Paralelizar a execução de query entre segmentos.
Se você excluir todos os nós de pesquisa em seu cluster, haverá uma interrupção no processamento dos resultados da query de pesquisa. Para saber mais, consulte Modificar um cluster. Se você excluir seu agrupamento do Atlas, o Atlas pausará e então excluirá todos os sistemas do Atlas Search associados (processosmongot).
Você pode definir campos de origem armazenados no seu índice do Atlas Search para que o processo mongot possa armazenar os campos especificados em mongot. Você pode então usar a opção returnStoredSource na sua query do Atlas Search para recuperar os campos armazenados para documentos correspondentes diretamente de mongot em vez de fazer uma pesquisa completa de documentos no banco de dados.
Benefícios
A distribuição de nós de pesquisa separados oferece os seguintes benefícios:
- Alta disponibilidade
- Quando você implanta nós de pesquisa separados, o Atlas aplica um mínimo de dois nós de pesquisa para garantir que sua carga de trabalho permaneça operacional, com tempo mínimo de inatividade, em evento de falha ou interrupção.
- Escalabilidade
Quando você implanta nós de pesquisa separados, é possível dimensionar o armazenamento e a computação de forma independente do seu cluster MongoDB. Isso permite que você também dimensione a carga da query independentemente do MongoDB.
Para dimensionar nós de pesquisa horizontalmente, aumente ou reduza o número de nós de pesquisa. Você pode provisionar de 2 até 32 nós de pesquisa. Para balancear a carga de queries, o Atlas Search distribui as queries de pesquisa por todos os nós de pesquisa disponíveis.
Para dimensionar os nós de pesquisa verticalmente, selecione diferentes níveis de pesquisa, configurações de CPU, RAM e armazenamento que suportem suas cargas de trabalho de texto completo.
- Desempenho
Ao implantar nós de pesquisa dedicados, você melhora o desempenho e a utilização de recursos para os processos
mongodemongote elimina a contenção de recursos entre esses processos.Os nós de pesquisa dedicados oferecem suporte à pesquisa simultânea de segmentos, o que permite ao Atlas Search pesquisar vários segmentos de índice ao mesmo tempo. O uso da pesquisa simultânea de segmentos melhora o tempo de resposta da query em alguns casos.
Dicas para dimensionar e escalar nós de pesquisa
Para determinar os requisitos de memória para os nós de pesquisa, use as seguintes métricas do Atlas:
Tamanho do Índice de Pesquisa
RAM total no nó de pesquisa
Considere um aplicativo que possui um índice de pesquisa de 10 GB e 4 GB de RAM total no nó de pesquisa. Nesse caso, se 1 GB de RAM for usado por outros processos e apenas 3 GB estiverem disponíveis para os dados de índice, os 7 GB restantes dos dados de índice (10 GB - 3 GB = 7 GB) serão paginados, conforme necessário, do disco. A paginação frequente do disco causa aumento de falhas de página, E/S de disco e IOWait da CPU, resultando em degradação do desempenho.
Se você usar uma camada de cluster de pesquisa mais alta com mais RAM, como 8 GB ou mais, isso permite que o Atlas sirva a maior parte dos dados do índice de pesquisa a partir da memória, minimizando leituras de disco e falhas de página e, com isso, melhorando o desempenho.
Observação
Os SSDs locais usados para nós de pesquisa exigem uma sobrecarga de armazenamento de 20% para permitir operações de indexação.
Custo dos Nós de Pesquisa
O MongoDB permite nós de pesquisa separados em clusters dedicados (M10 ou superior). Os nós de pesquisa são distribuídos em instâncias NVMe com uso intensivo de computador. Você deve distribuir um mínimo de dois nós. Você será cobrado diariamente pelo uso de recursos por hora por nó. Para saber mais, consulte Custo do nó de pesquisa.
Habilitar Encryption at rest
Você pode habilitar a criptografia em descanso com Gerenciamento de Chaves do Cliente para todos os dados nos nós de pesquisa para proteger suas cargas de trabalho do Atlas Search com chaves de criptografia gerenciadas pelo cliente. Para aprender mais, consulte Ativar o Gerenciamento de Chaves do cliente para nós de pesquisa.
Este recurso está disponível atualmente apenas para o AWS KMS.
Adicionar nós de pesquisa dedicados
Adicionar nós de pesquisa dedicados a um novo cluster permite:
Alterar o tamanho e dimensionar sua implantação de pesquisa independentemente do seu cluster.
Eliminar a contenção de recursos que você possa enfrentar em um cluster que executa o banco de dados MongoDB e os processos de pesquisa no mesmo nó.
Para adicionar nós de pesquisa dedicados:
Crie seu cluster como um nível
M10ou superior em um provedor de nuvem e em uma região que ofereça suporte ao isolamento de nós. Para saber mais, consulte Criar um cluster.Os nós de pesquisa dedicados são compatíveis apenas com camadas de cluster
M10ou superiores e em regiões de provedor de nuvem que oferecem suporte ao isolamento de nós.Habilite Search Nodes for workload isolation e configure nós de pesquisa.
Migrar para nós dedicados do Atlas Search
Para migrar da preparação para a produção e adicionar nós de pesquisa dedicados, faça as seguintes alterações no seu sistema de preparação e protótipo existente:
Se o seu sistema utilizar um cluster Flex, altere a camada do cluster para um nível superior. Os nós de pesquisa dedicados são suportados somente para
M10e camadas de cluster superiores.Implante seu cluster em regiões onde os nós de pesquisa também estejam disponíveis. Nós de pesquisa dedicados estão disponíveis em um subconjunto das regiões da AWS e do Azure e em todas as regiões compatíveis do Google Cloud. Se o seu cluster existente estiver hospedado em regiões onde os nós de pesquisa não estão disponíveis, migre seu cluster para regiões onde os nós de pesquisa estão disponíveis. Para saber mais, consulte Regiões do provedor de nuvem que oferecem suporte ao isolamento de nós.
Habilite Search Nodes for workload isolation e configure nós de pesquisa. Para saber mais, consulte Adicionar nós de pesquisa.
Quando você distribui nós de pesquisa dedicados, a seguinte sequência de ações ocorre:
O Atlas cria os índices de pesquisa nos nós de pesquisa e remove os índices dos nós do cluster.
O Atlas direciona as queries de pesquisa para os nós de pesquisa.
O Atlas Search utiliza os índices de pesquisa para atender queries no Atlas cluster.
Solução de problemas de implantação
Failed to Execute search Command Erro
Se você implantar mongot para executar junto com mongod e não configurar os nós de pesquisa, mongot pode ser encerrado e retornar o erro Failed to Execute search Command durante qualquer um dos seguintes eventos:
Aumentando um cluster
Failover de nó
Atualizando
mongot
Se você implantar mongot em nós de pesquisa dedicados, o mongod usará um provisionamento que roteia queries de pesquisa apenas para os nós íntegros em que o processo mongot está ativo.