Les bases de données vectorielles sont très en vogue, à en juger par le nombre de startups entrant dans l'espace et les investisseurs misant pour obtenir une part du gâteau. La prolifération des grands modèles linguistiques (LLM) et le mouvement de l'IA générative (GenAI) ont créé un terrain fertile pour que les technologies des bases de données vectorielles prospèrent.

Alors que les bases de données relationnelles traditionnelles telles que Postgres ou MySQL conviennent bien aux données structurées - des types de données prédéfinis qui peuvent être rangés soigneusement dans des lignes et des colonnes - cela ne fonctionne pas aussi bien pour les données non structurées telles que les images, les vidéos, les e-mails, les publications sur les réseaux sociaux et toutes données qui ne suivent pas un modèle de données prédéfini.

Les bases de données vectorielles, en revanche, stockent et traitent les données sous forme d'ensemble de vecteurs, ce qui convertit le texte, les documents, les images et d'autres données en représentations numériques capturant le sens et les relations entre les différents points de données. C'est parfait pour l'apprentissage automatique, car la base de données stocke les données spatialement en fonction de la pertinence de chaque élément par rapport aux autres, ce qui facilite la récupération de données sémantiquement similaires.

Ceci est particulièrement utile pour les LLM, tels que le GPT-4 de OpenAI, car il permet au chatbot d'IA de mieux comprendre le contexte d'une conversation en analysant les conversations similaires précédentes. La recherche vectorielle est également utile pour toutes sortes d'applications en temps réel, telles que les recommandations de contenu dans les réseaux sociaux ou les applications de commerce électronique, car elle peut analyser ce qu'un utilisateur a recherché et retrouver des articles similaires en un éclair.

La recherche vectorielle peut également contribuer à réduire les "hallucinations" dans les applications LLM, en fournissant des informations supplémentaires qui pourraient ne pas avoir été disponibles dans l'ensemble de données d'entraînement d'origine.

\"Sans utiliser la recherche de similarité vectorielle, vous pouvez toujours développer des applications IA/ML, mais vous auriez besoin de plus de réajustement et de perfectionnement\", a expliqué Andre Zayarni, PDG et cofondateur de la startup de recherche vectorielle Qdrant, à TechCrunch. \"Les bases de données vectorielles entrent en jeu lorsqu'il y a un grand ensemble de données et que vous avez besoin d'un outil pour travailler avec des ensembles de vecteurs de manière efficace et pratique.\"

En janvier, Qdrant a levé 28 millions de dollars pour capitaliser sur la croissance qui l'a amenée à devenir l'une des 10 startups open source commerciales à la plus forte croissance l'année dernière. Et ce n'est loin d'être la seule startup de base de données vectorielle à lever des fonds ces derniers temps - Vespa, Weaviate, Pinecone et Chroma ont collectivement levé 200 millions de dollars l'année dernière pour diverses offres vectorielles.

Depuis le début de l'année, Index Ventures a également dirigé un tour de table de financement de 9,5 millions de dollars pour Superlinked, une plateforme qui transforme des données complexes en ensembles de vecteurs. Et il y a quelques semaines, Y Combinator (YC) a dévoilé sa cohorte d'hiver '24, qui comprenait Lantern, une startup qui vend un moteur de recherche vectorielle hébergé pour Postgres.

Ailleurs, Marqo a levé un tour de financement de démarrage de 4,4 millions de dollars en fin d'année dernière, rapidement suivi d'un tour de série A de 12,5 millions de dollars en février. La plateforme Marqo propose toute une gamme d'outils vectoriels prêts à l'emploi, couvrant la génération, le stockage et la récupération de vecteurs, permettant aux utilisateurs de contourner les outils tiers des sociétés telles que OpenAI ou Hugging Face, et offrant tout via une seule API.

Les cofondateurs de Marqo, Tom Hamer et Jesse N. Clark, ont précédemment travaillé dans des rôles d'ingénierie chez Amazon, où ils ont réalisé le \"gros besoin insatisfait\" de recherche sémantique et flexible à travers différentes modalités telles que le texte et les images. C'est à ce moment-là qu'ils ont quitté Amazon pour fonder Marqo en 2021.

\"Travailler sur la recherche visuelle et la robotique chez Amazon a été l'occasion pour moi de vraiment regarder la recherche vectorielle - je réfléchissais à de nouvelles façons de faire la découverte de produits, et cela s'est rapidement concentré sur la recherche vectorielle\", a déclaré Clark à TechCrunch. \"En robotique, j'utilisais la recherche multimodale pour parcourir beaucoup de nos images afin d'identifier s'il y avait des choses erronées comme des tuyaux et des paquets. Sinon, cela aurait été très difficile à résoudre.\"

Entrée dans l'entreprise

Alors que les bases de données vectorielles ont le vent en poupe au milieu de l'agitation de ChatGPT et du mouvement GenAI, elles ne sont pas la panacée pour tous les scénarios de recherche en entreprise.

\"Les bases de données spécialisées tendent à être entièrement concentrées sur des cas d'utilisation spécifiques et peuvent ainsi concevoir leur architecture pour des performances sur les tâches nécessaires, ainsi que pour l'expérience utilisateur, par rapport aux bases de données polyvalentes, qui doivent s'adapter à la conception actuelle\", a expliqué Peter Zaitsev, fondateur de la société de soutien et de services de bases de données Percona, à TechCrunch.

Alors que les bases de données spécialisées pourraient exceller dans un domaine au détriment des autres, c'est pourquoi nous commençons à voir des entreprises de bases de données établies comme Elastic, Redis, OpenSearch, Cassandra, Oracle, et MongoDB ajouter des fonctionnalités de recherche de bases de données vectorielles à leur offre, tout comme le font les fournisseurs de services cloud tels que Azure de Microsoft, AWS d'Amazon et Cloudflare.

Zaitsev compare cette dernière tendance à ce qui s'est passé avec JSON il y a plus d'une décennie, lorsque les applications web sont devenues plus courantes et que les développeurs avaient besoin d'un format de données indépendant du langage, facile à lire et à écrire pour les humains. Dans ce cas, une nouvelle classe de bases de données a émergé sous forme de bases de données de documents telles que MongoDB, tandis que les bases de données relationnelles existantes introduisaient également la prise en charge de JSON.

\"Je pense qu'il en sera probablement de même avec les bases de données vectorielles\", a déclaré Zaitsev à TechCrunch. \"Les utilisateurs qui construisent des applications IA très complexes et à grande échelle utiliseront des bases de données de recherche vectorielle dédiées, tandis que les personnes ayant besoin de mettre en place un peu de fonctionnalité IA pour leur application existante sont plus susceptibles d'utiliser la fonctionnalité de recherche vectorielle dans les bases de données qu'elles utilisent déjà.\"

Mais Zayarni et ses collègues de Qdrant parient que les solutions natives construites entièrement autour des vecteurs offriront la \"rapidité, la sécurité de la mémoire et l'échelle\" nécessaires alors que les données vectorielles explosent, par rapport aux sociétés ajoutant la recherche vectorielle à titre accessoire.

\"Leur argument est, 'nous pouvons aussi faire de la recherche vectorielle, si nécessaire'\", a déclaré Zayarni. \"Notre argument est, 'nous faisons de la recherche vectorielle avancée de la meilleure façon possible'. Tout est une question de spécialisation. Nous recommandons en fait de commencer avec la base de données que vous avez déjà dans votre pile technologique. À un moment donné, les utilisateurs seront confrontés à des limitations si la recherche vectorielle est un composant critique de votre solution.\"