À mesure que les appareils plus sophistiqués se développent et que les organisations poussent davantage de traitement à la périphérie du réseau, les solutions de streaming de données deviendront de plus en plus populaires et essentielles pour les organisations axées sur les données.
Lorsque je rencontre de nouvelles personnes lors de mes voyages, personne n’est trop surpris car, en tant que résident de la baie de San Francisco, je travaille dans l’industrie du logiciel. Mais quand je leur dis que mon entreprise fournit des solutions pour des applications de traitement de données hautes performances telles que le streaming de données, leurs yeux s’illuminent de reconnaissance. Ensuite, ils demandent toujours : “Aimez-vous Netflix ?”
Ensuite, je donne une explication rapide de ce que la radiodiffusion signifie pour mon industrie. Je me rends compte que le flux de données n’est pas encore bien compris. Ironiquement, j’ai beaucoup parlé de flux de données il y a de nombreuses années lorsque je travaillais pour une société de logiciels de moteur de recherche, donc le terme n’est pas nouveau. Malheureusement, l’industrie du streaming vidéo a détourné le terme et maintenant de nombreuses personnes associent le streaming aux films et à la musique. Mais ce n’est pas grave, car quand je vois à quelle vitesse le monde de la technologie évolue – et ce que la diffusion en direct peut signifier pour les entreprises – la confusion sur la terminologie ne sera pas vraiment un problème.
Les entreprises et les organisations génèrent d’énormes quantités d’informations à partir de nouvelles sources numériques, telles que les capteurs de l’Internet des objets (IoT), les moniteurs de santé, les dispositifs d’automatisation industrielle et les compteurs intelligents. Le nombre de sources et le volume de données augmentent de manière exponentielle chaque mois. Les données sont constamment produites, transmettant des quantités massives d’informations qui peuvent obstruer même les plus grands pipelines.
La plupart de ces sources de données sont situées à la périphérie du réseau. Dans de nombreux environnements, tels que les champs pétrolifères ou les sites de fabrication distants, il est impossible de manipuler les données au fur et à mesure qu’elles sont générées. Peut-être que la puissance de traitement est insuffisante ou que l’environnement n’est pas adapté aux ordinateurs sensibles. Même si les entreprises souhaitent envoyer des données urgentes de la périphérie au centre de données pour traitement, une faible latence du réseau provoque souvent des goulots d’étranglement.
Informations instantanées, opérations plus intelligentes
C’est là que le flux de données peut aider. Les solutions de diffusion modernes reposent sur une base technologique solide conçue pour traiter les données à la périphérie.
Ils peuvent rapidement ingérer, catégoriser et traiter d’énormes quantités de données provenant de plusieurs sources. Ou ils peuvent spécifier les données essentielles qui doivent être déplacées vers le centre de données, et simplement les envoyer pour traitement – plutôt que l’intégralité du flux de données. Ces solutions incluent souvent des technologies intelligentes telles que l’apprentissage automatique, qui automatise le processus d’extraction d’informations à partir de quantités massives de données.
Ensemble, l’informatique de périphérie et l’apprentissage automatique peuvent aider les utilisateurs de flux de données à alimenter l’analyse pour un aperçu instantané. Ils peuvent identifier les conditions qui pourraient conduire à une panne potentielle ou lancer une maintenance ou des réparations.
J’ai vu des exemples inspirants de la façon dont le flux de données peut aider à fournir des informations précieuses qui aident les organisations à agir plus rapidement, à prendre de meilleures décisions ou même à introduire de nouvelles solutions innovantes qui offrent un avantage concurrentiel, telles que :
● Une société pétrolière et gazière qui surveille la stabilité de la tête de forage, réduisant les temps d’arrêt de l’équipement et accélérant de 10 % le temps nécessaire pour atteindre la véritable profondeur verticale du puits
● Un hôpital qui améliore les résultats de la chirurgie assistée par robot en obtenant des informations en temps réel sur les caméras, les appareils robotiques et les moniteurs patient
● Une société de médias qui agrège les données des décodeurs des clients avec des chatbots pour fournir aux représentants de service les informations nécessaires pour traiter les appels des clients et améliorer l’expérience de service
Caractéristiques technologiques de base
Il est encore tôt pour une application de streaming de données. Les entreprises qui déploient des solutions voient généralement une opportunité de niche à laquelle la technologie peut répondre. Mais à mesure que le nombre d’appareils de pointe augmente et que les organisations poussent davantage de traitement à la périphérie du réseau, les puissantes solutions de streaming de données deviendront de plus en plus populaires et essentielles pour les organisations axées sur les données.
L’astuce consiste à trouver la bonne technologie – des solutions capables de prendre en charge un traitement ultra-rapide à grande échelle ; permettre à l’informatique mobile de fonctionner n’importe où ; et permettre une évolutivité flexible et transparente. Lorsque les gens me demandent comment choisir un fournisseur de technologie, je leur demande de rechercher des solutions qui non seulement répondent à leurs besoins actuels, mais qui vous aident également à tracer la voie d’une croissance future. Après tout, vous devez toujours planifier à l’avance afin de ne pas vous retrouver coincé dans une infrastructure limitée. Vous avez besoin de quelque chose comme un moteur de traitement de flux avec une plate-forme informatique en mémoire. C’est la seule façon de tirer le meilleur parti de votre matériel pour activer la vitesse et la taille de l’application. Cette configuration fournit également un stockage évolutif, ce qui vous permet de mettre en cache les données de systèmes tiers. Enfin, vous avez besoin d’un moteur de traitement de flux ultra-rapide et léger, capable de prendre en charge le traitement par lots et par flux à faible latence dans n’importe quel environnement.
Vous ne serez probablement pas surpris si je dis que Hazelcast a la meilleure solution pour diffuser des données depuis la périphérie du réseau. La plate-forme informatique Hazelcast In-Memory se compose de Hazelcast IMDG, le réseau de données en mémoire le plus populaire, et de Hazelcast Jet, la solution de traitement de flux en mémoire la plus avancée. Notre architecture de mise en cache distribuée vous permet d’évoluer et d’évoluer jusqu’à des centaines de téraoctets pour une efficacité maximale lorsque vous travaillez avec des données distantes ou un traitement en périphérie. Cette solution a été littéralement créée pour un traitement ultra-rapide à grande échelle.
La solution de streaming Hazelcast utilise la technologie de mémoire persistante Intel ® Optane ™ DC pour fournir un traitement en mémoire comme alternative abordable aux solutions basées sur la RAM. Les puces Optane peuvent fonctionner en mode mémoire volatile, ce qui offre une vitesse similaire à moindre coût et à des capacités plus élevées. Ou ils peuvent fonctionner en mode statique pour remplacer plus rapidement les disques SSD, que Hazelcast utilise pour une récupération plus rapide après une panne de courant. Dans tous les cas, vous bénéficiez de la puissance et des performances de la technologie de mémoire interne, qui peut faire du streaming de données une réalité pour votre entreprise.
Le streaming de données n’est peut-être pas aussi connu que Netflix. Mais pour les entreprises avec des opérations plus sécurisées, une plus grande réactivité, des performances plus élevées et une meilleure visibilité, les avantages des données en streaming sont meilleurs que n’importe quelle soirée cinéma.
Pour en savoir plus sur les avantages du streaming de données et sur la façon dont la technologie Hazelcast peut vous aider à commencer à développer un cas d’utilisation, lisez notre rapport spécial, Data Streaming from the Network Edge: How Memory and Machine Learning Technologies Drive Innovation. Pour en savoir plus sur les considérations architecturales de flux de données, consultez notre e-book, Stream Processing: Real-Time Insight into Data as It Streams.