Catégorie : Phénomène

Phénomène

Quelles tendances data en cette fin d’année ? le TOP 3 selon Smartpoint, le spécialiste en ingénierie de la data.

0 commentaires

En cette fin d’année 2024, le paysage technologique continue d’évoluer à une vitesse fulgurante, porté par des avancées majeures dans l’intelligence artificielle, les architectures de données modulaires et la cybersécurité. Ces innovations transforment la manière dont les entreprises gèrent, exploitent et sécurisent leurs données. Smartpoint, expert en ingénierie de la data depuis sa création, vous présente les trois tendances clés à suivre pour rester à la pointe de ces évolutions.

1) Développement assisté par l’IA

Le développement logiciel connaît une transformation majeure avec l’intégration croissante de l’intelligence artificielle (IA). L’IA générative et le machine learning (ML) sont désormais utilisés pour assister les ingénieurs dans la création, le test et la livraison d’applications. Selon Gartner, d’ici 2028, 75 % des ingénieurs logiciels en entreprise utiliseront des assistants de codage IA, contre moins de 10 % en 2023. Cette tendance reflète l’énorme potentiel de l’IA pour automatiser des tâches complexes, améliorer la productivité, et réduire les erreurs dans les processus de développement​.

Il en est de même dans l’écosystème Data !

Citons pour exemple Snowflake qui exploite l’IA et le machine learning pour offrir une exploitation automatisée des données via des outils comme Snowpark, qui permet de développer et exécuter des modèles de machine learning directement dans le cloud. Les utilisateurs peuvent ingérer et analyser des données à grande échelle tout en intégrant des modèles prédictifs et génératifs pour des insights avancés​.

Informatica, avec CLAIRE Engine, son moteur d’IA intégré dans Informatica Intelligent Data Management Cloud (IDMC), automatise l’ingestion et la gestion des données tout en utilisant des algorithmes de machine learning pour optimiser l’orchestration et la qualité des données. Cela permet de tirer parti de l’IA pour automatiser des processus complexes et accélérer l’exploration de données

Enfin, connu pour sa plateforme Lakehouse, Databricks combine data lakes et data warehouses, et intègre des capacités avancées d’IA générative et de machine learning via MLflow. La plateforme permet de créer, entraîner et déployer des modèles d’IA directement sur les données, facilitant l’exploitation rapide et automatisée pour des analyses prédictives et des cas d’usage d’IA générative

2) Architectures de données modulaires pour plus de flexibilité pour des besoins évolutifs

Les architectures de données modulaires permettent une adaptabilité rapide aux changements des besoins métiers et technologiques. Ces architectures se composent de modules indépendants qui peuvent être développés, déployés, et mis à jour de manière autonome, offrant ainsi une flexibilité accrue. Un exemple courant est l’architecture microservices, où chaque service gère un aspect spécifique des données (comme la gestion des utilisateurs ou l’analyse des transactions), facilitant l’évolution et l’évolutivité de l’ensemble du système. Un autre exemple est l’architecture orientée événements (Event-Driven Architecture), utilisée dans des systèmes nécessitant une réponse en temps réel, où les composants modulaires réagissent aux événements au lieu de suivre un flux de données linéaire.

Enfin, les plateformes dites Data Mesh décentralisent la gestion des données en permettant à chaque domaine de traiter ses propres données comme un produit. Ces approches modulaires répondent à des besoins croissants en termes de traitement distribué, de résilience, et d’optimisation des flux de données complexes​.

Pour exemples, citons AWS Lambda et Google Cloud Functions qui utilisent des architectures orientées événements et microservices pour permettre aux développeurs de créer des applications réactives en temps réel. Chaque fonction Lambda ou Cloud Function peut être déclenchée par un événement spécifique (comme l’arrivée de nouvelles données ou une modification dans un système), permettant une gestion modulaire des processus métiers complexes.

3) Cybersécurité et intégration dans la gestion des données

En cette rentrée 2024, la protection des données et l’intégration efficace des systèmes sont plus que jamais aux cœur des préoccupations des entreprises. Les éditeurs de solutions Data intègrent de plus en plus l’IA et le machine learning pour renforcer la sécurité tout en facilitant l’exploitation des données. Par exemple, IBM Watsonx propose des outils de surveillance et d’analyse des données en temps réel, permettant de détecter et prévenir les cybermenaces, tout en assurant une intégration fluide avec les infrastructures existantes​.

Fivetran quant à lui se concentre sur l’automatisation de l’ingestion des données tout en offrant des fonctionnalités avancées de cybersécurité. Cela permet une protection des données continue tout au long des processus d’intégration, tout en restant compétitif en termes de coûts et de simplicité de déploiement​.

Citons également Elastic, avec sa solution Elastic Stack (ELK), qui se positionne comme un leader dans l’ingestion, le stockage et la restitution des données en temps réel. Elastic intègre des fonctionnalités avancées de machine learning pour détecter les anomalies dans les flux de données, renforcer la sécurité et offrir une visibilité complète des environnements IT. Cette approche proactive permet non seulement de protéger les données mais aussi d’améliorer l’intégration avec les systèmes existants.

Vous souhaitez intégrer ces avancées technologiques au sein de vos systèmes d’information ou explorer les opportunités qu’elles peuvent offrir à votre organisation ? Faites appel à Smartpoint pour transformer vos défis en solutions concrètes et innovantes. Contactez-nous dès maintenant pour en savoir plus sur la manière dont nos experts peuvent vous accompagner dans cette démarche.

Pour aller plus loin :

LAISSEZ-NOUS UN MESSAGE

Les champs obligatoires sont indiqués avec *.

    Prénom*

    Nom*

    Société*

    E-mail*

    Téléphone*

    Objet*

    Message

    Keep in touch !

    Phénomène

    Le futur des infrastructures Data se dessine avec l’IA !

    0 commentaires

    Chez Smartpoint, nous assistons à une nouvelle révolution industrielle axée sur la génération d’intelligence grâce à l’IA … et cette révolution nécessite des infrastructures adaptées aux nouvelles exigences des entreprises, notamment en matière de gestion de volumes massifs et diversifiés de données. Nous pensons que le prochain axe majeur d’investissement sera la couche d’infrastructure de données, indispensable pour donner vie à des applications d’IA personnalisées.

    L’infrastructure de données : fondation de la révolution IA

    Les infrastructures de données doivent évoluer pour gérer des données non structurées à grande échelle, telles que les vidéos, images, audios, et même les données spatiales ! Avec l’essor de l’IA générative (GenAI), la qualité des données devient primordiale, non seulement pour l’entraînement des modèles, mais aussi pour leur inférence. La capacité à acquérir, nettoyer, transformer et organiser ces données est désormais un facteur clé de réussite.

    D’ailleurs, le marché mondial des infrastructures IA connaît une croissance fulgurante. Il est estimé à 68,46 milliards de dollars en 2024 et pourrait atteindre 171,21 milliards de dollars d’ici 2029, avec un taux de croissance annuel moyen (CAGR) de 20,12 %. Cette progression est alimentée par l’adoption rapide de l’IA dans des secteurs variés, allant des grandes entreprises aux startups​.

    Automatisation et pipelines de données optimisés par l’IA

    L’une des principales avancées concerne l’automatisation des pipelines de données. Grâce à l’IA, des workflows end-to-end peuvent être mis en place pour gérer le traitement des données non structurées, de leur extraction à leur stockage en passant par leur transformation. Cela inclut des technologies comme le chunking (fractionnement des données en petites portions), l’indexation et la génération d’embeddings (représentations vectorielles) qui permettent une recherche plus rapide et pertinente. Cette approche devient indispensable dans des applications d’IA conversationnelle et d’agents autonomes​.

    Impact de l’inférence IA et essor de l’edge computing

    L‘inférence IA, qui consiste à utiliser des modèles pour prendre des décisions en temps réel, est en pleine essor. Cet engouement est notamment soutenu par le edge computing, qui rapproche le traitement des données de leur source pour réduire les latences et optimiser les performances, tout en minimisant les coûts liés à la transmission des données vers le cloud. Cette technologie devient primordiale dans des secteurs tels que l’industrie manufacturière et évidemment la santé​.

    La récupération augmentée (RAG) : maximiser l’efficacité des applications IA

    Une des innovations majeures observées dans les infrastructures de données est la génération augmentée par récupération (RAG). Cette méthode permet aux entreprises d’activer leurs données pour fournir des réponses plus précises et à jour via des modèles de langage (LLM). En combinant les données internes avec des requêtes, le RAG permet d’améliorer considérablement la fiabilité et la personnalisation des réponses générées par l’IA. Cela constitue un avantage concurrentiel pour les entreprises qui cherchent à fournir des expériences utilisateurs plus précises et crédibles​.

    Une gestion éthique et durable des données

    Chez Smartpoint, nous croyons fermement à l’importance d’une gestion responsable et éthique des infrastructures de données. Nous nous engageons à éviter le Data Swamp, où des données non pertinentes s’accumulent, en nous concentrant sur la collecte et l’exploitation des données à forte valeur ajoutée. Cette approche permet non seulement d’améliorer la performance opérationnelle, mais aussi de respecter les régulations en matière de confidentialité, telles que le RGPD, tout en adoptant une démarche durable pour un usage plus responsable des ressources informatiques.

    … Une infrastructure résiliente pour un avenir axé sur l’IA

    Les infrastructures de données sont en pleine transformation sous l’impulsion de l’IA. Chez Smartpoint, pure player data depuis 2006, nous aidons nos clients à adapter leur architecture aux besoins croissants de l’IA, tout en assurant une gestion responsable et éthique des données. Ces évolutions permettront non seulement d’améliorer les performances des modèles IA, mais aussi d’offrir aux entreprises les moyens de se démarquer dans un marché toujours plus compétitif.

    LAISSEZ-NOUS UN MESSAGE

    Les champs obligatoires sont indiqués avec *.

      Prénom*

      Nom*

      Société*

      E-mail*

      Téléphone*

      Objet*

      Message

      Keep in touch !

      Phénomène

      WINDATA REJOINT SMARTPOINT

      0 commentaires

      Paris, le 4 avril 2024

      Smartpoint, expert reconnu dans le domaine de la Data, annonce son rapprochement avec WinData. Fondée en 2010, L’ESN parisienne et sa filiale à Tunis rassemble une cinquantaine de consultants spécialisés dans le traitement des données, le développement logiciel, ainsi que la gestion de projets.

      WinData vient renforcer les domaines d’expertises de Smartpoint en ingénierie de la Data mais aussi en développement de produits. Avec WinData, nous accueillons non seulement une expertise renforcée mais aussi un portefeuille clients des plus complémentaires avec des références telles que le groupe BPCE, SeLoger, Epsilon, Sequens et UFF, entre autres.

      Ce rapprochement est aussi une rencontre entre deux cultures d’entreprises qui partagent les mêmes valeurs et une passion partagée pour les nouvelles technologies ; les fondateurs étant eux aussi ingénieurs de formation et anciens consultants.

      Le nouvel ensemble compte désormais 350 collaborateurs qui réalisent des prestations IT ou délivrent des projets au forfait pour des entreprises des secteurs de la banque-assurance, la grande distribution, l’énergie, les média et les services. Le groupe intervient sur l’ensemble du territoire français mais également en Suisse. Avec ce développement, l’offre nearshore en Tunisie se voit également significativement renforcée.

      « Ce rapprochement s’inscrit pleinement dans notre stratégie de croissance, visant à renforcer nos positions auprès des grands donneurs d’ordre en nous associant avec des structures alignées sur nos valeurs fondamentales et notre vision du futur. Avec Windata, nous concrétisons cette ambition : leurs 50 experts nous rejoignent pour écrire ensemble un nouveau chapitre de notre histoire. Spécialistes de la data, de l’innovation en développement de produits et de la gestion de projet, ils vont nous permettre de renforcer notre proposition de valeur. La complémentarité de nos portefeuilles clients, notamment dans les secteurs de la banque et de la finance, consolide notre position de leader et nous ouvre des perspectives prometteuses. »

      Yazid Nechi, Président de Smartpoint

      Keep in touch !

      Phénomène

      Les DevOps ont connait ! Mais les DataOps ?

      0 commentaires

      Alors qu’on considère de plus la Data as a Product, les deux rôles peuvent sembler similaires puisque le DevOps se concentre sur le Software as a Product. Et il est vrai que les deux se concentrent sur la qualité de leurs produits respectifs, l’anticipation et la résolution des problèmes qui peuvent affecter l’efficacité de l’entreprise.

      Le DataOps est focalisé sur la production de données de qualité et les données sont le produit.

      Le DevOps lui se concentre sur la qualité du code et les modifications ou évolutions des applications mais ne regarde pas vraiment les spécifiés liées aux données alors qu’en DataOps, dès que l’on touche au code et qu’on met en production, on vérifie l’intégrité des métadonnées pour qu’elles soient conformes aux attendus.

      LE DEVOPS

      Le DevOps se concentre sur le déploiement et les tests des modifications apportées au niveau du code dans tous les différents environnements ; puis la validation avec ceux qui ont fait ces changements.

      Il met en place les pipelines CI/CD (Jenkins, Gitlab par ex) et les tests nécessaires.

      En général les DevOps n’écrivent pas le code qu’ils déploient, ils ne vérifient pas sa qualité ni si le code est bien optimisé mais ils encouragent les code review et mettent en place des tests automatisés qui participent à la qualité du code. Ils sont souvent aussi impliqués dans le codage de scripts pour automatiser les processus.

      Ils gèrent l’infrastructure qui supporte le code dont le dimensionnement et la validation des ressources cloud nécessaires (clusters) avec des outils comme Docker, Kubernetes, Ansible (…).  

      Le DevOps est focusé sur la qualité du delivery et la stabilité de l’environnement de production. Il doit limiter au maximum les temps d’arrêt, ce qui est l’indicateur le plus utilisé en termes de suivi de ses performances.

      LE DATAOPS

      Le DataOps est quant à lui sur la data as a product, il n’est pas focusé sur la partie logicielle de base mais sur la qualité des métadonnées, c’est-à-dire les plus précises, fiables et fraiches possibles.

      Le DataOps n’est pas tant une « fonction » ou un profil en tant que tel en ingénierie des données mais davantage un rôle avec une méthodologie distincte et un ensemble de tâches que chaque ingénieur des données doit intégrer dans son travail au quotidien avec des outils spécifiques (Apache Aitrflow par exemple). C’est un processus d’amélioration continue de bout-en-bout qui vise aussi à automatiser les flux relatifs aux données (collecte, traitement puis analyse).

      Du moins, c’est comme cela que nous l’envisageons chez Smartpoint. En effet, dans nos missions, chaque data engineer doit avoir la capacité de valider les modèles et les données qui sont produites, il mène ses propres tests, il en assure le monitoring et il contrôle la qualité de l’intégration des données dans le système data existant chez nos clients.

      Comme le DevOps, le DataOps applique les pratiques agiles, met en place un pipeline CI/CD afin de fiabiliser les changements et un outil de contrôle des versions. Il peut également nécessiter la mise en place de d’environnements de tests pour valider les impacts des changements apportés aux données sources ou aux modèles.

      Il est donc focusé sur la qualité des données et la gouvernance. Pour mesurer ses performances, on utilise les mêmes critères qu’en observabilité (disponibilité et fréquence des données, fraicheur, etc).

      Vous avez besoin de renfort sur vos projets ?

      Nous avons surement la solution, challengez-nous en résumant votre besoin, nous vous recontactons dans la journée !

        Prénom*

        Nom*

        Société*

        E-mail*

        Téléphone*

        Objet*

        Message

        Keep in touch !

        Phénomène

        Migration de Teradata vers Snowflake. Effet de mode ou nécessité ?

        0 commentaires

        Avis de notre expert, El Mahdi EL MEDAGHRI EL ALAOUI, Data Platform Practice Manager

        Récemment, la question de la migration de Teradata vers Snowflake est devenue récurrente parmi les architectes de données et les entreprises utilisatrices. Ce dilemme est souvent posé sous l’angle des avancements architecturaux, de la gestion de la charge de travail, de la rentabilité et de la scalabilité. Est-ce que ce mouvement migratoire est une simple tendance ou repose-t-il sur des fondements solides de nécessités technologiques et économiques ?

        1. L’ARCHITECTURE

        La différence architecturale entre Teradata et Snowflake est le socle de la discussion sur la migration. Teradata, avec son architecture de type « shared-nothing », a longtemps été un incontournable dans la gestion efficace de grands volumes de données. Dans cette architecture, chaque nœud fonctionne indépendamment avec son propre CPU, mémoire et stockage, assurant un environnement robuste de traitement parallèle.

        De l’autre côté, l’architecture cloud multi-cluster “shared data architecture” de Snowflake ouvre de nouvelles perspectives. En séparant les ressources de calcul et de stockage, Snowflake apporte un niveau de scalabilité horizontale et verticale, offrant un environnement agile pour une performance de requête plus rapide, même avec des requêtes de données complexes.

        2. LA GESTION DE LA CHARGE DE TRAVAIL

        La gestion des Workload dans Teradata est assez mature, avec des outils sophistiqués comme Teradata Active System Management (TASM) offrant un contrôle granulaire sur les ressources du système. Cela contraste à notre sens avec l’approche minimaliste de Snowflake qui s’appuie sur son architecture pour gérer automatiquement les charges de travail, ce qui pourrait être considéré comme un avantage … ou une limitation selon les cas d’utilisation.

        3. LE COÛT ET L’AGILITÉ

        L’investissement initial et les coûts de maintenance et d’administration de Teradata peuvent représenter une charge importante, en particulier pour les organisations avec des besoins fluctuants en matière de traitement de données. Le modèle de tarification basé sur la consommation de Snowflake (1€ par jour par téraoctet de stockage) apparait comme une alternative financièrement plus intéressante. Cette approche pay-as-you-go est de plus en plus populaire en termes de mode de consommation des technologies, beaucoup la trouve plus rentable et surtout plus agile.

        4. LA PERFORMANCE ET SON OPTIMISATION

        L’optimisation des performances est au cœur de tout système de gestion de bases de données. Teradata dispose de mécanismes bien huilés pour le tuning SQL et l’optimisation des plans d’exécution. Snowflake, bien que n’ayant pas certaines fonctionnalités avancées de tuning, compense en exploitant son architecture et les ressources cloud pour fournir des améliorations des performances à la demande.

        5. LA SCALABILITÉ ET L’ÉLASTICITÉ

        Teradata, traditionnellement reconnu pour la puissance de son architecture on-premise, a innové avec la fonctionnalité Epod (Elastic Performance on Demand) au sein de sa plateforme IntelliFlex. Cette avancée technologique permet de mobiliser des ressources machine CPU/IO supplémentaires pour faire face à des pics de charge via une simple requête. C’est un véritable virage vers une plus grande élasticité de son infrastructure.

        Snowflake bénéficie quant à lui de son infrastructure cloud « native » et se distingue par ses capacités en termes de scalabilité et d’élasticité. Il est en effet capable d’allouer automatiquement des ressources en fonction des besoins et des variations de charges, une faculté particulièrement précieuse pour gérer les pics de charge de travail ou les flux soudains de données.

        En conclusion

        La migration de Teradata vers Snowflake n’est pas un phénomène passager mais semble être enracinée dans des considérations technologiques et économiques de fond. L’innovation architecturale de Snowflake adossée à un environnement plus rentable, scalable et relativement auto-gérable, représente un argument de poids pour les organisations qui cherchent à moderniser leur infrastructure de gestion de données. Cependant, avec ses fonctionnalités robustes, matures et éprouvées ; Teradata reste une valeur sûre pour beaucoup de clients et incontournable dans certains cas d’utilisation. De plus, en réponse à la concurrence croissante des nouveaux entrant, Teradata innove ! L’éditeur a lancé notamment une nouvelle offre, « Teradata Vantage Cloud Lake », qui vient rivaliser avec Snowflake sur le terrain du native-cloud.

        Comme toute migration technologique, le passage de Teradata à Snowflake doit être minutieusement réfléchi et rapporté au contexte propre des exigences organisationnelles, des ressources financières et des stratégies de gestion des données à long terme de chaque organisation.

        Quels challenges relever pour migrer vers Snowflake ?

        Comme tout processus de migration, cela peut se révéler long et complexe surtout sur de très larges volumes.

        Smartpoint vous accompagne pour planifier ce chantier en termes d’étapes, de délais et de risques : devez-vous nettoyer et transformer vos données avant de migrer ? est-ce que vos applications sont compatibles avec Snowflake ? Comment préserver la sécurité des données 

        Vous avez un projet de migration de Teradata vers Snowflake, interrogez-nous !

        Pour aller plus loin :

        Keep in touch !

        Phénomène

        Metadata Management, de quoi parle-t-on exactement ?

        0 commentaires

        Les métadonnées fournissent des informations sur les data (des données sur les données en somme !) : caractéristiques, contextualisation, signification, usages prévus, lineage, etc. Une gestion efficace a donc un impact direct sur la qualité globale des données mais aussi leur gouvernance et leur conformité dans la durée.

        Les métadonnées permettent donc à ceux qui sont amenés à exploiter les données, à mieux les comprendre et à les utiliser.

        Quels sont les différents types de métadonnées ?

        • Métadonnées descriptives : elles contiennent les informations de base comme le titre, la date de création, l’auteur et le format
        • Métadonnées structurelles : elles décrivent comment les données sont structurées comme les relations entre les différents éléments et la manière dont elles doivent être visualisées ou exposées
        • Métadonnées administratives : Elles donnent les informations sur la gestion des données comme qui en est responsable ou propriétaire, les droits et les accès ainsi que les règles de sauvegarde (ou de suppression)
        • Métadonnées business : Elles décrivent le contexte, les processus et les règles métiers

        Quel prérequis à la mise en place un Metadata Management efficace ?

        Le stockage des métadonnées dans un référentiel centralisé est essentiel.

        Cela permet de rechercher, extraire et mettre à jour les données tout au long de leur cycle de vie. Les metadata sont organisées et classées. On a ainsi l’assurance que les données sont toujours « fraiches » et correctes. Alors que les pipelines de données deviennent de plus en plus volumétriques et en temps réel, stocker les données en silos de manière traditionnelle nuit à la qualité des données, leur accessibilité, génère des incohérences et des erreurs. Un référentiel centralisé facile le travail des ingénieurs data et des analystes.

        Quels avantages du Metadata Management ?

        1. Meilleure accessibilité des données
        2. Gouvernance et sécurité renforcés
        3. Prise de décision facilitée grâce à la meilleure compréhension et partage des données
        4. Qualité des données améliorée

        Keep in touch !

        Phénomène

        RSE, Smartpoint reçoit la médaille de platine et entre dans le top 1% des entreprises.

        0 commentaires

        Smartpoint rejoint le top 1% des entreprises les mieux notées. Cette reconnaissance vient saluer les efforts menés par l’ensemble des équipes Smartpoint qui visent l’exemplarité en ces domaines.

        Paris, le 13 mars 2023

        EcoVadis évalue les performances RSE des entreprises à travers quatre thèmes que sont l’environnement, l’éthique et la gouvernance, le social et les Droits de l’Homme et la politique d’achats responsables.  Le score, de 0 à 100, reflète la qualité du système de gestion de la RSE de l’entreprise au moment de l’évaluation

        Après une médaille d’argent en 2021, Smartpoint a engagé un ensemble de mesures correctives pour améliorer les performances de sa politique RSE. Un plan d’action jugé concluant et salué par un score de 78/100, qui lui vaut cette distinction délivrée par EcoVadis.

        Smartpoint est engagée dans une politique d’amélioration continue, avec des actions concrètes, pour améliorer son impact sur la société.
        Nous sommes fiers de cette médaille de platine qui nous place parmi les entreprises les plus exemplaires en termes de RSE.
        En revanche, nous sommes conscients que les enjeux de développement durable sont considérables et qu’il reste encore tant à faire. Nous avons également engagé une démarche de réduction de notre empreinte carbone et nous militons aussi pour plus de sobriété numérique via notamment la conduite de projets data responsables.
        C’est le combat du siècle et il ne fait que commencer.

        YAZID nechi, président, smartpoint

        RÉSULTATS SMARTPOINT SCORE 2023 – SOURCE ECOVADIS

        Keep in touch !

        Phénomène

        Projets Data responsables et sobriété numérique ? Oui, c’est possible.

        0 commentaires

        Le saviez-vous ? En 2030, on prévoit que 13 % de la consommation mondiale d’électricité proviendra des centres de données (source ici), Rien qu’en France, 10 % de la consommation d’électricité provient des data centers.

        Et alors que le cloud computing, l’IoT et l’IA exposent, les besoins en stockage de données également. Aujourd’hui, l’industrie du traitement des données est en voie de produire plus d’émissions de gaz à effet de serre que les secteurs de l’énergie, l’automobile et l’aviation réunis.

        Il est possible d’avoir une approche plus frugale et responsable pour protéger l’environnement … sans pour autant freiner le progrès. En revanche, cela nous demande de repenser nos méthodes, nos approches et mêmes nos principes d’architecture data.

        Historiquement, dans le cadre d’un projet de Business Intelligence traditionnel, nous n’étions pas du tout dans une démarche de sobriété ! L’objectif était de collecter un maximum de données, de les stocker de manière centralisée dans un datawarehouse ou un datalake, puis les traiter, les croiser, les analyser pour les restituer au plus grand nombre sous forme de tableaux de bord, et le plus fréquemment possible. Un gouffre en termes de consommations de ressources !

        Aujourd’hui, l’heure est au tri et cette bonne pratique est aussi en vigueur pour les projets Data.

        Au préalable, il convient de se poser la question des données utiles et celles qui ne le sont pas. Stocker des données qui ne servent à rien … ne sert à rien d’autant plus que les données sont périssables dans le temps pour la plupart. Ces données inutiles, ou dark data, représenterait plus de la moitié des données stockées par les entreprises !

        • Au niveau du processus ETL, on peut identifier que les données dites vivantes, c’est-à-dire uniquement celles qui ont changé pour effectuer uniquement le chargement incrémental des données
        • Se concentrer sur les fonctionnalités essentielles, c’est à dire qui vont demander un traitement dont vous avez vraiment besoin
        • Réduire le nombre de requêtes en utilisant les caches (systèmes de stockage temporaire)  
        • Vous poser la question de la fraicheur des données, avez-vous vraiment besoin d’un rapport quotidien ?
        • Collecter que l’essentiel et diminuer les volumes échangés
        • Limiter les traitements d’information et surtout arrêter la réplication des données dans plusieurs systèmes
        • Faire le ménage en supprimant les données qui ne servent à rien et respecter le cycle de vie des données (data governance)
        • Moderniser votre écosystème data en une plateforme unique qui vous permettra de travailler directement sur la donnée

        Au niveau du stockage, dès que possible, il est préférable d’utiliser une infrastructure edge computing qui permet de traiter les données au plus proche de là où on en a besoin et donc de réduire d’autant la latence. C’est l’architecture la plus appropriée pour l’IoT.

        Une infrastructure cloud est toujours préférable car vous ne payez qu’à l’usage.

        Chez Smartpoint, nous suivons particulièrement des fournisseurs tels Ikoula, hébergeur français de Green Hosting qui utilise de l’énergie issue à 100% d’énergie renouvelables ou encore Qarno dont le principe est de décentraliser la puissance de calcul et de valoriser la chaleur émise par les serveurs.

        Pour aller plus loin : Sobriété numérique : comment développer un projet data éco-responsable ?

        Projets data responsables et sobriété énergétique

        Keep in touch !

        Phénomène

        Top 4 tendances Data à suivre en 2023

        0 commentaires

        L’intelligence Artificielle toujours au top ! Qui n’a pas été bluffé par le chat GPT de Open AI ? Clairement, c’est la technologie (IA et son corolaire ML) qui est en train de révolutionner nos manières de travailler, de vendre et de vivre ! Alors que les volumes de données ne cessent de croitre, les algorithmes se nourrissent, apprennent et ne cessent de s’améliorer.

        Le Data as a service (DaaS) devrait se démocratiser encore davantage dans les entreprises alors qu’elles adoptent massivement le cloud pour moderniser leurs infrastructures vieillissantes et leurs systèmes data hérités (Legacy), devenus trop lourds à maintenir et trop gourmands en ressources.

        Cela facilite l’accès aux données, leur analyse et leur partage au sein de l’organisation.

        Le DaaS pourrait bien devenir la méthode la plus courante pour intégrer, gérer, stocker et analyser toutes les données. Normal quand on sait qu’un meilleur partage et une exploitation des données par le plus grand nombre, permet aux organisations d’être plus efficaces et performantes.

        L’automatisation ! De nombreuses tâches analytiques sont désormais automatisées et ce phénomène va s’accentuer. C’est déjà une réalité en préparation des données mais aussi sur l’automatisation de certains processus prédictifs ou de recommandation.

        Nous vous invitons à regarder la plateforme APA (automatisation des processus analytiques) de Alteryx qui promet de révolutionner le Data Wrangling.

        La gouvernance des données n’a jamais été autant au cœur de l’actualité et ce sera encore le cas en 2023 !

        On n’a en effet jamais autant produit, collecté et consommé de données. La question de leur qualité est non seulement centrale, car c’est là que réside que toute sa valeur, mais les entreprises ont également besoin de s’appuyer sur une plateforme qui permet de les partager de manière sécurisée au sein de l’organisation tout en respectant les règlementations notamment en termes de protection et de confidentialité.  

        En 2023, si vous ne l’avez pas déjà fait, ce sera le moment de mettre en place un programme de Data Management … 

        Keep in touch !

        Phénomène

        Retour sur l’actualité de Smartpoint en 2022 en quelques faits marquants.

        0 commentaires

        2022 a vu Smartpoint grandir, croître mais aussi engager de nouveaux chantiers pour s’inscrire dans une logique de développement responsable et durable. Voici les principaux faits marquants qui ont marqué cette année.

        • L’équipe Captiva nous a rejoint et c’est près de 80 collaborateurs, spécialisés dans le développement de produits et la qualité logicielle, qui participent aujourd’hui à enrichir notre proposition de valeur pour nos clients. Nous sommes aujourd’hui plus de 250 !
        • Nous avons pris des engagements encore plus forts pour un développement durable et un numérique plus responsable : notre politique RSE a reçu la médaille d’argent délivrée par EcoVadis, nous avons réalisé notre bilan Carbone et engagé de nombreuses actions pour encore nous améliorer ; et nous avons rejoint la communauté Planet Tech’Care. 
        • Nous sommes plus visibles et reconnus ! Notre nouveau site web a vu bondir le nombre de visiteurs X5 et vous êtes toujours plus nombreux à nous suivre sur LinkedIN avec +65% d’abonnés en plus par rapport à l’année dernière.

        Résultat ? Nous allons réaliser plus de 20% de croissance organique cette année.

        Alors, merci à l’ensemble de nos équipes pour leur engagement et à nos clients pour leur confiance !

        Faits marquants et retrospectives 2022

        Keep in touch !