Im Projekt „Befüllen eines Datawarehouses mit Azure Data Factory“ in der Energiebranche wurden entscheidende
Schritte unternommen, um Daten effektiv zu verarbeiten und zu analysieren. Durch den Aufbau von Pipelines in der Azure Data Factory wurden Daten aus dem Azure Data Lake in die Azure SQL-Datenbank geladen. Mithilfe von Microsoft SQL und DAX wurden die abgefragten Daten transformiert und modifiziert, um die erforderlichen Spaltenwerte zu generieren. In Microsoft Power BI wurden geeignete Visualisierungen erstellt, um die relevanten Informationen ansprechend darzustellen. Durch das Einfügen von Filtern auf Seiten- und Berichtsebene konnten die angezeigten Daten zeitlich und räumlich begrenzt werden. Zudem wurde ein Framework genutzt und konfiguriert, um eine automatische Daten-Transformation innerhalb des Datawarehouses zu ermöglichen. Die Technologien Azure Data Factory, Azure Blob Storage (Data Lake Gen2), Azure Key Vault, T-SQL, Visual Studio, Microsoft Power BI und Azure Storage Explorer kamen dabei zum Einsatz. Dieses Projekt hat es der Energiebranche ermöglicht, Daten effizient zu nutzen und wertvolle Erkenntnisse für fundierte Entscheidungen zu gewinnen.

Im Projekt „Datenverarbeitung und Entwicklung von Microsoft Power BI-Reports zur Auswertung nationaler Management KPIs“ in der Gesundheitsbranche wurden maßgebliche Schritte unternommen, um datenbasierte Erkenntnisse zu gewinnen. In enger Absprache mit der Projektleitung wurden die zu darstellenden Informationen definiert. Eine gründliche Anforderungsanalyse in Zusammenarbeit mit den Abteilungen bildete die Grundlage für die Integration und Verarbeitung neuer Daten in neu erstellten Dataflows. Ein dynamischer Dokumentationsbericht wurde entwickelt, um die Dataset- und Dataflow-Dokumentation anschaulich darzustellen. Mithilfe von Power Query M wurden die abgefragten Daten transformiert und modifiziert, um die erforderlichen Spaltenwerte zu generieren. Geeignete Visualisierungen in Microsoft Power BI wurden erstellt, um die relevanten Informationen ansprechend darzustellen. Komplexe Interaktionen innerhalb der Bedienoberfläche wurden eingefügt und Filter auf Seiten- und Berichtsebene zur zeitlichen Begrenzung der angezeigten Daten implementiert. Neue Measures wurden mithilfe von DAX zur Berechnung relevanter KPIs angelegt. Die Row-Level-Security (RLS) in Microsoft Power BI wurde verwendet, um Zugriffsrechte einzelner Nutzer zu begrenzen. Der Bericht wurde intensiv getestet, Probleme wurden behoben und die Performance wurde optimiert. Abschließend wurde der Microsoft Power BI-Bericht in der Cloud gespeichert und veröffentlicht. Das Projekt wurde agil entwickelt, mit kontinuierlicher Rücksprache zu den Stakeholdern und Abteilungen. Dabei kamen Technologien wie Azure Databricks, Power BI, Transact-SQL (T-SQL), Azure SQL Database, Powerpoint, SQL Server Analysis Services (SSAS) und DAX zum Einsatz. Dieses Projekt hat dazu beigetragen, dass in der Gesundheitsbranche fundierte Entscheidungen auf nationaler Ebene getroffen werden können.

Im Rahmen des Projekts „Entwicklung eines Data Warehouses On-Premise“ in der Gesundheitsbranche wurden bedeutende Schritte unternommen, um eine robuste Dateninfrastruktur zu schaffen. Durch die Erstellung von T-SQL-Prozeduren, Views und Datenbankstrukturen konnten die Daten effizient abgefragt und analysiert werden. Mithilfe von Microsoft SQL Server Integration Services (SSIS) und Pentaho Data Integration wurden umfangreiche Ladeprozesse entwickelt, um die Daten in das Warehouse zu laden. Qualitätssicherungsprozesse wurden analysiert, konzipiert und implementiert, um die Datenintegrität zu gewährleisten. Die Prozesse wurden optimiert, um eine effektive Ablaufsteuerung sicherzustellen. Data Cubes mit KPIs und MDX wurden mithilfe von Microsoft Analysis Services erstellt, um umfassende Analysen zu ermöglichen. Die flexiblere Ablaufsteuerung wurde durch die Auslagerung von Konfigurationsparametern erreicht. Externe Daten wurden automatisch ins Data Warehouse importiert, wobei Historisierung und Versionierung der Daten berücksichtigt wurden. Abschließend wurden Reports und Dashboards in Microsoft Power BI und Microsoft Excel in enger Zusammenarbeit mit dem Fachbereich erstellt. Die Technologien Microsoft SQL Server 2016, Transact-SQL (T-SQL), Pentaho Data Integration, KPI, MDX, Microsoft SQL Server Analysis Services (SSAS), Microsoft SQL Server Integration Services (SSIS), Microsoft Power BI und Microsoft Excel wurden dabei erfolgreich eingesetzt. Dieses Projekt hat dazu beigetragen, eine solide Datenbasis für aussagekräftige Analysen und fundierte Entscheidungen im Gesundheitssektor zu schaffen.

Im Projekt „Vorhersage von Vertragsbeendigungen anhand eines Machine Learning Modells“ im Gesundheitswesen wurden wesentliche Fortschritte erzielt, um zukünftige Vertragsbeendigungen vorherzusagen. Die notwendige Entwicklungsinfrastruktur wurde eingerichtet, einschließlich der Installation einer Integration Runtime und der Erstellung von Azure Data Factory, Azure Blob Storage, Azure Databricks und Azure Key Vault im Azure Portal. Die agile Entwicklung erfolgte nach dem Scrum-Verfahren mit einwöchigen Sprintintervallen. Durch Absprache mit den Stakeholdern wurden die Ziele formuliert und potenziell relevante Einflussgrößen für das Modell ermittelt. Die relevanten Daten wurden auf einem Microsoft SQL Server verarbeitet. Eine Azure Data Factory-Pipeline wurde erstellt, um Daten aus dem On-Premise SQL Server über die Integration Runtime und Azure Blob Storage in das Azure Databricks File System zu übertragen. Die Daten wurden explorativ analysiert und für die Verwendung durch das Machine Learning Modell in Azure Databricks aufbereitet. Transformationsschritte zur Datenaufbereitung wurden in die Azure Data Factory-Pipeline integriert. Ein Machine Learning Modell (XGBoost) wurde trainiert und durch automatisierte Feature Selection und Hyperparameter Tuning optimiert. Das trainierte Modell wurde in Azure Databricks mit MLflow bereitgestellt. Die Analyse- und Vorhersageergebnisse wurden in Azure Databricks Notebooks (mit Python) und Power BI visualisiert. Der Quellcode wurde mit Azure DevOps verwaltet. Dabei kamen Technologien wie Azure Cloud, ETL, Azure Data Lake (Gen 2), Azure Data Factory, Azure Databricks, SQL, JSON, Matplotlib, Powerpoint, Python, PySparkSQL, Azure Key Vault, pandas, Seaborn, SCRUM, sklearn, XGBoost, Power BI, Azure DevOps, SQL Server Management Studio (SSMS), Apache Spark und MLflow erfolgreich zum Einsatz. Dieses Projekt hat dazu beigetragen, fundierte Vorhersagen zu Vertragsbeendigungen zu liefern und wertvolle Erkenntnisse im Gesundheitswesen zu gewinnen.

Im Projekt „Erstellung eines Systems für die Mitarbeiter-Projektzuordnung mithilfe diverser NLP-Methoden in Python“ in der IT-Branche wurden wesentliche Meilensteine erreicht, um eine effiziente Zuordnung von Mitarbeitern zu Projekten zu ermöglichen. Die nötige Cloud-Infrastruktur wurde eingerichtet, einschließlich Azure Databricks, Azure Datafactory, Azure SQL Server, Azure Spark Cluster und Azure Blob Storage Gen2. Der CRISP-DM Standardprozess für Data Mining wurde im Rahmen von SCRUM mit täglichen Abstimmungen mit den Produktverantwortlichen umgesetzt. Ein Web Scrapping Workflow in Azure Databricks wurde mit Beautiful Soup (BS4, Python) entwickelt, um Daten von verschiedenen Web-Auftragsportalen auszulesen. Die extrahierten unstrukturierten Daten wurden mithilfe von Python in Azure Databricks aufbereitet, bereinigt und strukturiert. Eine ETL-Strecke wurde in Databricks eingerichtet, um die aufbereiteten Daten auf einen Azure SQL Server zu schreiben. Ein Datenmodell auf dem SQL Server wurde entwickelt, um die Zuordnung der bestehenden Mitarbeiterdaten, der Daten aus den Portalen und der Modell-Ergebnisse zu ermöglichen. NLP-Methoden wie Fuzzy-Modelle in Python (NLTK) und Nature Language Processing (NLP)-Methoden wie N-Gramm-Tokenisierung und Lemmatisierung wurden genutzt, um Projekte den Aufträgen zuzuordnen. Die Kommunikation zwischen Databricks und SQL-Server wurde mithilfe von Azure Datafactory und Azure Logic Apps orchestriert und automatisiert. Die entwickelten NLP-Modelle wurden mit überprüften Testdaten des Fachbereichs evaluiert. Die Ergebnisse des Machine Learning Modells wurden mithilfe von Power BI und Python analysiert und dargestellt. Abschließend erfolgte eine Performance-Optimierung auf der Datenbank. Dabei kamen Technologien wie Azure Data Factory, Azure Cloud, Azure Data Lake (Gen 2), Azure Databricks, Azure SQL Database, ETL, numpy, SQL Server Management Studio (SSMS), pandas, Apache Spark, Scikit-learn, Power BI, PySparkSQL, Python, sklearn, Azure Data Studio, beautifulsoup (BS4), ChatGPT, Transact-SQL (T-SQL), HTML und simplemma erfolgreich zum Einsatz. Dieses Projekt hat dazu beigetragen, eine effektive Mitarbeiter-Projektzuordnung mithilfe von NLP-Methoden zu realisieren und den Arbeitsablauf zu optimieren.

Im Projekt „Entwicklung einer Enterprise Business Intelligence Landschaft“ im Bereich Logistik und Post wurden umfangreiche Tätigkeiten durchgeführt, um ein effektives Datenmanagement und einheitliches Reporting zu gewährleisten. Ein Data Warehouse (DWH) mit Staging-, Core- und Reporting-Layer wurde entworfen, um Analysen zu vereinfachen, historische Daten zu sichern, Datenquellen zu vereinheitlichen und die Datenqualität zu verbessern. Verschiedene Quellsysteme wie Oracle, Salesforce, MySQL, SQL Server, CSV, Excel, JSON und Webhooks wurden analysiert und in das DWH integriert. Batch-ETL-Prozesse wurden entwickelt, um Daten von den Quellsystemen in das DWH zu laden. Ein Stammdatenmanagementsystem wurde implementiert, um Datenquellen zusammenzuführen und organisatorisches Reporting zu ermöglichen. SQL Server Analysis Services Tabular Modelle wurden entwickelt, um die Daten besser auswerten zu können. Ein komplexes Berechtigungskonzept wurde umgesetzt. Power BI wurde als Reportingtool eingesetzt, inklusive der Entwicklung von Dashboards, Reports und Paginierten Reports. PowerApps wurden für die Pflege der Stammdaten und die Prozessabwicklung genutzt. Datamining-, Anomaliedetection- und Vorhersage-Prozesse wurden implementiert, um die Planung und Steuerung von Mitarbeitern zu optimieren. Das DWH wurde in die Azure Cloud migriert und Machine Learning Prozesse wurden in Azure Machine Learning Services und Azure Databricks überführt. Fehlererkennungsalgorithmen wurden entwickelt. Dabei kamen Technologien wie Microsoft Power Platform, Power BI, Microsoft SQL Server, DAX, Power Apps, ETL, Confluence, Excel, JIRA, JSON, Microsoft Outlook Office 365, Microsoft PowerShell, Azure SQL Data Warehouse, Microsoft Master Data Service, Microsoft SharePoint, Azure DevOps, Azure Cloud, Azure Databricks, Transact-SQL (T-SQL), Oracle SQL (PL/SQL), Azure Data Factory, Salesforce, MySQL, SQL Server Agent, SQL Server Integration Services (SSIS), SQL Server Analysis Services (SSAS), SQL Server Reporting Services (SSRS), Visual Studio, DAX Studio, Tabular Editor, GIT, Python, Azure Data Lake (Gen 2) und Microsoft SQL Server Machine Learning Services erfolgreich zum Einsatz. Dieses Projekt hat dazu beigetragen, eine effiziente Business Intelligence Landschaft aufzubauen und die Steuerung des Unternehmens zu optimieren

Im Projekt „Analyse und Performance-Optimierung eines SQL-Servers“ in der Handelsbranche wurden verschiedene Tätigkeiten zur Verbesserung der SQL-Server-Leistung durchgeführt. Die vorhandene ETL-Strecke wurde analysiert und in Confluence dokumentiert, einschließlich SQL Server Agent Jobs, Zeitpläne, Batch-Skripte und SSIS-Pakete. Es erfolgte ein umfassendes Monitoring und Troubleshooting der ETL-Strecke, um mögliche Probleme zu identifizieren und zu beheben. Die Index- und Tabellenstruktur wurde analysiert, ebenso wie teure Abfragen, um Engpässe zu ermitteln und Lösungen zur Optimierung von Indizes und Tabellenstrukturen vorzuschlagen. Eine weitere Aufgabe bestand darin, die Zeitpläne und Ladeläufe zu optimieren und zu synchronisieren, um eine effiziente Datenverarbeitung zu gewährleisten. Zudem wurde ein Python-Skript entwickelt, um die Dateieigenschaften von Quelldateien automatisiert zu analysieren. Für das Projekt kamen Technologien wie Microsoft SQL Server 2014 und Microsoft SQL Server 2019, SQL Server Management Studio (SSMS), Winscp, T-SQL, SQL Server Integration Services, Confluence und Python zum Einsatz. Durch diese Maßnahmen konnte die Performance des SQL-Servers verbessert und eine reibungslose Datenverarbeitung in der Handelsbranche sichergestellt werden.

Im Projekt „Aufbau eines Datawarehouses inklusive Reportinglandschaft“ im Bereich Logistik und Post wurden umfangreiche Tätigkeiten durchgeführt, um den Anforderungen des Unternehmens gerecht zu werden. Ein Datawarehouse wurde entwickelt, um eine zentrale und performante Bereitstellung von Unternehmensdaten gemäß den Prinzipien von Bill Inmon und Ralph Kimball zu gewährleisten. Dabei wurden verschiedene Datawarehouseschichten wie Stage-, Core- und DataMart-Layer entworfen. ETL-Prozesse wurden mit Apache HOP, SQL Server Integration Services (SSIS) und gespeicherten Prozeduren implementiert, um das Datawarehouse täglich automatisch zu beladen. Slowly Changing Dimensions wurden integriert, um historische Daten korrekt darzustellen. Automatisierte Tests wurden zur Überprüfung der Datenintegrität nach der Beladung des Datawarehouses entwickelt. Ein Sicherheitskonzept wurde auf Datenbank- und Reportingebene umgesetzt, einschließlich Row-Level-Security (RLS) und Object-Level-Security (OLS). Power BI wurde als Reportingtool verwendet, um Berichte zu erstellen und Funktionen wie Bookmarks, dynamische Navigation und benutzerdefinierte geografische Analyse zu nutzen. Das OnPremises Datagateway wurde eingerichtet, um geschützte Datenbereitstellung zu gewährleisten. Die Lösung wurde versioniert und dokumentiert. Technologien wie Apache HOP, SQL Server Integration Services (SSIS), Visual Studio, Azure DevOps, SQL Server Management Studio (SSMS), Microsoft SQL Server 2019, SQL Server Analysis Services (SSAS), Tabular Editor, Power BI, DAX Studio, GIT, Confluence und Salesforce kamen erfolgreich zum Einsatz. Dieses Projekt hat dazu beigetragen, eine leistungsstarke Datawarehouse-Infrastruktur und eine effektive Reportinglandschaft aufzubauen, um geschäftliche Analysen und Entscheidungsprozesse zu unterstützen.

Im Logistikprojekt wurden umfangreiche Tätigkeiten zur Verbesserung des Stammdatenmanagements durchgeführt. Zunächst wurden die Kundenanforderungen und bestehenden Stammdatenstrukturen analysiert, unterstützt durch SSMS und PowerBI. Basierend auf den Ergebnissen erfolgte die Konzeption und Planung einer PowerApp-basierten Lösung für das Stammdatenmanagement. Die Azure SQL-Datenbank wurde eingerichtet und konfiguriert, während Datenquellen integriert und Datenmigrationen durchgeführt wurden. Die Entwicklung einer benutzerdefinierten PowerApp-Oberfläche ermöglichte die intuitive Handhabung der Stammdaten. Dabei wurden Sicherheits- und Datenschutzmaßnahmen wie Row-Level-Security implementiert. Durch die Automatisierung von Datenaktualisierungs- und Bereinigungsprozessen wurde die Effizienz gesteigert. Workflows für das Stammdatenmanagement wurden angepasst und optimiert. Die Schulung der Kundenmitarbeiter im Umgang mit dem Tool gewährleistete einen reibungslosen Einsatz. Eine kontinuierliche Wartung, Support und Weiterentwicklung der Lösung wurden sichergestellt. Mit Hilfe der Microsoft Power Platform, Power Apps, Azure SQL Database, Microsoft SharePoint, Transact-SQL (T-SQL), SQL Server Management Studio (SSMS) und Power BI wurden die technologischen Grundlagen für das erfolgreiche Projekt gelegt. Das geskriptete Erstellen der verschiedenen Seiten mit den PowerApps-Sprachwerkzeugen sowie das Einpflegen von Business Rules in die PowerApp trugen zur Gewährleistung konsistenter Daten bei. Durch diese Maßnahmen konnte das Stammdatenmanagement in der Logistikbranche erheblich verbessert werden.

Im Projekt „Unterstützung in Datenbankplattform-Center“ im Bereich IT-Dienstleistung wurden umfangreiche Tätigkeiten zur Optimierung von Datenbanken durchgeführt. Performanceanalysen verschiedener Datenbanken und Datenbankserver wurden durchgeführt, und die Ergebnisse wurden aufbereitet und bereitgestellt. Durch Performance-Tuning von Datenbank- und Servereinstellungen sowie Indextuning wurden Verbesserungen erzielt. Eine Bereinigung von etwa zwei Dutzend Produktivdatenbanken in verschiedenen Größenordnungen, von ca. 10 GB bis ca. 700 GB, wurde durchgeführt, einschließlich Datenbankverkleinerung und Defragmentierung der Indizes. Insgesamt wurden rund 1,5 Milliarden Einträge bereinigt und 1144 GB Festplattenspeicher freigegeben. Es wurden neue Datenbanken erstellt und in die bestehende Infrastruktur integriert. Des Weiteren wurden Datenbanken für Applikationen und Applikationsupdates eingerichtet und angepasst. Datenbankmigrationen wurden durchgeführt, und der Kunde wurde in Bezug auf die Zusammenlegung von Datenbankservern und Datenbanken zweier fusionierter Standorte beraten. Probleme auf Datenbankebene wurden für die Dienstleisterkunden gelöst. Die Umstellung von 30 SQL Server Produktiv-Datenbanken auf Contained User Datenbanken wurde durchgeführt, einschließlich der Neuanlage von Contained Usern und der Bereitstellung automatisch generierter Passwörter sowie Berechtigungsvergabe für bestimmte Datenbankschemata. Die Entfernung „klassischer“ Logins und Benutzer erfolgte mithilfe eines selbst entwickelten T-SQL-Skripts. Außerdem wurde eine Datentrennung zweier Kommunen zur Datenschutzsicherung bei der Anwendungsmigration durch den Softwarehersteller mit einem T-SQL-Skript durchgeführt. Bei der Durchführung des Projekts wurden Technologien wie MS SQL Server 2008 bis 2019, Transact SQL (T-SQL), SQL Server Management Studio (SSMS), Foglight for Databases, Ivanti ITSM, Remotedesktopverbindung, WinScp, Check MK Monitoring Tool, Simple Mail Transfer Protocol (smtp) und File Transfer Protocol (ftp) eingesetzt. Das Projekt hat wesentlich zur Verbesserung der Performance und Effizienz der Datenbankinfrastruktur beigetragen und die Kunden in verschiedenen Aspekten der Datenbankverwaltung unterstützt.