Amikor milliós nagyságrendű adatokkal kell dolgoznod, akkor már az első százezer sor után rájöhetsz, hogy az Excel nem megoldás.
Ilyenkor egy egyedi struktúra szerint, külön ebből a célból fenntartott szerveren kell egy olyan adatbázist fejleszteni, amely képes az adatok megadott szempontok szerinti szétválogatására, összehasonlítására, majd egy könnyen kinyerhető, gyorsan és jól felhasználható report elkészítésére.
A digitális átalakításokért és adatbázisokért felelős kollégáinknak pontosan egy ilyen feladatot kellett végrehajtaniuk. Egy hét alatt.
A kihívás
Egy nagy telekommunikációs cég megkeresett minket, hogy segítsünk összevetni a saját vállalatirányítási rendszerük és a bérszámfejtéssel megbízott outsourcing cég bérszámfejtési rendszerének adatait. A két rendszerben fellelhető valamennyi távolléti és szabadság adatot kellett összevetni a megkeresést megelőző 10 évből. Minden egyes dolgozónak összes távollétét, aki 10 év alatt csak megfordult a cégnél. Milliós mennyiségű adatról beszélünk ilyenkor, amit csak speciálisan létrehozott adatbázissal lehet kezelni.
Ennek lefejlesztésére egy hét állt rendelkezésünkre.
A megoldás
Első lépésként meg kellett oldanunk, hogy az adatok eljussanak hozzánk. Ez egyáltalán nem egyértelmű, mert ezek az adatok személyiségi jogi védelem alatt állnak, végtelenül sok van belőlük, így nem lehet csak úgy e-mailen átdobni őket. Az ügyféllel közösen megállapodtunk egy titkosított csatornában, amelyen keresztül megkaptuk az adatokat. Így megfeleltünk a GDPR követelményeknek és az adatkezelési szabályoknak.
Első lépésként a bérszámfejtési csapatunkkal kellett leülnünk egyeztetni, mert meg kellett értenünk mindent a feladattal kapcsolatban. Az egyik nehézséget az okozta, hogy a különböző adatokat máshogyan nevezték az ügyfél rendszerében és máshogy a bérszámfejtő cégnél. Tisztáznunk kellett, hogy pontosan melyik adat mit jelent és melyik rendszerben hogyan nevezik.
Miután a bérszámfejtő csapat segített minket irányba állítani, tisztázta velünk a fogalmakat, megnevezéseket, már tudtuk, hogy mely adatokat kell összehasonlítanunk egymással. Tudtuk, hol kell keresni a hibákat, innentől nekünk kellett kitalálni, hogy hogyan.
Az adatok, az igények és a megadott szempontok alapján terveztünk egy olyan adatbázis struktúrát, amely ezt a milliós nagyságrendű információt kezelni tudja. Megterveztük a táblákat és azok közötti kapcsolatot, illetve azokat a lekérdezéseket melyek alapjai a riportoknak és természetesen a jogosultságokat is beállítottuk, hogy mely kollégák férhetnek hozzá az adatbázishoz. Ehhez mi a Microsoft Azure-ön belül fenntartott MSSQL szerveret használunk, a végeredményt meg az Excelen belül Power Pivotba agregáltuk.
A megoldás egyik legfontosabb része a tervezés volt, hiszen az egész folyamat végén egy olyan reportnak kellett születnie, amely a vezetőség és a bérszámfejtés számára is könnyen felhasználható volt. Egy jól strukturált, szépen felépített adatbázis rendszer jó dolog, de csak akkor, ha a végén belőle kapott adatokkal könnyű dolgozni.
Összefoglalás
Legnagyobb nehézségünk ebben a projektben, az volt, hogy milliós adatokkal kellett dolgoznunk és egy hetünk volt lefuttatni az összehasonlítást, hibakeresést és reportálható végeredményt készíteni.
A legnagyobb sikerünk pedig az volt, hogy sikerült megalkotnunk egy havi rendszerességgel lefutó automatizmust. A program rendszeresen átnézi a beérkező adatokat, ellenőrzi, hogy a megfelelő listák szerepelnek-e benne, és azok a megfelelő adatokat tartalmazzák-e. Ha van olyan adat, amely korábban nem szerepelt, akkor a rendszer jelez, mi pedig utánanézünk és beépítjük az új tételt az adatbázisba.
Ha te cégednél is felmerülne a probléma, hogy bizonyos adatok nem egyeznek, viszont annyi van belőlük, hogy nem tudod egy Excelbe bedobni és a megfelelő függvénnyel átnézni, valami, a fentihez hasonló megoldásra van szükséged.
Keress minket, és segítünk kitalálni, mi legyen az!
Kapcsolat:
