DSS Consulting Kft. - 1113 Budapest, Nagyszőlős u. 11-15.
Tel: +36-1 345 0900, Fax: +36-1 345 0909, E-mail: info@dss.hu
Tel: +36-1 345 0900, Fax: +36-1 345 0909, E-mail: info@dss.hu
A DSS Consulting Kft. saját fejlesztésű eszközét, a Quality Monitor (QM) termékcsaládot használja az IQM (Information Quality Management) adatminőség-biztosítási, adattisztítási módszertan építőkockáinak – folyamatainak – megvalósítására. A Quality Monitor termékcsalád az adatok minőségének javítását, valamint az információ-minőség folyamatos monitorozását lehetővé tevő rendszer. A Quality Monitor jelenleg egyedülálló a magyar piacon, mivel az információ-minőség felmérését, elemzését és az adattisztítást a magyar nyelv struktúráira, szabályaira épülő algoritmusokkal hajtja végre, azaz "ért magyarul", szemben más kiváló, de külföldön fejlesztett hasonló szoftverekkel.
A Quality Monitor végrehajtja szöveges állományok adattartalmi hibáinak feltárását és duplikátum csoportok kimutatását matematikai és adatbányászati algoritmusok segítségével, továbbá numerikus adatok konzisztencia vizsgálatát üzleti szabályok alapján (plauzibilitás vizsgálat).
A Quality Monitor a minőségbiztosításba bevont rendszerek hardver- és szoftver platformjaitól függetlenítve működik, azaz bármely informatikai rendszerhez alkalmazható.
A Quality Monitor "tud magyarul", azaz a magyar nyelv belső szabályait felhasználva elemzi a szöveges információkat, kezeli a magyar vezeték- és keresztnevek, nők férjezett neveinek különböző írásmódjait, a magyar címzési konvenciókat, továbbá felismeri és ellenőrzi a Magyarországon alkalmazott azonosítók (személyi igazolvány szám, útlevélszám, bankszámlaszám, adószám, stb.) jelenlegi és múltbeli verzióit.
Magyarországi fejlesztői és tanácsadói támogatással, magyarországi referenciákkal bír.
A Quality Monitor működésének egyik fontos alapelve az, hogy a feldolgozandó rendszerek adattábláiba nem ír, az adatokat csak olvassa. A feldolgozandó rendszerből leválogatott adatokat saját adatbázisába tölti be és ott dolgozza fel. Az Adatminőségi jelentés (adattartalmi hibalisták, riportok, kimutatások) és a Duplikátumjelentés (rekord – ügyfél, termék, szolgáltatás – duplikátumok) is a Quallity Monitor adatbázisában készül. A forrásrendszerek adatain írási művelet nem történik. Ez a megközelítés elejét veszi jó néhány biztonsági problémának, és kizárja annak lehetőségét, hogy az esetleges hibás működés nem kívánt adatmódosításokat okozzon a forrásrendszerekben. Az adatok javítása (az Adatminőségi és Duplikátumjelentés alapján) viszont már a forrásrendszerekben történik, erre a feladatra kiképzett felhasználók, ügyintézők által.
QM Server - információ-minőség felmérés
A Quality Monitor termékcsalád központi eleme. Segítségével hajtható végre:
az információ minőségi standardok definiálása (rendszerparaméterként),a minőségellenőrző feltételek megadása,a minőségi riportok előállítása.
QM Kliens - kritikus információk javítása
A QM Kliens lehetővé teszi a QM Server által előállított minőségi riportok megtekintését az adatok előállításának helyén. Így az automatikusan nem javítható szenzitív információkat humán felügyelettel való javítással támogatja.
QM Batch Cleansing - automatizált javítás
Az automatikusan javítható hibák viszonylag nagy arányát alkotják az adattartalmi hibáknak. A Batch Cleansing modul e hibák javítását végzi beépített algoritmusok és külső szótárak segítségével.
QM Progress - az adattisztítási folyamat menedzselése
A komplex, általában több hónapos adattisztítási tevékenység menetét, dinamikáját lehet a modullal nyomon követni. Multidimenzionális megjelenítésen keresztül információkat nyújt a javítás előrehaladtáról a kiindulási állapothoz képest. Támogatja az adattisztítási feladatok priorizálását, optimális ütemezését, a szükséges erőforrások allokálását.
A QM szerver a QM termékcsalád központi eleme.
Az első szolgáltatás lehetőséget ad olyan adatstruktúrák megtervezésére és létrehozására, amelybe a forrásrendszer adatai betölthetők, illetve amelyben feldolgozhatók. A betöltési struktúra általában csak néhány adattáblából áll, amelyek az elemzésre szánt, leválogatott adatok befogadására szolgálnak.
A következő szolgáltatás lehetőséget ad az Adatminőségi standardban megfogalmazott szabályok informatikai megfogalmazására. A szabályok, adatminőségi ellenőrzésekben, SQL szkriptekben testesülnek meg. A QM Szerver nemcsak a szkriptek megírására, hanem ezek nyilvántartására, rendszerezésére, karbantartására is lehetőséget ad megfelelő funkciók biztosításával.
A következő funkció az adatminőségi ellenőrzések futtatása. Ezután készül el az Adatminőségi jelentés, amely tartalmazza a hibásnak talált adatmezőket, és a hiba feldolgozását segítő további információkat.
A QM Szerver kifinomult szolgáltatásokkal biztosítja a Duplikátumkeresési szabvány gyakorlatba való átültetését is. A szabályok itt hasonlósági feltételeket, és ezekből alkotott halmazokat, ún. feltételcsoportokat jelentenek. A
QM Szerver tehát lehetőséget ad feltételek megfogalmazására és ezeknek feltételcsoportokba való összevonására, a feltételcsoportok rendszerezésére, karbantartására.
Tekintve, hogy a QM Server egy konkrét időpontban leválogatott adatokat dogoz fel, a jelentések fokozatosan elavulnak. Ezért bizonyos időnként a jelentéseket újra el kell készíteni. Ez alkalmat ad arra is, hogy ha a tapasztalatok alapján szükséges, az adatminőségi ellenőrzéseket és a duplikátumkeresési feltételeket pontosítsuk, finomítsuk.
Ez a modul az Adatminőségi jelentés és a Duplikátumjelentés feldolgozására szolgál.
A QM Kliens segítségével a felhasználó megjelenítheti az Adatminőségi jelentést. A jelentés tartalmát rendezheti, szűrheti és kereshet benne. Egy konkrét hibatétel feldolgozásához a tételt zárolja (kizárólagosan használatba veszi), megvizsgálja. Ezután megnyitja a forrásrendszerben a hibás rekordot, és abban a hibát javítja. Természetesen ehhez rendelkezésre kell, hogy álljon a helyes érték, amelynek beszerzése külön feladat – néha nagyon is erőforrás-igényes, máskor triviális. A javítás ténye a QM Kliens segítségével naplózható, a javítási művelet eredménye egy státuszállítással rögzíthető.
A QM Kliens lehetőséget biztosít a Duplikátumjelentés feldolgozására is. A jelentés azokat a generált duplikátumcsoportokat (rekordcsoportokat) tartalmazza, amelyeket a QM Szerver előállított a duplikátumkeresési szabályok alapján.
Ennek a modulnak az a feladata, hogy a hibák javításához szükséges emberi erőforrások mértékét csökkentse és támogassa az automatikus javításokat.
Az adathibák bizonyos típusainak esetében algoritmikus úton előállítható a helyes érték a hibás érték alapján, anélkül, hogy emberi beavatkozásra, vagy további információforrásokra lenne szükség. Ilyen az, amikor például egy személy neve titulussal kezdően lett rögzítve, akadályozva ezzel a helyes betűrendbe sorolást. A hibás és a hozzájuk tartozó helyes értékeket táblázatba foglalva ún. cseretáblákat állíthatunk elő, amelyek alapján a forrásrendszerben a hibás adatokat lecserélhetjük a helyes értékekre. Természetesen az ilyen adatcserének nevezett módszerrel a hibáknak csak egy része javítható, azonban a gyakorlat azt mutatja, hogy ez a rész is komoly adatmennyiséget képvisel.
Az adathibák egy másik típusa esetében nincs olyan algoritmus, amely egyértelműen előállítaná a hibás adathoz tartozó helyes adatot, azonban előállítható egy több lehetséges értékből álló halmaz, amely biztosan tartalmazza a helyes adatot. Például, ha egy településhez hibás irányítószámot rögzítettek, és a településhez a Magyar Posta irányítószám-jegyzéke szerint több irányítószám is tartozik, akkor fel lehet kínálni az adatok javítását végző személy számára a településhez tartozó irányítószámok listáját. Ezt értékajánlásnak nevezzük.
Egy nagy szervezetben, amely hatalmas mennyiségű adatot tárol informatikai rendszereiben, az adattisztítás egy időigényes folyamat, és különböző szervezeti egységek sok munkatársának együttműködését igényli. A QM Progress lehetőséget biztosít a közreműködő szervezeti egységek modellezésére, a munkatársaik nyilvántartására, és az adatminőségi riport feldolgozása során végzett munkájuk nyomon követésére. Lehetővé teszi historikus adatok alapján a szükséges erőforrások tervezését és statisztikák, kimutatások készítését is. Ezeken túlmenően kontrolfunkciókat is biztosít, amelyekkel az adattisztítás során ejtett hibák korrigálhatók.
