Oracle adatbázis tervezés adatfeldolgozási feladathoz. Az optimális adattárolási struktúra.
Elmentve itt :
| Szerző: | |
|---|---|
| További közreműködők: | |
| Dokumentumtípus: | Diplomadolgozat |
| Kulcsszavak: | adatbázis adatmodell(ek) adatmodellezés relációs adatmodell statisztikai adatszolgáltatás |
| Online Access: | http://dolgozattar.uni-bge.hu/52423 |
MARC
| LEADER | 00000nta a2200000 i 4500 | ||
|---|---|---|---|
| 001 | dolg52423 | ||
| 005 | 20240124154209.0 | ||
| 008 | 240124suuuu hu om 000 hun d | ||
| 040 | |a BGE Dolgozattár Repozitórium |b hun | ||
| 041 | |a hu | ||
| 100 | 1 | |a Wappler Fruzsina | |
| 245 | 1 | 0 | |a Oracle adatbázis tervezés adatfeldolgozási feladathoz. Az optimális adattárolási struktúra. |c Wappler Fruzsina |h [elektronikus dokumentum] |
| 520 | 3 | |a A 2022-ben lefolytatott népszámlálás adatfelvétele 2022 novemberében lezárult. Az adatfeldolgozás 2023 tavaszán kezdődik el. Annak érdekében, hogy az adatok feldolgozása gördülékenyen mehessen, szükséges volt felkészíteni az adatok feldolgozására használt rendszert a nagy mennyiségű beérkező adat kezelésére. Emellett megjelent az igény egy olyan adattárolási struktúra kialakítására, amely következetesen felépített, valamint segíti a nagyszámú adatsorokat tartalmazó táblák kezelését. A népszámlálásból beérkező adatok feldolgozása korábban ki volt szervezve külső megbízottaknak. Ez lesz az első olyan adatfeldolgozás, amely a Központi Statisztikai Hivatal intézmény belül zajlik. A dolgozatom célja az volt, hogy elkészítsek egy adatfeldolgozási folyamattervet, mely alkalmas lesz a több millió rekordos adatállományok feldolgozására. Emellett további célom volt egy olyan adattárolási struktúra kialakítása, amely a 2022-es népszámlálásból beérkezett, már feldolgozott adatállományok logikus, intézményi követelményeknek megfelelően tárolja az adatokat. Az esettanulmányban felhasznált adatok kétféle forrásból származnak, elsődleges és másodlagos forrásból. Az elsődleges forrás a törvény által előírt 2011-es népszámlálási adatfelvétel. Innen származnak az alapadatok. A másodlagos forrásból vett, szintén jogszabályi háttérrel biztosított, 2016-os mikrocenzus adatfelvétel. Mindkét adatforrás tartalmaz a társadalmat leíró, szigorúan védett, érzékeny, személyes vagy különleges adatot. Ezeket az adatokat a statisztikai adatoktól elkülönítve kezeltem, a személyes adatok védelméről szóló és egyéb adatvédelmi jogszabályok elvárásainak megfelelően. Az esettanulmányban bemutatott feldolgozási feladatot a Központi Statisztikai Hivatal számára fejlesztett Egységes Adatfeldolgozó Rendszerében (EAR) készítettem el. Az EAR feladata, hogy kiváltsa a különböző programokat és egyéni megoldásokat az adatfeldolgozás területén, ezzel is elősegítve a feldolgozási folyamat automatizálását, annak gördülékeny menetét. Az adatok feldolgozása az adat előállítási folyamat egyik állomása. A Hivatal adat előállítási folyamatának modellje, az ESTFM (Egyesített Statisztikai Folyamatmodell) biztosítja, hogy az adatfelvételtől az eredmények publikálásáig minden részfolyamat egységes körülmények között menjen végbe. Ennek a modellnek a gyakorlatban való megvalósulását teszi lehetővé az EAR. Az adatok feldolgozásán belül beszélhetünk adatintegrálásról, pótlásról, mutatóképzésről stb. Tekintettel arra, hogy a dolgozat csak egy kis szeletét mutatja be az adatfeldolgozásnak, csak az adatok pótlása került bemutatásra. A feldolgozási feladatban lakásstatisztikához tartozó adatok kerültek pótlásra. Belső specifikációs dokumentum alapján egy olyan adatfeldolgozási tervet készítettem el, amely több pótlási körből áll. A feladatban az adatállomány három változója esetén kerültek pótlásra az adatok: az épület építési éve, külső falazatának anyaga, lakás szennyvízelvezetésének módja. A feldolgozási feladat eredményeként egy olyan adatállományt jött létre, amely megfelel a dolgozatban részletezett kritériumoknak. A feldolgozási feladatra épül az esettanulmányban bemutatott második gyakorlati példa. Az optimális adattárolási struktúra kialakítására a Központi Statisztikai Hivatal relációs adatbázis-kezelő rendszerét használtam, az ORACLE DATABASE 12C rendszert. A relációs adatbázis strukturális elemeinek kiválasztásánál a feldolgozási feladathoz elkészített egyed-kapcsolat modell nyújtott segítséget. Fontos szempont volt, hogy nem csak a deklaratív megszorításoknak kellett megfeleltetni a struktúrát, hanem az intézményi elvárásoknak is. Például az adatbázis sémának illeszkednie kellett a KSH belső kódrendszerébe. A kialakított adattárolási struktúra kielégíti a fontosabb szempontokat: táblák felépítése, oszlopok sorrendje logikus, oszlopok hosszúsága és adattípusa megfelelő, egyedi-idegen-elsődleges kulcsok kijelölése, oszlop és tábla kommentek megadása, redundancia megszüntetése, integritási szabályoknak. A dolgozat céljai teljesültek. A szimulációs módszer alkalmas arra, hogy a Központi Statisztikai Hivatal rendszere felkészüljön a népszámlálási adatfelvételből érkező több millió rekordos adatállományok feldolgozására. Az adatbázisban létrehozott tárolási struktúra objektumai alkalmasak a nagy mennyiségű adatok kezelésére, valamint a felhasználók tájékozódását is segítik. | |
| 695 | |a adatbázis | ||
| 695 | |a adatmodell(ek) | ||
| 695 | |a adatmodellezés | ||
| 695 | |a relációs adatmodell | ||
| 695 | |a statisztikai adatszolgáltatás | ||
| 700 | 1 | |a Bertók Hajnalka |e ths | |
| 700 | 1 | |a Kovács Dr. Endre |e ths | |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/52423/1/Szakdolgozat%20%281%29.pdf |z Dokumentum-elérés |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/52423/2/Titkos%C3%ADt%C3%A1si%20k%C3%A9relem.pdf |z Dokumentum-elérés |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/52423/3/%C3%96sszefoglal%C3%A1s.pdf |z Dokumentum-elérés |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/52423/4/Szakdolgozat_b%C3%ADr%C3%A1lat_Wappler%20Fruzsina.pdf |z Dokumentum-elérés |
| 856 | 4 | 0 | |u http://dolgozattar.uni-bge.hu/52423/5/Wappler_Fruzsina.pdf |z Dokumentum-elérés |