Hər il biz getdikcə rəqəmsal əsrə qərq oluruq. Uzun illərdir bazarda mövcud olan məlumat anbarları bütün məlumat fabriklərini meydana gətirərək yeni tələbləri qarşılamaq üçün yenidən qurulmağa başladı.

Saxlama və məlumat gölləri kimi nisbətən sadə sistemlər tədricən çoxlu sayda texnoloji həlləri ehtiva edən daha mürəkkəb ekosistemlərlə əvəz olunur. Bu həllər böyük həcmdə yüksək strukturlaşdırılmış məlumatların yüksək əlçatanlığı, onların qənaətcil saxlanması və icazəsiz girişdən qorunması ehtiyacını əhatə edir.

Belə problemləri həll etmək üçün çoxlu sayda müxtəlif komponentləri birləşdirərək mürəkkəb proqram və aparat sistemləri qurulur.

Dəyişikliklər inteqrasiya proseslərinə də təsir etdi. Əvvəllər bunlar bir dəstə məlumat götürən, onları bir yerdən başqa yerə köçürən, bir növ riyaziyyat, məlumatların keyfiyyətini yoxlayan mexanizmlər idi. Növbəti addım onlayn inteqrasiyanı gətirən lambda arxitekturası idi və görünür ki, bu kifayətdir. Sonra IoT (Əşyaların İnterneti) dünyaya gəldi, daha çox məlumat var idi, onlar fərqli şəkildə fəaliyyət göstərməyə və işlənməyə başladılar. Müstəqil bir həll ola bilən və ya lambda arxitekturasını tamamlaya bilən kappa arxitekturası ilə əvəz olundu, bu həm də düzgün qarşılıqlı əlaqə qurmağınız lazım olan kifayət qədər çoxkomponentli bir sistemdir.

Son istifadəçilərə məlumat vermək vasitələri də transformasiya olunur. Sadə hesabatların əvəzinə istifadəçiyə məlumatlardan fayda əldə etməklə bağlı çoxlu sayda vəzifələri həll etməyə imkan verən böyük bir sinif var: ya məlumatın birbaşa həyata keçirilməsi, ya da dolayısı ilə əlaqəli proseslərin optimallaşdırılması. İstifadəçilərin öz təkliflərini sınaqdan keçirə, onların nə dərəcədə effektiv və tətbiq oluna biləcəyini təhlil edə biləcəyi müxtəlif xidmətlər, "məlumat qutuları" mövcuddur.

Biz bütün bu həllər kompleksini “məlumat fabriki” adlandırırıq, bu rəqəmsal biznesin transformasiyası üçün müasir vasitələrdən biridir.

Müəssisələr üçün məlumat fabrikinə ehtiyac aşağıdakı hallarda yaranır:

bir komplikasiya var, məlumatların miqdarında artım;

məlumatlardan daha çox istifadə oluna biləcəyi anlayışı var;

korporativ məlumatların istifadəsində daha çox səmərəliliyi təmin etmək üçün məlumatlara məsuliyyətlə yanaşmaq lazımdır.

İcra metodologiyası

Məlumat fabrikinin apriori tətbiqi sadə ola bilməz, bu, həmişə uzun müddət üçün nəzərdə tutulmuş böyük bir layihədir. Bir qayda olaraq, bu layihələrə hərtərəfli fayda əldə etmək istəyən iri şirkətlər daxildir. Başlanğıcda, bu cür hekayələr uzun icra müddəti və təsirli maliyyələşdirmə səbəbindən olduqca riskli idi. Biz bütün riskləri qiymətləndirdik və belə layihələrin həyata keçirilməsi üçün iki konsepsiya hazırladıq. Birinci konsepsiya klassik yanaşmadır, platforma müştəri şirkətin İT strategiyası çərçivəsində tam şəkildə həyata keçirildikdə onun həyata keçirilməsinin bütün üstünlükləri və inkişaf potensialı reallaşır.

Riski azaltmaq üçün inkişaf etdirdiyimiz ikinci yanaşma MVP vasitəsilə interaktiv yanaşmadır. Texniki tərəfdən platforma bir-biri ilə əlaqəli çoxlu komponentlərdən ibarətdir və onların hər biri müəyyən funksional və texniki sahəni əhatə edir ki, bu da komponentləri ayrıca komponentlər kimi həyata keçirməyə imkan verir. Biznes nöqteyi-nəzərindən kiçik biznes blokları fərqləndirilir ki, onlar üzərində bu platformanın tətbiqindən müxtəlif nəzəriyyələrin AR-GE sınağı aparıla bilər. Biz addım-addım irəliləyirik və hər 4-6 aydan bir müəyyən komponentlərin tətbiqinin nə fayda gətirdiyini nümayiş etdiririk. Beləliklə, müştəri layihənin sınaq mərhələsində faydaları tez qiymətləndirə bilər.

Texnoloji həyata keçirmə

Məlumat fabrikləri məlumat anbarlarından inkişaf etmişdir, buna görə də konseptual olaraq texnoloji tətbiqin üç böyük təbəqəsini ayırd etmək olar: inteqrasiya səviyyəsi, saxlama səviyyəsi və xidmət səviyyəsi. Həmçinin, verilənlər fabrikinə müxtəlif məlumat axınlarının həyata keçirilməsi və onların idarə edilməsinin həyat dövrünü düzgün konfiqurasiya etməyə və idarə etməyə imkan verən verilənlərin idarə edilməsi sistemi, DevOps və DataOps xidmətləri əlavə edilməlidir.Konseptual arxitekturanı daha ətraflı nəzərdən keçirsək və texnoloji səviyyədə inteqrasiya qatını öyrənsək, klassik ETL / ELT alətlərini qeyd edə bilərik. Qeyd etmək lazımdır ki, indi bir tendensiya var: bir neçə il əvvəl böyük satıcılar tərəfindən məşhur olan korporativ həllər əvəzinə, NiFi, Airflow kimi açıq mənbəli alətlər, inteqrasiyaları ya verilənlər bazası səviyyəsində və ya əlavələr səviyyəsində yazmaq imkanı ilə. Python-da müəssisə həlləri ilə müqayisə edilə bilən skriptlər ön plana çıxır. Onların daha yüksək giriş həddi var, lakin bu, çox vaxt çox aşağı və ya pulsuz olan proqram təminatının özünün çevikliyi və dəyəri ilə kompensasiya olunur. İnteqrasiyadan danışarkən, axın platformalarını, RabbitMQ, Kafka kimi mesaj brokerlərini unutmaq olmaz ki, onlar real vaxt rejimində böyük məlumat axınlarını ötürməyə imkan verir, eyni zamanda onlarla nisbətən sadə transformasiyalar edir.

Növbəti təbəqə saxlama təbəqəsidir. Bu komponentə köklü dəyişikliklər təsir etməmişdir: vitrin sahəsinin seçilməsində klassik temperatur məlumatlarının saxlanması hələ də istifadə olunur. Vitrinlər ardıcıl modeldə tək bir yaddaş platformasından məlumatları istehlak edən müxtəlif texnologiyalardan istifadə etməklə hazırlana bilər. Bu yanaşma yaxşı nəticə göstərir və istifadəçilərin dəyişikliklərə uyğunlaşdırılması işini minimuma endirir.

Son istifadəçi fabrikdə bəzi məlumat dəstlərini sifariş edə və konsepsiyaları həyata keçirərək onunla müstəqil işləyə bildiyi zaman "qum qutusu" və ya məlumat bazarı kimi bir yeniliyi vurğulamaq vacibdir.

Ancaq hətta burada məlumatların idarə edilməsi sistemi və ya Data İdarəetmə kimi yeni komponentlər meydana çıxır: Data Catalog, Data Lineage. Buraya həmçinin MDM və Data Keyfiyyəti sistemləri, yəni məlumatları biznes qurumu kimi idarə edən bütün sistemlər daxildir. Data İdarəetmə mövzusu verilənlər fabrikindən daha genişdir, o, artıq təşkilati bölmələri, metodoloji reqlamentləri, proqram komponentlərini özündə birləşdirən ayrıca bilik sahəsidir.

Və nəhayət, məlumatların son istifadəçisinə yönəlmiş üçüncü konseptual təbəqə. Bu komponent də daha da mürəkkəbləşir: müxtəlif biznes xidmətləri, məlumat sandboxları, istifadəçinin hazır sxemləri əlavə edə biləcəyi Data portalları görünür.

Ətrafımızdakı həyatdan misal olaraq, indi dövlət qurumları, banklar və telekommunikasiya şirkətləri tərəfindən çoxlu sayda müxtəlif proqramlar istifadəyə verilir. Ağıllı xidmətlər son istifadəçiyə həyatın müxtəlif sahələrində kömək edir.

Məlumatların idarə edilməsi

Məlumatların idarə edilməsi prosesi çoxdan yaranıb və artıq bir çox iri şirkətlərdə tətbiq edilib. Bununla belə, fabriklə bağlı məlumatların idarə edilməsini vurğulamağa dəyər.

İlk növbədə, bu, Data Quality - məlumatların keyfiyyətinə görə məsuliyyətdir. Əgər əvvəllər bunlar texniki məlumat yoxlamaları idisə (format, yaxınlaşma tənlikləri və s.), indi bunlar “Bu sahələrdə səhv məlumat alsam, bu mənim şirkətim üçün nə deməkdir?”, “Mən bəzi yoxlamalar yaratmasaydım” kimi yoxlamalardır. hesabat, nə təsir edəcək? Buna görə nə qədər pul itirəcəm?”, “Bu məlumat mənim üçün vacibdir, yoxsa sadəcə bəzi əlaqəli əməliyyatlar üçün saxlamışam?”.

Bunlar data glossaries - Data Catalog. Sirr deyil ki, şirkətlərdə həqiqətin bir çox versiyaları var - kataloqu olan məlumat fabriki onlara nəzarət etmək və idarə etmək üçün rahat üsul təqdim edir.

Və təbii ki, bu, verilənlərin arxitekturasıdır - fiziki və biznes modeli, cədvəllər toplusu, onlar arasındakı əlaqələr və onların şirkətin biznes proseslərinə uyğunluğu.

Yekun olaraq, məlumatların əhəmiyyətini və onların müşayiət etdiyi dəyişiklikləri bir daha vurğulamaq istəyirəm. Getdikcə daha çox şirkət, proses və insan daha şüurlu hərəkətlər edərək və onların nəticələrini daha dəqiq proqnozlaşdıraraq yüksək texnologiyalı məlumat işinə cəlb olunur və ondan faydalanır. Biz öz tərəfimizdən yalnız bu dəyişiklikləri alqışlaya və tərəfdaşlarımıza seçilmiş istiqamətin düzgünlüyünə inam verə bilərik.

bbabo.Net