Всяка година все повече се потапяме в дигиталната ера. Складовете за данни, които съществуват на пазара от много години, започнаха да се изграждат наново, за да отговарят на нови заявки, образувайки цели фабрики за данни.

Относително прости системи като съхранение и езера за данни постепенно се заменят от по-сложни екосистеми, съдържащи голям брой технологични решения. Тези решения покриват необходимостта от висока наличност на големи обеми високоструктурирани данни, тяхното рентабилно съхранение и защита от неоторизиран достъп.

За решаването на подобни проблеми се изграждат сложни софтуерни и хардуерни системи чрез комбиниране на голям брой различни компоненти.

Промените засегнаха и интеграционните процеси. Преди това бяха механизми, които взимаха куп данни, преместват ги от едно място на друго, извършваха някаква математика, проверки на качеството на данните. Следващата стъпка беше ламбда архитектурата, която донесе онлайн интеграция и изглеждаше, че това беше достатъчно. Тогава IoT (Интернет на нещата) се появи на бял свят, имаше още повече данни, започнаха да действат и да се обработват по различен начин. Тя беше заменена от kappa архитектурата, която може да бъде или независимо решение, или да допълни ламбда архитектурата, това също е доста многокомпонентна система, с която трябва да можете да взаимодействате правилно.

Трансформират се и средствата за предоставяне на информация на крайните потребители. Вместо прости отчети, има огромен клас различни услуги, които позволяват на потребителя да решава голям брой задачи, свързани с получаване на ползи от данни: или чрез директно внедряване на информация, или косвено от оптимизирането на свързани процеси. Има различни услуги, „пясъчни кутии за данни“, в които потребителите могат да тестват своите предложения, да анализират доколко ефективни и приложими са те.

Наричаме целия този комплекс от решения „фабрика за данни“, това е един от съвременните инструменти за дигитална бизнес трансформация.

Необходимостта от фабрика за данни за предприятия възниква, когато:

има усложнение, увеличаване на количеството данни;

има разбиране, че данните могат да бъдат използвани повече;

необходимо е да се подхожда отговорно към данните, за да се гарантира по-голяма ефективност при използването на корпоративната информация.

Методология за внедряване

Внедряването на фабрика за данни априори не може да бъде просто, това винаги е голям проект, проектиран за дълго време. По правило в тези проекти се включват големи компании, които искат да получат всеобхватни ползи. Първоначално подобни истории бяха доста рискови поради дългия период на изпълнение и впечатляващото финансиране. Оценихме всички рискове и разработихме две концепции за реализация на подобни проекти. Първата концепция е класически подход, когато платформата е изцяло внедрена по ИТ стратегията на фирмата клиент, се реализират всички предимства от нейното внедряване и потенциал за развитие.

Вторият подход, който сме разработили за смекчаване на риска, е интерактивният подход, внедряване чрез MVP. От техническа страна платформата се състои от множество взаимосвързани компоненти, всеки от които покрива определена функционална и техническа област, което позволява компонентите да бъдат реализирани като отделни компоненти. От бизнес гледна точка се разграничават малки бизнес блокове, върху които може да се извърши R&D тестване на различни теории от внедряването на тази платформа. Ние се движим стъпка и на всеки 4-6 месеца демонстрирайки какви ползи носи въвеждането на определени компоненти. Така клиентът може бързо да оцени ползите на етапа на тестване на проекта.

Следващият слой е слоят за съхранение. Този компонент не е засегнат от кардинални промени: класическото съхранение на температурни данни все още се използва при избора на площта на витрината. Витрините могат да бъдат направени с помощта на голямо разнообразие от технологии, които консумират данни от една платформа за съхранение в последователен модел. Този подход показва добър резултат и свежда до минимум работата по адаптиране на потребителите към промените.

Важно е да се подчертае такава иновация като "пясъчник" или пазар на данни, когато крайният потребител може да поръча някакъв набор от данни във фабриката и самостоятелно да работи с него, прилагайки концепциите.

Но дори и тук се появяват нови компоненти, като система за управление на данни или управление на данни: каталог на данни, линия на данни. Това също включва MDM и системи за качество на данните, тоест всички системи, които управляват данни като бизнес субект. Предметът на управление на данните е много по-широк от фабрика за данни, той вече е отделна област на знанието, която включва организационни единици, методически разпоредби, софтуерни компоненти.

И накрая, третият концептуален слой, който е насочен към крайния потребител на данните. Този компонент също става все по-сложен: появяват се различни бизнес услуги, пясъчници за данни, портали за данни, където потребителят може да допълва готови схеми.

Като пример от живота около нас, различни приложения сега се пускат в голям брой от държавни агенции, банки и телекомуникационни компании. Интелигентните услуги помагат на крайния потребител в различни области на живота.

Управление на данни

Процесът на управление на данни се появи отдавна и вече е внедрен в много големи компании. Въпреки това си струва да се подчертае управлението на данните във връзка с фабриката.

На първо място, това е Data Quality – отговорност за качеството на данните. Ако по-рано това бяха проверки на технически данни (формат, уравнения за сближаване и т.н.), сега това са проверки като „Ако получа неверни данни в тези полета, какво ще означава това за моята компания?“, „Ако не формирам някои доклад, какво ще засегне? Колко пари ще загубя заради това?“, „Тези данни важни ли са за мен или просто ги съхраних за някои свързани операции?“.

Това са речници на данни – Каталог на данни. Не е тайна, че компаниите имат много версии на истината – фабрика за данни с каталог предоставя удобен начин за контрола и управлението им.

И разбира се, това е архитектурата на данните – физически и бизнес модел, набор от таблици, връзки между тях и съответствието им с бизнес процесите на компанията.

Обобщавайки, искам още веднъж да подчертая важността на данните и промените, които те съпътстват. Все повече компании, процеси и хора се ангажират и се възползват от високотехнологична информационна работа, като предприемат по-съзнателни действия и по-точно предвиждат последствията от тях. От своя страна можем само да приветстваме тези промени и да дадем увереност на нашите партньори в правилността на избраната посока.

bbabo.Net