DataSwitch محصول جدیدی به نام DS DataMaps را معرفی کرده است که هدف آن ایجاد قابلیت ردیابی دادهها و جریان دگرگونی از خطوط لوله داده است. این محصول به مهندسی مجدد پلتفرم داده کمک میکند و جریان داده قابل توضیح را برای تولیدکنندگان و مصرفکنندگان داده فراهم میسازد تا پذیرش و اعتماد به پلتفرم داده را افزایش دهد.
با این حال، چالشهایی هنگام انتقال به پلتفرمهای داده مدرن مانند دریاچههای داده (data lakehouses) به وجود میآید که نیازمند تغییر ساختار داده و تغییرات تکنولوژیکی قابل توجهی است.
مدیرعامل DataSwitch، Karthikeyan Viswanathan، توضیح داد که سه نوع مهاجرت و دگرگونی داده وجود دارد: میزبانی مجدد (rehosting)، تغییر پلتفرم (replatforming) و مهندسی مجدد (reengineering). به گفته وی، مهندسی مجدد گستردهترین دگرگونی است که شامل تغییرات در زیرساخت، فناوری و ساختار خود داده میشود.
وی افزود: «هنگام تغییر زیرساخت، من از محل استقرار به فضای ابری (cloud) منتقل میشوم. من از یک فناوری به فناوری دیگر تغییر میکنم. با این حال، در طول مهندسی مجدد، من زیرساخت را تغییر میدهم، فناوری را تغییر میدهم و همچنین ساختار داده را تغییر میدهم.»
مهندسی مجدد، پیچیدهترین این رویکردها، شامل یک بازنگری جامع در زیرساخت، فناوری و ساختار داده است. وی توضیح داد که این امر به مشتریان اجازه میدهد تا دادههای بیشتری را برای تجزیه و تحلیل و سایر برنامهها به سیستمهای هوش مصنوعی (AI) وارد کنند.
نقش DataMaps در تغییر ساختار داده
DataMaps قابلیت ردیابی و تبار دادههای ضروری را فراهم میکند که برای مهندسی مجدد موفقیتآمیز ضروری هستند.
Viswanathan گفت: «من باید قابلیت ردیابی داده را پیدا کنم. سپس میتوانم دادههای خود را در دنیای جدید تغییر ساختار دهم.» این ابزار از طریق مجموعهای از عملکردهای کلیدی، از جمله استخراج فراداده (metadata)، که فراداده را از خطوط لوله داده مختلف در یک قالب مشترک ادغام میکند، عمل میکند. همچنین قابلیت ردیابی سرتاسری را فراهم میکند و پیوندهای بین عناصر داده را شناسایی میکند تا تبار جامع در سطح شغل و سرتاسری ارائه دهد.
علاوه بر این، DataMaps از نگاشت پیشبینیکننده (predictive mapping) با استفاده از مدلهای داده از پیش پیکربندی شده و نگاشت خودکار برای تولید کد برای پلتفرم جدید استفاده میکند. قابلیت تولید کد چند زبانه (polyglot code generation capability) آن امکان ایجاد کد را برای پلتفرمهای متنوعی مانند Snowflake یا Databricks بر اساس نیازهای خاص مشتری فراهم میکند.
وی با ذکر مثالی گفت که کاربران میتوانند نحوه ساختاردهی دادهها را تغییر دهند. به عنوان مثال، اگر فیلدی به نام "Party" در سیستم قدیمی نیاز به تغییر نام به "Client" در سیستم جدید داشته باشد، این ابزار این دگرگونی را آسان میکند.
برای تسهیل آزمایش و اعتبارسنجی، این ابزار دارای تولید داده مصنوعی (synthetic data generation) و تست واحد زنده (live unit testing) است. در نهایت، این ابزار طرح کلی خط لوله بصری (visual pipeline outlining) را ارائه میدهد و نمایشی واضح از فرآیند دگرگونی داده ارائه میدهد.
Viswanathan گفت: «به قیاس ساده Google Maps فکر کنید. ما همین مفهوم را در مورد داده اعمال میکنیم.» وی توضیح داد که همانطور که Google Maps یک نمودار دانش (knowledge graph) برای تعیین بهترین مسیرها میسازد، DS DataMaps یک نمودار دانش برای ردیابی حرکت داده در سراسر سیستمها میسازد.
علاوه بر این، DataMaps با مجموعه محصولات موجود DataSwitch، از جمله DS Migrate و DS Citizen ادغام میشود. DS Migrate مهاجرت زیرساخت و فناوری را مدیریت میکند، در حالی که DS Citizen مدلسازی داده و تولید کد را انجام میدهد. DataMaps به عنوان ابزار مرکزی برای تغییر ساختار داده در طول مهندسی مجدد عمل میکند.
مجموعه ابزار جامع DataSwitch کیفیت داده را حفظ میکند و اشتباهات را تا 70٪ کاهش میدهد و انتخابهای استراتژیک قابل اعتمادتر را ممکن میسازد. راه حلهای پلاگین و پخش (plug-and-play) آن فرآیند دگرگونی را ساده میکند و تحویل پروژه را 60٪ تسریع میکند.
عرضه DataMaps استراتژی گستردهتر Dataswitch برای رسیدگی به چالشها در مهندسی و عملیات داده را برجسته میکند. با پذیرش معماریهای ابری (cloud-native) توسط شرکتها، تقاضا برای تبار هوشمند (intelligent lineage) و ابزارهای مهاجرت به رشد خود ادامه میدهد.