Python with Omar

Most Data Engineering projects fail… not because of Spark.

شفت مشاريع Data Engineering متبنية بـ Spark و Airflow و Kafka — كل حاجة technically صح.
ومع ذلك، الداشبوردز دايمًا غلط، الأرقام مش متطابقة، وكل مرة اللوم على “data quality”.

الحقيقة؟
السيستم عمره ما كان متصمّم.
كان مجرد تجميع أدوات.

المشكلة مش في الـ tool.

المشكلة كانت في:

Requirements مش واضحة

Analytics مش فاهمة الفرق بين raw و curated

مفيش ownership حقيقي للبيانات

القرار الصح ماكانش إننا نزود tool جديدة.
القرار كان إننا نوقف كتابة كود، ونبدأ نسأل أسئلة صعبة:

يعني إيه raw data؟
إمتى تبقى curated؟
مين مسؤول لما الأرقام تطلع غلط؟

الـ trade-off؟
بداية أبطأ. اجتماعات أكتر. كود أقل في الأول.

بس إعادة بناء أقل بكتير بعد كده.

A Senior Data Engineer doesn’t design pipelines.
They design systems, ownership, and data contracts.

الـ tools بتيجي بعد كده.

لو فريق الداتا عندك بيعيد بناء pipelines أكتر ما بيحل مشاكل،
فإنت مش عندك مشكلة تقنية — إنت عندك مشكلة design.

السلسلة دي عن طريقة تفكير الـ senior engineers في بناء أنظمة الداتا، مش اختيار الأدوات.

#DataEngineering #SeniorDataEngineer #DataArchitecture #AnalyticsEngineering
#DataPipelines #BigData #DataPlatforms #EngineeringMindset

4 weeks ago | [YT] | 0