data Engineer

לארגון ציבורי גדול במרכז הארץ דרוש.ה data Engineer. המשרה כוללת: פיתוח ותחזוקה של תהליכי ETL מורכבים באמצעות Nifi Apache ו Apache spark עבודה עם Flink Apache לפיתוח תהליכי עיבוד נתונים בזמן אמת ניהול, עיבוד וטיוב נתונים באמצעות ElasticSearch כתיבת שאילתות מורכבות וייעול ביצועים על בסיסי נתונים רלציוניים ולא רלציוני ים פיתוח פתרונות דאטה וכתיבת קוד ב Python עבודה צמודה עם צוותי BI, data Science ופיתוח מערכות מידע בארגון. דרישות: ניסיון של 4 שנים לפחות כ data Engineer - תוך עבודה משמעותית באחד או יותר מהשירותים הבאים: Apache Spark NiFi Apache Flink Apache ניסיון משמעותי בפיתוח בשפת Python לעיבוד נתונים ובניית data Flows הבנה בארכיטקטורת נתונים ותשתיות Big Data כולל אתגרים ופתרונות שליטה מלאה ב - SQL יתרון משמעותי לניסיון בסביבות השפות והכלים: MongoDB וכתיבת Aggregation Piplines כתיבת שאילתות SQL מורכבות ואופטימיזציה של ביצועים שירותי Cloudera בסביבת CDP Kafka מודולי AI ותהליך שילובם בפתרונות הכרות עם פיתוח לעולם ה Micro-Services בכלל ו OpenShift בפרט עבודה עם כלי ניהול תצורה בפיתוח המשרה מיועדת לנשים ולגברים כאחד.