Data engineer
- השפלה
- Elad Software
- אומת כפעיל ·
תיאור
קצת על התפקיד: • השתלבות בצוות Data בפרויקטים מתקדמים בתחום ה-AI • קליטה, עיבוד וניתוח של כמויות גדולות של נתונים בשיתוף פעולה עם Data Scientists • תכנון ופיתוח תהליכי Data מורכבים וקריטיים בסביבות Cloud ו-On-Prem • פיתוח ואופטימיזציה של תהליכים לעיבוד והעברת Large Scale Data • עבודה עם Spark, Python וכלי Data Pipelines כגון Airflow ו-Kubeflow • עבודה בסביבות AWS ובטכנולוגיות Docker, Linux, CI/CD ו-Kubernetes מה אנחנו מחפשים? • לפחות 3 שנות ניסיון כ-Data Engineer – חובה • לפחות 3 שנות ניסיון ב-Python ובשפות Object-Oriented Programming – חובה • ניסיון מעשי עם Spark לעיבוד Large Scale Data – חובה • תואר במדעי המחשב, הנדסה, מתמטיקה או סטטיסטיקה – חובה • לפחות שנתיים ניסיון ב-AWS עם Athena, Glue, Step Functions, EMR, Redshift או RDS – יתרון משמעותי • ניסיון בתכנון, פיתוח ואופטימיזציה של פתרונות לעיבוד כמויות גדולות של נתונים, כולל Partitions ופורמטים כגון Parquet, Avro, HDF5 ו-Delta Lake • ניסיון עם Docker, Linux, CI/CD, Kubernetes וכלי Data Pipelines כגון Airflow ו-Kubeflow • הבנה של מושגים ותהליכים בתחום Machine Learning