Տվյալների մասնագետ / ինժեներ
Աշխատանքի նկարագիր
Մենք փնտրում ենք տվյալների մասնագետ / ինժեներ, ով կհավաքի, կդասակարգի, կգործարկի և կհետազոտի տվյալների բազան։ Հիմնական ուշադրությունը պետք է կենտրոնացնել նշված նպատակների համար օպտիմալ լուծումներ ընտրելու վրա։ Հաջորդ քայլը տվյալ լուծումների ապահովումը, իրագործումն ու վերահսկումն է։
Աշխատանքային պարտականություններ
- Ընտրել և ինտեգրել ցանկացած տեսակի մեծ տվյալների գործիքներ, որոնք անհրաժեշտ են պահանջվող հնարավորություններն ապահովելու համար
- Իրականացնել ETL գործընթացը
- Վերահսկել գործընթացը, առաջարկել և ներկայացնել ենթակառուցվածքում անհրաժեշտ փոփոխությունները
- Սահմանել տվյալների պահպանման քաղաքականությունը
Պահանջվող հմտություններ
- Web scraping-ի փորձառություն, հատկապես՝ Beautiful Soup, Scrapy, Requests, LXML, Selenium գրադարաններով
- Ընդհանուր պատկերացում, թե ինչպես օգտագործել Proxies և ինտեգրել տվյալները տվյալների բազայում
- Համակարգչային ենթակառուցվածքի սկզբունքների խորը պատկերացում
- Hadoop կլաստերի և ներառվող բոլոր ծառայությունների կառավարում
- Կլաստերի գործարկման հետ կապված ցանկացած ընթացիկ խնդրի լուծման ունակություն
- Hadoop v2-ի, MapReduce-ի, HDFS-ի մասնագիտացում
- Հոսքի վերամշակման համակարգերի կառուցման փորձ՝ օգտագործելով լուծումներ, ինչպիսիք են՝ Storm-ը կամ Spark-Streaming-ը
- Մեծ տվյալների հարցման գործիքների (Pig, Hive, Impala) լավ տիրապետում
- Spark-ի փորձառություն
- Տվյալների տարբեր աղբյուրներից տվալների ինտեգրման փորձ
- NoSQL-ի դատաբազաների հետ աշխատելու փորձ, ինչպիսիք են՝ HBase, Cassandra, MongoDB
- Տարբեր ETL տեխնիկաների (օր․՝ Flume) իմացություն
- Տարբեր հաղորդակցման միջոցներով աշխատելու փորձ, օր․՝ Kafka կամ RabbitMQ
- Big Data ML գործիքների տիրապետում, ինչպես օրինակ՝ Mahout, SparkML, կամ H2O
- Lambda Architecture-ի լավ իմացություն՝ ներառյալ բոլոր առավելություններն ու թերությունները
- Cloudera/MapR/Hortonworks-ի հետ աշխատելու փորձառություն
Հմտություններ՝
- Python
- Beautiful Soup
- Scrapy
- Selenium
- Requests
- LXML
- MySql
- (RestfullAPI)
Եթե Դուք հետաքրքրված եք ծրագրավորման ոլորտով և կարծում եք՝ Ձեր ունակություններով ու հմտություններով համապատասխանում եք այս հաստիքին, ապա ուղարկեք Ձեր ինքնակենսագրականը career@aist.global էլ․ փոստի հասցեին։ Խնդրում ենք՝ վերնագիր (subject line) դաշտում նշել նաև հաստիքի անվանումը՝ «Տվյալների ինժեներ»։
Տեսնել ավելին