Databricksでのデータ処理最適化

■プロジェクト名 商用車ロジスティクス可視化基盤のデータ処理最適化 ■プロジェクト概要 トラック製造販売における、車両輸送状況のリアルタイム可視化を目的とした業務用アプリケーションのパフォーマンス改善プロジェクトです。現在、車両から発信される膨大なGPSログの解析処理において、処理速度の遅延が課題となっております。そこで、Databricks等を用いてデータ処理基盤の抜本的なチューニングと改善案の実装を行っていただける方を探しております。 ＜想定される作業内容＞ ・Databricks（PySpark, Scala）環境のパフォーマンス最適化 ・大規模データ処理の実装・改修 ・Azureデータ基盤のパフォーマンス改善 ・保守・構成管理およびリファクタリング ■必要スキル ＜必須＞ ・Databricksでのコーディングスキル（PySpark, Scala） ・コードのチューニング経験 -Sparkクラスタの構造や処理方式ならびに各種最適化手法に関する知識・経験 ・大規模データを扱った経験 　-HadoopクラスタやSparkクラスタで数億行程度のデータを扱った経験 ＜尚可＞ ・データ基盤の構築・運用の経験 　-特にAzureのデータ基盤にかかる各種サービスの経験 ・Azureのインフラ知識 ・クエリチューニングのスキル -Transact-SQLでの複雑なロジックの実装および、SQL文・テーブル構造の最適化経験 ・スクリプティングスキル（Python, PowerShell） ・ソースコード管理の経験（GitHub） ■条件面 ・単価：スキル見合い（80～100万円程度、上振れでもご相談ください） ・精算：140-180（上下割） ・時期：3月～ ・作業場所：新川崎駅（元住吉駅、平間駅からもアクセスできます） 　　　　　　→最初の1ヶ月は週3出社、その後は週1出社予定 　　　　　　　※状況次第で変更になる可能性もあります ・募集人数：1名 ・面談回数：1回 ・商流：エンド→元請→弊社→貴社 ■備考 ・外国籍不可 ・商流制限なしですが、浅い方を優先する可能性があります