Phân biệt DA, DE, DS

Published by

on

(nội dung chat GPT, tôi biên soạn lại)

1. Nhiệm vụ

Vai tròNhiệm vụ
DS – Phân tích số liệu và kiểm định giả thuyết.
– Xây dựng và huấn luyện model machine learning.
– Dùng dữ liệu để giải quyết vấn đề doanh nghiệp.
DE– Thiết kế và quản lí pipelines.
– Đảm bảo dữ liệu sạch, truy cập được, và mở rộng được.
– Tạo và quản lí lưu trữ dữ liệu.
– Tích hợp dữ liệu từ nhiều nguồn qua quá trình ETL (Extract, Transform, Load)
DA – Thực thi EDA (Exploratory data analysis).
– Tạo dashboard và report.
– Hỗ trợ đưa ra quyết định với data-driven recommendations.
– Xác định xu hướng, quy tắc trong dữ liệu

2. Kỹ năng và công cụ

MảngDSDEDA
Lập trìnhPython, RPython, Java, ScalaPython, SQL
Xử lí dữ liệuPandas, NumPyApache Spark, Hadoop, AWS GlueBasic Pandas and Excel
CSDLSQLSQL, NoSQLSQL
Visualization tools Matplotlib, SeabornxTableau, PowerBI

3. Liên hệ ?

Ông DE tìm dữ liệu thô, xử lí dữ liệu, lưu trữ trong một kho (warehouses/data lakes).

Đến ông DS, ông này làm sạch dữ liệu cho phân tích nâng cao, chế ra model thống kê/machine learning để giải quyết vấn đề.

DA thì xử lí dữ liệu và viết báo cáo, dashboards và vẽ biểu đồ cho mấy boss xem.

Leave a comment

Design a site like this with WordPress.com
Get started