(nội dung chat GPT, tôi biên soạn lại)
1. Nhiệm vụ
| Vai trò | Nhiệm vụ |
| DS | – Phân tích số liệu và kiểm định giả thuyết. – Xây dựng và huấn luyện model machine learning. – Dùng dữ liệu để giải quyết vấn đề doanh nghiệp. |
| DE | – Thiết kế và quản lí pipelines. – Đảm bảo dữ liệu sạch, truy cập được, và mở rộng được. – Tạo và quản lí lưu trữ dữ liệu. – Tích hợp dữ liệu từ nhiều nguồn qua quá trình ETL (Extract, Transform, Load) |
| DA | – Thực thi EDA (Exploratory data analysis). – Tạo dashboard và report. – Hỗ trợ đưa ra quyết định với data-driven recommendations. – Xác định xu hướng, quy tắc trong dữ liệu |
2. Kỹ năng và công cụ
| Mảng | DS | DE | DA |
| Lập trình | Python, R | Python, Java, Scala | Python, SQL |
| Xử lí dữ liệu | Pandas, NumPy | Apache Spark, Hadoop, AWS Glue | Basic Pandas and Excel |
| CSDL | SQL | SQL, NoSQL | SQL |
| Visualization tools | Matplotlib, Seaborn | x | Tableau, PowerBI |
3. Liên hệ ?
Ông DE tìm dữ liệu thô, xử lí dữ liệu, lưu trữ trong một kho (warehouses/data lakes).
Đến ông DS, ông này làm sạch dữ liệu cho phân tích nâng cao, chế ra model thống kê/machine learning để giải quyết vấn đề.
DA thì xử lí dữ liệu và viết báo cáo, dashboards và vẽ biểu đồ cho mấy boss xem.
Leave a comment