Workflows
Khó⏱ 3–6 giờ🔧 3 AI Agent
Chuẩn hóa và làm sạch dữ liệu đa nguồn vào Data Warehouse
Quy trình phát hiện lỗi sai định dạng, thiếu dữ liệu hoặc bản ghi trùng lặp từ nhiều file CSV, Excel và cơ sở dữ liệu cũ. AI tự động suy luận dữ liệu khuyết thiếu và chuẩn hóa cấu trúc bảng trước khi nạp vào kho dữ liệu.
Phù hợp với: Data Engineer và Data Analyst sử dụng hàng ngày để xử lý dữ liệu thô từ các phòng ban kinh doanh gửi về.
Bình chọn nếu workflow này hữu ích
Yêu cầu kiến thức kỹ thuật, API/automation. Nên dành nửa ngày.
Video hướng dẫn
Chưa có video hướng dẫn riêng cho workflow này.
Tìm video liên quan trên YouTube Chuẩn bị trước khi bắt đầu
- Tài khoản của các AI Agent bên dưới (free tier là đủ để chạy thử).
- Một công cụ liên kết tự động: Zapier / Make.com / n8n.
- Nguồn dữ liệu đầu vào: Google Sheet, Notion, Airtable hoặc API.
- 30–60 phút thời gian setup lần đầu, sau đó workflow tự chạy.
AI Agent sử dụng
Click vào mỗi AI Agent để xem hướng dẫn, giá và link tải về.
Tag liên quan
Hướng dẫn setup chuyên sâu
1. Cài đặt Airbyte server và kết nối source connectors (Google Sheets, PostgreSQL) và destination (S3/GCS).
2. Lấy API key từ SolarCompileLabs để gọi dịch vụ schema validation và anomalous data detection.
3. Cài đặt MLflow server để ghi lại (log) độ chính xác của các LLM transform prompts qua từng phiên bản xử lý.
4. Cấu hình quy tắc làm sạch: tự động format số điện thoại sang chuẩn E.164, chuẩn hóa địa chỉ hành chính theo mã quận/huyện.
5. Tạo bảng 'Dead Letter Queue' để lưu lại các dòng dữ liệu AI không thể tự sửa để nhân viên xử lý thủ công.
6. Đảm bảo chạy pipeline vào khung giờ thấp điểm (đêm) để tối ưu chi phí hạ tầng và hạn chế nghẽn băng thông.
Hướng dẫn setup chi tiết
- 1
Thu thập và phân tách tệp dữ liệu thô
Airbyte kéo dữ liệu định kỳ từ các nguồn rời rạc (CRM, ERP, POS, Google Sheets) vào Data Lake lưu trữ tạm.
- 2
Phát hiện dị biệt và chuẩn hóa thông tin
SolarCompileLabs phát hiện các trường dữ liệu sai chuẩn (ví dụ số điện thoại sai cú pháp, tên tỉnh thành không khớp).
- 3
Theo dõi phiên bản prompt và đổ dữ liệu
MLflow Prompts quản lý các quy tắc biến đổi schema bằng LLM và ghi dữ liệu đã làm sạch vào BigQuery/Snowflake.
Hoàn thành tất cả các bước theo thứ tự để đảm bảo workflow chạy đúng.
Kiểm tra giới hạn miễn phí (free tier) của từng AI Agent trước khi chạy hàng loạt.
Kết quả bạn sẽ đạt được
- Tiết kiệm 60–80% thời gian xử lý lặp lại so với làm thủ công.
- Workflow tự chạy theo lịch (mỗi giờ / mỗi ngày), không cần can thiệp.
- Có thể nhân bản và tuỳ biến cho nhiều use case khác nhau.