Báo cáo công việc tuần

Chic Data — Tổng kết tuần

Giai đoạn: 01/06 – 08/06/2026 · Tổng hợp từ lịch sử Git, transcript Claude và thay đổi cơ sở dữ liệu

Người thực hiện: jc-hello

Ngày lập: 08/06/2026

Phạm vi: 5 dự án

Tổng quan tuần

Tuần này tập trung vào tái cấu trúc cơ sở dữ liệu (chuẩn hoá schema) cho hệ thống dữ liệu địa điểm — đây là phần việc lớn nhất và quan trọng nhất — song song với việc nâng cấp crawler đa nền tảng, hoàn thiện CRM lead/AI comment, và đưa vào vận hành pipeline đẩy sự kiện sang CheckEvent.

~78

commit trong tuần

dự án hoạt động

đợt chuẩn hoá DB lớn

nền tảng crawler mới (Threads, Etsy)

Khối lượng commit theo dự án:

chicgo_data DB

chic_crm CRM

chicdata_dashboard Báo cáo

checkevent_data Sự kiện

chicnchill_data

1. Cơ sở dữ liệu cải tiến gì? — trọng tâm của tuần

Trong tuần đã thực hiện hai đợt chuẩn hoá schema lớn trên kho dữ liệu địa điểm (chicgo_data + chicdata_dashboard dùng chung 1 Postgres production). Triết lý xuyên suốt: mỗi loại dữ liệu chỉ có duy nhất một nơi lưu và một hàm chuẩn hoá (single source of truth), giảm trùng lặp và loại bỏ logic xử lý rẽ nhánh.

Nguyên tắc an toàn được áp dụng: mọi migration đều theo kiểu cộng thêm trước (additive) → backfill → mới drop cột cũ; có backup pg_dump trước mỗi lần cutover; và mọi ghi/xuất dữ liệu đều bị validator (JSON Schema + kiểm tra ràng buộc) chặn nếu sai. Đảm bảo không mất dữ liệu.

1.1 Chuẩn hoá schema địa điểm 03/06

Gom các trường rời rạc, đặt tên gây hiểu lầm về một cột chuẩn duy nhất:

Khái niệm	Trước đây	Sau khi cải tiến	Lợi ích
Giờ mở cửa	2 cột text: `opens_at` + `opening_hours`	1 cột JSONB `opens_at` = {raw, is_24h, schedule Mon–Sun}	Lịch đã parse sẵn; gộp thông minh, không mất lịch chi tiết khi recrawl
Danh mục phụ	3 nguồn rải rác: `fsq_category_ids`, `sub_segments`, google_categories	1 cột `sub_categories` (gộp & khử trùng) — đã chuyển 9.165 dòng	Tên cũ gây hiểu lầm; nay thống nhất, không mất dữ liệu khi recrawl
Website & liên kết	2 trường: `website` + `bd_links`	1 mảng JSONB `links` [{url, label, added_by}]	Một danh sách duy nhất, khử trùng theo URL, giữ nguồn gốc (crawler/BD/user)
Khu vực hành chính	text thô `admin_division`	chuẩn hoá `administrative_area` theo quốc gia	Lọc/nhóm theo địa giới chính xác hơn
Trường thô	cột `raw` (payload tuỳ ý)	đã bỏ hẳn	Các trường có cấu trúc đã đủ; giảm rác lưu trữ
Đánh giá (reviews)	tách theo nguồn (v1/v2, community)	1 mảng `reviews[]` duy nhất	Đơn giản hoá, một nguồn sự thật cho review

1.2 Schema giá hợp nhất (Unified Price Schema) 07–08/06

Đợt cải tiến lớn nhất: trước đây giá nằm rải ở 4 nơi khác nhau (bảng quan hệ prices, price_range của Google, hotel_prices của OTA, price_sources của ShopeeFood) với mỗi nơi một định dạng. Nay gom tất cả về một cột JSONB places.prices theo một cấu trúc cây PriceItem đệ quy duy nhất.

Một định dạng cho mọi loại giá — giá khách sạn (OTA), món ăn/menu ShopeeFood (cây danh mục → món), khoảng giá Google… đều cùng kiểu dữ liệu, không còn logic rẽ nhánh.
Có JSON Schema chuẩn + validator kiểm tra ràng buộc (min ≤ avg ≤ max; tiền là số nguyên VND ≥ 0; mỗi địa điểm đúng 1 nguồn primary) — chặn ngay khi ghi/xuất.
Không mất metadata — toàn bộ enrichment ShopeeFood (rating, brand, ảnh, cuisine, giờ mở, giao hàng, thanh toán…) được giữ trong attributes của từng món.
Đã bỏ khoảng giá Google vì dữ liệu không tin cậy (lẫn USD, không scale, rác) — tránh làm sai số liệu.
Có script backfill chuyển dữ liệu cũ sang cây mới + script drop cột cũ chạy sau khi cutover; chicdata_dashboard đã được trỏ lại đọc theo schema mới (đồng bộ lockstep với DB).

Tài liệu thiết kế & kế hoạch đi kèm: docs/.../2026-06-07-unified-price-schema-design.md và plan tương ứng. Backup: backups/pre_unified_price_20260608-092936.dump.

2. Báo cáo cho chị (Dashboard) — chicdata_dashboard

Đây là công cụ báo cáo trực quan để chị theo dõi dữ liệu & hiệu suất. Tuần này dashboard được nâng cấp đáng kể về cả số liệu lẫn UI/UX:

Báo cáo hiệu suất BD — thêm bộ lọc theo kỳ tuần / tháng / năm và bộ chọn từng BD; biểu đồ hero hiển thị BD.
Lọc & sắp xếp địa điểm theo quận/huyện và danh mục; redesign thanh filter cho trang Places và hàng đợi kiểm duyệt (verify-queue).
Đồng bộ với schema DB mới — dashboard đã đọc giá từ cây places.prices, dựng lại panel ShopeeFood, cập nhật theo các đổi tên cột (sub_categories, links, opens_at JSONB). Đây là phần bắt buộc đi kèm các thay đổi DB ở mục 1.
UI/UX — nền tối sạch, hiển thị ID gọn, tối ưu trang chậm, xử lý trang 404 cho địa điểm, phân trang.
Module sự kiện (CheckEvent) — bảng sự kiện có lọc/sắp xếp, side-over xem chi tiết, hỗ trợ nhiều môi trường (key theo env).

Báo cáo dạng file để chị xem & đối chiếu

Field Mapping Report — reports/field-mapping-report-2026-06-03.html: bảng đối chiếu toàn bộ trường dữ liệu địa điểm sau chuẩn hoá (rất hữu ích để chị nắm "trường nào đổi thành gì").
Trang docs công khai của CRM (/docs): tài liệu giải thích quy trình crawl & cách tính điểm lead — chị/đội sale có thể tự đọc để hiểu hệ thống chấm điểm.

3. Chic CRM — lead intelligence & AI comment

Nền tảng tự crawl Facebook Groups + Threads.com, chấm điểm lead bằng AI và quản lý pipeline bán hàng. Tuần này:

Crawler Threads.com — thêm hẳn nền tảng mới: tìm theo keyword, auth giống Facebook (Playwright cookie), sửa bug parse timestamp (unix → datetime) để bài Threads lưu đúng vào DB.
Keyword đa nền tảng — một keyword có thể chạy đồng thời trên nhiều nền tảng (mảng platforms); thêm icon nền tảng trong UI.
Đại tu hệ thống AI comment — gộp pipeline 2 bước (intent + gợi ý) thành 1 lần gọi; đưa comment AI hiển thị inline ngay trong bảng posts/leads (bỏ tab "Gợi ý" riêng).
Batch API — gửi tất cả post đủ điều kiện trong 1 request/chu kỳ thay vì N request → giảm độ trễ.
Phát hiện trùng lặp — hiển thị cảnh báo bài trùng ở mọi nơi (bảng lead, chi tiết post, timeline) kèm link về bài gốc.
Trang tài liệu /docs — site docs công khai phong cách Apple (sạch, không icon): Crawl Flows, hướng dẫn scraper Facebook, cơ chế AI Scoring (thang điểm 0–100, từ điển tag).

4. CheckEvent Data — pipeline đẩy sự kiện

ETL crawl sự kiện từ các sàn vé (TicketGo, Ticketbox) và đẩy sang API CheckEvent. Tuần này đưa vào vận hành tự động:

API client CheckEvent — auth bearer token, upsert tổ chức, tạo & publish sự kiện; thêm hàm xoá sự kiện và tuỳ chọn force-push.
Cron job chạy mỗi 2 giờ theo thứ tự đảm bảo: đẩy pending → crawl nguồn mới → geocode địa chỉ thiếu → đẩy sự kiện vừa crawl; có thống kê theo từng nguồn.
Map CE ID & geocoding — ánh xạ ID sự kiện đã đồng bộ + geocode địa chỉ venue (Track-Asia API, có backoff khi rate-limit).
Adapter đa nguồn — Ticketbox (Algolia) + TicketGo (scrape HTML), kèm chuẩn hoá danh mục/tỉnh thành.

5. ChicnChill Data — crawler quà tặng/decor

Crawler 50 reviews — bổ sung pipeline crawl đánh giá để làm giàu rating/social proof cho sản phẩm (nối tiếp các tuần trước: Etsy vượt DataDome, chuẩn hoá danh mục bằng vision classification).

Tổng kết & định hướng

Điểm nhấn tuần: nền tảng dữ liệu đã được chuẩn hoá triệt để (giá, giờ mở cửa, danh mục, liên kết về một mối duy nhất, có validator chặn lỗi). Đây là nền móng để báo cáo & dashboard cho chị chạy chính xác và dễ mở rộng về sau.

Theo dõi tiếp: sau khi cutover schema giá, cần tiếp tục giám sát dashboard & các export đọc đúng cây places.prices (vì DB và dashboard dùng chung Postgres production, mọi thay đổi schema phải đổi code + redeploy đồng bộ).