Báo cáo công việc tuần

Chic Data — Tổng kết tuần

Giai đoạn: 08/06 – 15/06/2026 · Tổng hợp từ lịch sử Git và transcript phiên làm việc Claude của từng dự án

Người thực hiện: jc-hello

Ngày lập: 15/06/2026

Phạm vi: 3 dự án chính + 1 đang triển khai

Tổng quan tuần

Sau tuần trước tập trung thiết kế & chuẩn hoá schema, tuần này là tuần đưa vào vận hành (go-live) và tự động hoá làm giàu dữ liệu. Ba việc lớn: (1) đẩy Schema Giá Hợp Nhất lên production và đồng bộ dashboard cho chị; (2) xây dựng pipeline làm giàu dữ liệu địa điểm bằng AI (Perplexity) cùng crawler đánh giá đáng tin cậy hơn; và (3) khởi tạo dự án mới LLM Call Service — cổng gọi AI dùng chung cho cả hệ thống.

~21

commit trong tuần

dự án hoạt động chính

đợt go-live schema giá lên production

dự án mới (LLM Call Service)

Khối lượng commit theo dự án:

chicgo_data Dữ liệu/AI

chicdata_dashboard Báo cáo

llm_call Mới

—

chicnchill_data Đang làm

1. Đưa Schema Giá Hợp Nhất lên production & báo cáo cho chị — chicdata_dashboard

Tuần trước đã thiết kế xong Schema Giá Hợp Nhất (gom giá từ 4 nơi rải rác về một cây places.prices duy nhất). Tuần này phần việc đó được merge và đưa lên chạy thật trên dashboard — công cụ chị dùng để theo dõi dữ liệu & hiệu suất.

Nguyên tắc đồng bộ lockstep: vì chicgo_data và chicdata_dashboard dùng chung một Postgres production, mọi thay đổi schema phải đổi code + redeploy đồng thời. Đợt này đã hoàn tất cả hai phía nên dashboard đọc đúng cây giá mới mà không gãy.

Hiển thị giá theo cây chuẩn — dashboard chuyển sang đọc trực tiếp cây places.prices (kiểu JSONB), dựng lại panel ShopeeFood; bỏ phụ thuộc vào bảng cũ price_sources.
Kiểu dữ liệu giá đệ quy (PriceItem) — khai báo lại kiểu dữ liệu cho danh mục → món lồng nhau, phục vụ menu nhiều cấp.
Tổng hợp rating ứng dụng — cải thiện cách gộp điểm đánh giá từ các app và tối ưu cấu trúc truy vấn cho nhanh hơn.
Hiển thị danh mục phụ — thêm subCategories vào ô thông tin địa điểm và khung kiểm duyệt (verify drawer).
Đổi tên cho rõ nghĩa — đổi bd_l2_data → bd_data đồng bộ trên toàn bộ component & kiểu dữ liệu.
Đăng nhập một lần (SSO) 08/06 — đăng nhập qua Chic Portal (OIDC SSO) và tự động đăng nhập khi mở trong Lark Workplace: chị/đội mở dashboard trong Lark là vào thẳng, không cần đăng nhập lại.

2. Làm giàu dữ liệu địa điểm bằng AI — chicgo_data

Đây là "nhà máy" thu thập & làm giàu dữ liệu địa điểm đổ vào Postgres production. Tuần này tập trung tự động hoá việc làm giàu dữ liệu bằng AI và lấy đánh giá (reviews) đáng tin cậy hơn.

2.1 Pipeline làm giàu dữ liệu bằng Perplexity (AI)

Lấy giá thị trường bằng AI — script gọi Perplexity API để thu thập & chuẩn hoá dữ liệu giá thị trường theo bộ hướng dẫn riêng (bd_perplexity_prices.txt), thay cho việc nhập tay.
Backfill các trường L2 — nạp bổ sung các trường nâng cao do AI sinh vào bảng places: nhu cầu khách hàng (customer_intents), sub_categories, từ khoá, nguồn tham chiếu — khớp theo ID hoặc tên + địa chỉ.
Pipeline làm giàu đầu-cuối — quy trình một mạch: giá → danh mục → phân loại bằng LLM, có chế độ --from-db để chỉ chạy trên các địa điểm đã được BD xác minh.
Force-fill danh mục phụ — nạp cưỡng bức places.sub_categories từ dữ liệu JSON đầu vào khi cần.
Bộ prompt phân loại theo danh mục — thêm ~13 prompt mẫu (cafe, nhà hàng, khách sạn, sự kiện, workshop, rạp phim…) để hướng AI phân loại địa điểm nhất quán; có script nạp prompt từ Excel vào bảng category_prompts.

2.2 Chống nghẽn & theo dõi vận hành (rate-limit + logging)

Tự xử lý khi bị chặn tốc độ (HTTP 429) — phát hiện rate-limit của Perplexity, tự chờ rồi thử lại; rút thời gian chờ từ 10 phút → 5 phút → 60 giây để pipeline phản hồi nhanh hơn mà vẫn an toàn.
Ghi log chuẩn — chuyển từ print() sang module logging (mức INFO/WARNING/ERROR kèm thời gian) để dễ giám sát và truy vết sự cố.

2.3 Crawler đánh giá Google Maps tin cậy hơn

Lấy review qua API nội bộ của Google Maps (ListUgcPosts) thay cho cách bóc tách HTML cũ → ổn định & ít gãy hơn; kèm parser bóc dữ liệu có cấu trúc (số sao, phản hồi của chủ quán) và unit test kiểm chứng.
Chạy lại an toàn — script cho phép tiếp tục phân loại danh mục các địa điểm đã xác minh sau khi tạm dừng, chạy lặp lại không sợ trùng/hỏng dữ liệu.

2.4 Báo cáo chất lượng dữ liệu

Báo cáo chất lượng dạng HTML — sinh báo cáo về độ phủ & phát hiện vấn đề của dữ liệu (build_smoke50_quality_report.py) để dễ rà soát chất lượng trước khi dùng.

3. LLM Call Service — dự án MỚI: cổng gọi AI dùng chung

Khởi tạo trong tuần (13/06). Đây là một cổng trung tâm để mọi dịch vụ nội bộ gọi tới các nhà cung cấp AI (Perplexity, OpenAI/GPT, Grok…) qua một API thống nhất, thay vì mỗi nơi tự lo cấu hình & khoá riêng.

Giải quyết vấn đề gì — gom việc xác thực, cấu hình khoá API và định dạng request về một chỗ; các service khác chỉ cần gọi một API duy nhất.
Công nghệ — backend FastAPI (Python), trả kết quả dạng stream thời gian thực (SSE), xác thực bằng token qua header X-API-Token; triển khai trên Railway có healthcheck.
Nhà cung cấp — Perplexity đã chạy đầy đủ; OpenAI (GPT) và Grok đã dựng khung (registry), sẽ hoàn thiện sau.
API chính — GET /health, GET /services (liệt kê nhà cung cấp & trạng thái), POST /ask (gọi & stream), kèm tài liệu /docs.md và ví dụ dùng bằng curl / Python / Node.

4. ChicnChill Data — đang triển khai (chưa commit)

Tiếp nối việc làm giàu sản phẩm quà tặng/decor trên Etsy. Phần này đang dang dở trong thư mục làm việc, chưa commit nên ghi nhận ở mức tiến độ:

Tích hợp ehunt.ai — client gọi API ehunt.ai (xác thực token, lưu trạng thái token để khỏi xin lại), bổ sung bảng etsy_ehunt_data lưu chỉ số sản phẩm (ảnh, giá gốc/giảm, nhãn bestseller, lượt bán, tồn kho, review, tags, xu hướng…).
Backfill & nối vào crawler — script làm giàu lại sản phẩm Etsy đang có và thêm cờ --ehunt để tự làm giàu khi crawl mới; kèm smoke-test và các npm script tiện dùng.

Tổng kết & định hướng

Điểm nhấn tuần: chuyển từ "thiết kế" sang "vận hành thật" — Schema Giá Hợp Nhất đã lên production và dashboard cho chị đọc đúng dữ liệu mới; song song là tự động hoá làm giàu dữ liệu bằng AI (Perplexity) với cơ chế chống nghẽn & báo cáo chất lượng. Dự án mới LLM Call Service đặt nền cho việc dùng AI tập trung, gọn gàng về sau.

Theo dõi tiếp: (1) giám sát dashboard & các export sau khi cây giá lên production; (2) hoàn thiện hai nhà cung cấp GPT & Grok trong LLM Call Service; (3) commit và đưa phần ehunt.ai của ChicnChill vào quy trình chính thức.