Nhìn con AI Chat phản hồi mượt mà hiện tại thì tưởng đơn giản, chứ lúc bắt tay vào code thì team dev bị nó vật cho lên bờ xuống ruộng. Đợt này ngồi viết lại devlog để kể cho ae nghe mấy bài toán khá khoai mà team đã gặp phải và cách xử lý.
Bài toán bắt đúng intent mà khum bị ảo giác
Cái khó nhất của AI lên plan khum phải là chat chém gió, mà là làm sao biến đống text tự nhiên của user (kiểu "tuần này t muốn chạy 20km nhưng chỉ rảnh tối 2-4-6") thành đúng cấu trúc dữ liệu gồm metric, targetValue, deadline và lịch trình phân bổ chuẩn chỉ để đẩy vào store.
Lúc đầu em nó rất hay bị hallucinate: tự sinh ra deadline ở quá khứ, hoặc tự bỏ qua mấy ngày nghỉ mà user đã dặn trước. Team phải viết lại toàn bộ bộ heuristics validation và ép kiểu structured object chặt chẽ. Dù AI có trả về kiểu gì thì hệ thống vẫn kiểm tra lại ranh giới thời gian và chặn toàn bộ trường hợp sai logic trước khi khởi tạo mục tiêu.
Model chính bị dính rate limit hoặc nghẽn gateway
Dùng AI thì sợ nhất là cảnh gateway bị quá tải hoặc trả về lỗi 429/500, làm user ngồi nhìn màn hình quay quay rồi tưởng app bị crash.
Để trị dứt điểm trò này, team đã xây dựng cơ chế xoay tua model theo tier. Khi model ưu tiên gặp sự cố hoặc phản hồi chậm, hệ thống sẽ tự động fallback sang model kế tiếp trong danh sách xoay tua chỉ trong vài phần trăm giây mà user khum hề hay biết. Dù một model bị out thì cuộc hội thoại vẫn tiếp diễn liền mạch.
Đồng bộ draft và multi-turn chat khum làm rác storage
Khi làm thanh prompt ở trang chủ kết hợp popup chat nổi xuyên suốt dashboard, vấn đề đau đầu nữa là quản lý state.
Nếu user gõ một đoạn dài ở trang chủ rồi bấm gửi, làm sao để mở popup chat lên mà vẫn giữ nguyên prompt, tiếp tục trao đổi đa chiều mà khum bị tạo hàng loạt session rác trong bộ nhớ? Team đã tách biệt rõ ràng giữa active draft và persistent chat history, chỉ khi cuộc trò chuyện tạo ra kết quả thực sự thì mới ghi nhận, giúp app luôn nhẹ và khum bị memory leak.
Bể plan và bài toán replan hông phán xét
Một vấn đề rất thực tế là user bị miss check-in. Lúc đầu AI toàn cố ép user bù gấp đôi vào ngày hôm sau, làm lịch trình bị quá tải và vỡ trận tiếp.
Team đã phải ngồi căn chỉnh lại logic replanner: dựa trên vận tốc thực tế và số ngày còn lại để chia đều lại khối lượng theo thuật toán cân bằng, giúp user dễ thở hơn thay vì cứ dồn cục vào một ngày.
Nhìn chung thì làm AI Chat cho ứng dụng quản trị mục tiêu khác hẳn với làm chatbot hỏi đáp thông thường vì phải gắn liền với toán học và logic hệ thống. Anh em vào test thử rồi cho team xin feedback nhé.
