Xem nhanh
Bài toán
Shopee phát hiện nhiều dấu hiệu bất thường liên quan đến đơn hàng ảo và nghi ngờ có sự tham gia của tài xế của NJV nhằm trục lợi từ chính sách vận hành và phí giao hàng. NJV cần làm gì đó để bác bỏ lập luận của Shopee, nếu không thì Shopee sẽ yêu cầu miễn cước cho những đơn hàng mà họ phát hiện được. Việc này ảnh hưởng trực tiếp đến lợi nhuận và danh tiếng của NJV.
Cách giải chính là phát triển một baseline fraud detection system để phát hiện ra những đơn hàng ảo và shop ảo rồi gửi cho Shopee mỗi ngày trước khi NJV giao, đưa trách nhiệm cho Shopee gắn flag đơn nào tiếp tục giao, đơn nào không giao nữa trong danh sách đơn ảo đó.
Vai trò của tôi
- Exploratory data analysis để tìm fraud pattern.
- Thiết kế heuristic scoring rules.
- Triển khai pipeline, tự động generate danh sách đơn nghi ngờ và gửi sang Shopee trước khi giao hàng.
Những người khác bao gồm: team BI, team compliance.
Khó khăn và giải pháp
Làm sao hiểu được hành vi của người gian lận ở từng vị trí
Hiểu được hành vi của những kẻ gian lận sẽ giúp chúng tôi suy luận ra thuật toán phù hợp để ngăn chặn họ. Sau nhiều buổi trao đổi với compliance và BI team, tôi tổng hợp domain knowledge và chuyển hoá chúng thành các giả thuyết có thể kiểm chứng bằng dữ liệu.
Tài xế được lợi ích gì và làm thế nào
Tài xế sẽ nhận được nhiều thu nhập hơn từ việc giao nhiều đơn, đạt KPI về số lượng, tỷ lệ giao ontime, thu nhập / đơn sẽ tăng nếu hàng cồng kềnh.
Họ sẽ tự mở shop trên Shopee và dùng nhiều tài khoản ảo để mua hàng, hầu hết điểm giao hàng hoặc hoàn hàng sẽ quanh khu vực trạm của tài xế.
Điều này sẽ dẫn đến sự bất thường về mặt thống kê là một shop chỉ bán hàng cho một khu vực.
Người bán được lợi ích gì và làm thế nào
Các shop mới cần lượt review ảo để tăng uy tín, họ sử dụng các dịch vụ tăng review hoặc tự làm, đặc điểm chung là cần nhiều tài khoản ảo mua hàng.
Điểm giao hàng cũng thường tập trung vào một khu vực, tương tự như tài xế.
Phát triển thuật toán baseline
- Dựa vào email ảo của người mua hoặc người bán. Một danh sách domain ảo được bổ sung thủ công và tự động bằng cách xác định nhà cung cấp domain giá rẻ.
- Một shop không thể chỉ bán hàng cho một khu vực được, idea này nhân bản thành nhiều layer tỉnh, quận, phường.
- Tỷ lệ khách hàng cùng quận, phường với shop sẽ cao nếu shop tự tạo đơn một cách lộ liễu.
- Một khách hàng bình thường sẽ không chỉ mua của một shop nhiều đơn liên tục trong thời gian ngắn.
- Một số đối tượng khai báo kích thước bất thường (≥150cm) để tăng dimensional weight nhằm hưởng mức phí vận chuyển hoặc incentive cao hơn.
Đảm bảo mức độ chính xác của model
Qua quá trình manual review khoảng 500 mẫu bởi BI team và compliance team, tỷ lệ đơn được đánh giá là thực sự bất thường đạt khoảng 85%. Công thức đánh giá:
Team của tôi quyết định sử dụng model này để tự điều chỉnh được các thuật toán và dễ giải thích vì sao một đơn hay một shop bị phát hiện là gian lận hơn.
Bảo dưỡng model
Khoảng 3 tháng đầu thì tôi vẫn theo dõi kết quả, điều chỉnh các mức threshold, bổ sung thuật toán.
Sau đó thì khi nào các bạn trong team KAM cung cấp hành vi mới thì tôi bổ sung thuật toán.
Kết quả
Shopee chỉ gắn flag không giao được vài đơn trong thời gian đầu rồi sau đó việc này cũng lắng xuống, NJV bảo toàn uy tín và tránh được thiệt hại về lợi nhuận.
Sau đó model này cũng được áp dụng tiếp cho TikTok để dự phòng trường tương tự.
Theo thống kê trước khi đóng dự án này, hệ thống đã flag khoảng 7.4 triệu đơn có dấu hiệu gian lận trong suốt thời gian vận hành (khoảng 180K đơn / tháng) cho Shopee và TikTok.