CEO Coinbase: Công ty giảm gần một nửa chi tiêu AI nhờ tối ưu mặc định, định tuyến, lưu đệm

CEO Coinbase Brian Armstrong cho biết công ty đã giảm gần một nửa chi tiêu cho AI sau khi tối ưu hạ tầng, dù mức sử dụng token tăng mạnh.

Ông nói trên X rằng kết quả đến từ việc chỉnh mặc định mô hình, định tuyến tác vụ, tăng hiệu quả bộ nhớ đệm và giảm lãng phí ngữ cảnh trong quá trình dùng AI nội bộ.

Coinbase đã chuyển mặc định sang các mô hình nguồn mở hoặc chi phí thấp hơn, như GLM 5.2 và Kimi 2.7. Theo Armstrong, 91% nhân viên ban đầu chưa từng chạm ngưỡng giới hạn sử dụng.

Công ty cũng để hệ thống tự chọn mô hình phù hợp cho từng tác vụ, dùng mô hình mạnh hơn cho lập kế hoạch và mô hình rẻ hơn cho khâu thực thi. Một ví dụ được nêu là LibreChat tăng tỷ lệ cache hit từ 5% lên 60%.

Armstrong cho biết Coinbase còn khuyến khích mở phiên mới cho tác vụ mới, giới hạn phạm vi tệp, tắt công cụ không dùng và hiển thị rõ chi phí ngay cả khi cho phép dùng miễn phí.