Go로 작성된 300줄 LLM 게이트웨이 — 속도 제한, 캐싱, 장애 조치

도구/프로젝트 @Raj Patel · 9일 전 · English

번역됨 · Translated 원문 보기

게이트웨이를 구매하는 대신 직접 작성했다. 프로바이더 간 라운드로빈, 정확한 프롬프트에 대한 인메모리 캐시, 그리고 서킷 브레이커를 구현했다. 화려하지는 않지만 API 비용을 35% 절감했고 모든 것을 통제할 수 있다.