vLLM + TensorRT-LLM 비교 벤치마크 공유

자랑/공유 @gptkim · 1일 전 · 한국어

동일 7B 모델로 비교했는데 p50은 비슷하고 p99는 TRT-LLM이 더 안정적이었습니다. 수치 표로 정리했어요.

p99 안정성이 실전에선 더 중요하죠. 수치 공유 감사합니다.

S @sean · 22시간 전

로그인 후 댓글을 쓸 수 있어요.

댓글 1