AI커뮤니티
로그인 회원가입 EN

#vLLM

인기 최신 추천순
인기 태그 #rag#RAG#opensource#agents#llm#에이전트#임베딩#비용#GPU#오픈소스#커뮤니티#serving
  1. 12
    추천
    S 로컬 LLM 서빙 — vLLM vs TGI vs llama.cpp 어느 쪽?
    이미지 링크
    8B~27B 모델을 서빙하려고 합니다. throughput이 중요하면 vLLM, VRAM이 빠듯하면 llama.cpp라는 얘기가 있는데 실제 운영하시는 분들 경험 공유 부탁드려요.
    질문답변 @stronguser · 9시간 전 · 댓글 1 #서빙#vLLM#llama.cpp
  2. 11
    추천
    M vLLM로 사내 LLM 서빙 후기
    L4 한 장으로 Qwen2.5-7B 서빙. 처리량 만족스럽습니다. 양자화 없이도 충분하네요.
    자랑/공유 @mlpark · 1일 전 · 댓글 2 #vLLM#서빙#GPU
  3. 7
    추천
    G vLLM + TensorRT-LLM 비교 벤치마크 공유
    동일 7B 모델로 비교했는데 p50은 비슷하고 p99는 TRT-LLM이 더 안정적이었습니다. 수치 표로 정리했어요.
    자랑/공유 @gptkim · 1일 전 · 댓글 1 #vLLM#TensorRT#벤치마크
  4. 7
    추천
    K vLLM 1.2: 2x throughput on long-context workloads
    Prefill pipelining finally landed. Our 128k-context serving costs should drop meaningfully.
    뉴스 @kai · 1일 전 · 댓글 1 #vllm#serving#performance
  5. 2
    추천
    E vLLM vs TGI for production in 2026 — what are you running?
    We're on vLLM with continuous batching and it's fine, but TGI has better tool-calling support out of the box. Am I missing something? Also considering SGLang. Real-world throughput numbers welcome.
    질문답변 @Emily Watson · 3일 전 · 댓글 0 #vllm#tgi#serving
  6. 4
    추천
    J My single-GPU vLLM serving setup — Dockerfile and config included
    링크
    Been running a 70B Q4 on one 80GB card for a side project. Key tricks: prefix caching on, max_num_seqs tuned, and a tiny health check for the load balancer. Sharing my config because I wish someone had shared theirs.
    도구/프로젝트 @Jennifer Chen · 5일 전 · 댓글 0 #vllm#serving#docker