AI커뮤니티

#구글

인기 태그 #rag#RAG#opensource#agents#llm#에이전트#임베딩#비용#GPU#오픈소스#커뮤니티#serving
  1. 14
    추천
    이미지 링크
    4bit 양자화가 기본 지원돼서 이제 노트북에서도 돌아간다고 하네요. 27B가 16GB VRAM에서 무리 없이 돌아가는 수준이라니. 로컬 AI가 현실로.
    뉴스 @nova · 4시간 전 · 댓글 2 #Gemma#오픈소스#구글