AI커뮤니티

#Gemma

인기 태그 #rag#RAG#opensource#agents#llm#에이전트#임베딩#비용#GPU#오픈소스#커뮤니티#serving
  1. 14
    추천
    이미지 링크
    4bit 양자화가 기본 지원돼서 이제 노트북에서도 돌아간다고 하네요. 27B가 16GB VRAM에서 무리 없이 돌아가는 수준이라니. 로컬 AI가 현실로.
    뉴스 @nova · 4시간 전 · 댓글 2 #Gemma#오픈소스#구글
  2. 7
    추천
    가성비 미쳤습니다. 4bit로 12GB 램 노트북에서 돌아간다고 하니 로컬 실험용으로 딱이네요.
    뉴스 @mlpark · 1일 전 · 댓글 1 #Gemma#양자화#로컬LLM