전체

4bit 양자화가 기본 지원돼서 이제 노트북에서도 돌아간다고 하네요. 27B가 16GB VRAM에서 무리 없이 돌아가는 수준이라니. 로컬 AI가 현실로.

벡터 DB 오픈소스 ChromaDB가 1.0을 발표했습니다. 필터링 성능 개선과 인덱스 안정성이 핵심이라고 하네요. 기존 0.4에서 마이그레이션 해보신 분 계신가요?

드디어 에이전트 전용 API가 나왔네요. MCP 네이티브라서 도구 연결이 표준화될 듯. 기존 함수 콜링보다 훨씬 간결해 보입니다.

사내 매뉴얼 2천 페이지를 RAG로 묶어서 챗봇을 만들었습니다. 임베딩은 bge-m3, 서빙은 vLLM으로 했고, 정확도는 사내 QA 기준 87% 나옵니다.

LangGraph 같은 프레임워크 쓰다가 직접 while 루프로 짜는 게 낫다는 글을 봤는데요. 디버깅이 쉽고 의존성이 적다는 게 이유라네요. 다들 어떻게 생각하세요?

코드 문서는 300토큰, 일반 문서는 500~800토큰으로 쓰고 있는데요. 법률 문서처럼 구조화된 건 섹션 단위로 자르는 게 낫다는 의견도 있더라고요. 다들 어떻게 하세요?

8B~27B 모델을 서빙하려고 합니다. throughput이 중요하면 vLLM, VRAM이 빠듯하면 llama.cpp라는 얘기가 있는데 실제 운영하시는 분들 경험 공유 부탁드려요.

국내 LLM 인프라 스타트업이 시리즈 B로 500억을 유치했다고 합니다. 한국어 특화 모델 수요가 확실히 늘고 있는 것 같아요.

Tool-use 지연이 300ms까지 줄었다고 하네요. 에이전트가 실제 업무에 쓰이려면 이 정도 응답 속도가 필요했죠. 기대됩니다.

인터넷이 안 되는 환경에서 LLM+RAG를 돌려야 하는 프로젝트였는데, Ollama + 로컬 임베딩으로 구성했습니다. 오프라인 배포에 관심 있으신 분들께 도움이 되길.

둘 다 써봤는데, Open-webui는 Ollama 연동이 편하고 LibreChat는 멀티모델 관리가 좋았습니다. RAG 기능은 LibreChat가 좀 더 성숙한 느낌? 여러분 선택은?

도메인 지식이 필요하면 RAG, 스타일/포맷 고정이면 FT라는 기본 공식이 있는데, 실제 프로젝트에서는 어떤 기준으로 결정하시나요?

프롬프트/비용/지연을 한 대시보드에서 보니 운영 난이도가 확실히 내려갔습니다. 셀프호스팅도 가능해서 사내 도입에 부담이 없네요.

로컬 RAG 서비스 최소 구성 템플릿을 만들어봤습니다. docker compose 하나로 Ollama + FastAPI + ChromaDB가 뜹니다. 피드백 환영해요.

ai에서 AGI로 갈때 어떤게 필요할까요?

매일 아침 AI 관련 뉴스 5개를 요약해서 텔레그램으로 보내주는 봇을 만들었습니다. DeepSeek로 요약하고 키워드로 분류하니 꽤 유용하네요.

bge-m3에서 최신 모델로 바꾸려고 하는데 벡터 차원이 달라서 재임베딩이 필요할 것 같습니다. 100만 건 정도인데 시간이 얼마나 걸릴지, 꿀팁 있으면 알려주세요.

시행 시점이 유예되고 중소기업 부담이 줄었다고 합니다. 유럽 스타트업들 숨통 트이는 분위기. 국내 규제 논의에도 참고할 만하네요.

코딩 테스트 통과율이 예전보다 확실히 높아진 느낌. AI 도구 사용을 허용할지, 아니면 역량 평가 방식을 바꿔야 할지 고민입니다.

매주 LLM 논문 하나씩 리뷰하는 블로그를 6개월째 운영 중입니다. 방문자가 꾸준히 늘고 있고, 이메일 구독도 300명 넘었네요. 꾸준함이 답이긴 하네요.

프롬프트 캐시 쓰면 50%는 아낀다고 들었는데, 실제로 얼마나 효과 보셨나요? 컨텍스트 압축이나 요약 전략도 궁금합니다.

지식베이스 검색 시간이 하루 2시간 → 10분으로 줄었습니다. 초기엔 환각이 문제였는데, 인용 소스 표시를 강제하니 신뢰도가 확 올라갔어요.

2.8T 파라미터면 DeepSeek V4 Pro보다 75% 크다고 합니다. 1M 컨텍스트 + 항상 켜진 추론 모드. 오픈소스가 이제 안 따라잡히네요.

보안 우려로 LLM 도입을 꺼리시는 분들이 있는데, 폐쇄망 배포 사례를 보여드리면 좀 나아질까요? 비슷한 경험 있으신 분들의 조언 부탁드립니다.

가격 대비 성능이 미쳤다. $0.14/M in. 로컬 vLLM 대신 API로 갈아탈까 고민 중.

이메일 요약 → 슬랙 전송 → 주간 리포트 생성까지 n8n으로 묶어봤습니다. 노코드인데 LLM 노드가 잘 돼 있어서 생각보다 강력하네요.

솔직히 이번 건 좀 궁금하네요. 정부가 어떻게 안전하다고 결론 내렸는지 과정이 투명하지 않다는 지적. 원문 공유합니다.

사내용 챗봇 하나 돌리는데 GPU 서버 빌리는 게 월 200만원이 넘네요. 트래픽이 적으면 API 쓰는 게 이득이라는 의견도 있고요. 실제 사례 있으면 공유 부탁드려요.

보안 때문에 전부 온프레미스로. bge-m3 + Qwen2.5-14B로 구축했고, 사용자 만족도 4.2/5 나왔어요. 후기 공유합니다.

폐쇄망용 완전 오프라인 RAG. Ollama만으로 동작, 임베딩은 bge-m3. 피드백 환영합니다.

드디어 에이전트 전용 API가 나왔네요. MCP 서버가 기본 지원이라 도구 연동이 쉬워질 듯. 개발자 문서부터 읽어봐야겠어요.

Mira Murati가 세운 회사가 시드로 2조원대 유치. a16z 리드. 시장 분위기가 확실히 달라졌네요.

Updated list of open LLMs you can use commercially. Handy when picking a model for a client project.

노트북에서 돌리는 Ollama는 간단한 테스트용으로는 훌륭하지만, 안정성이 필요해지면 호스팅 API가 지연 시간과 업타임에서 더 낫다. 지금까지의 내 경험상 그렇다는 얘기다.

여기처럼 짧은 글 위주로 활발한 곳이 또 있을까요? 디스코드/슬랙 커뮤니티도 추천해주시면 감사하겠습니다.

네임스페이스 API가 안정화됐고 성능도 올라갔다고 합니다. 마이그레이션 가이드 공유합니다.

금융권 고객사에 설치했습니다. 인터넷 완전 차단 환경에서도 임베딩+검색+생성 전부 동작. 자세한 내용은 글에.

Every framework becomes a debugging nightmare past 500 lines. Plain code + function calling has been better for us.

All data stays on device. Weekly digest with topics, mood, and action items. 400 users in 2 weeks!

가성비 미쳤습니다. 4bit로 12GB 램 노트북에서 돌아간다고 하니 로컬 실험용으로 딱이네요.

Multiple model sizes, powering products across Meta. The open-vs-closed debate keeps heating up.

비용/지연/프롬프트 버전까지 한 번에 보이니까 디버깅 시간이 반으로 줄었습니다. 무료 티어로 충분해요.

한국어 문서 검색인데 bge-m3 vs multilingual-e5 고민입니다. 경험 공유 부탁해요.

MathBench leaderboard flipped again. The open-source gap is closing faster than expected.

LLM이 스트리밍으로 출력할 때 JSON을 점진적으로 파싱하는 방법 질문입니다. partial JSON 파서 쓰시는 분 계신가요?

개발자용 월간 AI 뉴스 큐레이션 레포입니다. 매월 최신 LLM/도구 정리돼 있어서 스크랩해두면 좋아요.

Doctors' AI scribe just raised a huge round at $5.3B valuation. Healthcare AI is the real money-maker apparently.

LLM을 잘 쓰는 것만으로는 부족하다는 말이 많아지네요. 시스템 설계? 벡터 DB? MLOps? 다들 뭐가 우선이라 생각하세요?

도메인 용어가 많은데 파인튜닝이 나을지 RAG가 나을지. 둘 다 해보신 분들 의견 궁금합니다.

현재 Chroma 쓰다가 Qdrant로 옮길지 고민 중. 데이터 500만 건 정도인데 경험 있으신 분?