베스트

폐쇄망용 완전 오프라인 RAG. Ollama만으로 동작, 임베딩은 bge-m3. 피드백 환영합니다.

4bit 양자화가 기본 지원돼서 이제 노트북에서도 돌아간다고 하네요. 27B가 16GB VRAM에서 무리 없이 돌아가는 수준이라니. 로컬 AI가 현실로.

도메인 지식이 필요하면 RAG, 스타일/포맷 고정이면 FT라는 기본 공식이 있는데, 실제 프로젝트에서는 어떤 기준으로 결정하시나요?

가격 대비 성능이 미쳤다. $0.14/M in. 로컬 vLLM 대신 API로 갈아탈까 고민 중.

2.8T 파라미터면 DeepSeek V4 Pro보다 75% 크다고 합니다. 1M 컨텍스트 + 항상 켜진 추론 모드. 오픈소스가 이제 안 따라잡히네요.

8B~27B 모델을 서빙하려고 합니다. throughput이 중요하면 vLLM, VRAM이 빠듯하면 llama.cpp라는 얘기가 있는데 실제 운영하시는 분들 경험 공유 부탁드려요.

사내 매뉴얼 2천 페이지를 RAG로 묶어서 챗봇을 만들었습니다. 임베딩은 bge-m3, 서빙은 vLLM으로 했고, 정확도는 사내 QA 기준 87% 나옵니다.

L4 한 장으로 Qwen2.5-7B 서빙. 처리량 만족스럽습니다. 양자화 없이도 충분하네요.

드디어 에이전트 전용 API가 나왔네요. MCP 네이티브라서 도구 연결이 표준화될 듯. 기존 함수 콜링보다 훨씬 간결해 보입니다.

코딩 테스트 통과율이 예전보다 확실히 높아진 느낌. AI 도구 사용을 허용할지, 아니면 역량 평가 방식을 바꿔야 할지 고민입니다.

지식베이스 검색 시간이 하루 2시간 → 10분으로 줄었습니다. 초기엔 환각이 문제였는데, 인용 소스 표시를 강제하니 신뢰도가 확 올라갔어요.

LangGraph, CrewAI, 자체구현... 다들 뭐 쓰시는지 궁금합니다.

Tool-use 지연이 300ms까지 줄었다고 하네요. 에이전트가 실제 업무에 쓰이려면 이 정도 응답 속도가 필요했죠. 기대됩니다.

LangGraph 같은 프레임워크 쓰다가 직접 while 루프로 짜는 게 낫다는 글을 봤는데요. 디버깅이 쉽고 의존성이 적다는 게 이유라네요. 다들 어떻게 생각하세요?

로컬 RAG 서비스 최소 구성 템플릿을 만들어봤습니다. docker compose 하나로 Ollama + FastAPI + ChromaDB가 뜹니다. 피드백 환영해요.

Ollama on a laptop is great for tinkering, but once you need reliability, hosted APIs win on latency and uptime. My experience so far.

DeepSeek 캐시 히트율 66% 나오는데, 프롬프트 구조 어떻게 짜면 캐시가 잘 맞나요?

MathBench leaderboard flipped again. The open-source gap is closing faster than expected.

웹에서 문서를 읽어와서 요약하는 기능인데, 문서에 악성 지시문이 있으면 대응이 어렵네요. 방어 전략 공유 부탁드려요.

보안 때문에 전부 온프레미스로. bge-m3 + Qwen2.5-14B로 구축했고, 사용자 만족도 4.2/5 나왔어요. 후기 공유합니다.

Ticket deflection went from 0% to 38% in a month. Here's the architecture and the mistakes we made.

솔직히 이번 건 좀 궁금하네요. 정부가 어떻게 안전하다고 결론 내렸는지 과정이 투명하지 않다는 지적. 원문 공유합니다.

국내 LLM 인프라 스타트업이 시리즈 B로 500억을 유치했다고 합니다. 한국어 특화 모델 수요가 확실히 늘고 있는 것 같아요.

bge-m3에서 최신 모델로 바꾸려고 하는데 벡터 차원이 달라서 재임베딩이 필요할 것 같습니다. 100만 건 정도인데 시간이 얼마나 걸릴지, 꿀팁 있으면 알려주세요.

벡터 DB 오픈소스 ChromaDB가 1.0을 발표했습니다. 필터링 성능 개선과 인덱스 안정성이 핵심이라고 하네요. 기존 0.4에서 마이그레이션 해보신 분 계신가요?

인터넷이 안 되는 환경에서 LLM+RAG를 돌려야 하는 프로젝트였는데, Ollama + 로컬 임베딩으로 구성했습니다. 오프라인 배포에 관심 있으신 분들께 도움이 되길.

They released the evals and methodology this time, which is rare. HumanEval pass@1 is a couple points ahead of Llama 4.5 and it's faster to serve. We're spinning up a test pod this week. If the license is as permissive as they say, this is a real option for EU teams.

한국어 문서 검색인데 bge-m3 vs multilingual-e5 고민입니다. 경험 공유 부탁해요.

로컬에서 돌릴 수 있는 새 오픈웨이트 모델 소식. 7B인데 성능이 무섭다.

드디어 에이전트 전용 API가 나왔네요. MCP 서버가 기본 지원이라 도구 연동이 쉬워질 듯. 개발자 문서부터 읽어봐야겠어요.

도메인 용어가 많은데 파인튜닝이 나을지 RAG가 나을지. 둘 다 해보신 분들 의견 궁금합니다.

Every framework becomes a debugging nightmare past 500 lines. Plain code + function calling has been better for us.

비용/지연/프롬프트 버전까지 한 번에 보이니까 디버깅 시간이 반으로 줄었습니다. 무료 티어로 충분해요.

듀얼 3090으로 70B 돌리려다 이틀 삽질. 결국은 OLLAMA_NUM_GPU + 스플릿 모드 조합으로 해결. 정리해봤습니다.

금융권 고객사에 설치했습니다. 인터넷 완전 차단 환경에서도 임베딩+검색+생성 전부 동작. 자세한 내용은 글에.

Replaced a custom fine-tune with a generic 8B + good retrieval. Cheaper to maintain, better scores. Data point for you.

Mira Murati가 세운 회사가 시드로 2조원대 유치. a16z 리드. 시장 분위기가 확실히 달라졌네요.

코드 문서는 300토큰, 일반 문서는 500~800토큰으로 쓰고 있는데요. 법률 문서처럼 구조화된 건 섹션 단위로 자르는 게 낫다는 의견도 있더라고요. 다들 어떻게 하세요?

사내용 챗봇 하나 돌리는데 GPU 서버 빌리는 게 월 200만원이 넘네요. 트래픽이 적으면 API 쓰는 게 이득이라는 의견도 있고요. 실제 사례 있으면 공유 부탁드려요.

프롬프트/비용/지연을 한 대시보드에서 보니 운영 난이도가 확실히 내려갔습니다. 셀프호스팅도 가능해서 사내 도입에 부담이 없네요.

매일 아침 AI 관련 뉴스 5개를 요약해서 텔레그램으로 보내주는 봇을 만들었습니다. DeepSeek로 요약하고 키워드로 분류하니 꽤 유용하네요.

Woke up to the leaderboard shuffle. Their new release beats the previous SOTA by ~3 points on MMLU-pro but the blog post is basically one paragraph. Either they're sandbagging or they shipped it without fanfare on purpose. Either way the pricing page is still the old one, which is the real story.

Weights are up on the hub. The 8B with the new tokenizer is suspiciously good at tool calling for its size. Fine-tuning on our internal data took 6 hours on a single H100. If you need a cheap default for agents, this is hard to beat.

Our org has 10k pages of policy PDFs nobody reads. Built a RAG bot with citations that links back to the exact page. Support queries dropped noticeably and compliance is happy because everything is traceable. Side project that became the team's favorite tool.

Feed it a CSV export, it finds anomalies and writes a Korean explanation via an LLM. Useful for MSP folks.

가성비 미쳤습니다. 4bit로 12GB 램 노트북에서 돌아간다고 하니 로컬 실험용으로 딱이네요.

Prefill pipelining finally landed. Our 128k-context serving costs should drop meaningfully.

현재 Chroma 쓰다가 Qdrant로 옮길지 고민 중. 데이터 500만 건 정도인데 경험 있으신 분?

bge-m3에서 다른 모델로 바꾸려는데, 기존 문서 전부 다시 인덱싱해야 하는 게 맞는지요?

Mine: Claude for code, DeepSeek for bulk tasks, local Ollama for privacy stuff. What's yours?

일 10만 요청 기준 DeepSeek API vs 자체 GPU. 대략 어디서 크로스오버되나요? 계산해보신 분?

네임스페이스 API가 안정화됐고 성능도 올라갔다고 합니다. 마이그레이션 가이드 공유합니다.

Ran a quick benchmark. pgvector with HNSW was 80% the speed at 10% the cost. Details in thread.

All data stays on device. Weekly digest with topics, mood, and action items. 400 users in 2 weeks!

동일 7B 모델로 비교했는데 p50은 비슷하고 p99는 TRT-LLM이 더 안정적이었습니다. 수치 표로 정리했어요.

Multiple model sizes, powering products across Meta. The open-vs-closed debate keeps heating up.

Updated list of open LLMs you can use commercially. Handy when picking a model for a client project.

시행 시점이 유예되고 중소기업 부담이 줄었다고 합니다. 유럽 스타트업들 숨통 트이는 분위기. 국내 규제 논의에도 참고할 만하네요.

프롬프트 캐시 쓰면 50%는 아낀다고 들었는데, 실제로 얼마나 효과 보셨나요? 컨텍스트 압축이나 요약 전략도 궁금합니다.

둘 다 써봤는데, Open-webui는 Ollama 연동이 편하고 LibreChat는 멀티모델 관리가 좋았습니다. RAG 기능은 LibreChat가 좀 더 성숙한 느낌? 여러분 선택은?

매주 LLM 논문 하나씩 리뷰하는 블로그를 6개월째 운영 중입니다. 방문자가 꾸준히 늘고 있고, 이메일 구독도 300명 넘었네요. 꾸준함이 답이긴 하네요.

Downloaded the 27B variant last night. Quantized to Q4 it fits in 16GB RAM and generates at a very usable speed. Not Claude-level reasoning, but for a local model it's a big step. Google is winning the 'open weights you can actually run' game right now.

Read the paper twice. The training cost figures are almost insulting compared to US labs. Latency is great, price is lower than anyone expected. Either they found a real efficiency breakthrough or the benchmarks are cherry-picked. I'd love to see third-party replications.

Day 1: I felt like a god. Day 12: I found a bug the AI introduced that took 3 hours to hunt. Day 30: net positive, probably. The tooling is incredible but you still need to understand what you're building. No replacement, just acceleration.

50 lines of TypeScript, points at our search API, and now everyone queries docs from their editor. It's dumb but it changed how we work. The protocol is clunky but the integration win is real.

Collected 3 years of my blog posts and newsletter, fine-tuned a 7B with LoRA. The style imitation is uncanny — my wife thought I wrote the drafts. Uses: first drafts of posts I'm too lazy to start. It's my ghostwriter now.

12B model on the family PC, a simple web UI. It explains math problems step by step instead of just giving answers. No accounts, no data leaving the house, and no monthly subscription. The kids actually use it.

Chroma vs Qdrant vs LanceDB for a small self-hosted RAG service. Disk and RAM matter — running on a free-tier VM.

Scrapes arXiv + HN, summarizes with an LLM, posts as threads. 200 stars in a week. AMA.

국내+글로벌 AI 논의를 한 곳에서. 짧게 쓰레드처럼 쓰는 곳입니다. 자유롭게 이야기해요.

Big claim. If real, this changes agent UX a lot. Anyone benchmarked it yet?

오프라인 어시스턴트가 실생활에 들어오는 시점이네요. 개인정보 처리 관점에서도 의미 있는 변화.

LLM이 스트리밍으로 출력할 때 JSON을 점진적으로 파싱하는 방법 질문입니다. partial JSON 파서 쓰시는 분 계신가요?

Long agent sessions blow up tokens. Do you use summarization, sliding windows, or something else?

Model cites chunks that don't actually support the answer. Any post-processing tricks that work?

LLM을 잘 쓰는 것만으로는 부족하다는 말이 많아지네요. 시스템 설계? 벡터 DB? MLOps? 다들 뭐가 우선이라 생각하세요?

보안팀이랑 임원분들이 '아직 이르다'는 입장인데, 실무는 이미 AI 없이는 일이 안 됩니다. 설득 팁 있을까요?

With better rerankers and hybrid search, raw embedding quality matters less every quarter. Agree?

We went LibreChat for multi-user + RBAC. Open-webui has nicer UX though. Your pick?

드래그앤드롭으로 LLM + 검색 + 슬랙 연동까지. 개발자도 가끔은 로우코드가 편하네요.

CSV of prompts → JSONL of responses + scores. 100 lines of Go. Maybe useful for your eval pipeline.

Scrapes 20 sources, dedupes, summarizes, posts at 8am. 1.2k subscribers now. AMA about the pipeline.

주 1회 LLM 논문 리뷰. 누적 12만 뷰 달성. 글쓰기 + 실험 재현을 병행하니 배우는 게 두 배네요.

Doctors' AI scribe just raised a huge round at $5.3B valuation. Healthcare AI is the real money-maker apparently.

뉴스 매체 AI 생성 콘텐츠 비율 추적 연구입니다. 지역/대학 언론이 10배 가까이 증가했다고 하네요.

개발자용 월간 AI 뉴스 큐레이션 레포입니다. 매월 최신 LLM/도구 정리돼 있어서 스크랩해두면 좋아요.

보안 우려로 LLM 도입을 꺼리시는 분들이 있는데, 폐쇄망 배포 사례를 보여드리면 좀 나아질까요? 비슷한 경험 있으신 분들의 조언 부탁드립니다.

이메일 요약 → 슬랙 전송 → 주간 리포트 생성까지 n8n으로 묶어봤습니다. 노코드인데 LLM 노드가 잘 돼 있어서 생각보다 강력하네요.

Just got the email. Cache writes are 50% cheaper and cache reads dropped too. For anyone running long agent loops this is basically free money. We're re-running our cost model tonight but I suspect this changes the math on long-context agents.

Ordered 8 cards for our inference cluster two weeks ago. Sales rep just told me new orders are looking at Q4. Everyone is doing the same math: cheap tokens need efficient hardware, and there isn't enough to go around. If you're planning capacity for next year, order now.

Ship a model, top the leaderboard, get the press release, repeat. Meanwhile real usage is full of edge cases none of the benchmarks touch. I'd rather have a model that's honest about what it can't do.

Two months in, no regrets so far. Working on an open agent framework and living off savings. The open source ecosystem is chaotic but the pace is addictive. Happy to answer questions about the leap, money, or what I actually do all day.

We were merging PRs blind. Now every RAG change runs 40 questions with expected answers and fails the build if recall drops. It's crude but it caught two regressions last week. Sometimes the simple stuff wins.

Ran the same 1M-doc dataset through all three. Qdrant won on query latency, pgvector won on ops simplicity (we already run Postgres), Milvus was fastest to load but the cluster config is a project by itself. Full numbers in the post.

Workshop is loud, dusty, and has no wifi worth trusting. Pi 5 + a local model + a cheap mic array. It answers questions about my tools, sets timers, and reads specs out loud. Everything runs on-device and it cost under $200.

Been dumping notes, highlights, and bookmarks into a local RAG setup for two years. Search is instant and surprisingly good. Open-sourced the whole thing so it's reproducible. Warning: your old notes are more embarrassing than you remember.

Scrapes my git commits and PRs, summarizes them into 3 bullet points, emails them before standup. Takes 30 seconds of my morning. My manager thinks I'm extremely organized. I'm just lazy with extra steps.

It joins the call with a normal name, takes notes, and posts them to our wiki. People forget it's there until the notes appear. Uses a tiny local model for transcription. The 'is this legal' question came up once. HR said fine, so we're shipping it.

I keep coming back to plain code + function calling. Frameworks add too much magic for debugging.

RAG 기반 기업 검색 솔루션으로 유치했다고 합니다. 국내도 이제 본격적으로 크네요.

Small enough to self-host, strong enough for real agent loops. Worth a look for cost-sensitive teams.

We use RAGAS but the scores don't correlate with human judgment. What do you actually use in production?

vLLM vs TGI vs llama.cpp server. For a small team serving one 8B model, what's the least ops burden?

임베딩 + 소형 LLM만으로 API 없이 운영 가능한지 궁금합니다. 트래픽은 하루 1천 건 수준이에요.

코딩 문제는 다들 잘 풀어요. 문제는 '왜'를 물었을 때. 면접 방식 자체를 바꿔야 하나 고민입니다.

I used to read every arxiv paper. Now I wait for good summaries. Am I falling behind?

새 모델 나올 때마다 다같이 벤치마크 까보는 게 제일 재밌네요. 여기 오시는 분들은 뭐 보러 오세요?

I packaged my go-to RAG setup into a template. Docker compose up and you have a working API in 2 minutes.

지금은 Git으로 관리하는데, 버전별 A/B 테스트가 필요해졌습니다. 전용 도구 추천 부탁해요.

Gradio got multimodal chat components. Streamlit is catching up. For internal demos, which wins?

Visual node editor for agent pipelines with live tracing. MIT licensed, would love feedback.

매주 토요일 2시간. 30명에서 시작해 지금 12명의 코어 멤버로. 꾸준함의 가치를 배웠습니다.

34 of the 100 fastest-growing companies are AI. The capital shift is real and it's accelerating.

Both raised big rounds in 2025. If you're building on top of LLMs, infra plays look safer than apps.

Keep this tab open. Everything from o1 to GPT-5-Codex-Mini lands here first.

여기처럼 짧은 글 위주로 활발한 곳이 또 있을까요? 디스코드/슬랙 커뮤니티도 추천해주시면 감사하겠습니다.

The grace period is ending. If you ship anything that touches biometrics or critical infrastructure you need to have your paperwork sorted. Small SaaS teams are mostly fine but the compliance checklist is long and boring. Start with the Annex III list, don't assume you're exempt.

The 3B model handles summarization and smart replies locally, and it's snappy. Privacy story is nice. Devs can call it via a new CoreML API. It's not going to replace cloud models for hard tasks, but for simple stuff it's genuinely useful and free.

Building evals feels like a second product. We tried LLM-as-judge with a strong model and it's decent but biased toward long answers. Anyone using lightweight checks + sampling? What's your minimal viable eval?

We're about to onboard our first enterprise customers and I have to decide. Shared index with metadata filters seems simpler but I'm scared of cross-tenant leakage. Per-tenant collections mean more ops. What do you run?

The agent handles maybe 60% of tickets but the 40% it hands to humans are the messy ones, so support load barely dropped. Customers who realize they're talking to a bot get annoyed even when it works. Not sure this was a win.

We priced our product assuming $2/M input tokens. Now we're at $0.30 and dropping. Great for us, but customers keep asking why their bill didn't go down if AI got cheaper. Also, our competitors can now afford the same quality. Margin moat is shrinking.

LangSmith is smoother but the per-seat pricing hurt us. Langfuse self-hosted costs us one small VM. Missing a few features but the trace UI is good enough and the data stays on our infra. For EU clients that matters.

Wrote our own gateway instead of buying one. Round-robin across providers, in-memory cache for exact prompts, and a circuit breaker. It's not fancy but it cut our API bill 35% and we control everything.

One endpoint for all providers, consistent interface, and the config is plain YAML. We swapped out three vendor SDKs in an afternoon. If you're multi-provider, just use it.

Like this site but for semiconductor news specifically. Scrapes 50 RSS feeds, dedupes with embeddings, summarizes with an LLM, ranks by my reading habits. It's been my morning read for a month and I've never opened the old feed reader again.

It categorizes spending, flags weird charges, and answers questions like 'how much did I spend on coffee in March'. Accuracy is 90%+ on categories. Caveat: you have to trust it with your data, so it runs fully local. Worth it for the anxiety reduction alone.