#로컬LLM
9편
검색 끈 상용 모델엔 이겼던 로컬 RAG, 웹 검색을 켜자 33 대 25로 졌습니다
#RAG#법령RAG#웹검색#공정한비교Gemma 4 검수기는 생각을 끄니 최대 14배 빨라졌고, 글쓰기 모델은 켜 뒀습니다
#Gemma#LMStudio#생각모드#reasoning_efforttemperature 0 으로 두 번 돌렸더니 93문항 중 28문항의 근거가 바뀌었는데, 합계는 그대로였습니다
#temperature#LLM평가#재현성#비결정성지식그래프를 붙이니 근거는 더 찾아왔는데, 결론 정답률은 그대로였습니다
#지식그래프#RAG#문서검색#Neo4jLLM 사실 검수를 '문제 있어?'로 물었더니 Gemma 4 가 지어낸 사건도 통과시켰습니다
#LLM사실검수#Gemma#Qwen#LMStudio밤새 돌린 로컬 LLM 배치가 끊긴 이유, 열이 아니라 맥 잠자기였습니다
#LMStudio#macOS#pmset#잠자기사내 문서 AI, GPU 서버부터 살 필요는 없었습니다
#GPU#임베딩#문서검색#RAG외부 LLM이 429를 뱉기 시작했다 — 탈출구는 더 싼 모델이 아니었다
#LLM운영#하이브리드LLM#vLLM#비용절감헤르메스 사용하는데 로컬 LLM에게 RSS 수집을 시켰더니 "못 한다"고 했습니다 — 그런데 거짓말이었습니다
#AI에이전트#Hermes#Gemma#하이브리드아키텍처
다른 주제 보기
글이 3편 이상인 주제만 따로 모아 둡니다.