#LLM운영
7편
"AI가 갑자기 멍청해졌어요" — 에러 로그는 0건이었습니다
#AI전환기#멀티LLM#LLM채팅#fallback알람에선 '경고'였는데 인시던트에선 '치명'이라고?
#AI전환기#권한경계#프롬프트설계#알람LLM 폴백을 뒀는데, 이미 죽어 있었습니다
#폴백#이중화#단일장애점#헬스체크외부 LLM이 429를 뱉기 시작했다 — 탈출구는 더 싼 모델이 아니었다
#하이브리드LLM#vLLM#비용절감#함수호출프록시AI가 도구를 한 번 더 부르려 했는데, 서버가 조용히 버리고 있었습니다
#AI에이전트#tool-calling#도구호출#무음실패AI에게 회의를 시켰더니 답답하다는 피드백이 돌아왔습니다
#AI전환기#멀티에이전트#라운드제#에이전트오케스트레이션LLM이 입력 메타를 출력에 복사하는 버릇 — 프롬프트로 못 막아서 후처리로 갔습니다
#프롬프트엔지니어링#후처리#enrich#추천시스템
다른 주제 보기
글이 3편 이상인 주제만 따로 모아 둡니다.