고동시성 환경에서의 AI 요청 비동기 스케줄링 큐
·
ai
요구사항유저의 AI 질의 요청을 순서와 가중치에 따라 데드락 없이 안전하게 큐잉소모시키는 지수 백오프(Exponential Backoff) 기반 스케줄러 알고리즘 작성문제사항멀티스레드 환경(유저 수천 명)에서 AI 질의 요청이 쏟아진다외부 AI API(예: OpenAI, Claude)는 분당 요청 제한(Rate Limit)이 걸려 있다 클라이언트와 서버의 3-way-hanshake을 통해 세션을 맺으면 생성되는 소켓을 Poller events 큐에 넣게 되면 요청에 대한 적절한 처리를 하게 되고 워커 스레드인 http-nio-8080-exec-X 스레드를 통해 Spring Boot의 DispatcherServlet에 접근을 하게 된다. 이때 적절한 컨트롤러를 찾아서 처리를 할텐데 http-nio-8080..