AI 및 ML 추론

인공지능(AI)과 머신러닝(ML)에서 추론이란 학습된 모델이 이전에 접하지 못한 새로운 데이터를 바탕으로 예측하거나 의사결정을 내리는 과정을 말합니다. 학습을 통해 모델을 개발하고 정교하게 다듬은 후, 추론 단계에서는 해당 모델을 실시간 환경이나 배치 처리에 실제로 적용합니다. 주가 예측부터 사기 거래 탐지까지, 추론은 의사결정에 활용할 수 있는 결과를 제공함으로써 머신러닝의 잠재력을 현실로 구현합니다.

핵심 요점

• 추론은 학습된 모델이 학습한 내용을 이전에 접하지 못한 새로운 데이터에 적용하여 예측, 분류 또는 생성 결과를 도출하는 실행 단계입니다.
• 학습과 추론은 리소스 사용 특성이 다릅니다. 학습은 주기적으로 수행되며 많은 연산 자원을 필요로 하는 반면, 추론은 지속적으로 실행되며 지연 시간, 처리량, 비용을 기준으로 평가됩니다.
• 프로덕션 환경에서 모델을 운영하려면 하드웨어 가속기, 런타임 엔진, 모델 최적화 기법과 함께 사용자, 애플리케이션, 추론 엔드포인트를 연결하는 네트워킹 및 보안 인프라가 필요합니다.
• 기업은 일반적으로 실시간, 배치, 엣지, 생성형 AI 등 다양한 워크로드 유형에 걸쳐 추론을 관리하며, 각 유형은 서로 다른 지연 시간 및 확장성 요구 사항을 갖습니다.
• 추론 워크로드가 증가함에 따라 사용자, 데이터, API, 모델을 연결하는 애플리케이션 전송 및 보안 계층은 성능과 리스크 관리 측면에서 모델 자체만큼 중요해집니다.

AI 및 머신러닝에서 추론이란 무엇인가요?

이 개념은 현대 AI 시스템의 핵심입니다. 조직은 추론 기법을 활용하여 운영을 최적화하고, 사용자 경험을 개선하며, 더 풍부한 정보를 바탕으로 의사결정을 내립니다. 기본적으로 모델 학습이 과거 데이터를 분석하여 패턴을 발견하는 과정이라면, 추론은 발견한 패턴을 새로운 상황과 데이터 포인트에 적용하는 과정으로, 이를 통해 신속하게 인사이트를 얻고 실시간으로 예측할 수 있습니다. 머신러닝은 학습(훈련) 단계와 적용(추론) 단계를 분리함으로써 기업이 다양한 프로세스에서 민첩성, 효율성, 정확성을 높일 수 있도록 돕습니다.

머신러닝의 추론 이해하기

머신러닝(ML)에서 추론이란 모델이 이전에 학습한 패턴을 일반화하여 새로운 입력에 대한 예측을 수행하는 능력이라고 요약할 수 있습니다. 모델은 훈련 과정에서 과거 데이터를 분석하여 관계와 패턴을 파악합니다. 이러한 학습이 완료되면, 모델은 추론 단계에서 새롭게 습득한 지식을 활용하여 이전에 접한 적 없는 데이터를 분류하거나, 결과를 예측하거나, 적절한 결과를 추천합니다. 이를 통해 ML 추론은 각 의사결정에 사람이 개입하지 않아도 잠재적인 보안 위협 식별, 개인 맞춤형 제품 추천, 증상에 기반한 질병 진단 등 실질적인 조치로 이어질 수 있는 결과를 제공합니다.

학습에서의 추론은 통계적 프레임워크 내에서도 이루어집니다. 통계적 학습에서 추론은 주로 확률 모형을 적용하여 모집단의 모수에 대한 결론을 도출하거나 확률적 예측을 수행하는 것을 의미합니다. AI와 ML에서는 예측 모델을 만드는 데 초점을 맞추는 경우가 많지만, 예측의 신뢰도나 불확실성 수준을 결정하는 것은 그 바탕이 되는 통계 이론입니다. 이러한 통계적 토대는 금융이나 의료처럼 부정확한 예측이 초래하는 피해가 매우 클 수 있는, 위험에 민감한 분야에서 특히 중요합니다.

추론과 학습의 차이점

학습과 추론은 머신 러닝 수명 주기에서 서로 구분되지만 긴밀하게 연결된 두 단계입니다. 학습, 즉 모델 개발에는 많은 연산이 필요합니다. 이 과정에서는 알고리즘에 대량의 과거 데이터나 레이블이 지정된 데이터를 제공하여 가중치, 편향 또는 의사결정 규칙을 학습하도록 합니다. 이러한 과정의 복잡성 때문에 학습은 일반적으로 고성능 GPU와 대용량 메모리, 방대한 연산 작업을 처리할 수 있는 특수 프레임워크를 갖춘 강력한 시스템에서 수행됩니다.

반면, 추론은 모델이 학습한 지식을 실시간 데이터나 새로 확보한 데이터에 적용하는 과정입니다. 학습은 모델의 매개변수를 최적화하는 것, 즉 학습한 패턴을 가장 잘 표현하는 내부 표현을 찾는 데 목적이 있는 반면, 추론은 이러한 매개변수를 사용해 예측을 생성하는 데 초점을 맞춥니다. 학습은 일반적으로 한 번 수행되거나 모델을 갱신해야 할 경우 주기적으로 수행되지만, 추론은 상시 작동하며 필요할 때마다 예측을 제공하고, 대개 밀리초 단위로 결과를 내놓습니다. 충분히 학습되고 최적화된 모델은 대량으로 유입되는 데이터를 빠르게 처리할 수 있으므로, 기업은 도출된 인사이트를 바탕으로 거의 즉시 행동에 나설 수 있습니다.

ML 추론 과정

ML 추론은 데이터 입력으로 시작됩니다. 전자상거래 쇼핑몰의 거래 요청과 같은 단일 데이터 포인트든, 사물 인터넷(IoT) 기기의 센서 출력과 같은 데이터 포인트 스트림이든, 모델은 먼저 입력 데이터를 전처리하거나 표준화합니다. 이 과정은 대개 학습 중 데이터를 처리하는 방식과 동일합니다. 학습 데이터와 추론 데이터의 형식이 다르면 모델의 정확도가 떨어질 수 있으므로 데이터 준비 과정의 일관성을 유지하는 것이 중요합니다.

전처리가 끝나면 모델은 학습된 매개변수, 계층, 가중치로 구성된 내부 로직을 적용하여 입력을 의미 있는 출력으로 변환합니다. 출력에는 분류 레이블(“스팸” 또는 “스팸 아님”), 수치(주가 예측값), 권장 조치(대출 신청 승인 또는 거절) 등이 포함될 수 있습니다. 이 연산의 속도는 모델의 복잡성뿐만 아니라 병렬 처리나 하드웨어 가속의 적용 여부에 따라서도 달라집니다. 그런 다음 프롬프트에 따른 결과가 사용자나 시스템에 반환됩니다. 많은 환경에서는 이러한 예측 결과에 대해 보안, 규정 준수 또는 해당 분야의 요구 사항을 충족하는지 확인하는 추가 검증을 수행합니다.

추론에는 다양한 유형의 모델이 사용될 수 있습니다. 지도 학습에서는 레이블이 지정된 데이터를 통해 모델이 알려진 결과를 예측하도록 돕습니다. 비지도 학습에서는 모델이 레이블이 없는 데이터에서 구조나 군집을 추론합니다. AI의 또 다른 분야인 강화 학습은 시간이 지남에 따라 갱신되는 정책 기반 접근 방식을 사용하지만, 각 상태에서 최선의 행동을 선택할 때는 여전히 추론에 의존합니다. 학습 패러다임과 관계없이 추론 과정은 실행 가능한 결과와 인사이트가 구체화되는 최종 단계입니다.

AI 추론 인프라: 하드웨어, 네트워킹 및 보안

기업이 학습된 모델을 대규모 환경에서도 안정적으로 응답하는 서비스로 전환하려면 하드웨어, 런타임 소프트웨어, 서비스 제공 인프라로 구성된 전체 스택이 필요합니다. 엔터프라이즈 AI 추론은 GPU와 모델뿐만 아니라 사용자, 데이터, API, 추론 엔드포인트를 연결하는 애플리케이션 전송 및 보안 인프라에도 의존합니다.

하드웨어 가속기

추론 워크로드는 각 사용 사례에 필요한 처리량, 지연 시간, 비용 간의 균형을 고려해 선택한 특수 프로세서에서 실행됩니다. 그래픽 처리 장치(GPU)는 병렬 아키텍처가 추론의 기반이 되는 행렬 연산과 딥 러닝에 적합하기 때문에 여전히 가장 널리 사용됩니다. 조직에서 특정 모델 아키텍처를 비용 및 전력 효율이 더 높은 방식으로 실행하려는 경우, 주문형 반도체(ASIC)와 클라우드 제공업체의 자체 추론 칩을 비롯한 기타 맞춤형 반도체도 널리 사용됩니다. 최신 세대 GPU는 일반적으로 메모리 대역폭이 더 높고 저정밀도 형식에 대한 지원이 추가되어, 가속기 하나로 이전 세대보다 더 큰 모델을 실행하거나 더 많은 요청을 동시에 처리할 수 있습니다.

런타임 엔진

런타임 엔진은 추론 서버라고도 하며, 학습된 모델과 예측을 요청하는 애플리케이션 사이에서 작동합니다. 모델을 로드하고, 들어오는 요청을 배치로 묶어 처리하며, 하드웨어 리소스를 관리하고 결과를 반환합니다. 런타임 엔진이 필요한 이유는 다수의 동시 사용자를 대상으로 모델을 대규모로 효율적으로 실행하는 것이 단일 머신에서 동일한 모델을 학습하거나 테스트하는 것과는 다른 엔지니어링 과제이기 때문입니다.

모델 최적화 기법

프로덕션 추론 시스템에서 자주 사용되는 두 가지 기법은 양자화와 KV 캐싱입니다. 양자화는 모델의 가중치와 활성값의 수치 정밀도를 낮추는 기법으로, 예를 들어 16비트 부동소수점(FP16)을 8비트 정수(INT8)로 변환합니다. 이를 통해 메모리 사용량을 줄이고, 저정밀도 연산을 가속하도록 설계된 하드웨어에서는 연산 속도도 높일 수 있습니다. 다만 정확도가 소폭 떨어질 수 있으며, 대체로 관리 가능한 수준이지만 개발팀은 일반적으로 배포 전에 양자화된 모델을 원본 모델과 비교해 검증합니다. 트랜스포머 기반 언어 모델에 사용되는 KV 캐싱은 이전에 생성된 토큰의 어텐션 데이터를 저장하여 새 토큰을 생성할 때마다 모델이 이를 다시 계산하지 않도록 합니다. 따라서 긴 응답을 생성하는 데 필요한 연산량을 크게 줄일 수 있습니다.

저지연 네트워킹 및 API 보안

추론은 애플리케이션 프로그래밍 인터페이스(API)를 통해 사용자와 애플리케이션에 제공되므로, 요청과 모델 사이의 네트워크 경로는 모델 자체의 처리 시간만큼이나 중요합니다. 애플리케이션과 추론 엔드포인트 사이의 네트워크 지연, 혼잡, 비효율적인 라우팅은 더 빠른 GPU나 더 작게 양자화된 모델로 얻은 성능 향상을 무색하게 만들 수 있습니다. 또한 추론 API는 외부에 노출된 모든 API가 지닌 익숙한 위험 외에도 프롬프트 인젝션, 모델 출력을 통한 데이터 유출, 고가의 컴퓨팅 리소스에 대한 무단 접근 등 새로운 보안 문제를 야기합니다. 이러한 이유로 기업의 추론 전략에서는 하드웨어 및 모델 선택과 함께 전용 트래픽 관리 및 API 보안을 고려하는 추세가 점점 더 뚜렷해지고 있습니다.

엔터프라이즈 추론 워크로드 관리

모든 추론 워크로드가 동일하게 작동하는 것은 아니므로, 이를 지원하는 인프라도 이러한 차이를 고려해야 합니다. 기업은 일반적으로 실시간 추론, 배치 추론, 엣지 추론, 생성형 AI 및 LLM 추론이라는 네 가지 유형을 조합하여 관리합니다. 각 유형은 요구되는 지연 시간과 확장 방식이 서로 다릅니다.

실시간 또는 온라인 추론

실시간 추론은 요청을 한 번에 하나씩 처리하고 일반적으로 밀리초 단위로 즉시 결과를 반환합니다. 이 방식은 거래 시점의 사기 탐지, 챗봇의 실시간 응답, 자율주행 차량의 주변 환경 인식처럼 시간에 민감한 사용 사례에 적합합니다. 이러한 경우에는 응답이 지연되면 잘못된 응답만큼이나 도움이 되지 않습니다.

배치 추론

배치 추론은 여러 요청을 하나로 묶어 한 번에 처리하는 방식으로, 주로 정해진 일정에 따라 또는 사용량이 적은 시간대에 실행됩니다. 개별 요청의 지연 시간보다 전체 처리량이 더 중요하므로, 배치 작업은 가용 하드웨어를 더욱 효율적으로 활용할 수 있습니다. 대표적인 예로는 야간에 상품 추천을 생성하거나 대규모 고객 데이터셋을 대상으로 이탈 위험 점수를 산출하는 작업이 있습니다.

엣지 추론

엣지 추론은 스마트폰, 카메라, 산업용 센서 등 데이터를 생성하는 기기에서 또는 그 가까이에서 모델을 실행하는 방식으로, 데이터를 중앙 집중식 데이터 센터나 클라우드 리전으로 전송하지 않습니다. 이를 통해 지연 시간을 줄이고, 오프라인이거나 연결이 불안정한 환경에서도 활용할 수 있으며, 데이터 프라이버시 또는 데이터 상주 요건을 충족하는 데 도움이 될 수 있습니다. 다만 일반적으로는 사용 가능한 하드웨어에 맞춰 더 작거나 더 많이 압축된 모델을 실행해야 합니다.

생성형 AI 및 LLM 추론

생성형 AI 및 대규모 언어 모델(LLM) 워크로드는 단일 결과를 반환하는 대신 토큰 단위로 출력을 생성하므로, 분류 또는 회귀 모델보다 리소스 사용량을 예측하기 어렵습니다. 짧은 프롬프트에 긴 응답을 생성하는 경우, 긴 프롬프트에 짧은 응답을 생성할 때보다 훨씬 더 많은 컴퓨팅 리소스를 소비하며, 사용량이 늘어남에 따라 워크로드도 빠르게 변할 수 있습니다. 이러한 변동성은 생성형 AI 워크로드가 이전 세대의 ML 추론보다 로드 밸런싱과 Kubernetes 기반 확장에 더 큰 부담을 주는 주요 원인입니다. 일 단위가 아닌 분 단위로 바뀌는 사용 패턴에 맞춰 처리 용량을 유연하게 조정해야 하기 때문입니다.

머신러닝 추론의 실제 활용 사례

ML 추론의 영향은 다양한 분야에서 확인할 수 있습니다. 예를 들어 의료 분야에서는 의사가 CT나 MRI 같은 의료 영상에서 이상 징후를 감지하도록 추론이 지원하며, 수작업보다 빠르게 잠재적인 문제를 식별합니다. 금융 분야에서는 고빈도 매매 회사와 은행이 추론을 활용해 시장 동향을 예측하고, 신용카드 거래에서 사기 의심 사례를 탐지하며, 대출 위험을 평가합니다. 유통업체는 개인의 쇼핑 행동에 맞춰 상품을 제안하는 추천 엔진에 추론을 도입해 사용자 경험을 크게 향상시킵니다.

흔히 언급되는 이러한 사례 외에도 ML 추론은 음성 인식 비서, 스마트 카메라의 얼굴 인식, 교육용 소프트웨어의 개인 맞춤형 학습 경로에도 활용됩니다. 모델은 음성 명령, 실시간 영상 피드, 성과 지표 등 새로운 데이터를 처리하여 즉각적인 답변과 동작을 제공합니다. 이에 따라 다양한 산업의 기업들은 추론 기반 인사이트를 활용하여 효율성을 높이고 비용을 절감하며 고객 만족도를 개선하고 있습니다. 대규모 데이터 및 통합 인프라와 결합된 추론은 조직이 현재의 추세에 대응하고 향후 변화를 더욱 정확하게 예측하며 보다 선제적으로 움직일 수 있도록 지원합니다.

머신러닝 추론과 학습 비교

ML 추론과 학습을 비교하면 조직이 AI 워크로드 전반에서 높은 성능을 추구할 때 직면하는 절충점을 알 수 있습니다. 학습에는 상당한 컴퓨팅 리소스, 데이터 과학 분야의 전문 지식, 방대한 과거 데이터가 필요합니다. 학습은 실험, 하이퍼파라미터 튜닝, 검증 등을 포함하는 리소스 집약적인 단계입니다. 이러한 요인으로 인해 학습 주기는 수 시간에서 수일, 심지어 수 주까지 걸릴 수 있으며, 특히 딥러닝 모델이나 초대규모 데이터 세트를 다룰 때 더욱 그렇습니다.

반면, 추론은 일반적으로 속도와 확장성을 우선시하는 제약 조건 아래에서 수행됩니다. 목표는 모델의 정확도를 유지하면서 새로운 데이터를 거의 실시간으로 처리하는 것입니다. 하지만 프로덕션 환경에서는 네트워크 지연이나 제한적인 하드웨어 가속과 같은 병목 현상으로 성능이 저하될 수 있어 어려움이 따릅니다. 조직은 모델을 재학습하여 최신 상태로 유지하는 빈도와 추론 요청을 처리하는 효율성 사이에서 적절한 균형을 찾는 데 어려움을 겪곤 합니다. 기업은 전이 학습, 모델 압축, 엣지 컴퓨팅 등의 기법으로 이 두 측면을 최적화하여 연산 비용을 효과적으로 관리하면서도 높은 모델 예측 정확도를 달성하고자 합니다.

F5가 기업의 AI 배포를 지원하는 방법

F5는 조직의 엔터프라이즈 AI 배포를 보호하고 확장하며 오케스트레이션하기 위해 F5 Application Delivery and Security Platform을 활용합니다. F5는 분산 API에 의존하는 경우가 많은 상호 연결된 AI 모델의 과제를 해결하여 워크플로를 간소화하고, 인프라를 강화하며, 하이브리드 및 멀티클라우드 환경 전반에서 원활한 성능을 보장합니다. AI 데이터 수집을 위한 지능형 트래픽 관리와 고급 위협 보호를 통해 효율적인 학습, 미세 조정 및 추론을 지원합니다. NVIDIA 및 Intel과 같은 업계 선도 기업과 협력하여 F5는 AI 운영을 간소화하고 보안을 강화하며 기업이 엔터프라이즈 AI의 잠재력을 자신 있게 최대한 활용할 수 있도록 맞춤형 솔루션을 제공합니다. F5가 모든 환경에서 AI 애플리케이션을 보호하고 제공하는 방법을 자세히 알아보세요.

하이브리드 및 멀티클라우드 환경 전반에 AI 추론 배포

대부분의 기업은 온프레미스 데이터 센터, 퍼블릭 클라우드, 엣지 환경을 혼합하여 추론을 실행하며, 각 환경마다 지연 시간, 비용, 규정 준수 측면에서 고려해야 할 사항이 다릅니다. F5는 포트폴리오의 여러 제품과 솔루션을 통해 이러한 복잡성을 해소합니다. AI 게이트웨이인 F5 AI Gateway를 사용하면 팀은 모델이 실행되는 위치에 관계없이 단일 제어 지점에서 AI 모델, 에이전트, 도구로 향하는 트래픽을 관리하고 보호하며 최적화할 수 있습니다.

F5 Distributed Cloud는 데이터 센터, 클라우드, 엣지 사이트 전반에 일관된 네트워킹 및 보안 정책을 적용하여 추론 트래픽이 통합된 보안 태세를 유지하면서 환경 간에 이동할 수 있도록 합니다. AI 팩토리용으로 설계된 로드 밸런싱 솔루션은 온프레미스 또는 GPU 서비스형(GPU-as-a-service) 환경의 GPU 클러스터와 Kubernetes 환경 전반에 추론 및 학습 트래픽을 분산하여 고가의 가속기 리소스가 유휴 상태로 남지 않도록 돕습니다. F5 ADSP의 일부인 이러한 솔루션은 조직이 환경마다 별도의 개별 솔루션을 조합하는 대신, 하나의 아키텍처로 사용자, 데이터, API, 추론 엔드포인트를 연결할 수 있도록 합니다.

AI 및 머신러닝에서 추론은 학습과 실제 활용을 이어 주는 가교입니다. 모델 개발 과정에서 학습한 복잡한 패턴을 실행 가능한 인사이트로 전환하여 개인화된 추천과 사기 탐지부터 의료 진단과 챗봇 상호작용에 이르기까지 다양한 활용을 지원합니다. 추론은 새로운 데이터를 처리하고 결과를 전달하는 데 초점을 맞추는 단계로, 머신러닝이 진정한 가치를 입증하는 과정입니다. 이를 통해 조직은 데이터에 기반한 의사 결정을 내리고 사용자 경험을 실시간으로 개선할 수 있습니다.

더 많은 산업에서 AI 기반 솔루션을 도입하면서 추론의 중요성도 계속 커지고 있습니다. 추론에는 오케스트레이션 계층과 특수 하드웨어 등을 포함하는 효율적이고 안정적인 인프라가 필요할 뿐 아니라, 변화하는 조건에 적응할 수 있도록 잘 설계된 모델도 중요합니다. 최신 AI 시스템은 대규모 연산이 필요한 학습과 빠르게 반복되는 추론 프로세스를 분리함으로써 성능이나 속도를 희생하지 않고도 최신 상태를 유지하며 변화하는 요구에 부응할 수 있습니다. 온라인 추천과 같은 일상적인 애플리케이션부터 예측 유지보수와 고급 진단 같은 핵심 업무에 이르기까지, 추론은 우리가 일하고 생활하며 혁신하는 방식에 점점 더 큰 영향을 미치는 머신러닝의 중심에 있습니다.