허깅페이스가 최신 서비스인 허깅페이스 생성 AI 서비스 (HUGS)를 소개했습니다. 이는 오픈 소스 모델을 사용하여 생성 AI 애플리케이션의 배포와 확장을 간소화하기 위한 것입니다. 트랜스포머와 텍스트 생성 추론 (TGI)과 같은 허깅페이스 기술을 기반으로 한 HUGS는 다양한 하드웨어 가속기에서 최적화된 성능을 약속합니다. AWS 또는 Google Cloud를 사용하는 개발자를 위해 시간당 컨테이너 당 1달러의 서비스가 제공되며, AWS에서는 5일 무료 평가판이 제공됩니다. HUGS는 수동 구성이 필요 없이 자체 인프라에서 AI 모델을 실행할 수 있는 솔루션을 개발자에게 제공합니다. 대규모 언어 모델 (LLMs)을 배포할 때 주요 도전 과제 중 하나는 특정 하드웨어 환경에 맞게 최적화하는 것입니다. 각 가속기, NVIDIA GPU 또는 AMD GPU인지에 따라 최대 성능을 추출하기 위해 세밀한 조정이 필요합니다. HUGS를 통해 이러한 최적화는 자동으로 관리되어 곧바로 높은 처리량을 제공합니다. 회사는 NVIDIA 및 AMD GPU뿐만 아니라 곧 AWS Inferentia와 Google TPU까지 지원 범위를 확대할 것이라고 약속합니다. 허깅페이스는 다양한 모델을 지원하는 데 중점을 두고 있으며, Llama 및 Gemma와 같은 잘 알려진 LLM뿐만 아니라 Idefics와 Llava와 같은 다중 모달 모델도 소개할 계획입니다. 미래에는 BGE 및 Jina와 같은 임베딩 모델을 포함하여 개발자들이 AI 애플리케이션을 사용자 정의하는 더 많은 옵션을 제공할 것입니다. 이 서비스는 OpenAI의 모델 인터페이스와 호환되는 표준화된 API를 사용하므로 개발자는 자체 코드를 마이그레이션할 수 있습니다. 특히 스타트업에게 HUGS는 프로피터리 플랫폼과 관련된 높은 비용을 부담하지 않고 AI 애플리케이션을 개발할 기회를 제공합니다. DigitalOcean에서의 원클릭 배포 가능성은 소규모 팀이 생성 AI 기술을 실험하는 데 더욱 쉽게 만듭니다. 한편 대기업은 클라우드 제공업체나 프로피터리 API에 얽매이지 않고 응용 프로그램을 확장하기 위해 HUGS를 활용할 수 있습니다. DigitalOcean에서는 HUGS가 GPU 도플릿의 표준 비용을 초과하지 않는 추가 요금 없이 제공됩니다. 허깅페이스는 기업용 허브를 통해 기업을 위한 사용자 정의 배포 솔루션도 제공합니다.
