Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
4 changes: 2 additions & 2 deletions xinferencev3/Chart.yaml
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
apiVersion: v2
appVersion: '2.12.0'
appVersion: '4.0.1'
description: description
name: xinferencev3
type: application
version: 1.0.6
version: 1.0.11
45 changes: 33 additions & 12 deletions xinferencev3/OlaresManifest.yaml
Original file line number Diff line number Diff line change
Expand Up @@ -7,18 +7,13 @@ metadata:
description: Model Serving Made Easy
appid: xinferencev3
title: Xinference
version: '1.0.6'
version: '1.0.11'
categories:
- Utilities_v112
- Utilities_v112
- models
tags:
- engine

sharedEntrances:
- name: xinferencev3
title: Xinference
host: sharedentrances-api
icon: https://app.cdn.olares.com/appstore/xinference/icon.png
port: 0
invisible: true
authLevel: internal
entrances:
# Entrance routes directly to the Xinference engine Service on :9997 (no nginx
# proxy layer), mirroring the searxngv3 v3 pattern.
Expand All @@ -39,8 +34,9 @@ permission:
appCache: true
appCommon: true
spec:
runAsUser: true
onlyAdmin: true
versionName: '2.12.0'
versionName: '4.0.1'
featuredImage: https://app.cdn.olares.com/appstore/xinference/1.jpg
promoteImage:
- https://app.cdn.olares.com/appstore/xinference/1.jpg
Expand All @@ -67,14 +63,31 @@ spec:
Built-in Integration with Third-Party Libraries: Xorbits Inference seamlessly integrates with popular third-party libraries including LangChain, LlamaIndex, Dify, and Chatbox.

upgradeDescription: |
Drop chart-level nvidia.com/gpumem (platform injects GPU quota); requiredGPUMemory 8Gi / limitedGPUMemory 23Gi.
Highlights across this upgrade:
- Adds the OpenAI Responses API and a unified view of live and historical runtime logs.
- Optional GPU weight caching lets vLLM and SGLang reload supported engine settings without loading model weights again.

https://github.com/xorbitsai/inference/releases/tag/v4.0.0

Upgrade Xinference from 2.12.0 to 4.0.1.
Persist and verify a snapshot of legacy appData and appCache before copying state into a uid-1000 runtime directory; keep the original data and checksum report for recovery.
Remove the CUDA-specific startup reinstall and enable the upstream per-model engine environments.
Enable actor transport authentication using a generated persistent Secret.
Keep HTTP authentication disabled by default for compatibility with existing Olares clients; enable XINFERENCE_AUTH_ADVANCED explicitly to initialize database-backed authentication.
Legacy JSON authentication requires the upstream migration tool and a persistent encryption key; migration stops when it detects an unmigrated legacy configuration.
Release notes: https://github.com/xorbitsai/inference/releases/tag/v4.0.1
developer: Xorbits Inc.
website: https://xinference.com/
sourceCode: https://github.com/xinference/xinference
submitter: Olares
locale:
- en-US
- zh-CN
- de-DE
- es-ES
- it-IT
- fr-FR
- ja-JP
doc: https://inference.readthedocs.io/en/latest/user_guide/index.html
license:
- text: Apache-2.0
Expand Down Expand Up @@ -119,3 +132,11 @@ envs:
applyOnChange: true
valueFrom:
envName: OLARES_USER_HUGGINGFACE_SERVICE

- envName: XINFERENCE_AUTH_ADVANCED
type: bool
required: false
editable: true
applyOnChange: true
default: "false"
description: "Enable Xinference database-backed HTTP authentication. Existing Olares clients must then supply Xinference API credentials."
33 changes: 33 additions & 0 deletions xinferencev3/i18n/de-DE/OlaresManifest.yaml
Original file line number Diff line number Diff line change
@@ -0,0 +1,33 @@
metadata:
title: Xinference
description: Model Serving leicht gemacht
spec:
fullDescription: |
**WICHTIGER HINWEIS**
Dies ist eine Shared App. Einmal vom Olares Admin installiert, können alle Nutzer im Cluster sie über die Referenz-App nutzen.

**ÜBERBLICK**
Xorbits Inference (Xinference) ist eine leistungsstarke, vielseitige Bibliothek zum Bereitstellen von Sprach-, Spracherkennungs- und multimodalen Modellen. Mit Xorbits Inference können Sie Ihre eigenen oder integrierte State-of-the-Art-Modelle mit einem einzigen Befehl bereitstellen und bedienen. Ob Forscher, Entwickler oder Data Scientist — Xorbits Inference hilft Ihnen, das volle Potenzial modernster KI-Modelle auszuschöpfen.

Hauptfunktionen
Model Serving leicht gemacht: Vereinfacht das Serving großer Sprach-, Spracherkennungs- und multimodaler Modelle. Einrichtung und Deployment für Experimente und Produktion mit einem einzigen Befehl.

State-of-the-Art-Modelle: Experimentieren Sie mit integrierten Spitzenmodellen per Einzeilbefehl. Inference bietet Zugang zu modernen Open-Source-Modellen!

Heterogene Hardware-Nutzung: Nutzen Sie Ihre Hardware mit ggml optimal. Xorbits Inference setzt GPUs und CPUs intelligent ein, um Inferenz zu beschleunigen.

Flexible API und Schnittstellen: Mehrere Schnittstellen zur Interaktion mit Modellen — OpenAI-kompatible RESTful API (inkl. Function Calling API), RPC, CLI und WebUI für nahtlose Verwaltung und Nutzung.

Verteiltes Deployment: Stark in verteilten Szenarien — Inferenz nahtlos über mehrere Geräte oder Maschinen verteilen.

Eingebaute Integration mit Drittanbieter-Bibliotheken: Nahtlose Integration mit LangChain, LlamaIndex, Dify und Chatbox.

upgradeDescription: |
Highlights dieses versionsübergreifenden Updates:
- Neue OpenAI Responses API und eine gemeinsame Ansicht für aktuelle und historische Laufzeitprotokolle.
- Mit optionalem GPU-Gewichtscache können vLLM und SGLang unterstützte Engine-Einstellungen neu laden, ohne die Modellgewichte erneut zu laden.

https://github.com/xorbitsai/inference/releases/tag/v4.0.0

Xinference auf 4.0.1 aktualisieren. Vor der Migration in ein Laufzeitverzeichnis mit UID 1000 werden Sicherungen geprüft und beibehalten. Modellbezogene Engine-Umgebungen und Actor-Transportauthentifizierung werden aktiviert. Die HTTP-Authentifizierung bleibt für bestehende Olares-Clients standardmäßig deaktiviert und kann explizit aktiviert werden. Alte JSON-Authentifizierung erfordert das Upstream-Migrationswerkzeug und den dauerhaften Verschlüsselungsschlüssel. NVIDIA-Treiber ab Version 580 erforderlich.
https://github.com/xorbitsai/inference/releases/tag/v4.0.1
17 changes: 8 additions & 9 deletions xinferencev3/i18n/en-US/OlaresManifest.yaml
Original file line number Diff line number Diff line change
Expand Up @@ -23,12 +23,11 @@ spec:
Built-in Integration with Third-Party Libraries: Xorbits Inference seamlessly integrates with popular third-party libraries including LangChain, LlamaIndex, Dify, and Chatbox.

upgradeDescription: |
V3 shared-app migration of Xinference (xinferencev2 -> xinferencev3).

**What's Changed**
- **Architecture**: flattened the xinferencev2server / xinferencev2 sub-charts
into a single chart. Removed the nginx clientproxy layer — the entrance
routes directly to the engine Service on port 9997. Engine memory raised to
40Gi (/dev/shm 8Gi) for large models.
- **Resources**: removed the admin-only conditional guards; GPU is declared via
spec.accelerator (nvidia).
Highlights across this upgrade:
- Adds the OpenAI Responses API and a unified view of live and historical runtime logs.
- Optional GPU weight caching lets vLLM and SGLang reload supported engine settings without loading model weights again.

https://github.com/xorbitsai/inference/releases/tag/v4.0.0

Upgrade Xinference to 4.0.1. Verify and retain backups before migrating legacy state to a uid-1000 runtime directory. Enable per-model engine environments and actor transport authentication. HTTP authentication stays disabled by default for existing Olares clients; it can be enabled explicitly. Legacy JSON authentication requires the upstream migration tool and its persistent encryption key. NVIDIA driver 580 or later is required.
https://github.com/xorbitsai/inference/releases/tag/v4.0.1
33 changes: 33 additions & 0 deletions xinferencev3/i18n/es-ES/OlaresManifest.yaml
Original file line number Diff line number Diff line change
@@ -0,0 +1,33 @@
metadata:
title: Xinference
description: Model Serving hecho fácil
spec:
fullDescription: |
**NOTA IMPORTANTE**
Esta es una app compartida. Una vez instalada por el Olares Admin, todos los usuarios del clúster pueden usarla mediante la app de referencia.

**RESUMEN**
Xorbits Inference (Xinference) es una biblioteca potente y versátil diseñada para servir modelos de lenguaje, reconocimiento de voz y multimodales. Con Xorbits Inference puede desplegar y servir sus modelos o los integrados de última generación con un solo comando. Ya sea investigador, desarrollador o científico de datos, Xorbits Inference le permite aprovechar al máximo los modelos de IA más avanzados.

Características principales
Model Serving hecho fácil: Simplifica el servicio de grandes modelos de lenguaje, reconocimiento de voz y multimodales. Configure y despliegue para experimentación y producción con un solo comando.

Modelos de última generación: Experimente con modelos integrados de punta con un solo comando. Inference da acceso a modelos open source de última generación.

Uso de hardware heterogéneo: Aproveche al máximo su hardware con ggml. Xorbits Inference utiliza de forma inteligente GPUs y CPUs para acelerar la inferencia.

API e interfaces flexibles: Varias interfaces para interactuar con sus modelos: API RESTful compatible con OpenAI (incluida Function Calling API), RPC, CLI y WebUI para gestión e interacción fluidas.

Despliegue distribuido: Destaca en escenarios distribuidos, permitiendo repartir la inferencia entre varios dispositivos o máquinas.

Integración integrada con bibliotecas de terceros: Integración fluida con LangChain, LlamaIndex, Dify y Chatbox.

upgradeDescription: |
Novedades de esta actualización entre versiones:
- Añade la API Responses de OpenAI y una vista unificada de registros de ejecución actuales e históricos.
- La caché opcional de pesos en GPU permite a vLLM y SGLang recargar ajustes compatibles del motor sin volver a cargar los pesos del modelo.

https://github.com/xorbitsai/inference/releases/tag/v4.0.0

Actualizar Xinference a 4.0.1. Verificar y conservar las copias antes de migrar los datos a un directorio con UID 1000. Activar entornos de motor por modelo y autenticación del transporte de actores. La autenticación HTTP sigue desactivada por defecto para los clientes Olares existentes y se puede activar explícitamente. La autenticación JSON antigua requiere la herramienta de migración oficial y la clave de cifrado persistente. Requiere controlador NVIDIA 580 o posterior.
https://github.com/xorbitsai/inference/releases/tag/v4.0.1
33 changes: 33 additions & 0 deletions xinferencev3/i18n/fr-FR/OlaresManifest.yaml
Original file line number Diff line number Diff line change
@@ -0,0 +1,33 @@
metadata:
title: Xinference
description: Le Model Serving simplifié
spec:
fullDescription: |
**NOTE IMPORTANTE**
Il s'agit d'une app partagée. Une fois installée par l'Olares Admin, tous les utilisateurs du cluster peuvent l'utiliser via l'app de référence.

**APERÇU**
Xorbits Inference (Xinference) est une bibliothèque puissante et polyvalente conçue pour servir des modèles de langage, de reconnaissance vocale et multimodaux. Avec Xorbits Inference, vous pouvez déployer et servir vos modèles ou des modèles intégrés de pointe avec une seule commande. Que vous soyez chercheur, développeur ou data scientist, Xorbits Inference vous permet d'exploiter pleinement les modèles d'IA de pointe.

Fonctionnalités clés
Model Serving simplifié : Simplifie le service de grands modèles de langage, de reconnaissance vocale et multimodaux. Configurez et déployez pour l'expérimentation et la production avec une seule commande.

Modèles de pointe : Expérimentez avec des modèles intégrés de pointe via une seule commande. Inference donne accès à des modèles open source à la pointe !

Utilisation de matériel hétérogène : Tirez le meilleur parti de votre matériel avec ggml. Xorbits Inference utilise intelligemment GPU et CPU pour accélérer l'inférence.

API et interfaces flexibles : Plusieurs interfaces pour interagir avec vos modèles — API RESTful compatible OpenAI (y compris Function Calling API), RPC, CLI et WebUI pour une gestion et une interaction fluides.

Déploiement distribué : Excellent en scénarios distribués, permettant de répartir l'inférence sur plusieurs appareils ou machines.

Intégration native avec des bibliothèques tierces : Intégration fluide avec LangChain, LlamaIndex, Dify et Chatbox.

upgradeDescription: |
Nouveautés de cette mise à niveau entre versions :
- Ajoute l’API Responses d’OpenAI et une vue commune des journaux d’exécution actuels et historiques.
- Un cache optionnel des poids sur GPU permet à vLLM et SGLang de recharger les réglages compatibles du moteur sans recharger les poids du modèle.

https://github.com/xorbitsai/inference/releases/tag/v4.0.0

Mise à jour de Xinference vers 4.0.1. Vérifier et conserver les sauvegardes avant de migrer les données vers un répertoire avec UID 1000. Activer les environnements de moteur par modèle et l’authentification du transport des acteurs. L’authentification HTTP reste désactivée par défaut pour les clients Olares existants et peut être activée explicitement. L’ancienne authentification JSON nécessite l’outil de migration officiel et la clé de chiffrement persistante. Pilote NVIDIA 580 ou ultérieur requis.
https://github.com/xorbitsai/inference/releases/tag/v4.0.1
33 changes: 33 additions & 0 deletions xinferencev3/i18n/it-IT/OlaresManifest.yaml
Original file line number Diff line number Diff line change
@@ -0,0 +1,33 @@
metadata:
title: Xinference
description: Model Serving reso semplice
spec:
fullDescription: |
**NOTA IMPORTANTE**
Questa è un'app condivisa. Una volta installata dall'Olares Admin, tutti gli utenti del cluster possono usarla tramite l'app di riferimento.

**PANORAMICA**
Xorbits Inference (Xinference) è una libreria potente e versatile progettata per servire modelli di linguaggio, riconoscimento vocale e multimodali. Con Xorbits Inference puoi distribuire e servire i tuoi modelli o quelli built-in all'avanguardia con un solo comando. Che tu sia ricercatore, sviluppatore o data scientist, Xorbits Inference ti permette di sfruttare appieno i modelli AI più avanzati.

Funzionalità principali
Model Serving reso semplice: Semplifica il serving di grandi modelli di linguaggio, riconoscimento vocale e multimodali. Configura e distribuisci per sperimentazione e produzione con un solo comando.

Modelli all'avanguardia: Sperimenta con modelli built-in all'avanguardia con un solo comando. Inference offre accesso a modelli open source state-of-the-art!

Utilizzo di hardware eterogeneo: Sfrutta al massimo le risorse hardware con ggml. Xorbits Inference utilizza in modo intelligente GPU e CPU per accelerare l'inferenza.

API e interfacce flessibili: Più interfacce per interagire con i modelli: API RESTful compatibile OpenAI (inclusa Function Calling API), RPC, CLI e WebUI per gestione e interazione fluide.

Deployment distribuito: Eccellente in scenari distribuiti, consentendo di distribuire l'inferenza su più dispositivi o macchine.

Integrazione built-in con librerie di terze parti: Integrazione fluida con LangChain, LlamaIndex, Dify e Chatbox.

upgradeDescription: |
Novità di questo aggiornamento tra versioni:
- Aggiunge l’API Responses di OpenAI e una vista unificata dei log di esecuzione correnti e storici.
- La cache opzionale dei pesi sulla GPU consente a vLLM e SGLang di ricaricare le impostazioni supportate del motore senza ricaricare i pesi del modello.

https://github.com/xorbitsai/inference/releases/tag/v4.0.0

Aggiornamento di Xinference a 4.0.1. Verificare e conservare i backup prima di migrare i dati in una directory con UID 1000. Abilitare gli ambienti del motore per modello e l’autenticazione del trasporto degli attori. L’autenticazione HTTP rimane disabilitata per i client Olares esistenti e può essere abilitata esplicitamente. L’autenticazione JSON precedente richiede lo strumento di migrazione ufficiale e la chiave di cifratura persistente. Richiede driver NVIDIA 580 o successivo.
https://github.com/xorbitsai/inference/releases/tag/v4.0.1
33 changes: 33 additions & 0 deletions xinferencev3/i18n/ja-JP/OlaresManifest.yaml
Original file line number Diff line number Diff line change
@@ -0,0 +1,33 @@
metadata:
title: Xinference
description: 簡単に使えるモデルサービング
spec:
fullDescription: |
**重要なお知らせ**
これは共有アプリです。Olares Admin が一度インストールすると、クラスター内の全ユーザーが参照アプリ経由で利用できます。

**概要**
Xorbits Inference(Xinference)は、言語・音声認識・マルチモーダルモデルをサーブするための強力で汎用的なライブラリです。Xorbits Inference を使えば、独自モデルや内蔵の最先端モデルを単一コマンドでデプロイ・サーブできます。研究者、開発者、データサイエンティストのいずれであっても、最先端 AI モデルの可能性を最大限に引き出せます。

主な機能
簡単モデルサービング: 大規模言語・音声認識・マルチモーダルモデルのサービングを簡素化。実験から本番まで単一コマンドでセットアップ・デプロイ。

最先端モデル: 内蔵の最先端モデルを単一コマンドで試せます。オープンソースの最新モデルへのアクセスを提供。

ヘテロジニアスハードウェア活用: ggml でハードウェアを最大限活用。GPU と CPU を賢く使い推論を加速。

柔軟な API とインターフェース: OpenAI 互換 RESTful API(Function Calling API 含む)、RPC、CLI、WebUI など複数のインターフェースでモデル管理と対話。

分散デプロイ: 分散シナリオに強く、複数デバイス/マシンへの推論分散をシームレスに実現。

サードパーティライブラリとの内蔵統合: LangChain、LlamaIndex、Dify、Chatbox とシームレスに統合。

upgradeDescription: |
今回の複数バージョンにわたる更新の主な変更:
- OpenAI Responses API と、現在および過去の実行ログをまとめて確認できる画面を追加。
- 任意の GPU 重みキャッシュを使うと、vLLM・SGLang で対応するエンジン設定を変更する際に、モデルの重みを読み直さずにエンジンを再起動できます。

https://github.com/xorbitsai/inference/releases/tag/v4.0.0

Xinference を 4.0.1 に更新します。バックアップを検証して保持した後、旧データを UID 1000 の実行ディレクトリへ移行します。モデルごとのエンジン環境と actor 通信認証を有効にします。既存の Olares クライアントとの互換性のため HTTP 認証は既定で無効のままですが、明示的に有効化できます。旧 JSON 認証には上流の移行ツールと永続的な暗号化キーが必要です。NVIDIA ドライバー 580 以降が必要です。
https://github.com/xorbitsai/inference/releases/tag/v4.0.1
Loading
Loading