24 KiB
Xiaozhi Backend-Service xiaozhi-esp32-server
Dieses Projekt basiert auf der Theorie und Technologie der Mensch-Maschine-symbiotischen Intelligenz zur Entwicklung intelligenter Terminal-Hardware- und Software-Systeme
und bietet Backend-Dienste für das Open-Source-Hardware-Projekt
xiaozhi-esp32
Implementiert mit Python, Java und Vue gemäß dem Xiaozhi-Kommunikationsprotokoll
Unterstützt MQTT+UDP-Protokoll, Websocket-Protokoll, MCP-Zugriffspunkte, Stimmabdruckerkennung und Wissensdatenbank
Häufige Fragen · Probleme melden · Deployment-Dokumentation · Release-Hinweise
Geleitet vom Team von Professor Siyuan Liu (South China University of Technology)
刘思源教授团队主导研发(华南理工大学)
Zielgruppe 👥
Dieses Projekt erfordert ESP32-Hardware-Geräte zum Betrieb. Wenn Sie ESP32-bezogene Hardware erworben haben, erfolgreich eine Verbindung zu Brother Xias bereitgestelltem Backend-Service hergestellt haben und Ihren eigenen xiaozhi-esp32-Backend-Service unabhängig aufbauen möchten, dann ist dieses Projekt perfekt für Sie.
Möchten Sie die Nutzungseffekte sehen? Klicken Sie auf die Videos unten 🎥
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
Warnungen ⚠️
-
Dieses Projekt ist Open-Source-Software. Diese Software hat keine kommerzielle Partnerschaft mit Drittanbieter-API-Dienstleistern (einschließlich, aber nicht beschränkt auf Spracherkennung, große Modelle, Sprachsynthese und andere Plattformen), mit denen sie sich verbindet, und bietet keine Garantie für deren Servicequalität oder finanzielle Sicherheit. Es wird empfohlen, dass Benutzer Dienstleister mit entsprechenden Geschäftslizenzen bevorzugen und deren Servicevereinbarungen und Datenschutzrichtlinien sorgfältig lesen. Diese Software hostet keine Kontoschlüssel, nimmt nicht an Geldströmen teil und trägt nicht das Risiko von Verlusten bei Guthaben-Aufladungen.
-
Die Funktionalität dieses Projekts ist nicht vollständig und hat keine Netzwerksicherheitsbewertung bestanden. Bitte verwenden Sie es nicht in Produktionsumgebungen. Wenn Sie dieses Projekt zu Lernzwecken in einer öffentlichen Netzwerkumgebung bereitstellen, stellen Sie bitte sicher, dass notwendige Schutzmaßnahmen vorhanden sind.
Deployment-Dokumentation
Dieses Projekt bietet zwei Bereitstellungsmethoden. Bitte wählen Sie basierend auf Ihren spezifischen Anforderungen:
🚀 Auswahl der Bereitstellungsmethode
| Bereitstellungsmethode | Funktionen | Anwendungsszenarien | Deployment-Dokumente | Konfigurationsanforderungen | Video-Tutorials |
|---|---|---|---|---|---|
| Vereinfachte Installation | Intelligenter Dialog, Einzel-Agenten-Verwaltung | Umgebungen mit geringer Konfiguration, Daten in Konfigurationsdateien gespeichert, keine Datenbank erforderlich | ①Docker-Version / ②Quellcode-Deployment | Lokales FunASR benötigt mehr Arbeitsspeicher; bei durchgängiger API-Nutzung ist der Ressourcenverbrauch gering |
- |
| Vollständige Modulinstallation | Intelligenter Dialog, Mehrbenutzerverwaltung, Mehr-Agenten-Verwaltung, Intelligente Steuerkonsole-Bedienung | Vollständige Funktionserfahrung, Daten in Datenbank gespeichert | ①Docker-Version / ②Quellcode-Deployment / ③Quellcode-Deployment Auto-Update-Tutorial | Lokales FunASR benötigt mehr Arbeitsspeicher, zusätzlich werden Datenbankressourcen benötigt; bei durchgängiger API-Nutzung ist der Ressourcenverbrauch gering |
Video-Tutorial für lokalen Quellcode-Start |
Häufige Fragen und entsprechende Tutorials finden Sie unter diesem Link
💡 Hinweis: Unten ist eine Testplattform, die mit dem neuesten Code bereitgestellt wurde. Sie können bei Bedarf brennen und testen. Gleichzeitige Benutzer: 6, Daten werden täglich gelöscht.
Adresse der intelligenten Steuerkonsole: https://2662r3426b.vicp.fun
Adresse der intelligenten Steuerkonsole (H5): https://2662r3426b.vicp.fun/h5/index.html
Service-Testtool: https://2662r3426b.vicp.fun/test/
OTA-Schnittstellenadresse: https://2662r3426b.vicp.fun/xiaozhi/ota/
Websocket-Schnittstellenadresse: wss://2662r3426b.vicp.fun/xiaozhi/v1/
🚩 Konfigurationsbeschreibung und Empfehlungen
Note
Dieses Projekt bietet zwei Konfigurationsschemata:
Einstiegslevel Kostenlose Einstellungen: Geeignet für den persönlichen und privaten Gebrauch, alle Komponenten verwenden kostenlose Lösungen, keine zusätzliche Zahlung erforderlich.
Streaming-Konfiguration: Geeignet für Demonstrationen, Schulungen, Szenarien mit mehr als 2 gleichzeitigen Benutzern usw. Verwendet Streaming-Verarbeitungstechnologie für schnellere Reaktionsgeschwindigkeit und bessere Erfahrung.Ab Version
0.5.2unterstützt das Projekt Streaming-Konfiguration. Im Vergleich zu früheren Versionen ist die Reaktionsgeschwindigkeit um ca.2,5 Sekundenverbessert, was die Benutzererfahrung erheblich verbessert.
| Modulname | Einstiegslevel Kostenlose Einstellungen | Streaming-Konfiguration |
|---|---|---|
| ASR (Spracherkennung) | FunASR (Lokal) | 👍XunfeiStreamASR (Xunfei-Streaming) |
| LLM (Großes Modell) | glm-4-flash (Zhipu) | 👍qwen-flash (Alibaba Bailian) |
| VLLM (Vision Large Model) | glm-4v-flash (Zhipu) | 👍qwen3.5-flash (Alibaba Bailian) |
| TTS (Sprachsynthese) | EdgeTTS (Microsoft) | 👍HuoshanDoubleStreamTTS (Volcano-Streaming) |
| Intent (Absichtserkennung) | function_call (Funktionsaufruf) | function_call (Funktionsaufruf) |
| Memory (Gedächtnisfunktion) | mem_local_short (Lokales Kurzzeitgedächtnis) | mem_local_short (Lokales Kurzzeitgedächtnis) |
Wenn Sie sich um die Latenz jeder Komponente kümmern, lesen Sie bitte den Xiaozhi-Komponenten-Leistungstestbericht. Sie können gemäß den Testmethoden im Bericht in Ihrer Umgebung tatsächlich testen.
🔧 Testwerkzeuge
Dieses Projekt bietet die folgenden Testwerkzeuge, um Ihnen bei der Überprüfung des Systems und der Auswahl geeigneter Modelle zu helfen:
| Werkzeugname | Standort | Verwendungsmethode | Funktionsbeschreibung |
|---|---|---|---|
| Audio-Interaktionstesttool | main》digital-human》index.html | In main/digital-human zuerst die Abhängigkeiten wie in der README installieren, dann python start.py ausführen und http://127.0.0.1:8006/index.html öffnen |
Testet Audio-Wiedergabe- und Empfangsfunktionen, überprüft, ob die Python-seitige Audioverarbeitung normal ist |
| Modell-Reaktionstesttool | main》xiaozhi-server》performance_tester.py | Ausführen python performance_tester.py |
Testet die Reaktionsgeschwindigkeit von Kernmodulen wie ASR (Spracherkennung), LLM (großes Modell), VLLM (Vision-Modell), TTS (Sprachsynthese) |
💡 Hinweis: Beim Testen der Modellgeschwindigkeit werden nur Modelle mit konfigurierten Schlüsseln getestet.
Funktionsliste ✨
Implementiert ✅
| Funktionsmodul | Beschreibung |
|---|---|
| Kernarchitektur | Basierend auf MQTT+UDP-Gateway, WebSocket und HTTP-Servern, bietet vollständiges Konsolenverwaltungs- und Authentifizierungssystem |
| Sprachinteraktion | Unterstützt Streaming-ASR (Spracherkennung), Streaming-TTS (Sprachsynthese), VAD (Sprachaktivitätserkennung), unterstützt mehrsprachige Erkennung und Sprachverarbeitung |
| Stimmabdruckerkennung | Unterstützt Mehrbenutzer-Stimmabdruckregistrierung, -verwaltung und -erkennung, verarbeitet parallel mit ASR, Echtzeit-Sprecheridentitätserkennung und Weitergabe an LLM für personalisierte Antworten |
| Intelligenter Dialog | Unterstützt mehrere LLM (große Sprachmodelle), implementiert intelligenten Dialog |
| Visuelle Wahrnehmung | Unterstützt mehrere VLLM (Vision Large Models), implementiert multimodale Interaktion |
| Absichtserkennung | Unterstützt externe LLM-Absichtserkennung, autonome Funktionsaufrufe durch große Modelle, bietet plugin-basierten Absichtsverarbeitungsmechanismus |
| Gedächtnissystem | Unterstützt lokales Kurzzeitgedächtnis, mem0ai-Schnittstellengedächtnis, PowerMem intelligentes Gedächtnis, mit Gedächtniszusammenfassungsfunktion |
| Wissensdatenbank | Unterstützt RAGFlow-Wissensdatenbank, ermöglicht großem Modell die Bewertung, ob Wissensdatenbank benötigt wird, bevor geantwortet wird |
| Werkzeugaufruf | Unterstützt Client-IOT-Protokoll, Client-MCP-Protokoll, Server-MCP-Protokoll, MCP-Zugriffspunktprotokoll, benutzerdefinierte Werkzeugfunktionen |
| Befehlsübermittlung | Basierend auf MQTT-Protokoll, unterstützt die Übermittlung von MCP-Befehlen von der intelligenten Steuerkonsole an ESP32-Geräte |
| Verwaltungs-Backend | Bietet Web-Verwaltungsoberfläche, unterstützt Benutzerverwaltung, Systemkonfiguration und Geräteverwaltung; Oberfläche unterstützt vereinfachtes Chinesisch, traditionelles Chinesisch, Englisch, Deutsch, Vietnamesisch und brasilianisches Portugiesisch an |
| Testwerkzeuge | Bietet Leistungstestwerkzeuge für Modellantworten und Audio-Interaktionstestwerkzeuge |
| Deployment-Unterstützung | Unterstützt Docker-Deployment und lokales Deployment, bietet vollständige Konfigurationsdateiverwaltung |
| Plugin-System | Unterstützt funktionale Plugin-Erweiterungen und benutzerdefinierte Plugin-Entwicklung; neu hinzugefügte Plugin-Dateien werden bei der nächsten Geräteverbindung geladen, Änderungen an bereits geladenen Plugins erfordern einen Neustart des Dienstes |
In Entwicklung 🚧
Um über spezifische Entwicklungsplanfortschritte zu erfahren, klicken Sie hier. Häufige Fragen und entsprechende Tutorials finden Sie unter diesem Link
Wenn Sie ein Softwareentwickler sind, finden Sie hier einen Offenen Brief an Entwickler. Willkommen beim Beitritt!
Produktökosystem 👬
Xiaozhi ist ein Ökosystem. Wenn Sie dieses Produkt verwenden, können Sie sich auch andere hervorragende Projekte in diesem Ökosystem ansehen
Liste der von diesem Projekt unterstützten Plattformen/Komponenten 📋
LLM-Sprachmodelle
| Verwendungsmethode | Unterstützte Plattformen | Kostenlose Plattformen |
|---|---|---|
| OpenAI-Schnittstellenaufrufe | Alibaba Bailian, Volcano Engine Doubao, Volcano Engine AI Gateway, DeepSeek, Zhipu ChatGLM, Gemini, iFLYTEK, LM Studio | Zhipu ChatGLM, Gemini |
| Ollama-Schnittstellenaufrufe | Ollama | - |
| Dify-Schnittstellenaufrufe | Dify | - |
| FastGPT-Schnittstellenaufrufe | FastGPT | - |
| Coze-Schnittstellenaufrufe | Coze | - |
| Xinference-Schnittstellenaufrufe | Xinference | - |
| HomeAssistant-Schnittstellenaufrufe | HomeAssistant | - |
Tatsächlich kann jedes LLM, das OpenAI-Schnittstellenaufrufe unterstützt, integriert und verwendet werden.
VLLM-Vision-Modelle
| Verwendungsmethode | Unterstützte Plattformen | Kostenlose Plattformen |
|---|---|---|
| OpenAI-Schnittstellenaufrufe | Alibaba Bailian, Zhipu ChatGLMVLLM | Zhipu ChatGLMVLLM |
Tatsächlich kann jedes VLLM, das OpenAI-Schnittstellenaufrufe unterstützt, integriert und verwendet werden.
TTS-Sprachsynthese
| Verwendungsmethode | Unterstützte Plattformen | Kostenlose Plattformen |
|---|---|---|
| Schnittstellenaufrufe | EdgeTTS, iFLYTEK, Volcano Engine Doubao TTS, Volcano Engine AI Gateway TTS, Tencent Cloud, Alibaba Cloud TTS, AliYun Stream TTS, Alibaba Bailian CosyVoice TTS, CosyVoiceSiliconflow, TTS302AI, CozeCnTTS, CustomTTS, OpenAITTS, MinimaxTTS, Volcano Dual-Stream TTS | EdgeTTS, CosyVoiceSiliconflow (teilweise) |
| Lokale Dienste | FishSpeech, GPT_SOVITS_V2, GPT_SOVITS_V3, IndexStreamTTS, PaddleSpeechTTS | IndexStreamTTS, PaddleSpeechTTS, FishSpeech, GPT_SOVITS_V2, GPT_SOVITS_V3 |
VAD-Sprachaktivitätserkennung
| Typ | Plattformname | Verwendungsmethode | Preismodell | Hinweise |
|---|---|---|---|---|
| VAD | SileroVAD | Lokale Verwendung | Kostenlos |
ASR-Spracherkennung
| Verwendungsmethode | Unterstützte Plattformen | Kostenlose Plattformen |
|---|---|---|
| Lokale Verwendung | FunASR, SherpaASR, SherpaParaformerASR, VoskASR | FunASR, SherpaASR, SherpaParaformerASR, VoskASR |
| Schnittstellenaufrufe | DoubaoASR, Doubao Streaming ASR, Doubao Streaming ASR V2, FunASRServer, iFLYTEK, TencentASR, AliyunASR, Aliyun Streaming ASR, Alibaba Bailian Streaming ASR, Baidu ASR, OpenAI ASR, GroqASR, Qwen3ASRFlash | FunASRServer |
Voiceprint-Stimmabdruckerkennung
| Verwendungsmethode | Unterstützte Plattformen | Kostenlose Plattformen |
|---|---|---|
| Schnittstellenaufrufe | Voiceprint-Dienst (voiceprint-api) | - |
Die Stimmabdruckerkennung erfordert einen separat bereitgestellten voiceprint-api-Dienst (auf Basis von 3D-Speaker) sowie MySQL. Siehe Anleitung zur Stimmabdruckerkennung.
Memory-Gedächtnisspeicher
| Typ | Plattformname | Verwendungsmethode | Preismodell | Hinweise |
|---|---|---|---|---|
| Memory | mem0ai | Schnittstellenaufrufe | 1000 Mal/Monat Kontingent | |
| Memory | powermem | Lokale Zusammenfassung | Abhängig von LLM und DB | OceanBase Open Source, unterstützt intelligente Abfrage |
| Memory | mem_local_short | Lokale Zusammenfassung | Kostenlos | |
| Memory | nomem | Kein Gedächtnismodus | Kostenlos |
Intent-Absichtserkennung
| Typ | Plattformname | Verwendungsmethode | Preismodell | Hinweise |
|---|---|---|---|---|
| Intent | intent_llm | Schnittstellenaufrufe | Basierend auf LLM-Preisen | Erkennt Absicht durch große Modelle, starke Allgemeingültigkeit |
| Intent | function_call | Schnittstellenaufrufe | Basierend auf LLM-Preisen | Vervollständigt Absicht durch Funktionsaufruf großer Modelle, schnelle Geschwindigkeit, guter Effekt |
| Intent | nointent | Kein Absichtsmodus | Kostenlos | Führt keine Absichtserkennung durch, gibt direkt Dialogergebnis zurück |
Rag Retrieval Augmented Generation
| Typ | Plattformname | Verwendungsmethode | Preismodell | Hinweise |
|---|---|---|---|---|
| Rag | ragflow | Schnittstellenaufrufe | Gebühren basierend auf Token-Verbrauch für Segmentierung und Tokenisierung | Nutzt RAGFlow's Retrieval-Augmented-Generation-Funktion für präzisere Dialogantworten |
Danksagungen 🙏
| Logo | Projekt/Unternehmen | Beschreibung |
|---|---|---|
 |
Bailing Voice Dialogue Robot | Dieses Projekt wurde von Bailing Voice Dialogue Robot inspiriert und auf dessen Basis implementiert |
 |
Tenclass | Dank an Tenclass für die Formulierung von Standardkommunikationsprotokollen, Multi-Geräte-Kompatibilitätslösungen und High-Concurrency-Szenario-Praxisdemonstrationen für das Xiaozhi-Ökosystem; für die Bereitstellung vollständiger technischer Dokumentationsunterstützung für dieses Projekt |
 |
Xuanfeng Technology | Dank an Xuanfeng Technology für den Beitrag des Funktionsaufruf-Frameworks, des MCP-Kommunikationsprotokolls und der plugin-basierten Aufrufmechanismus-Implementierungscode. Durch standardisiertes Befehlsplanungssystem und dynamische Erweiterungsfähigkeiten wird die Interaktionseffizienz und funktionale Erweiterbarkeit von Frontend-Geräten (IoT) erheblich verbessert |
 |
huangjunsen | Dank an huangjunsen für den Beitrag des Smart Control Console Mobile-Moduls, das eine effiziente Steuerung und Echtzeit-Interaktion über mobile Geräte ermöglicht und die Betriebsbequemlichkeit und Verwaltungseffizienz des Systems in mobilen Szenarien erheblich verbessert |
 |
Huiyuan Design | Dank an Huiyuan Design für die Bereitstellung professioneller visueller Lösungen für dieses Projekt, unter Verwendung ihrer Design-Praxiserfahrung im Dienst von über tausend Unternehmen, um die Produktbenutzererfahrung dieses Projekts zu stärken |
 |
Xi'an Qinren Information Technology | Dank an Xi'an Qinren Information Technology für die Vertiefung des visuellen Systems dieses Projekts und die Sicherstellung der Konsistenz und Erweiterbarkeit des Gesamtdesignstils in Multi-Szenario-Anwendungen |
 |
Code-Mitwirkende | Dank an alle Code-Mitwirkenden, Ihre Bemühungen haben das Projekt robuster und leistungsfähiger gemacht. |