0 Fork 0

Files

T

模型响应测试工具那一行列了 ASR、LLM、VLLM、TTS 四个模块，却写着三个核心模块，这里改成四个。只动表示数量的那个词，句子的其余部分不动。

2026-10-26 17:38:20 +08:00

23 KiB

Raw Blame History

Servicio backend Xiaozhi xiaozhi-esp32-server

Este proyecto desarrolla sistemas de hardware y software para terminales inteligentes a partir de la teoría y la tecnología de la inteligencia simbiótica humano-máquina
y ofrece el servicio backend del proyecto de hardware inteligente de código abierto xiaozhi-esp32
Implementado en Python, Java y Vue según el protocolo de comunicación Xiaozhi
Compatible con el protocolo MQTT+UDP, el protocolo WebSocket, puntos de acceso MCP, reconocimiento de huella de voz y bases de conocimiento

Preguntas frecuentes · Informar de problemas · Documentación de despliegue · Notas de la versión

Liderado por el equipo del profesor Siyuan Liu (Universidad Tecnológica del Sur de China)
刘思源教授团队主导研发（华南理工大学）

A quién va dirigido 👥

Este proyecto debe usarse junto con hardware ESP32. Si ya ha comprado hardware relacionado con ESP32, se ha conectado con éxito al servicio backend desplegado por Brother Xia (虾哥) y quiere montar por su cuenta su propio servicio backend xiaozhi-esp32, este proyecto encaja con lo que busca.

¿Quiere ver cómo se usa? Pulse los vídeos 🎥

Advertencias ⚠️

Este proyecto es software de código abierto. Este software no mantiene relación comercial alguna con los proveedores de API de terceros a los que se conecta (incluidos, entre otros, plataformas de reconocimiento de voz, modelos de lenguaje y síntesis de voz), y no ofrece ninguna garantía sobre la calidad del servicio de dichos proveedores ni sobre la seguridad de sus fondos. Se recomienda elegir de forma preferente proveedores que cuenten con las licencias de actividad correspondientes y leer con atención sus condiciones de servicio y su política de privacidad. Este software no custodia ninguna clave de cuenta, no interviene en el movimiento de fondos y no asume el riesgo de pérdida del saldo recargado.
Las funciones de este proyecto no están completas y no ha superado una evaluación de seguridad de red. No lo utilice en entornos de producción. Si despliega este proyecto en una red pública con fines de aprendizaje, aplique las protecciones necesarias.

Documentación de despliegue

Este proyecto ofrece dos formas de despliegue. Elija según lo que necesite:

🚀 Elección del método de despliegue

Método de despliegue	Características	Escenarios	Documentación de despliegue	Requisitos	Tutoriales en vídeo
Instalación simplificada	Diálogo inteligente, gestión de un solo agente	Entornos con pocos recursos; los datos se guardan en archivos de configuración y no hace falta base de datos	①Versión Docker / ②Despliegue desde el código fuente	2 núcleos y 4 GB si usa `FunASR`; 2 núcleos y 2 GB si todo va por API	-
Instalación de todos los módulos	Diálogo inteligente, gestión multiusuario, gestión de varios agentes, uso de la interfaz de la consola inteligente	Experiencia con todas las funciones; los datos se guardan en una base de datos	①Versión Docker / ②Despliegue desde el código fuente / ③Tutorial de actualización automática desde el código fuente	4 núcleos y 8 GB si usa `FunASR`; 2 núcleos y 4 GB si todo va por API	Tutorial en vídeo para arrancar el código fuente en local

Las preguntas frecuentes y los tutoriales relacionados están en este enlace

💡 Nota: a continuación hay una plataforma de prueba desplegada con el código más reciente. Si lo necesita, puede grabar el firmware y probarla. La concurrencia es de 6 usuarios y los datos se borran cada día.

Dirección de la consola inteligente: https://2662r3426b.vicp.fun
Consola inteligente (versión H5): https://2662r3426b.vicp.fun/h5/index.html

Herramienta de prueba del servicio: https://2662r3426b.vicp.fun/test/
Dirección de la interfaz OTA: https://2662r3426b.vicp.fun/xiaozhi/ota/
Dirección de la interfaz WebSocket: wss://2662r3426b.vicp.fun/xiaozhi/v1/

🚩 Descripción y recomendaciones de configuración

Note

Este proyecto ofrece dos esquemas de configuración:

Configuración básica y totalmente gratuita: adecuada para uso personal y doméstico. Todos los componentes usan opciones gratuitas y no hay que pagar nada más.

Configuración en streaming: adecuada para demostraciones, formación y escenarios con más de 2 usuarios concurrentes. Usa procesamiento en streaming, responde antes y se siente mejor.

Desde la versión 0.5.2, el proyecto admite la configuración en streaming. Frente a las versiones anteriores, el tiempo de respuesta mejora unos 2,5 segundos y la experiencia de uso mejora de forma notable.

Módulo	Configuración básica y totalmente gratuita	Configuración en streaming
ASR (reconocimiento de voz)	FunASR (local)	👍XunfeiStreamASR (iFLYTEK en streaming)
LLM (modelo de lenguaje)	glm-4-flash (Zhipu)	👍qwen-flash (Alibaba Bailian)
VLLM (modelo de visión)	glm-4v-flash (Zhipu)	👍qwen3.5-flash (Alibaba Bailian)
TTS (síntesis de voz)	EdgeTTS (Microsoft)	👍HuoshanDoubleStreamTTS (Volcano en streaming)
Intent (reconocimiento de intención)	function_call (llamada a funciones)	function_call (llamada a funciones)
Memory (memoria)	mem_local_short (memoria local a corto plazo)	mem_local_short (memoria local a corto plazo)

Si le importa el tiempo que tarda cada componente, consulte el informe de rendimiento de los componentes de Xiaozhi y pruebe en su propio entorno con el método que describe el informe.

🔧 Herramientas de prueba

Este proyecto incluye las siguientes herramientas para comprobar el sistema y elegir un modelo adecuado:

Herramienta	Ubicación	Uso	Qué hace
Prueba de interacción de audio	main》digital-human》index.html	En `main/digital-human`, ejecute `python start.py` y abra `http://127.0.0.1:8006/index.html`	Prueba la reproducción y la recepción de audio, y comprueba que el procesamiento de audio en Python funciona
Prueba de respuesta de los modelos	main》xiaozhi-server》performance_tester.py	Ejecute `python performance_tester.py`	Mide la velocidad de respuesta de los cuatro módulos principales: ASR (reconocimiento de voz), LLM (modelo de lenguaje), VLLM (modelo de visión) y TTS (síntesis de voz)

💡 Nota: al medir la velocidad de los modelos, solo se prueban los modelos que tienen una clave configurada.

Lista de funciones ✨

Implementado ✅

Módulo	Descripción
Arquitectura principal	Basada en la pasarela MQTT+UDP y en servidores WebSocket y HTTP; ofrece un sistema completo de gestión de consola y de autenticación
Interacción por voz	Admite ASR en streaming (reconocimiento de voz), TTS en streaming (síntesis de voz) y VAD (detección de actividad de voz), además de reconocimiento multilingüe y procesamiento de voz
Huella de voz	Admite el registro, la gestión y el reconocimiento de la huella de voz de varios usuarios; se procesa en paralelo con el ASR, identifica en tiempo real quién habla y se lo pasa al LLM para una respuesta personalizada
Diálogo inteligente	Admite varios LLM (modelos de lenguaje) para mantener un diálogo inteligente
Percepción visual	Admite varios VLLM (modelos de visión) para una interacción multimodal
Reconocimiento de intención	Admite el reconocimiento de intención con el modelo de lenguaje (LLM) y la llamada autónoma a funciones del modelo, y ofrece un mecanismo de procesamiento de intenciones mediante plugins
Sistema de memoria	Admite memoria local a corto plazo, memoria por la interfaz mem0ai y memoria inteligente PowerMem, con resumen de la memoria
Base de conocimiento	Admite la base de conocimiento RAGFlow, para que el modelo decida si debe consultarla antes de responder
Llamada a herramientas	Admite el protocolo IOT del cliente, el protocolo MCP del cliente, el protocolo MCP del servidor, el protocolo de punto de acceso MCP y funciones de herramientas personalizadas
Envío de instrucciones	Apoyado en el protocolo MQTT, permite enviar instrucciones MCP desde la consola inteligente a los dispositivos ESP32
Backend de administración	Ofrece una interfaz web de administración, con gestión de usuarios, configuración del sistema y gestión de dispositivos. La interfaz se muestra en chino simplificado, chino tradicional e inglés
Herramientas de prueba	Incluye herramientas de prueba de rendimiento, de modelos de visión y de interacción de audio
Soporte de despliegue	Admite el despliegue con Docker y el despliegue local, y ofrece una gestión completa de los archivos de configuración
Sistema de plugins	Admite extensiones de plugins funcionales, el desarrollo de plugins propios y la carga en caliente de plugins

En desarrollo 🚧

Para ver el avance concreto del plan de desarrollo, pulse aquí. Las preguntas frecuentes y los tutoriales relacionados están en este enlace

Si desarrolla software, aquí tiene una carta abierta a quienes desarrollan. La invitación está hecha.

Ecosistema del producto 👬

Xiaozhi es un ecosistema. Al usar este producto, también puede ver otros proyectos destacados de este ecosistema

Plataformas y componentes compatibles 📋

LLM, modelos de lenguaje

Forma de uso	Plataformas compatibles	Plataformas gratuitas
Llamadas por la interfaz OpenAI	Alibaba Bailian, Volcano Engine, DeepSeek, Zhipu, Gemini, iFLYTEK	Zhipu, Gemini
Llamadas por la interfaz Ollama	Ollama	-
Llamadas por la interfaz Dify	Dify	-
Llamadas por la interfaz FastGPT	FastGPT	-
Llamadas por la interfaz Coze	Coze	-
Llamadas por la interfaz Xinference	Xinference	-
Llamadas por la interfaz HomeAssistant	HomeAssistant	-

En la práctica, se puede integrar cualquier LLM que admita llamadas por la interfaz OpenAI.

VLLM, modelos de visión

Forma de uso	Plataformas compatibles	Plataformas gratuitas
Llamadas por la interfaz OpenAI	Alibaba Bailian, Zhipu ChatGLMVLLM	Zhipu ChatGLMVLLM

En la práctica, se puede integrar cualquier VLLM que admita llamadas por la interfaz OpenAI.

TTS, síntesis de voz

Forma de uso	Plataformas compatibles	Plataformas gratuitas
Llamadas por interfaz	EdgeTTS, iFLYTEK, Volcano Engine, Tencent Cloud, Alibaba Cloud y Bailian, CosyVoiceSiliconflow, TTS302AI, CozeCnTTS, GizwitsTTS, ACGNTTS, OpenAITTS, Lingxi Streaming TTS, MinimaxTTS	Lingxi Streaming TTS, EdgeTTS, CosyVoiceSiliconflow (parcial)
Servicio local	FishSpeech, GPT_SOVITS_V2, GPT_SOVITS_V3, Index-TTS, PaddleSpeech	Index-TTS, PaddleSpeech, FishSpeech, GPT_SOVITS_V2, GPT_SOVITS_V3

VAD, detección de actividad de voz

Tipo	Plataforma	Forma de uso	Precio	Notas
VAD	SileroVAD	Uso local	Gratuito

ASR, reconocimiento de voz

Forma de uso	Plataformas compatibles	Plataformas gratuitas
Uso local	FunASR, SherpaASR	FunASR, SherpaASR
Llamadas por interfaz	FunASRServer, Volcano Engine, iFLYTEK, Tencent Cloud, Alibaba Cloud, Baidu Cloud, OpenAI ASR	FunASRServer

Voiceprint, huella de voz

Forma de uso	Plataformas compatibles	Plataformas gratuitas
Uso local	3D-Speaker	3D-Speaker

Memory, almacenamiento de memoria

Tipo	Plataforma	Forma de uso	Precio	Notas
Memory	mem0ai	Llamadas por interfaz	Cuota de 1000 veces al mes
Memory	powermem	Resumen local	Depende del LLM y de la base de datos	OceanBase de código abierto; admite búsqueda inteligente
Memory	mem_local_short	Resumen local	Gratuito
Memory	nomem	Modo sin memoria	Gratuito

Intent, reconocimiento de intención

Tipo	Plataforma	Forma de uso	Precio	Notas
Intent	intent_llm	Llamadas por interfaz	Según el precio del LLM	Reconoce la intención mediante el modelo de lenguaje (LLM); gran capacidad de generalización
Intent	function_call	Llamadas por interfaz	Según el precio del LLM	Completa la intención con llamadas a funciones del modelo; rápido y con buen resultado
Intent	nointent	Modo sin intención	Gratuito	No reconoce la intención y devuelve directamente el resultado del diálogo

Rag, generación aumentada por recuperación

Tipo	Plataforma	Forma de uso	Precio	Notas
Rag	ragflow	Llamadas por interfaz	Cobrado según los tokens consumidos en el troceado y la segmentación	Usa la generación aumentada por recuperación de RagFlow para dar respuestas más precisas

Agradecimientos 🙏

Logo	Proyecto o empresa	Descripción
	Robot de diálogo por voz Bailing (百聆语音对话机器人)	Este proyecto parte del robot de diálogo por voz Bailing y se construye sobre esa base
	Tenclass (十方融海)	Gracias a Tenclass por definir el protocolo de comunicación estándar del ecosistema Xiaozhi, las soluciones de compatibilidad con varios dispositivos y los ejemplos prácticos de alta concurrencia, y por el apoyo de documentación técnica de todo el recorrido de este proyecto
	Xuanfeng Technology (玄凤科技)	Gracias a Xuanfeng Technology por el código del marco de llamada a funciones, del protocolo de comunicación MCP y del mecanismo de llamadas basado en plugins. Con un sistema estandarizado de despacho de instrucciones y capacidad de ampliación dinámica, mejora de forma clara la eficiencia de interacción y la extensibilidad de los dispositivos de frontend (IoT)
	huangjunsen	Gracias a huangjunsen por el módulo `consola inteligente móvil`, que permite controlar con eficacia dispositivos móviles de varias plataformas e interactuar en tiempo real, y mejora mucho la comodidad de uso y la eficiencia de gestión en escenarios móviles
	Huiyuan Design (汇远设计)	Gracias a Huiyuan Design por la solución visual de este proyecto, y por poner al servicio de la experiencia de uso la práctica de diseño acumulada con más de mil empresas
	Xi'an Qinren Information Technology (西安勤人信息科技)	Gracias a Xi'an Qinren Information Technology por profundizar el sistema visual de este proyecto y mantener un estilo coherente y ampliable en distintos escenarios
	Quienes contribuyen código	Gracias a todas las personas que contribuyen código. Su trabajo hace el proyecto más sólido y más capaz.

23 KiB Raw Blame History