Local AI
Cloud AI / Local AI
Lo que significa tener la IA en tu Mac.
En la IA, existe la «IA en la nube», que funciona en servidores al otro lado de internet, y la «IA local», que funciona dentro de tu Mac. Cada una tiene sus puntos fuertes y sus puntos débiles. Aquí resumimos en qué se diferencian y cómo R.E.V.I.S. busca superar las debilidades de la IA local.
CLOUD AI
- Tú
- Internet
- Servidor del servicio
Lo que escribes se procesa en el servidor.
LOCAL AI — R.E.V.I.S.
- Tú
- Tu Mac
Tanto pensar como recordar ocurre dentro de tu Mac.
The Difference
Cambia dónde piensa.
Aunque ambas sean «IA», según dónde funcionen cambian el destino de tus datos, la forma de pago y lo que necesitas.
| IA en la nube | IA local (R.E.V.I.S.) | |
|---|---|---|
| Dónde piensa | El servidor del servicio | Tu Mac |
| Datos que introduces | Viajan por internet hasta llegar al servicio. | No salen de tu Mac. |
| Precio | Cuota mensual o según lo que uses. | Pago único. No aumenta por mucho que la uses. |
| Tamaño del modelo | Puedes usar incluso los modelos más grandes. | Hasta el tamaño que quepa en la memoria de tu Mac. |
| Qué necesitas | Un dispositivo conectado a internet. | Un Mac con buena cantidad de memoria. |
| Cuándo cambia | El modelo o el límite de uso pueden cambiar según decida el servicio. | El modelo que usas es el que tú has elegido. |
Strengths
Lo que puedes hacer porque está en tu Mac.
Tu contenido no sale fuera
Tanto los documentos confidenciales como las consultas personales se tratan dentro de tu Mac. Tampoco se reutilizan como datos de entrenamiento.
Enfoque en seguridadNo se encarece cuanto más la usas
Es un pago único. Aunque le hagas leer documentos largos una y otra vez o le hagas muchas preguntas, el coste no aumenta.
Siempre el mismo compañero
El modelo que usas no se cambia sin que lo sepas ni te recortan la cantidad que puedes usar.
Crece contigo, en tu Mac
Las preferencias aprendidas, las conversaciones pasadas y lo que has investigado se van acumulando en tu Mac.
Weaknesses — and Our Answers
Sinceros con las debilidades. Y listos para superarlas.
La IA local tiene debilidades claras. R.E.V.I.S. afronta cada una de ellas trabajándola desde el propio motor.
-
01
Los modelos tienden a ser más pequeños
Como deben caber en la memoria de tu Mac, usas modelos más pequeños que los mayores de la IA en la nube.
Con nuestra cuantización propia Q4T y Q3T, reducimos el tamaño manteniendo una precisión cercana a la del modelo original, lo que permite ejecutar modelos de clase 35B incluso en un Mac con 24GB de memoria. J.I.T.R.X. estructura las instrucciones para cada modelo y saca lo mejor de cada uno.
Más sobre la cuantización -
02
La velocidad depende de tu Mac
Los cálculos no se hacen en máquinas dedicadas de un centro de datos, sino en tu propio Mac.
El motor de inferencia Q.E.L.V.A.R.I., escrito desde cero exclusivamente para Mac, convierte directamente la potencia de Apple silicon en velocidad. Además, con MTP, donde un pequeño modelo borrador escribe primero, reducimos los pasos para que avance la respuesta.
Ver la velocidad en cifras -
03
Un solo equipo tiene su límite
La cantidad de trabajo que puede hacer a la vez depende de la memoria y la potencia de cálculo de un solo Mac.
Si hay varios Mac en la misma red, F.A.L.Q. reparte automáticamente el trabajo entre los Mac libres.PRO
Más sobre F.A.L.Q. -
04
El conocimiento se detiene cuando fue entrenado
El modelo desconoce lo ocurrido después de su creación.
Cuando hace falta, consulta la Web antes de responder y añade enlaces a las páginas que ha leído. El contenido de tus conversaciones nunca se envía.
-
05
Cuanto más larga es la conversación, más pesa
A medida que la conversación se alarga, hay que releer más texto y la respuesta tarda más.
El contexto ya leído se guarda cifrado en tu Mac y, al continuar, solo lee lo que se ha añadido nuevo. Como mantiene las conversaciones separadas por tema, el contexto no se infla con asuntos que no tienen relación.
-
06
Prepararlo lleva trabajo
En la mayoría de las IA locales, tienes que preparar por tu cuenta el entorno de ejecución y los modelos.
No hace falta preparar Python ni ningún otro entorno de ejecución. Una vez instalada la app, basta con elegir un modelo en "Descargar" dentro de los ajustes. Antes de cargarlo, también comprueba si cabe en la memoria de tu Mac.
Honestly
Aun así, donde todavía no llega.
No llega a tener exactamente la misma capacidad que las mayores IA en la nube. El objetivo de R.E.V.I.S. es ser una IA en la que puedas confiar tu trabajo diario con tranquilidad, sin que tus datos salgan de tu Mac. Acortamos esa distancia poco a poco, cuidando al detalle el motor y los modelos.
La IA, en tu Mac.
Las debilidades se superan con ingeniería.
SEVEN CORES / ONE CONSCIOUSNESS