estoy trabajando en un proyecto, para conectar un servidor local que tiene instalado LM estudio para correr una AI local, pero se desea acceder al chat por medio de la pagina web local, por medio de un proyecto Django.
En el momento se tiene desarrollado:
Clase para conectarse y que el chat funcione chatbot.py:
import os
import json
from openai import OpenAI
OPENAI_API_KEY = os.environ.get('OPENAI_API_KEY')
if OPENAI_API_KEY:
client = OpenAI(api_key=OPENAI_API_KEY)
base_url = "https://api.openai.com/v1"
else:
# Replace with your local server URL and port if using local OpenAI
base_url = "http://170.20.180.5:1234/v1"
client = OpenAI(base_url=base_url, api_key="lm-studio") # Replace with local API key
class ChatBot:
def __init__(self):
self.history = [
{"role": "system", "content": "Hola soy tu asistente"},
{"role": "user", "content": "Hola!"},
]
self.model_name = "TheBloke/Wizard-Vicuna-7B-Uncensored-GGUF"
self.temperature = 0.7
def chat(self, user_message):
completion = client.chat.completions.create(
model=self.model_name,
messages=self.history,
temperature=self.temperature,
stream=True,
)
new_message = {"role": "assistant", "content": ""}
for chunk in completion:
if chunk.choices[0].delta.content:
new_message["content"] += chunk.choices[0].delta.content
self.history.append(new_message)
self.history.append({"role": "user", "content": user_message})
return new_message["content"]
Se creo la función en el archivo Views.py
from .chatbot import ChatBot
def chat(request):
if request.method == 'POST':
user_message = request.POST['message']
chatbot = ChatBot()
response = chatbot.chat(user_message)
else:
response = None
return render(request, 'chat.html', {'response': response})
Se crea el Template
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Chat</title>
</head>
<body>
<h1>Asistente Chat</h1>
<form action="" method="post">
<textarea name="message" rows="5"></textarea><br>
<button type="submit">Send</button>
</form>
{% if response %}
<p style="font-weight: bold;">Assistant: {{ response }}</p>
{% endif %}
</body>
</html>
En el archivo urls
from django.urls import path
from . import views
urlpatterns = [
path('', views.chat, name='chat'),
]
Falla
Pero al momento de correr el proyecto no funciona, no hace nada, el servidor no muestra errores, pero el chat no funciona, realizo las pruebas fuera de Django corriendo el código en Python.
Es como si el Template no se comunicara con la vista, por que no se comunica.
Agradezco quien me pueda ayudar con este tema, por que no se que falla es la que se esta presentando