KMITL Expo 2026 LogoKMITL 66th Anniversary Logo

Offline Evaluation System for Large Language Models in Designing Thai Expert Systems

Abstract

The offline evaluation system for Thai-language large language models (LLMs) is designed to enable experts to efficiently test and assess various LLMs without relying on external services. This enhances the flexibility in selecting LLMs that best suit organizational needs or expert systems (ES). The system operates on personal computers, ensuring data security by eliminating concerns about external data storage. Additionally, it supports model testing and development using Retrieval-Augmented Generation (RAG), allowing access to domain-specific knowledge for accurate, energy-efficient processing. This ensures that the models can perform optimally and effectively meet the demands of organizations and expert systems.

Objective

ในปัจจุบัน โมเดลภาษาขนาดใหญ่ (Large Language Models: LLMs) ได้รับความนิยมและถูกนำไปใช้งานในหลากหลายด้าน ทั้งในองค์กรและภาคอุตสาหกรรม โดยเฉพาะในการพัฒนาระบบผู้เชี่ยวชาญ (Expert System: ES) ที่ช่วยให้ผู้ใช้สามารถทำงานได้อย่างมีประสิทธิภาพสูงขึ้น ไม่ว่าจะเป็นการวิเคราะห์ข้อมูล การให้คำแนะนำ หรือการประมวลผลข้อมูลเฉพาะทางในแต่ละสาขา อย่างไรก็ตาม การใช้โมเดลภาษาขนาดใหญ่จากภายนอกอาจมีข้อจำกัดด้านความปลอดภัยของข้อมูล และบางองค์กรจำเป็นต้องประมวลผลภายในระบบของตนเองเพื่อลดความเสี่ยงจากการเชื่อมต่อภายนอก ดังนั้น การพัฒนาระบบทดสอบโมเดลภาษาขนาดใหญ่แบบออฟไลน์ในภาษาไทยจึงมีความสำคัญ ทั้งในแง่ของการรักษาความปลอดภัยข้อมูล ลดการพึ่งพาบริการจากภายนอก และเพิ่มความยืดหยุ่นในการเลือกใช้โมเดลที่เหมาะสมกับงานเฉพาะด้าน อย่างไรก็ตาม การทดสอบและประเมินประสิทธิภาพของ LLMs ในสภาพแวดล้อมแบบออฟไลน์ถือเป็นความท้าทาย เนื่องจากต้องคำนึงถึงปัจจัยต่าง ๆ เช่น ความแม่นยำของโมเดล ทรัพยากรที่ใช้ในการประมวลผล และความสามารถในการรองรับภาษาไทยได้อย่างมีประสิทธิภาพ

Other Innovations

Diabetes Meal Management Application

คณะวิศวกรรมศาสตร์

Diabetes Meal Management Application

The Diabetes Meal Management Application is a digital health tool designed to empower Type 2 diabetic patients in managing their diet and blood sugar levels more effectively. With features like personalized meal recommendations, nutrient tracking, and seamless integration with wearable blood glucose monitors via Blood sugar measuring device (CGM), the application enables users to monitor glucose fluctuations in real time and adjust dietary choices accordingly. Built with the Flutter framework and supported by a backend of Express.js and MongoDB, the application prioritizes a user-friendly interface, ensuring easy navigation and encouraging consistent engagement with meal planning and health tracking. Preliminary user trials show that the application contributes to more stable blood sugar levels and improved adherence to dietary recommendations, helping users reduce health risks associated with diabetes complications. By offering a proactive approach to diabetes management, the application reduces the need for frequent clinical interventions, thus potentially lowering medical costs over time. This project highlights the promising role of digital health solutions in supporting personalized diabetes care, emphasizing the potential for scalable, user-centered interventions that foster long-term health improvements for diabetic patients.

Read more
Micro Car Design Project for Students by Nike.

คณะสถาปัตยกรรม ศิลปะและการออกแบบ

Micro Car Design Project for Students by Nike.

-

Read more
Fire retardant

คณะวิศวกรรมศาสตร์

Fire retardant

The purpose of this invention is to develop a forest fire prevention agent that has the ability to prevent long-term forest fires, not only to suppress forest fires or prevent forest fires from spreading widely, but to prevent them from starting to catch fire from the beginning. It can prevent forest fires comprehensively and can be prevented for a long time during the peak forest fire period or the dry season, which is about 3-4 months. There are no residues or minimal residues without causing harm to the surrounding environment under the specified standards. Emphasis is placed on the use of raw materials, equipment, and chemicals that can be easily found in Thailand. This includes using the value of production costs as low as possible. This makes it suitable for use in large quantities for spraying and protecting forest areas in forest areas that are prone to fire. Estimated average for pollution caused by forest fires include particulate matter (PM), including PM2.5, PM10, carbon monoxide (CO), carbon dioxide, carbon dioxide, and carbon dioxide, Nitrogendioxide, VOC etc.

Read more