Edtech-Lab: Nghiên cứu tính mạnh mẽ của ChatGPT trong hỗ trợ giảng dạy khoa học đa ngôn ngữ

Ngày 12/12/2024, từ 14h00-14h35, tại phòng 1312 A1, Edtech Lab đã tổ chức trình bày sinh hoạt khoa học với chủ đề: 

Nghiên cứu tính mạnh mẽ của ChatGPT trong hỗ trợ giảng dạy khoa học đa ngôn ngữ với phần trình bày của ThS. Nguyễn Phương Nam

Bài trình bày đã:

1. Xác định câu hỏi nghiên cứu:
   1. Độ chính xác của ChatGPT trong giảng dạy Khoa học đa ngôn ngữ, đặc biệt bằng tiếng Hàn là bao nhiêu?
   2. ChatGPT hiệu quả thế nào khi đánh giá và phân loại câu hỏi toán học trong bài kiểm tra đầu vào đại học? 

2. Đề xuất framework

   a. Để trả lời cho câu hỏi nghiên cứu thứ nhất (về độ chính xác), thầy Nam đã thực hiện các bước sau:

   - Đầu tiên, prompt câu hỏi (bằng tiếng Hàn) và yêu cầu ChatGPT cung cấp lời giải

   - Sau đó, yêu cầu AI dịch câu hỏi cùng lời giải sang tiếng Anh

   - Cuối cùng, đánh giá độ chính xác của từng câu hỏi

   b. Về tính hiệu quả trong đánh giá và phân loại câu hỏi CSAT, thầy đã thực hiện:

   - Xây dựng một thang đo gồm 11 tiêu chí đánh giá cho mỗi câu hỏi

   - Yêu cầu ChatGPT đánh giá từng câu hỏi dựa trên các tiêu chí đã đặt ra và phân loại chúng dựa theo các chủ điểm trong môn Toán.

3. Kết quả

   - Dữ liệu thu thập: Hơn 500 câu hỏi Toán học được lấy từ nhiều bộ đề CSAT (một kì thi đầu vào đại học tại Hàn Quốc, được đánh giá là có độ khó cao)

   - Độ chính xác của ChatGPT trong việc giải các câu hỏi toán học CSAT là 66.7% (hiểu đơn giản, cứ 3 câu dùng ChatGPT để trả lời thì sẽ sai 1 câu)

   - Về khả năng đánh giá và phân loại câu hỏi toán trong bài kiểm tra CSAT, nghiên cứu đã phân tích chi tiết theo từng tiêu chí trong 11 tiêu chí đã đề ra trước đó.

4. Thảo luận

   - Các câu hỏi có độ khó càng cao thì độ chính xác của ChatGPT càng giảm. 

   - Những câu hỏi có biểu đồ, đồ thị, hình ảnh,... gắn kèm thường bị ChatGPT trả lời sai

   - Những câu hỏi gồm nhiều ý liên tiếp nhau cũng làm giảm độ chính xác của đáp án mà ChatGPT cung cấp.

5. Hướng nghiên cứu tiếp theo

   - Mở rộng framework trên cho các môn Khoa học khác như Lý, Hoá, v.v... trong bài thi CSAT

   -  Mở rộng framework trên cho các môn học CNTT bậc Đại học

   - Tích hợp các phương pháp học Macro-Micro-Nano Learning để mang lại trải nghiệm học tập cá nhân hoá

   - Xây dựng và phát triển ứng dụng tích hợp framework trên

Kết thúc phần trình bày, buổi sinh hoạt nhận được nhiều ý kiến thảo luận sôi nổi xoay quanh nghiên cứu này như: làm thế nào để prompt câu hỏi vào ChatGPT, phân biệt các hình thức học tập macro-micro-nano, giải thích các kết quả chạy dữ liệu, v.v....

Một số hình ảnh tại buổi trình bày

Nghiên cứu này đang ở giai đoạn khởi động, thầy Nam mong muốn tìm thêm được nhiều bạn sinh viên có cùng hứng thú để tham gia vào một trong 3 nhóm hỗ trợ nghiên cứu:

• Machine Learning/ Artificial Intelligence Team
• Media Team: tạo các video ngắn để đưa lên các nền tảng mạng xã hội như TikTok-x-STEM, ThreatCiTY, aVerse, v.v...)
• Team thương mại hoá sản phẩm

Các bạn quan tâm vui lòng liên hệ thầy qua email: namnp@neu.edu.vn