Làm thế nào ChatGPT tạo ra câu trả lời? Tìm hiểu cách AI hoạt động

ChatGPT biết nói gì bằng cách nào?

Nếu bạn từng trầm trồ về cách ChatGPT có thể đưa ra những câu trả lời mạch lạc, phù hợp ngữ cảnh (hầu hết thời gian), thì bạn không hề đơn độc. Nhưng điều gì thực sự đang diễn ra đằng sau hậu trường?

Bạn có thể nghĩ rằng cách ChatGPT hoạt động không thực sự quan trọng. Nhưng tôi cho rằng điều cực kỳ quan trọng là ít nhất phải nắm được những điều cơ bản. Đặc biệt khi loại hình AI này ngày càng trở nên gắn liền sâu sắc hơn với cách chúng ta sống và làm việc. Nếu bạn xem nó như “phép thuật”, bạn có nhiều khả năng sẽ phụ thuộc quá mức vào nó hoặc sử dụng nó theo những cách không phục vụ tốt cho bạn.

Trong hướng dẫn này, chúng ta sẽ làm sáng tỏ quá trình đằng sau khả năng của nó và tiến một bước xa hơn trong việc hiểu ChatGPT thực sự hoạt động như thế nào.

ChatGPT phân tích lời bạn nói như thế nào?

ChatGPT là một loại trí tuệ nhân tạo (AI) được gọi là mô hình ngôn ngữ lớn (LLM). Cụ thể hơn, nó là một mô hình ngôn ngữ nhân quả, nghĩa là nó tạo ra văn bản bằng cách dự đoán từ tiếp theo (hoặc một phần của từ) dựa trên những gì đã có trước đó. Hãy hình dung nó giống như tính năng gợi ý từ trên điện thoại của bạn, nhưng ở một cấp độ tiên tiến hơn rất nhiều.

Trước khi ChatGPT có thể đưa ra dự đoán, nó cần xử lý những gì bạn yêu cầu theo cách mà nó có thể hiểu được. Đây chính là lúc token hóa phát huy tác dụng.

Token là các đơn vị văn bản cơ bản mà ChatGPT dùng để xử lý. Một token có thể ngắn gọn chỉ bằng một ký tự hoặc dài bằng cả một từ. Ví dụ, từ “ChatGPT” có thể được chia thành hai token là “Chat” và “GPT”.

Khi bạn nhập một câu lệnh, ChatGPT sẽ chuyển đổi nó thành một chuỗi các token này. Sau đó, nó phân tích các token và bắt đầu dự đoán token tiếp theo lặp đi lặp lại cho đến khi bạn thấy một phản hồi hoàn chỉnh.

ChatGPT quyết định sẽ nói gì tiếp theo như thế nào?

ChatGPT tạo ra các phản hồi cho bạn từng token một. Đây là cách hoạt động:

• Xử lý đầu vào: Câu lệnh bạn nhập vào ChatGPT được chia nhỏ thành các token.
• Phân tích ngữ cảnh: ChatGPT phân tích các token này để hiểu ngữ cảnh của yêu cầu bạn đưa ra.
• Dự đoán token tiếp theo: Sau đó, nó tính toán token nào có khả năng xuất hiện tiếp theo cao nhất.
• Lặp lại: Token được dự đoán đó được thêm vào chuỗi. Chu trình này sau đó lặp lại cho đến khi mô hình hoàn thành phản hồi của nó cho bạn.

Việc tạo phản hồi từng token một theo thời gian thực này là lý do tại sao các câu trả lời của ChatGPT thường xuất hiện như thể chúng đang được gõ ra. Bởi vì, theo một cách nào đó, chúng đúng là như vậy; ChatGPT đang xây dựng câu trả lời của nó cho bạn từng token một.

ChatGPT biết điều gì là quan trọng bằng cách nào?

ChatGPT chạy trên một loại hệ thống học sâu được gọi là Transformer.

Các Transformer dựa vào một cơ chế được gọi là tự chú ý (self-attention). Điều này giúp ChatGPT quyết định mức độ quan trọng của mỗi từ trong câu so với các từ khác.

Chính quá trình này cho phép ChatGPT xem xét ngữ cảnh của các từ. Nhưng nó không chỉ làm như vậy một cách đơn lẻ, mà còn liên quan đến toàn bộ câu hoặc câu lệnh. Và đó là yếu tố then chốt cho khả năng hiểu được sắc thái và sự mơ hồ của nó.

Ví dụ, hãy lấy câu “The bank will not approve the loan.” (Ngân hàng sẽ không chấp thuận khoản vay.)

Từ “bank” có thể có nghĩa là một tổ chức tài chính hoặc bờ sông. Nhờ cơ chế tự chú ý, ChatGPT có thể xem xét các từ xung quanh để tìm ra nghĩa nào phù hợp nhất.

ChatGPT đã học cách nói chuyện giống chúng ta như thế nào?

Chúng ta đã tìm hiểu cách ChatGPT đọc ngữ cảnh, dự đoán điều gì nên xuất hiện tiếp theo, chú ý đến phần phù hợp và lặp lại chu trình đó. Nhưng làm thế nào nó thực sự biết nên sử dụng từ nào?

Khả năng của ChatGPT đến từ quá trình huấn luyện chuyên sâu trên các bộ dữ liệu khổng lồ và đa dạng. Đây là những bộ sưu tập dữ liệu lớn từ nhiều nguồn khác nhau. Hãy hình dung nó giống như thư viện tài liệu đọc của ChatGPT để hiểu rõ hơn về chúng ta cũng như cách chúng ta viết và nói.

Quá trình này diễn ra trong hai giai đoạn chính:

• Tiền huấn luyện (Pre-training): ChatGPT học cách dự đoán token tiếp theo trong một câu bằng cách phân tích lượng lớn văn bản. Điều này giúp nó nắm bắt ngữ pháp, các sự kiện về thế giới và thậm chí cả một số kỹ năng suy luận cơ bản.
• Tinh chỉnh (Fine-tuning): Mô hình được tinh chỉnh trên các bộ dữ liệu cụ thể hơn. Quá trình này thường có sự tham gia của những người đánh giá là con người, họ cung cấp phản hồi để giúp định hình hành vi của mô hình và làm cho các phản hồi của nó hữu ích hơn, phù hợp hơn và đúng với kỳ vọng của chúng ta.

Vì sao ChatGPT không phải lúc nào cũng đưa ra cùng một câu trả lời?

Khi ChatGPT dự đoán token tiếp theo, nó không chỉ chọn ngẫu nhiên một từ. Thay vào đó, nó tính toán xác suất của tất cả các token có thể có và chọn ra token có khả năng xuất hiện tiếp theo cao nhất.

Cách tiếp cận này giúp ChatGPT tạo ra các phản hồi thường mạch lạc và phù hợp với ngữ cảnh.

Điều thú vị là, điều này cũng giải thích tại sao bạn có thể nhập cùng một nội dung vào ChatGPT hôm nay nhưng lại nhận được những câu trả lời khác nhau vào ngày mai. Đó là bởi vì nhiều lựa chọn token tiếp theo có thể có xác suất tương tự nhau.

ChatGPT là công cụ thông minh, nhưng không phải bộ não

Mặc dù ChatGPT có thể tạo ra những phản hồi giống con người một cách ấn tượng, điều quan trọng cần nhớ là nó không thực sự hiểu ngôn ngữ theo cách mà bạn và tôi vẫn làm.

Không có sự nhận thức hay thấu hiểu nào đang diễn ra ở đây. Thay vào đó, nó hoạt động để xác định các mẫu và tìm ra mối tương quan trong dữ liệu mà nó được cung cấp và huấn luyện. Về cơ bản, nó là một cỗ máy dự đoán tiên tiến.

Việc hiểu điều này thực sự quan trọng khi xem xét những hạn chế của AI. Nó có nghĩa là AI không thực sự hiểu những gì bạn đang nói hay nắm bắt ý nghĩa đằng sau đó. Thay vào đó, nó đang tạo ra văn bản dựa trên các mẫu thống kê.

Điều này cũng giải thích tại sao các công cụ AI có thể “ảo giác” (hallucinate); đây là thuật ngữ được sử dụng để mô tả cách ChatGPT và các LLM khác có thể tạo ra những phản hồi không chính xác, mơ hồ hoặc vô nghĩa.

Chúng ta cũng cần lưu ý bộ dữ liệu khổng lồ mà nó được huấn luyện (nguồn tài liệu đọc ban đầu) bao gồm những gì – bởi vì nó học từ văn bản có sẵn. Và điều đó có nghĩa là các công cụ AI cũng có thể vô tình phản ánh những thành kiến có trong tài liệu huấn luyện cực kỳ quan trọng đó. Nó giống như việc bạn đọc lịch sử thế giới, nhưng chỉ từ góc nhìn của vài trăm người mà thôi.

ChatGPT là một công nghệ ấn tượng và khả năng tạo ra các phản hồi trôi chảy, phù hợp khiến nó trở thành một công cụ mạnh mẽ cho mọi thứ, từ tăng năng suất đến động não sáng tạo.

Nhưng hy vọng những gì hướng dẫn này cho bạn thấy là nó vẫn chỉ là một công cụ. Nó không suy nghĩ hay thấu hiểu như chúng ta, thay vào đó nó dự đoán. Và việc ghi nhớ điều đó là chìa khóa để sử dụng nó một cách khôn ngoan và hiệu quả.