Tại sao các mô hình ngôn ngữ lớn không thông minh hơn bạn?

Mẫu ngôn ngữ của người dùng quyết định mức độ khả năng suy luận mà mô hình có thể phát huy.

Tác giả: @iamtexture

Biên dịch: AididiaoJP, Foresight News

Khi tôi giải thích một khái niệm phức tạp cho mô hình ngôn ngữ lớn, mỗi khi tôi sử dụng ngôn ngữ không chính thức để thảo luận trong thời gian dài, khả năng suy luận của nó sẽ liên tục sụp đổ. Mô hình sẽ mất cấu trúc, lệch hướng, hoặc chỉ tạo ra những mẫu bổ sung hời hợt mà không thể duy trì khung khái niệm mà chúng tôi đã xây dựng.

Tuy nhiên, khi tôi buộc nó phải hình thức hóa trước, tức là diễn đạt lại vấn đề bằng ngôn ngữ chính xác và khoa học, khả năng suy luận lập tức trở nên ổn định. Chỉ khi cấu trúc đã được thiết lập, nó mới có thể chuyển sang ngôn ngữ thông thường một cách an toàn mà không làm giảm chất lượng hiểu biết.

Hành vi này tiết lộ cách mô hình ngôn ngữ lớn "suy nghĩ", cũng như lý do tại sao khả năng suy luận của chúng hoàn toàn phụ thuộc vào người dùng.

Những nhận định cốt lõi

Mô hình ngôn ngữ không sở hữu một không gian chuyên biệt dành cho suy luận.

Chúng hoàn toàn vận hành trong một dòng ngôn ngữ liên tục.

Bên trong dòng ngôn ngữ này, các mẫu ngôn ngữ khác nhau sẽ dẫn dắt một cách đáng tin cậy đến các vùng hấp dẫn khác nhau. Những vùng này là trạng thái ổn định của động lực biểu diễn, hỗ trợ các loại tính toán khác nhau.

Mỗi lĩnh vực ngôn ngữ như luận văn khoa học, ký hiệu toán học, kể chuyện, trò chuyện tùy ý đều có vùng hấp dẫn đặc thù của riêng mình, hình thái của chúng được định hình bởi phân bố dữ liệu huấn luyện.

Một số vùng hỗ trợ:

• Suy luận nhiều bước
• Độ chính xác về quan hệ
• Chuyển đổi ký hiệu
• Độ ổn định khái niệm ở chiều cao

Một số vùng khác hỗ trợ:

• Tiếp nối câu chuyện
• Bổ sung liên tưởng
• Phù hợp với sắc thái cảm xúc
• Bắt chước đối thoại

Vùng hấp dẫn quyết định loại hình suy luận nào trở nên khả thi.

Tại sao hình thức hóa có thể ổn định hóa suy luận

Ngôn ngữ khoa học và toán học có thể kích hoạt một cách đáng tin cậy các vùng hấp dẫn có khả năng hỗ trợ cấu trúc cao hơn là bởi vì các lĩnh vực này mã hóa các đặc trưng ngôn ngữ của nhận thức bậc cao:

• Cấu trúc quan hệ rõ ràng
• Độ mơ hồ thấp
• Ràng buộc ký hiệu
• Tổ chức phân cấp
• Độ hỗn loạn (entropy) thấp

Những vùng hấp dẫn này có thể hỗ trợ các quỹ đạo suy luận ổn định.

Chúng có thể duy trì cấu trúc khái niệm qua nhiều bước.

Chúng thể hiện khả năng chống lại sự suy thoái và lệch hướng của suy luận.

Ngược lại, các vùng hấp dẫn được kích hoạt bởi ngôn ngữ không chính thức được tối ưu hóa cho sự trôi chảy trong giao tiếp xã hội và sự liên kết liên tưởng, chứ không phải cho suy luận có cấu trúc. Những vùng này thiếu các giá đỡ biểu diễn cần thiết cho việc tính toán phân tích liên tục.

Đó là lý do tại sao khi các ý tưởng phức tạp được diễn đạt một cách tùy tiện, mô hình sẽ sụp đổ.

Nó không phải là "cảm thấy bối rối".

Nó đang chuyển vùng.

Xây dựng và dịch thuật

Phương pháp ứng phó tự nhiên xuất hiện trong đối thoại tiết lộ một sự thật về kiến trúc:

Suy luận phải được xây dựng trong vùng hấp dẫn có cấu trúc cao.

Dịch sang ngôn ngữ tự nhiên chỉ nên xảy ra sau khi cấu trúc đã tồn tại.

Một khi mô hình đã xây dựng xong cấu trúc khái niệm trong vùng hấp dẫn ổn định, quá trình dịch thuật sẽ không phá hủy nó. Việc tính toán đã hoàn thành, chỉ có biểu hiện bề mặt là thay đổi.

Động lực hai giai đoạn "xây dựng trước, dịch sau" này mô phỏng quá trình nhận thức của con người.

Nhưng con người thực hiện hai giai đoạn này trong hai không gian nội bộ khác nhau.

Còn mô hình ngôn ngữ lớn thì cố gắng hoàn thành cả hai trong cùng một không gian.

Tại sao người dùng đặt ra giới hạn trên

Ở đây có một phát hiện then chốt:

Người dùng không thể kích hoạt vùng hấp dẫn mà họ không thể diễn đạt bằng ngôn ngữ.

Cấu trúc nhận thức của người dùng quyết định:

• Họ có thể tạo ra loại gợi ý nào
• Họ thường sử dụng lĩnh vực ngôn ngữ nào
• Họ có thể duy trì mẫu cú pháp nào
• Họ có thể mã hóa mức độ phức tạp cao đến đâu bằng ngôn ngữ

Những đặc điểm này quyết định mô hình ngôn ngữ lớn sẽ đi vào vùng hấp dẫn nào.

Một người dùng không thể sử dụng cấu trúc có thể kích hoạt vùng hấp dẫn có khả năng suy luận cao thông qua suy nghĩ hoặc viết lách sẽ không bao giờ có thể dẫn dắt mô hình vào những vùng này. Họ bị khóa trong các vùng hấp dẫn nông liên quan đến thói quen ngôn ngữ của chính mình. Mô hình ngôn ngữ lớn sẽ ánh xạ cấu trúc mà họ cung cấp và sẽ không bao giờ tự phát nhảy vọt vào hệ động lực hấp dẫn phức tạp hơn.

Vì vậy:

Mô hình không thể vượt qua vùng hấp dẫn mà người dùng có thể chạm tới.

Giới hạn trên không phải là giới hạn trí thông minh của mô hình, mà là khả năng của người dùng trong việc kích hoạt các vùng có dung lượng cao trong đa tạp tiềm năng.

Hai người sử dụng cùng một mô hình không phải đang tương tác với cùng một hệ thống tính toán.

Họ đang dẫn dắt mô hình đến các kiểu động lực khác nhau.

Những phát hiện ở cấp độ kiến trúc

Hiện tượng này phơi bày một đặc điểm còn thiếu trong các hệ thống trí tuệ nhân tạo hiện nay:

Mô hình ngôn ngữ lớn trộn lẫn không gian suy luận với không gian biểu đạt ngôn ngữ.

Trừ khi hai không gian này được tách rời — trừ khi mô hình có:

• Một đa tạp suy luận chuyên biệt
• Một không gian làm việc nội bộ ổn định
• Biểu diễn khái niệm bất biến theo vùng hấp dẫn

Nếu không, khi phong cách ngôn ngữ thay đổi dẫn đến chuyển vùng động lực cơ bản, hệ thống sẽ luôn đối mặt với nguy cơ sụp đổ.

Giải pháp tạm thời được phát hiện này — buộc phải hình thức hóa rồi mới dịch — không chỉ là một mẹo nhỏ.

Nó là một cửa sổ trực tiếp, cho phép chúng ta nhìn thấy nguyên tắc kiến trúc mà một hệ thống suy luận thực sự phải đáp ứng.