Sự phát triển gần đây của ngành trí tuệ nhân tạo được một số người coi là cuộc cách mạng công nghiệp lần thứ tư. Sự xuất hiện của các mô hình lớn đã nâng cao đáng kể hiệu quả của các ngành nghề, có nghiên cứu cho rằng GPT đã nâng cao khoảng 20% hiệu suất làm việc ở Mỹ. Đồng thời, khả năng tổng quát mà các mô hình lớn mang lại được coi là một khuôn khổ thiết kế phần mềm mới, trước đây thiết kế phần mềm là mã chính xác, còn thiết kế phần mềm hiện tại là việc nhúng các khuôn khổ mô hình lớn tổng quát hơn vào phần mềm, những phần mềm này có thể có hiệu suất tốt hơn và hỗ trợ nhiều kiểu đầu vào và đầu ra hơn. Công nghệ học sâu thực sự đã mang lại sự phồn thịnh lần thứ tư cho ngành AI, làn sóng này cũng đã lan tỏa đến ngành tiền điện tử.
Báo cáo này sẽ khám phá chi tiết lịch sử phát triển của ngành AI, phân loại công nghệ và ảnh hưởng của việc phát minh ra công nghệ học sâu đối với ngành. Sau đó, sẽ phân tích sâu về chuỗi ngành lên và xuống trong học sâu như GPU, điện toán đám mây, nguồn dữ liệu, thiết bị biên, cũng như tình trạng và xu hướng phát triển hiện tại. Tiếp theo, chúng ta sẽ khám phá bản chất mối quan hệ giữa Crypto và ngành AI, và tổ chức lại cấu trúc chuỗi ngành AI liên quan đến Crypto.
Lịch sử phát triển của ngành AI
Ngành AI bắt đầu từ những năm 1950, nhằm hiện thực hóa tầm nhìn về trí tuệ nhân tạo, giới học thuật và công nghiệp đã phát triển nhiều trường phái khác nhau trong các bối cảnh và ngành học khác nhau qua các thời kỳ.
Công nghệ trí tuệ nhân tạo hiện đại chủ yếu sử dụng thuật ngữ "học máy", ý tưởng của công nghệ này là để máy móc dựa vào dữ liệu lặp đi lặp lại trong các nhiệm vụ nhằm cải thiện hiệu suất của hệ thống. Các bước chính là đưa dữ liệu vào thuật toán, sử dụng dữ liệu này để đào tạo mô hình, kiểm tra triển khai mô hình, và sử dụng mô hình để hoàn thành các nhiệm vụ dự đoán tự động.
Hiện tại có ba trường phái chính trong học máy, lần lượt là kết nối chủ nghĩa, ký hiệu chủ nghĩa và hành vi chủ nghĩa, lần lượt mô phỏng hệ thần kinh, tư duy và hành vi của con người.
Hiện nay, chủ nghĩa liên kết đại diện bởi mạng nơ-ron đang chiếm ưu thế ( còn được gọi là học sâu ), lý do chính là vì kiến trúc này có một lớp đầu vào, một lớp đầu ra, nhưng có nhiều lớp ẩn, một khi số lượng lớp và số lượng nơ-ron ( tham số ) trở nên đủ lớn, thì sẽ có đủ cơ hội để khớp với các nhiệm vụ phức tạp chung. Thông qua việc nhập dữ liệu, có thể điều chỉnh liên tục các tham số của nơ-ron, sau đó trải qua nhiều dữ liệu, nơ-ron đó sẽ đạt được một trạng thái tối ưu ( tham số ), đây cũng chính là điều chúng ta gọi là "sức mạnh từ sự kỳ diệu", và đây cũng là nguồn gốc của từ "sâu" - đủ số lượng lớp và nơ-ron.
Ví dụ, có thể hiểu đơn giản là chúng ta xây dựng một hàm, khi nhập vào X=2 thì Y=3; khi X=3 thì Y=5, nếu muốn hàm này có thể áp dụng cho tất cả các X, thì cần phải tiếp tục thêm bậc của hàm và các tham số của nó, chẳng hạn như tôi có thể xây dựng một hàm thỏa mãn điều kiện này là Y = 2X - 1, nhưng nếu có một dữ liệu là X=2, Y=11, thì cần phải tái cấu trúc một hàm phù hợp với ba điểm dữ liệu này, sử dụng GPU để bẻ khóa một cách mạnh mẽ phát hiện Y = X2 - 3X + 5, khá phù hợp, nhưng không cần phải hoàn toàn trùng khớp với dữ liệu, chỉ cần tuân thủ sự cân bằng, đầu ra tương tự là đủ. Trong đó X2, X, X0 đại diện cho các nơ-ron khác nhau, còn 1, -3, 5 là các tham số của chúng.
Vào lúc này, nếu chúng ta nhập một lượng lớn dữ liệu vào mạng nơ-ron, chúng ta có thể tăng số lượng nơ-ron và điều chỉnh các tham số để phù hợp với dữ liệu mới. Như vậy, chúng ta có thể phù hợp với tất cả dữ liệu.
Công nghệ học sâu dựa trên mạng nơ-ron cũng đã có nhiều vòng lặp công nghệ và tiến hóa, như mạng nơ-ron sớm nhất trong hình trên, mạng nơ-ron hồi tiếp, RNN, CNN, GAN cuối cùng tiến hóa thành các mô hình lớn hiện đại như GPT sử dụng công nghệ Transformer. Công nghệ Transformer chỉ là một hướng tiến hóa của mạng nơ-ron, đã thêm một bộ chuyển đổi ( Transformer ), dùng để mã hóa tất cả các kiểu dữ liệu ( như âm thanh, video, hình ảnh, v.v. ) thành các giá trị tương ứng để biểu thị. Sau đó, các giá trị này được nhập vào mạng nơ-ron, như vậy mạng nơ-ron có thể khớp với bất kỳ loại dữ liệu nào, tức là thực hiện đa phương thức.
Sự phát triển của AI đã trải qua ba làn sóng công nghệ, làn sóng đầu tiên diễn ra vào những năm 1960, mười năm sau khi công nghệ AI được đưa ra. Làn sóng này được thúc đẩy bởi sự phát triển của công nghệ chủ nghĩa ký hiệu, công nghệ này đã giải quyết được các vấn đề về xử lý ngôn ngữ tự nhiên tổng quát cũng như giao tiếp giữa người và máy. Cùng thời gian đó, hệ thống chuyên gia ra đời, đây là hệ thống DENRAL được hoàn thành dưới sự giám sát của một trường đại học tại NASA, hệ thống này sở hữu kiến thức hóa học rất mạnh, thông qua các câu hỏi để suy diễn và tạo ra câu trả lời giống như một chuyên gia hóa học. Hệ thống chuyên gia hóa học này có thể được coi là sự kết hợp giữa cơ sở dữ liệu kiến thức hóa học và hệ thống suy diễn.
Sau hệ thống chuyên gia, vào những năm 1990, một nhà khoa học và triết gia người Mỹ gốc Israel đã đề xuất mạng Bayesian, mạng này cũng được gọi là mạng niềm tin. Cùng thời gian đó, Brooks đã đề xuất robot học dựa trên hành vi, đánh dấu sự ra đời của hành vi học.
Năm 1997, một công ty công nghệ có tên Deep Blue đã đánh bại nhà vô địch cờ vua với tỷ số 3.5:2.5, chiến thắng này được coi là một cột mốc của trí tuệ nhân tạo, công nghệ AI đã bước vào giai đoạn phát triển thứ hai.
Cơn sóng công nghệ AI thứ ba xảy ra vào năm 2006. Ba ông lớn trong lĩnh vực học sâu đã đưa ra khái niệm học sâu, một thuật toán sử dụng mạng nơ-ron nhân tạo làm kiến trúc để học biểu diễn dữ liệu. Sau đó, các thuật toán học sâu đã dần tiến hóa, từ RNN, GAN đến Transformer và Stable Diffusion, hai thuật toán này đã cùng nhau định hình cơn sóng công nghệ thứ ba, và đây cũng là thời kỳ hoàng kim của chủ nghĩa liên kết.
Nhiều sự kiện mang tính biểu tượng cũng dần xuất hiện cùng với sự khám phá và tiến bộ của công nghệ học sâu, bao gồm:
Năm 2011, Watson của một công ty công nghệ đã đánh bại con người và giành chiến thắng trong chương trình thi câu hỏi "Đối mặt với nguy hiểm" ( Jeopardy ).
Năm 2014, Goodfellow đã đề xuất GAN( Mạng đối kháng sinh tạo, Generative Adversarial Network), thông qua việc cho hai mạng nơ-ron chơi đối kháng với nhau để học, có thể tạo ra những bức ảnh giống thật. Đồng thời, Goodfellow cũng đã viết một cuốn sách có tên "Deep Learning", được gọi là sách hoa, là một trong những cuốn sách nhập môn quan trọng trong lĩnh vực học sâu.
Năm 2015, Hinton và các cộng sự đã đề xuất thuật toán học sâu trong tạp chí "Nature", sự ra đời của phương pháp học sâu này ngay lập tức gây ra tiếng vang lớn trong giới học thuật cũng như trong ngành công nghiệp.
Năm 2015, một công ty trí tuệ nhân tạo được thành lập, nhiều nhà đầu tư nổi tiếng tuyên bố cùng nhau đầu tư 1 tỷ USD.
Năm 2016, AlphaGo dựa trên công nghệ học sâu đã tham gia trận đấu cờ vây giữa người và máy với nhà vô địch cờ vây thế giới, kỳ thủ chuyên nghiệp cấp 9, và giành chiến thắng với tỷ số tổng cộng 4-1.
Năm 2017, một công ty công nghệ robot tại Hồng Kông, Trung Quốc đã phát triển robot hình người có tên Sophia, được coi là robot đầu tiên trong lịch sử được cấp quyền công dân hạng nhất, có khả năng biểu đạt nét mặt phong phú và hiểu ngôn ngữ của con người.
Năm 2017, một công ty công nghệ có nhiều nhân tài và dự trữ công nghệ trong lĩnh vực trí tuệ nhân tạo đã công bố bài báo "Attention is all you need" đề xuất thuật toán Transformer, mô hình ngôn ngữ quy mô lớn bắt đầu xuất hiện.
Năm 2018, một công ty trí tuệ nhân tạo đã phát hành GPT(Generative Pre-trained Transformer) được xây dựng dựa trên thuật toán Transformer, đây là một trong những mô hình ngôn ngữ lớn nhất vào thời điểm đó.
Năm 2018, một đội ngũ của một công ty công nghệ đã phát hành AlphaGo dựa trên học sâu, có khả năng dự đoán cấu trúc protein, được coi là một dấu hiệu tiến bộ lớn trong lĩnh vực trí tuệ nhân tạo.
Năm 2019, một công ty trí tuệ nhân tạo đã phát hành GPT-2, mô hình này có 1,5 tỷ tham số.
Năm 2020, một công ty trí tuệ nhân tạo đã phát triển GPT-3, có 175 tỷ tham số, gấp 100 lần phiên bản trước đó GPT-2, mô hình này đã sử dụng 570GB văn bản để đào tạo, có thể đạt được hiệu suất tiên tiến trong nhiều nhiệm vụ NLP( như trả lời câu hỏi, dịch thuật, viết bài báo).
Năm 2021, một công ty trí tuệ nhân tạo đã phát hành GPT-4, mô hình này có 1,76 triệu tỷ tham số, gấp 10 lần GPT-3.
Ứng dụng ChatGPT dựa trên mô hình GPT-4 được ra mắt vào tháng 1 năm 2023, tới tháng 3 ChatGPT đã đạt một trăm triệu người dùng, trở thành ứng dụng đạt một trăm triệu người dùng nhanh nhất trong lịch sử.
Năm 2024, một công ty trí tuệ nhân tạo ra mắt GPT-4 omni.
Chuỗi công nghiệp học sâu
Các mô hình ngôn ngữ lớn hiện tại đều sử dụng phương pháp học sâu dựa trên mạng nơ-ron. Với GPT dẫn đầu, các mô hình lớn đã tạo ra một làn sóng sốt nóng về trí tuệ nhân tạo, rất nhiều người chơi đã đổ vào lĩnh vực này. Chúng tôi cũng nhận thấy nhu cầu về dữ liệu và sức mạnh tính toán trên thị trường bùng nổ mạnh mẽ. Do đó, trong phần báo cáo này, chúng tôi chủ yếu khám phá chuỗi công nghiệp của thuật toán học sâu. Trong ngành AI do thuật toán học sâu dẫn dắt, các thành phần thượng nguồn và hạ nguồn được hình thành như thế nào, và tình trạng hiện tại cũng như mối quan hệ cung cầu của chúng và sự phát triển trong tương lai ra sao.
Đầu tiên chúng ta cần làm rõ rằng, khi thực hiện đào tạo các mô hình lớn LLMs dựa trên công nghệ Transformer do GPT dẫn đầu (, sẽ được chia thành ba bước.
Trước khi đào tạo, vì nó dựa trên Transformer, do đó bộ chuyển đổi cần chuyển đổi đầu vào văn bản thành giá trị số, quá trình này được gọi là "Tokenization", sau đó những giá trị số này được gọi là Token. Theo quy tắc kinh nghiệm chung, một từ hoặc ký tự tiếng Anh có thể được coi là một Token, trong khi mỗi ký tự Hán có thể được coi là hai Token. Đây cũng là đơn vị cơ bản được sử dụng để định giá GPT.
Bước đầu tiên, tiền huấn luyện. Bằng cách cung cấp đủ cặp dữ liệu cho lớp đầu vào, tương tự như ví dụ trong phần đầu của báo cáo )X,Y(, để tìm kiếm các tham số tốt nhất cho từng nơ-ron trong mô hình này, lúc này cần một lượng lớn dữ liệu, và quá trình này cũng là quá trình tốn kém tài nguyên tính toán nhất, vì phải lặp đi lặp lại việc thử nghiệm các tham số của nơ-ron. Sau khi hoàn thành huấn luyện với một lô dữ liệu, thường sẽ sử dụng cùng một lô dữ liệu để huấn luyện lại nhằm điều chỉnh tham số.
Bước thứ hai, tinh chỉnh. Tinh chỉnh là việc cung cấp một lượng dữ liệu ít nhưng chất lượng rất cao để đào tạo, sự thay đổi như vậy sẽ giúp đầu ra của mô hình có chất lượng cao hơn, vì việc tiền huấn luyện cần một lượng dữ liệu lớn, nhưng nhiều dữ liệu có thể có lỗi hoặc chất lượng thấp. Bước tinh chỉnh có thể nâng cao chất lượng của mô hình thông qua dữ liệu chất lượng cao.
Bước thứ ba, học tăng cường. Đầu tiên sẽ xây dựng một mô hình hoàn toàn mới, chúng tôi gọi đó là "mô hình phần thưởng", mục đích của mô hình này rất đơn giản, đó là xếp hạng các kết quả đầu ra, vì vậy việc thực hiện mô hình này sẽ khá đơn giản, vì bối cảnh kinh doanh khá cụ thể. Sau đó, sử dụng mô hình này để xác định xem đầu ra của mô hình lớn của chúng tôi có chất lượng cao hay không, như vậy có thể sử dụng một mô hình phần thưởng để tự động lặp lại các tham số của mô hình lớn. ) nhưng đôi khi cũng cần sự tham gia của con người để đánh giá chất lượng đầu ra của mô hình (
Nói ngắn gọn, trong quá trình đào tạo mô hình lớn, việc tiền huấn luyện có yêu cầu rất cao về lượng dữ liệu, và sức mạnh tính toán GPU cần thiết cũng là nhiều nhất, trong khi việc tinh chỉnh cần dữ liệu chất lượng cao hơn để cải thiện các tham số, học tăng cường có thể lặp đi lặp lại các tham số thông qua một mô hình thưởng để tạo ra kết quả chất lượng cao hơn.
Trong quá trình huấn luyện, số lượng tham số càng nhiều thì khả năng tổng quát càng cao, ví dụ như trong ví dụ về hàm Y = aX + b, thực tế có hai nơ-ron X và X0, vì vậy cách thay đổi tham số, dữ liệu có thể khớp lại là rất hạn chế, bởi vì bản chất vẫn chỉ là một đường thẳng. Nếu số lượng nơ-ron nhiều hơn, thì có thể lặp lại nhiều tham số hơn, từ đó có thể khớp nhiều dữ liệu hơn, đó là lý do tại sao các mô hình lớn lại tạo ra điều kỳ diệu, và cũng là lý do tại sao được đặt tên là mô hình lớn, bản chất chính là một lượng lớn nơ-ron và tham số, cùng với một lượng lớn dữ liệu, đồng thời cần một lượng lớn sức mạnh tính toán.
Do đó, hiệu suất của mô hình lớn chủ yếu được xác định bởi ba yếu tố: số lượng tham số, khối lượng và chất lượng dữ liệu, và sức mạnh tính toán. Ba yếu tố này cùng nhau ảnh hưởng đến chất lượng kết quả và khả năng tổng quát của mô hình lớn. Giả sử số lượng tham số là p, khối lượng dữ liệu là n) được tính bằng số lượng Token(, thì chúng ta có thể tính toán lượng tính toán cần thiết thông qua quy tắc kinh nghiệm chung, từ đó ước tính tình hình sức mạnh tính toán mà chúng ta cần mua và thời gian đào tạo.
Công suất tính toán thường được đo bằng Flops, đại diện cho một phép toán dấu phẩy động, phép toán dấu phẩy động là tên gọi chung cho việc cộng, trừ, nhân, chia các số không phải là số nguyên, như 2.5 + 3.557, dấu phẩy động thể hiện khả năng có số thập phân, trong đó FP16 đại diện cho độ chính xác hỗ trợ số thập phân, còn FP32 thì thường phổ biến hơn.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
16 thích
Phần thưởng
16
4
Chia sẻ
Bình luận
0/400
YieldHunter
· 2giờ trước
hmm 20% tăng năng suất? Nói về mặt kỹ thuật, dữ liệu trông khá đáng ngờ... có lẽ chỉ là một kế hoạch ponzi AI khác thật lòng mà nói.
Sự kết hợp giữa AI và Tài sản tiền điện tử: Phân tích toàn cảnh từ quá trình phát triển đến chuỗi ngành
AI x Crypto: Từ số không đến đỉnh cao
Giới thiệu
Sự phát triển gần đây của ngành trí tuệ nhân tạo được một số người coi là cuộc cách mạng công nghiệp lần thứ tư. Sự xuất hiện của các mô hình lớn đã nâng cao đáng kể hiệu quả của các ngành nghề, có nghiên cứu cho rằng GPT đã nâng cao khoảng 20% hiệu suất làm việc ở Mỹ. Đồng thời, khả năng tổng quát mà các mô hình lớn mang lại được coi là một khuôn khổ thiết kế phần mềm mới, trước đây thiết kế phần mềm là mã chính xác, còn thiết kế phần mềm hiện tại là việc nhúng các khuôn khổ mô hình lớn tổng quát hơn vào phần mềm, những phần mềm này có thể có hiệu suất tốt hơn và hỗ trợ nhiều kiểu đầu vào và đầu ra hơn. Công nghệ học sâu thực sự đã mang lại sự phồn thịnh lần thứ tư cho ngành AI, làn sóng này cũng đã lan tỏa đến ngành tiền điện tử.
Báo cáo này sẽ khám phá chi tiết lịch sử phát triển của ngành AI, phân loại công nghệ và ảnh hưởng của việc phát minh ra công nghệ học sâu đối với ngành. Sau đó, sẽ phân tích sâu về chuỗi ngành lên và xuống trong học sâu như GPU, điện toán đám mây, nguồn dữ liệu, thiết bị biên, cũng như tình trạng và xu hướng phát triển hiện tại. Tiếp theo, chúng ta sẽ khám phá bản chất mối quan hệ giữa Crypto và ngành AI, và tổ chức lại cấu trúc chuỗi ngành AI liên quan đến Crypto.
Lịch sử phát triển của ngành AI
Ngành AI bắt đầu từ những năm 1950, nhằm hiện thực hóa tầm nhìn về trí tuệ nhân tạo, giới học thuật và công nghiệp đã phát triển nhiều trường phái khác nhau trong các bối cảnh và ngành học khác nhau qua các thời kỳ.
Công nghệ trí tuệ nhân tạo hiện đại chủ yếu sử dụng thuật ngữ "học máy", ý tưởng của công nghệ này là để máy móc dựa vào dữ liệu lặp đi lặp lại trong các nhiệm vụ nhằm cải thiện hiệu suất của hệ thống. Các bước chính là đưa dữ liệu vào thuật toán, sử dụng dữ liệu này để đào tạo mô hình, kiểm tra triển khai mô hình, và sử dụng mô hình để hoàn thành các nhiệm vụ dự đoán tự động.
Hiện tại có ba trường phái chính trong học máy, lần lượt là kết nối chủ nghĩa, ký hiệu chủ nghĩa và hành vi chủ nghĩa, lần lượt mô phỏng hệ thần kinh, tư duy và hành vi của con người.
Hiện nay, chủ nghĩa liên kết đại diện bởi mạng nơ-ron đang chiếm ưu thế ( còn được gọi là học sâu ), lý do chính là vì kiến trúc này có một lớp đầu vào, một lớp đầu ra, nhưng có nhiều lớp ẩn, một khi số lượng lớp và số lượng nơ-ron ( tham số ) trở nên đủ lớn, thì sẽ có đủ cơ hội để khớp với các nhiệm vụ phức tạp chung. Thông qua việc nhập dữ liệu, có thể điều chỉnh liên tục các tham số của nơ-ron, sau đó trải qua nhiều dữ liệu, nơ-ron đó sẽ đạt được một trạng thái tối ưu ( tham số ), đây cũng chính là điều chúng ta gọi là "sức mạnh từ sự kỳ diệu", và đây cũng là nguồn gốc của từ "sâu" - đủ số lượng lớp và nơ-ron.
Ví dụ, có thể hiểu đơn giản là chúng ta xây dựng một hàm, khi nhập vào X=2 thì Y=3; khi X=3 thì Y=5, nếu muốn hàm này có thể áp dụng cho tất cả các X, thì cần phải tiếp tục thêm bậc của hàm và các tham số của nó, chẳng hạn như tôi có thể xây dựng một hàm thỏa mãn điều kiện này là Y = 2X - 1, nhưng nếu có một dữ liệu là X=2, Y=11, thì cần phải tái cấu trúc một hàm phù hợp với ba điểm dữ liệu này, sử dụng GPU để bẻ khóa một cách mạnh mẽ phát hiện Y = X2 - 3X + 5, khá phù hợp, nhưng không cần phải hoàn toàn trùng khớp với dữ liệu, chỉ cần tuân thủ sự cân bằng, đầu ra tương tự là đủ. Trong đó X2, X, X0 đại diện cho các nơ-ron khác nhau, còn 1, -3, 5 là các tham số của chúng.
Vào lúc này, nếu chúng ta nhập một lượng lớn dữ liệu vào mạng nơ-ron, chúng ta có thể tăng số lượng nơ-ron và điều chỉnh các tham số để phù hợp với dữ liệu mới. Như vậy, chúng ta có thể phù hợp với tất cả dữ liệu.
Công nghệ học sâu dựa trên mạng nơ-ron cũng đã có nhiều vòng lặp công nghệ và tiến hóa, như mạng nơ-ron sớm nhất trong hình trên, mạng nơ-ron hồi tiếp, RNN, CNN, GAN cuối cùng tiến hóa thành các mô hình lớn hiện đại như GPT sử dụng công nghệ Transformer. Công nghệ Transformer chỉ là một hướng tiến hóa của mạng nơ-ron, đã thêm một bộ chuyển đổi ( Transformer ), dùng để mã hóa tất cả các kiểu dữ liệu ( như âm thanh, video, hình ảnh, v.v. ) thành các giá trị tương ứng để biểu thị. Sau đó, các giá trị này được nhập vào mạng nơ-ron, như vậy mạng nơ-ron có thể khớp với bất kỳ loại dữ liệu nào, tức là thực hiện đa phương thức.
Sự phát triển của AI đã trải qua ba làn sóng công nghệ, làn sóng đầu tiên diễn ra vào những năm 1960, mười năm sau khi công nghệ AI được đưa ra. Làn sóng này được thúc đẩy bởi sự phát triển của công nghệ chủ nghĩa ký hiệu, công nghệ này đã giải quyết được các vấn đề về xử lý ngôn ngữ tự nhiên tổng quát cũng như giao tiếp giữa người và máy. Cùng thời gian đó, hệ thống chuyên gia ra đời, đây là hệ thống DENRAL được hoàn thành dưới sự giám sát của một trường đại học tại NASA, hệ thống này sở hữu kiến thức hóa học rất mạnh, thông qua các câu hỏi để suy diễn và tạo ra câu trả lời giống như một chuyên gia hóa học. Hệ thống chuyên gia hóa học này có thể được coi là sự kết hợp giữa cơ sở dữ liệu kiến thức hóa học và hệ thống suy diễn.
Sau hệ thống chuyên gia, vào những năm 1990, một nhà khoa học và triết gia người Mỹ gốc Israel đã đề xuất mạng Bayesian, mạng này cũng được gọi là mạng niềm tin. Cùng thời gian đó, Brooks đã đề xuất robot học dựa trên hành vi, đánh dấu sự ra đời của hành vi học.
Năm 1997, một công ty công nghệ có tên Deep Blue đã đánh bại nhà vô địch cờ vua với tỷ số 3.5:2.5, chiến thắng này được coi là một cột mốc của trí tuệ nhân tạo, công nghệ AI đã bước vào giai đoạn phát triển thứ hai.
Cơn sóng công nghệ AI thứ ba xảy ra vào năm 2006. Ba ông lớn trong lĩnh vực học sâu đã đưa ra khái niệm học sâu, một thuật toán sử dụng mạng nơ-ron nhân tạo làm kiến trúc để học biểu diễn dữ liệu. Sau đó, các thuật toán học sâu đã dần tiến hóa, từ RNN, GAN đến Transformer và Stable Diffusion, hai thuật toán này đã cùng nhau định hình cơn sóng công nghệ thứ ba, và đây cũng là thời kỳ hoàng kim của chủ nghĩa liên kết.
Nhiều sự kiện mang tính biểu tượng cũng dần xuất hiện cùng với sự khám phá và tiến bộ của công nghệ học sâu, bao gồm:
Năm 2011, Watson của một công ty công nghệ đã đánh bại con người và giành chiến thắng trong chương trình thi câu hỏi "Đối mặt với nguy hiểm" ( Jeopardy ).
Năm 2014, Goodfellow đã đề xuất GAN( Mạng đối kháng sinh tạo, Generative Adversarial Network), thông qua việc cho hai mạng nơ-ron chơi đối kháng với nhau để học, có thể tạo ra những bức ảnh giống thật. Đồng thời, Goodfellow cũng đã viết một cuốn sách có tên "Deep Learning", được gọi là sách hoa, là một trong những cuốn sách nhập môn quan trọng trong lĩnh vực học sâu.
Năm 2015, Hinton và các cộng sự đã đề xuất thuật toán học sâu trong tạp chí "Nature", sự ra đời của phương pháp học sâu này ngay lập tức gây ra tiếng vang lớn trong giới học thuật cũng như trong ngành công nghiệp.
Năm 2015, một công ty trí tuệ nhân tạo được thành lập, nhiều nhà đầu tư nổi tiếng tuyên bố cùng nhau đầu tư 1 tỷ USD.
Năm 2016, AlphaGo dựa trên công nghệ học sâu đã tham gia trận đấu cờ vây giữa người và máy với nhà vô địch cờ vây thế giới, kỳ thủ chuyên nghiệp cấp 9, và giành chiến thắng với tỷ số tổng cộng 4-1.
Năm 2017, một công ty công nghệ robot tại Hồng Kông, Trung Quốc đã phát triển robot hình người có tên Sophia, được coi là robot đầu tiên trong lịch sử được cấp quyền công dân hạng nhất, có khả năng biểu đạt nét mặt phong phú và hiểu ngôn ngữ của con người.
Năm 2017, một công ty công nghệ có nhiều nhân tài và dự trữ công nghệ trong lĩnh vực trí tuệ nhân tạo đã công bố bài báo "Attention is all you need" đề xuất thuật toán Transformer, mô hình ngôn ngữ quy mô lớn bắt đầu xuất hiện.
Năm 2018, một công ty trí tuệ nhân tạo đã phát hành GPT(Generative Pre-trained Transformer) được xây dựng dựa trên thuật toán Transformer, đây là một trong những mô hình ngôn ngữ lớn nhất vào thời điểm đó.
Năm 2018, một đội ngũ của một công ty công nghệ đã phát hành AlphaGo dựa trên học sâu, có khả năng dự đoán cấu trúc protein, được coi là một dấu hiệu tiến bộ lớn trong lĩnh vực trí tuệ nhân tạo.
Năm 2019, một công ty trí tuệ nhân tạo đã phát hành GPT-2, mô hình này có 1,5 tỷ tham số.
Năm 2020, một công ty trí tuệ nhân tạo đã phát triển GPT-3, có 175 tỷ tham số, gấp 100 lần phiên bản trước đó GPT-2, mô hình này đã sử dụng 570GB văn bản để đào tạo, có thể đạt được hiệu suất tiên tiến trong nhiều nhiệm vụ NLP( như trả lời câu hỏi, dịch thuật, viết bài báo).
Năm 2021, một công ty trí tuệ nhân tạo đã phát hành GPT-4, mô hình này có 1,76 triệu tỷ tham số, gấp 10 lần GPT-3.
Ứng dụng ChatGPT dựa trên mô hình GPT-4 được ra mắt vào tháng 1 năm 2023, tới tháng 3 ChatGPT đã đạt một trăm triệu người dùng, trở thành ứng dụng đạt một trăm triệu người dùng nhanh nhất trong lịch sử.
Năm 2024, một công ty trí tuệ nhân tạo ra mắt GPT-4 omni.
Chuỗi công nghiệp học sâu
Các mô hình ngôn ngữ lớn hiện tại đều sử dụng phương pháp học sâu dựa trên mạng nơ-ron. Với GPT dẫn đầu, các mô hình lớn đã tạo ra một làn sóng sốt nóng về trí tuệ nhân tạo, rất nhiều người chơi đã đổ vào lĩnh vực này. Chúng tôi cũng nhận thấy nhu cầu về dữ liệu và sức mạnh tính toán trên thị trường bùng nổ mạnh mẽ. Do đó, trong phần báo cáo này, chúng tôi chủ yếu khám phá chuỗi công nghiệp của thuật toán học sâu. Trong ngành AI do thuật toán học sâu dẫn dắt, các thành phần thượng nguồn và hạ nguồn được hình thành như thế nào, và tình trạng hiện tại cũng như mối quan hệ cung cầu của chúng và sự phát triển trong tương lai ra sao.
Đầu tiên chúng ta cần làm rõ rằng, khi thực hiện đào tạo các mô hình lớn LLMs dựa trên công nghệ Transformer do GPT dẫn đầu (, sẽ được chia thành ba bước.
Trước khi đào tạo, vì nó dựa trên Transformer, do đó bộ chuyển đổi cần chuyển đổi đầu vào văn bản thành giá trị số, quá trình này được gọi là "Tokenization", sau đó những giá trị số này được gọi là Token. Theo quy tắc kinh nghiệm chung, một từ hoặc ký tự tiếng Anh có thể được coi là một Token, trong khi mỗi ký tự Hán có thể được coi là hai Token. Đây cũng là đơn vị cơ bản được sử dụng để định giá GPT.
Bước đầu tiên, tiền huấn luyện. Bằng cách cung cấp đủ cặp dữ liệu cho lớp đầu vào, tương tự như ví dụ trong phần đầu của báo cáo )X,Y(, để tìm kiếm các tham số tốt nhất cho từng nơ-ron trong mô hình này, lúc này cần một lượng lớn dữ liệu, và quá trình này cũng là quá trình tốn kém tài nguyên tính toán nhất, vì phải lặp đi lặp lại việc thử nghiệm các tham số của nơ-ron. Sau khi hoàn thành huấn luyện với một lô dữ liệu, thường sẽ sử dụng cùng một lô dữ liệu để huấn luyện lại nhằm điều chỉnh tham số.
Bước thứ hai, tinh chỉnh. Tinh chỉnh là việc cung cấp một lượng dữ liệu ít nhưng chất lượng rất cao để đào tạo, sự thay đổi như vậy sẽ giúp đầu ra của mô hình có chất lượng cao hơn, vì việc tiền huấn luyện cần một lượng dữ liệu lớn, nhưng nhiều dữ liệu có thể có lỗi hoặc chất lượng thấp. Bước tinh chỉnh có thể nâng cao chất lượng của mô hình thông qua dữ liệu chất lượng cao.
Bước thứ ba, học tăng cường. Đầu tiên sẽ xây dựng một mô hình hoàn toàn mới, chúng tôi gọi đó là "mô hình phần thưởng", mục đích của mô hình này rất đơn giản, đó là xếp hạng các kết quả đầu ra, vì vậy việc thực hiện mô hình này sẽ khá đơn giản, vì bối cảnh kinh doanh khá cụ thể. Sau đó, sử dụng mô hình này để xác định xem đầu ra của mô hình lớn của chúng tôi có chất lượng cao hay không, như vậy có thể sử dụng một mô hình phần thưởng để tự động lặp lại các tham số của mô hình lớn. ) nhưng đôi khi cũng cần sự tham gia của con người để đánh giá chất lượng đầu ra của mô hình (
Nói ngắn gọn, trong quá trình đào tạo mô hình lớn, việc tiền huấn luyện có yêu cầu rất cao về lượng dữ liệu, và sức mạnh tính toán GPU cần thiết cũng là nhiều nhất, trong khi việc tinh chỉnh cần dữ liệu chất lượng cao hơn để cải thiện các tham số, học tăng cường có thể lặp đi lặp lại các tham số thông qua một mô hình thưởng để tạo ra kết quả chất lượng cao hơn.
Trong quá trình huấn luyện, số lượng tham số càng nhiều thì khả năng tổng quát càng cao, ví dụ như trong ví dụ về hàm Y = aX + b, thực tế có hai nơ-ron X và X0, vì vậy cách thay đổi tham số, dữ liệu có thể khớp lại là rất hạn chế, bởi vì bản chất vẫn chỉ là một đường thẳng. Nếu số lượng nơ-ron nhiều hơn, thì có thể lặp lại nhiều tham số hơn, từ đó có thể khớp nhiều dữ liệu hơn, đó là lý do tại sao các mô hình lớn lại tạo ra điều kỳ diệu, và cũng là lý do tại sao được đặt tên là mô hình lớn, bản chất chính là một lượng lớn nơ-ron và tham số, cùng với một lượng lớn dữ liệu, đồng thời cần một lượng lớn sức mạnh tính toán.
Do đó, hiệu suất của mô hình lớn chủ yếu được xác định bởi ba yếu tố: số lượng tham số, khối lượng và chất lượng dữ liệu, và sức mạnh tính toán. Ba yếu tố này cùng nhau ảnh hưởng đến chất lượng kết quả và khả năng tổng quát của mô hình lớn. Giả sử số lượng tham số là p, khối lượng dữ liệu là n) được tính bằng số lượng Token(, thì chúng ta có thể tính toán lượng tính toán cần thiết thông qua quy tắc kinh nghiệm chung, từ đó ước tính tình hình sức mạnh tính toán mà chúng ta cần mua và thời gian đào tạo.
Công suất tính toán thường được đo bằng Flops, đại diện cho một phép toán dấu phẩy động, phép toán dấu phẩy động là tên gọi chung cho việc cộng, trừ, nhân, chia các số không phải là số nguyên, như 2.5 + 3.557, dấu phẩy động thể hiện khả năng có số thập phân, trong đó FP16 đại diện cho độ chính xác hỗ trợ số thập phân, còn FP32 thì thường phổ biến hơn.