O recente desenvolvimento da indústria de inteligência artificial é visto por alguns como a quarta revolução industrial. O surgimento de grandes modelos melhorou significativamente a eficiência em vários setores, com pesquisas sugerindo que o GPT aumentou a eficiência do trabalho nos Estados Unidos em cerca de 20%. Ao mesmo tempo, a capacidade de generalização trazida pelos grandes modelos é considerada um novo paradigma de design de software; o design de software do passado era baseado em códigos precisos, enquanto o design de software atual incorpora estruturas de grandes modelos mais generalizadas, permitindo que esses softwares tenham um desempenho melhor e suportem uma gama mais ampla de entradas e saídas. A tecnologia de aprendizado profundo realmente trouxe a quarta prosperidade para a indústria de IA, e essa onda também se estendeu à indústria de criptomoedas.
Este relatório irá explorar detalhadamente a história do desenvolvimento da indústria de IA, a classificação das tecnologias e o impacto da invenção da tecnologia de aprendizado profundo na indústria. Em seguida, analisaremos profundamente a cadeia industrial upstream e downstream do aprendizado profundo, incluindo GPU, computação em nuvem, fontes de dados, dispositivos de borda, bem como seu estado atual e tendências. Depois, iremos discutir essencialmente a relação entre as indústrias de Crypto e IA, organizando o padrão da cadeia industrial de IA relacionada ao Crypto.
História do desenvolvimento da indústria de IA
A indústria de IA começou na década de 1950. Para realizar a visão da inteligência artificial, o meio acadêmico e a indústria desenvolveram muitas correntes para alcançar a inteligência artificial em diferentes épocas e contextos disciplinares.
As principais tecnologias de inteligência artificial modernas utilizam o termo "aprendizagem de máquina", cuja ideia é permitir que as máquinas melhorem o desempenho do sistema em tarefas através de iterações repetidas baseadas em dados. Os principais passos incluem enviar dados para algoritmos, usar esses dados para treinar modelos, testar e implantar os modelos, e utilizar os modelos para realizar tarefas de previsão automatizada.
Atualmente, a aprendizagem automática tem três principais correntes: o conectivismo, o simbolismo e o behaviorismo, que imitam o sistema nervoso humano, o pensamento e o comportamento, respetivamente.
Atualmente, o conexionismo representado por redes neurais domina (, também conhecido como aprendizado profundo ), principalmente porque essa arquitetura possui uma camada de entrada, uma camada de saída, mas várias camadas ocultas. Uma vez que o número de camadas e neurônios ( e os parâmetros ) se tornam suficientemente altos, há uma oportunidade suficiente para ajustar tarefas complexas e gerais. Através da entrada de dados, é possível ajustar continuamente os parâmetros dos neurônios, e após passar por muitos dados, esse neurônio alcançará um estado ótimo (, parâmetros ), que é o que chamamos de grandes resultados provenientes de esforço, e é também a origem da palavra "profundo" — um número suficiente de camadas e neurônios.
Por exemplo, pode-se entender de forma simples que foi construído uma função, nesta função, quando inserimos X=2, Y=3; quando X=3, Y=5. Se quisermos que esta função atenda a todos os X, precisaremos adicionar continuamente o grau da função e seus parâmetros. Por exemplo, neste momento, posso construir uma função que satisfaça essa condição como Y = 2X -1, mas se houver um dado onde X=2, Y=11, será necessário reconstruir uma função adequada para esses três pontos de dados. Usando GPU para uma quebra de força, descobrimos que Y = X2 -3X +5 é relativamente adequado, mas não é necessário que coincida completamente com os dados, apenas precisa respeitar o equilíbrio, uma saída semelhante é suficiente. Aqui, X2, X e X0 representam diferentes neurônios, enquanto 1, -3 e 5 são seus parâmetros.
Neste momento, se inserirmos uma grande quantidade de dados na rede neural, podemos aumentar os neurônios e iterar os parâmetros para ajustar os novos dados. Assim, conseguiremos ajustar todos os dados.
A tecnologia de aprendizado profundo baseada em redes neurais também passou por várias iterações e evoluções, como as redes neurais mais antigas mostradas na imagem acima, redes neurais feedforward, RNN, CNN, GAN, até evoluir para os modernos grandes modelos como GPT, que usam a tecnologia Transformer. A tecnologia Transformer é apenas uma direção de evolução das redes neurais, adicionando um conversor ( Transformer ), que serve para codificar dados de todos os modos (, como áudio, vídeo, imagens, etc., em valores numéricos correspondentes. Esses dados são então inseridos na rede neural, permitindo que a rede neural ajuste qualquer tipo de dado, ou seja, realize multimodalidade.
![Novos Conhecimentos丨AI x Crypto: Do zero ao auge])https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp(
O desenvolvimento da IA passou por três ondas tecnológicas. A primeira onda ocorreu na década de 1960, uma década após a proposta da tecnologia de IA. Esta onda foi provocada pelo desenvolvimento da tecnologia de simbolismo, que resolveu problemas de processamento de linguagem natural geral e de interação homem-máquina. Nesse mesmo período, os sistemas especialistas nasceram, destacando-se o sistema especialista DENRAL, concluído sob a supervisão de uma universidade pela NASA. Este sistema possui um conhecimento químico muito forte e faz inferências por meio de perguntas para gerar respostas semelhantes às de um especialista em química. Este sistema especialista químico pode ser visto como uma combinação de um repositório de conhecimento químico e um sistema de inferência.
Após os sistemas especialistas, um cientista e filósofo americano de origem israelita propôs, na década de 1990, as redes bayesianas, que também são conhecidas como redes de crença. Na mesma época, Brooks introduziu a robótica baseada em comportamento, marcando o nascimento do behaviorismo.
Em 1997, o Deep Blue de uma empresa de tecnologia venceu o campeão de xadrez por 3.5 a 2.5, e essa vitória foi vista como um marco para a inteligência artificial, marcando o auge de uma segunda onda de desenvolvimento da tecnologia de IA.
A terceira onda de tecnologia de IA ocorreu em 2006. Os três gigantes do deep learning apresentaram o conceito de deep learning, um algoritmo que utiliza redes neurais artificiais como arquitetura para aprender a representação de dados. Posteriormente, os algoritmos de deep learning evoluíram gradualmente, desde RNN, GAN até Transformer e Stable Diffusion, com esses dois algoritmos moldando conjuntamente essa terceira onda tecnológica, que também é o auge do conexionismo.
Muitos eventos icónicos surgiram gradualmente com a exploração e evolução das tecnologias de aprendizagem profunda, incluindo:
Em 2011, a Watson de uma empresa de tecnologia venceu os humanos e conquistou o campeonato no programa de quiz "Perigo!" )Jeopardy(.
Em 2014, Goodfellow propôs a GAN) Rede Generativa Adversarial, Generative Adversarial Network(, que aprende através da competição entre duas redes neurais, sendo capaz de gerar fotos que parecem reais. Ao mesmo tempo, Goodfellow também escreveu um livro intitulado "Deep Learning", conhecido como o livro das flores, que é um dos livros de introdução importantes na área de aprendizado profundo.
Em 2015, Hinton e outros propuseram algoritmos de aprendizado profundo na revista "Nature", e a proposta desse método de aprendizado profundo imediatamente causou um grande impacto no meio acadêmico e na indústria.
Em 2015, uma empresa de inteligência artificial foi fundada, vários investidores conhecidos anunciaram um investimento conjunto de 1 bilhão de dólares.
Em 2016, o AlphaGo, baseado em tecnologia de aprendizado profundo, competiu contra o campeão mundial de Go e jogador profissional de 9 dan, vencendo com um placar total de 4 a 1.
Em 2017, uma empresa de tecnologia robótica de Hong Kong desenvolveu o robô humanoide Sophia, que é conhecido como o primeiro robô na história a obter cidadania plena, possuindo uma rica gama de expressões faciais e capacidade de compreensão da linguagem humana.
Em 2017, uma empresa de tecnologia com uma rica reserva de talentos e tecnologia na área de inteligência artificial publicou o artigo "Attention is all you need", apresentando o algoritmo Transformer, e os modelos de linguagem em larga escala começaram a aparecer.
Em 2018, uma empresa de inteligência artificial lançou o GPT)Generative Pre-trained Transformer(, construído com base no algoritmo Transformer, que era um dos maiores modelos de linguagem da época.
Em 2018, uma equipe de uma empresa de tecnologia lançou o AlphaGo, baseado em aprendizado profundo, capaz de prever a estrutura de proteínas, sendo considerado um grande marco no campo da inteligência artificial.
Em 2019, uma empresa de inteligência artificial lançou o GPT-2, que possui 1,5 bilhões de parâmetros.
Em 2020, uma empresa de inteligência artificial desenvolveu o GPT-3, que possui 175 bilhões de parâmetros, 100 vezes mais do que a versão anterior GPT-2. Este modelo foi treinado com 570GB de texto e pode alcançar desempenho de ponta em várias tarefas de NLP), como resposta a perguntas, tradução e redação de artigos(.
Em 2021, uma empresa de inteligência artificial lançou o GPT-4, que possui 1,76 trilião de parâmetros, sendo 10 vezes mais que o GPT-3.
Em janeiro de 2023, foi lançado o aplicativo ChatGPT baseado no modelo GPT-4, e em março o ChatGPT atingiu cem milhões de usuários, tornando-se o aplicativo que mais rapidamente alcançou cem milhões de usuários na história.
Em 2024, uma empresa de inteligência artificial lançou o GPT-4 omni.
![Novos usuários: AI x Crypto: Do zero ao auge])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Cadeia de Indústria de Aprendizado Profundo
Atualmente, todos os grandes modelos de linguagem utilizam métodos de aprendizado profundo baseados em redes neurais. Com o GPT à frente, os grandes modelos geraram uma onda de entusiasmo em inteligência artificial, atraindo uma grande quantidade de jogadores para este setor. Também percebemos que a demanda do mercado por dados e poder de computação explodiu, portanto, nesta parte do relatório, nosso objetivo principal é explorar a cadeia industrial dos algoritmos de aprendizado profundo. No setor de IA dominado por algoritmos de aprendizado profundo, como é composta a sua cadeia de suprimentos e demanda, e qual é a situação atual e as relações de oferta e demanda, bem como o desenvolvimento futuro.
Primeiro, precisamos esclarecer que, ao realizar o treinamento de grandes modelos LLMs, liderados pelo GPT baseado na tecnologia Transformer, ), o processo é dividido em três etapas.
Antes do treinamento, como é baseado em Transformer, o conversor precisa transformar a entrada de texto em valores numéricos, esse processo é chamado de "Tokenization". Depois, esses valores são chamados de Tokens. De acordo com a regra geral, uma palavra ou caractere em inglês pode ser grosseiramente considerado como um Token, enquanto cada caractere chinês pode ser grosseiramente considerado como dois Tokens. Esta também é a unidade básica utilizada para a precificação do GPT.
Primeiro passo, pré-treinamento. Através da alimentação da camada de entrada com um número suficiente de pares de dados, semelhante ao exemplo mencionado na primeira parte do relatório (X,Y), para encontrar os melhores parâmetros de cada neurônio sob o modelo, é necessário um grande volume de dados neste momento, e esse processo também é o mais intensivo em termos de poder computacional, pois envolve a iteração repetida dos neurônios tentando vários parâmetros. Após a conclusão do treinamento de um lote de pares de dados, geralmente será utilizada a mesma lote de dados para um segundo treinamento para iterar os parâmetros.
O segundo passo, ajuste fino. O ajuste fino é dado a um lote menor, mas com dados de qualidade muito alta, para treinar, essa mudança resultará em uma saída de maior qualidade do modelo, uma vez que o pré-treinamento requer uma grande quantidade de dados, mas muitos dados podem conter erros ou serem de baixa qualidade. O passo de ajuste fino pode melhorar a qualidade do modelo através de dados de alta qualidade.
Terceiro passo, aprendizado por reforço. Primeiro, será criado um modelo completamente novo, que chamamos de "modelo de recompensa". O objetivo deste modelo é muito simples: classificar os resultados da saída. Portanto, a implementação deste modelo será relativamente simples, pois o cenário de negócios é bastante vertical. Em seguida, usaremos este modelo para determinar se a saída do nosso grande modelo é de alta qualidade, assim podemos usar um modelo de recompensa para iterar automaticamente os parâmetros do grande modelo. ( No entanto, às vezes é necessário envolvimento humano para avaliar a qualidade da saída do modelo ).
Em resumo, no processo de treinamento de grandes modelos, o pré-treinamento tem requisitos muito altos em relação à quantidade de dados, e a potência de cálculo da GPU necessária é também a mais elevada. O ajuste fino requer dados de maior qualidade para melhorar os parâmetros, e o aprendizado por reforço pode iterar os parâmetros repetidamente através de um modelo de recompensa para produzir resultados de maior qualidade.
Durante o processo de treinamento, quanto mais parâmetros houver, maior será o teto de generalização, por exemplo, no caso da função Y = aX + b, na verdade existem dois neurônios X e X0, portanto, como os parâmetros variam, os dados que podem ser ajustados são extremamente limitados, pois sua essência ainda é uma linha reta. Se houver mais neurônios, será possível iterar mais parâmetros, permitindo ajustar mais dados, e essa é a razão pela qual grandes modelos produzem milagres, e também é por isso que se chamam popularmente de grandes modelos, que são essencialmente uma enorme quantidade de neurônios e parâmetros, além de uma quantidade massiva de dados, exigindo também um poder computacional enorme.
Assim, o desempenho de grandes modelos é determinado principalmente por três aspectos: o número de parâmetros, a quantidade e qualidade dos dados, e a capacidade de computação. Supomos que o número de parâmetros seja p, a quantidade de dados seja n( calculada em termos de número de Tokens), então podemos calcular a quantidade de computação necessária através de uma regra geral, assim podemos estimar a capacidade de computação que precisamos adquirir e o tempo de treinamento.
A capacidade de cálculo é geralmente medida em Flops, que representa uma operação de ponto flutuante. A operação de ponto flutuante é um termo genérico para a adição, subtração, multiplicação e divisão de números não inteiros, como 2.5 + 3.557. Ponto flutuante refere-se à capacidade de incluir casas decimais, enquanto FP16 representa a precisão que suporta decimais, e FP32 é mais comum.
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
16 Curtidas
Recompensa
16
4
Compartilhar
Comentário
0/400
YieldHunter
· 2h atrás
hmm ganho de produtividade de 20%? tecnicamente falando, os dados parecem suspeitos... provavelmente apenas mais um esquema ponzi de IA, para ser sincero
A fusão da IA com ativos de criptografia: da evolução histórica à análise panorâmica da cadeia industrial
IA x Cripto: Do zero ao auge
Introdução
O recente desenvolvimento da indústria de inteligência artificial é visto por alguns como a quarta revolução industrial. O surgimento de grandes modelos melhorou significativamente a eficiência em vários setores, com pesquisas sugerindo que o GPT aumentou a eficiência do trabalho nos Estados Unidos em cerca de 20%. Ao mesmo tempo, a capacidade de generalização trazida pelos grandes modelos é considerada um novo paradigma de design de software; o design de software do passado era baseado em códigos precisos, enquanto o design de software atual incorpora estruturas de grandes modelos mais generalizadas, permitindo que esses softwares tenham um desempenho melhor e suportem uma gama mais ampla de entradas e saídas. A tecnologia de aprendizado profundo realmente trouxe a quarta prosperidade para a indústria de IA, e essa onda também se estendeu à indústria de criptomoedas.
Este relatório irá explorar detalhadamente a história do desenvolvimento da indústria de IA, a classificação das tecnologias e o impacto da invenção da tecnologia de aprendizado profundo na indústria. Em seguida, analisaremos profundamente a cadeia industrial upstream e downstream do aprendizado profundo, incluindo GPU, computação em nuvem, fontes de dados, dispositivos de borda, bem como seu estado atual e tendências. Depois, iremos discutir essencialmente a relação entre as indústrias de Crypto e IA, organizando o padrão da cadeia industrial de IA relacionada ao Crypto.
História do desenvolvimento da indústria de IA
A indústria de IA começou na década de 1950. Para realizar a visão da inteligência artificial, o meio acadêmico e a indústria desenvolveram muitas correntes para alcançar a inteligência artificial em diferentes épocas e contextos disciplinares.
As principais tecnologias de inteligência artificial modernas utilizam o termo "aprendizagem de máquina", cuja ideia é permitir que as máquinas melhorem o desempenho do sistema em tarefas através de iterações repetidas baseadas em dados. Os principais passos incluem enviar dados para algoritmos, usar esses dados para treinar modelos, testar e implantar os modelos, e utilizar os modelos para realizar tarefas de previsão automatizada.
Atualmente, a aprendizagem automática tem três principais correntes: o conectivismo, o simbolismo e o behaviorismo, que imitam o sistema nervoso humano, o pensamento e o comportamento, respetivamente.
Atualmente, o conexionismo representado por redes neurais domina (, também conhecido como aprendizado profundo ), principalmente porque essa arquitetura possui uma camada de entrada, uma camada de saída, mas várias camadas ocultas. Uma vez que o número de camadas e neurônios ( e os parâmetros ) se tornam suficientemente altos, há uma oportunidade suficiente para ajustar tarefas complexas e gerais. Através da entrada de dados, é possível ajustar continuamente os parâmetros dos neurônios, e após passar por muitos dados, esse neurônio alcançará um estado ótimo (, parâmetros ), que é o que chamamos de grandes resultados provenientes de esforço, e é também a origem da palavra "profundo" — um número suficiente de camadas e neurônios.
Por exemplo, pode-se entender de forma simples que foi construído uma função, nesta função, quando inserimos X=2, Y=3; quando X=3, Y=5. Se quisermos que esta função atenda a todos os X, precisaremos adicionar continuamente o grau da função e seus parâmetros. Por exemplo, neste momento, posso construir uma função que satisfaça essa condição como Y = 2X -1, mas se houver um dado onde X=2, Y=11, será necessário reconstruir uma função adequada para esses três pontos de dados. Usando GPU para uma quebra de força, descobrimos que Y = X2 -3X +5 é relativamente adequado, mas não é necessário que coincida completamente com os dados, apenas precisa respeitar o equilíbrio, uma saída semelhante é suficiente. Aqui, X2, X e X0 representam diferentes neurônios, enquanto 1, -3 e 5 são seus parâmetros.
Neste momento, se inserirmos uma grande quantidade de dados na rede neural, podemos aumentar os neurônios e iterar os parâmetros para ajustar os novos dados. Assim, conseguiremos ajustar todos os dados.
A tecnologia de aprendizado profundo baseada em redes neurais também passou por várias iterações e evoluções, como as redes neurais mais antigas mostradas na imagem acima, redes neurais feedforward, RNN, CNN, GAN, até evoluir para os modernos grandes modelos como GPT, que usam a tecnologia Transformer. A tecnologia Transformer é apenas uma direção de evolução das redes neurais, adicionando um conversor ( Transformer ), que serve para codificar dados de todos os modos (, como áudio, vídeo, imagens, etc., em valores numéricos correspondentes. Esses dados são então inseridos na rede neural, permitindo que a rede neural ajuste qualquer tipo de dado, ou seja, realize multimodalidade.
![Novos Conhecimentos丨AI x Crypto: Do zero ao auge])https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp(
O desenvolvimento da IA passou por três ondas tecnológicas. A primeira onda ocorreu na década de 1960, uma década após a proposta da tecnologia de IA. Esta onda foi provocada pelo desenvolvimento da tecnologia de simbolismo, que resolveu problemas de processamento de linguagem natural geral e de interação homem-máquina. Nesse mesmo período, os sistemas especialistas nasceram, destacando-se o sistema especialista DENRAL, concluído sob a supervisão de uma universidade pela NASA. Este sistema possui um conhecimento químico muito forte e faz inferências por meio de perguntas para gerar respostas semelhantes às de um especialista em química. Este sistema especialista químico pode ser visto como uma combinação de um repositório de conhecimento químico e um sistema de inferência.
Após os sistemas especialistas, um cientista e filósofo americano de origem israelita propôs, na década de 1990, as redes bayesianas, que também são conhecidas como redes de crença. Na mesma época, Brooks introduziu a robótica baseada em comportamento, marcando o nascimento do behaviorismo.
Em 1997, o Deep Blue de uma empresa de tecnologia venceu o campeão de xadrez por 3.5 a 2.5, e essa vitória foi vista como um marco para a inteligência artificial, marcando o auge de uma segunda onda de desenvolvimento da tecnologia de IA.
A terceira onda de tecnologia de IA ocorreu em 2006. Os três gigantes do deep learning apresentaram o conceito de deep learning, um algoritmo que utiliza redes neurais artificiais como arquitetura para aprender a representação de dados. Posteriormente, os algoritmos de deep learning evoluíram gradualmente, desde RNN, GAN até Transformer e Stable Diffusion, com esses dois algoritmos moldando conjuntamente essa terceira onda tecnológica, que também é o auge do conexionismo.
Muitos eventos icónicos surgiram gradualmente com a exploração e evolução das tecnologias de aprendizagem profunda, incluindo:
Em 2011, a Watson de uma empresa de tecnologia venceu os humanos e conquistou o campeonato no programa de quiz "Perigo!" )Jeopardy(.
Em 2014, Goodfellow propôs a GAN) Rede Generativa Adversarial, Generative Adversarial Network(, que aprende através da competição entre duas redes neurais, sendo capaz de gerar fotos que parecem reais. Ao mesmo tempo, Goodfellow também escreveu um livro intitulado "Deep Learning", conhecido como o livro das flores, que é um dos livros de introdução importantes na área de aprendizado profundo.
Em 2015, Hinton e outros propuseram algoritmos de aprendizado profundo na revista "Nature", e a proposta desse método de aprendizado profundo imediatamente causou um grande impacto no meio acadêmico e na indústria.
Em 2015, uma empresa de inteligência artificial foi fundada, vários investidores conhecidos anunciaram um investimento conjunto de 1 bilhão de dólares.
Em 2016, o AlphaGo, baseado em tecnologia de aprendizado profundo, competiu contra o campeão mundial de Go e jogador profissional de 9 dan, vencendo com um placar total de 4 a 1.
Em 2017, uma empresa de tecnologia robótica de Hong Kong desenvolveu o robô humanoide Sophia, que é conhecido como o primeiro robô na história a obter cidadania plena, possuindo uma rica gama de expressões faciais e capacidade de compreensão da linguagem humana.
Em 2017, uma empresa de tecnologia com uma rica reserva de talentos e tecnologia na área de inteligência artificial publicou o artigo "Attention is all you need", apresentando o algoritmo Transformer, e os modelos de linguagem em larga escala começaram a aparecer.
Em 2018, uma empresa de inteligência artificial lançou o GPT)Generative Pre-trained Transformer(, construído com base no algoritmo Transformer, que era um dos maiores modelos de linguagem da época.
Em 2018, uma equipe de uma empresa de tecnologia lançou o AlphaGo, baseado em aprendizado profundo, capaz de prever a estrutura de proteínas, sendo considerado um grande marco no campo da inteligência artificial.
Em 2019, uma empresa de inteligência artificial lançou o GPT-2, que possui 1,5 bilhões de parâmetros.
Em 2020, uma empresa de inteligência artificial desenvolveu o GPT-3, que possui 175 bilhões de parâmetros, 100 vezes mais do que a versão anterior GPT-2. Este modelo foi treinado com 570GB de texto e pode alcançar desempenho de ponta em várias tarefas de NLP), como resposta a perguntas, tradução e redação de artigos(.
Em 2021, uma empresa de inteligência artificial lançou o GPT-4, que possui 1,76 trilião de parâmetros, sendo 10 vezes mais que o GPT-3.
Em janeiro de 2023, foi lançado o aplicativo ChatGPT baseado no modelo GPT-4, e em março o ChatGPT atingiu cem milhões de usuários, tornando-se o aplicativo que mais rapidamente alcançou cem milhões de usuários na história.
Em 2024, uma empresa de inteligência artificial lançou o GPT-4 omni.
![Novos usuários: AI x Crypto: Do zero ao auge])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Cadeia de Indústria de Aprendizado Profundo
Atualmente, todos os grandes modelos de linguagem utilizam métodos de aprendizado profundo baseados em redes neurais. Com o GPT à frente, os grandes modelos geraram uma onda de entusiasmo em inteligência artificial, atraindo uma grande quantidade de jogadores para este setor. Também percebemos que a demanda do mercado por dados e poder de computação explodiu, portanto, nesta parte do relatório, nosso objetivo principal é explorar a cadeia industrial dos algoritmos de aprendizado profundo. No setor de IA dominado por algoritmos de aprendizado profundo, como é composta a sua cadeia de suprimentos e demanda, e qual é a situação atual e as relações de oferta e demanda, bem como o desenvolvimento futuro.
Primeiro, precisamos esclarecer que, ao realizar o treinamento de grandes modelos LLMs, liderados pelo GPT baseado na tecnologia Transformer, ), o processo é dividido em três etapas.
Antes do treinamento, como é baseado em Transformer, o conversor precisa transformar a entrada de texto em valores numéricos, esse processo é chamado de "Tokenization". Depois, esses valores são chamados de Tokens. De acordo com a regra geral, uma palavra ou caractere em inglês pode ser grosseiramente considerado como um Token, enquanto cada caractere chinês pode ser grosseiramente considerado como dois Tokens. Esta também é a unidade básica utilizada para a precificação do GPT.
Primeiro passo, pré-treinamento. Através da alimentação da camada de entrada com um número suficiente de pares de dados, semelhante ao exemplo mencionado na primeira parte do relatório (X,Y), para encontrar os melhores parâmetros de cada neurônio sob o modelo, é necessário um grande volume de dados neste momento, e esse processo também é o mais intensivo em termos de poder computacional, pois envolve a iteração repetida dos neurônios tentando vários parâmetros. Após a conclusão do treinamento de um lote de pares de dados, geralmente será utilizada a mesma lote de dados para um segundo treinamento para iterar os parâmetros.
O segundo passo, ajuste fino. O ajuste fino é dado a um lote menor, mas com dados de qualidade muito alta, para treinar, essa mudança resultará em uma saída de maior qualidade do modelo, uma vez que o pré-treinamento requer uma grande quantidade de dados, mas muitos dados podem conter erros ou serem de baixa qualidade. O passo de ajuste fino pode melhorar a qualidade do modelo através de dados de alta qualidade.
Terceiro passo, aprendizado por reforço. Primeiro, será criado um modelo completamente novo, que chamamos de "modelo de recompensa". O objetivo deste modelo é muito simples: classificar os resultados da saída. Portanto, a implementação deste modelo será relativamente simples, pois o cenário de negócios é bastante vertical. Em seguida, usaremos este modelo para determinar se a saída do nosso grande modelo é de alta qualidade, assim podemos usar um modelo de recompensa para iterar automaticamente os parâmetros do grande modelo. ( No entanto, às vezes é necessário envolvimento humano para avaliar a qualidade da saída do modelo ).
Em resumo, no processo de treinamento de grandes modelos, o pré-treinamento tem requisitos muito altos em relação à quantidade de dados, e a potência de cálculo da GPU necessária é também a mais elevada. O ajuste fino requer dados de maior qualidade para melhorar os parâmetros, e o aprendizado por reforço pode iterar os parâmetros repetidamente através de um modelo de recompensa para produzir resultados de maior qualidade.
Durante o processo de treinamento, quanto mais parâmetros houver, maior será o teto de generalização, por exemplo, no caso da função Y = aX + b, na verdade existem dois neurônios X e X0, portanto, como os parâmetros variam, os dados que podem ser ajustados são extremamente limitados, pois sua essência ainda é uma linha reta. Se houver mais neurônios, será possível iterar mais parâmetros, permitindo ajustar mais dados, e essa é a razão pela qual grandes modelos produzem milagres, e também é por isso que se chamam popularmente de grandes modelos, que são essencialmente uma enorme quantidade de neurônios e parâmetros, além de uma quantidade massiva de dados, exigindo também um poder computacional enorme.
Assim, o desempenho de grandes modelos é determinado principalmente por três aspectos: o número de parâmetros, a quantidade e qualidade dos dados, e a capacidade de computação. Supomos que o número de parâmetros seja p, a quantidade de dados seja n( calculada em termos de número de Tokens), então podemos calcular a quantidade de computação necessária através de uma regra geral, assim podemos estimar a capacidade de computação que precisamos adquirir e o tempo de treinamento.
A capacidade de cálculo é geralmente medida em Flops, que representa uma operação de ponto flutuante. A operação de ponto flutuante é um termo genérico para a adição, subtração, multiplicação e divisão de números não inteiros, como 2.5 + 3.557. Ponto flutuante refere-se à capacidade de incluir casas decimais, enquanto FP16 representa a precisão que suporta decimais, e FP32 é mais comum.