O mercado de inteligência artificial (IA) atingiu US$ 184 bilhões em 2024 e espera-se que mais que quádruplo nos próximos seis anos. Embora essas expectativas sejam surpreendentes, especialistas em IA acham que são conservadoras, para dizer o mínimo, e o valor de mercado real seria consideravelmente maior.

Grandes modelos de linguagem (LLMs) como GPT 3 inauguraram a era da IA. Eles estão encontrando aplicações tão variadas quanto pesquisa científica complexa e escrita de letras para batalhas de rap. Em outras palavras, quase todas as pessoas estão usando esses LLMs para alguma coisa.

Mas e as empresas? McKinsey relata que 65% das empresas estão usando LLMs regularmente, um número que dobrou em menos de dez meses. Na verdade, as empresas de nível empresarial estão mais propensos a adotar tecnologias de IA como LLMs.

Para empresas que buscam integrar LLMs em seu fluxo de trabalho, o primeiro dilema é escolher entre LLMs de código aberto e de código fechado. Este blog encerra esse debate hoje.

Compreendendo os LLMs e seus tipos

O que é um LLM?

LLM, abreviação de Modelo de linguagem grande, é como milhões de usuários (123.5 milhões para ser exato) fale com o ChatGPT todos os dias. Em termos mais simples, um LLM é um grande modelo projetado usando técnicas de machine learning (ML) para executar tarefas de linguagem como escrever texto, raciocinar e compreender, muito parecido com o que os humanos fazem. LLMs estão sendo amplamente usados ​​para uma variedade de tarefas de processamento de linguagem natural, com a saída sendo na forma de texto, imagens, vídeo, áudio ou código de computador.

É verdade que recentemente os LLMs capturaram a imaginação coletiva do setor de tecnologia. No entanto, as capacidades que os grandes modelos de linguagem têm hoje levaram anos de inovação e iteração.

Os sistemas baseados em regras são os predecessores dos LLMs modernos. Esses sistemas dependem de regras estabelecidas manualmente para processar a entrada de linguagem natural. Avançando para os dias de hoje, os LLMs podem ser treinados para reconhecer padrões, gerar saída de linguagem natural com nuance e complexidade e processar análise de sentimento.

Tipos de LLMs

Large language models (LLMs) podem ser classificados de várias maneiras diferentes, como por caso de uso, dados de treinamento ou disponibilidade. Quando classificados por disponibilidade, os LLMs podem ser de código aberto ou proprietários/fechados. Essa escolha entre LLMs de código aberto e fechados é importante porque decide a direção, o escopo, o orçamento e o cronograma da iniciativa LLM da empresa.

LLMs de código aberto

LLMs de código aberto são modelos disponíveis gratuitamente que qualquer um pode usar, personalizar e distribuir. Normalmente, uma comunidade de pesquisadores e desenvolvedores existe em torno desses LLMs para seu desenvolvimento e suporte. Por exemplo, qualquer um pode inspecionar o código, identificar problemas, sugerir melhorias e adaptar o modelo para propósitos específicos, o que garante o progresso orientado pela comunidade.

Alguns exemplos populares de LLMs de código aberto incluem Llama 3, GPT 2 e BERT. Vamos dar uma olhada em algumas das maiores vantagens e desafios do uso de LLMs de código aberto para empresas:

O bom,

A seguir estão as maiores vantagens dos LLMs de código aberto para empresas:

• Transparência: Os LLMs de código aberto são mais fáceis para as empresas confiarem porque seus conjuntos de dados de treinamento e código são publicamente acessíveis. Esse nível de transparência também ajuda a identificar e mitigar qualquer viés potencial.
• Personalização: Como o código e os dados de treinamento estão disponíveis publicamente, esses modelos podem ser facilmente adaptados para casos de uso específicos.
• Eficiência de custos: Os modelos de código aberto são gratuitos e não têm taxas de licenciamento, portanto, seus custos gerais de desenvolvimento e implantação são menores do que os dos modelos de código fechado.

O ruim,

Apesar de suas muitas vantagens, as empresas também enfrentam vários desafios potenciais com modelos de código aberto, como:

• Intensivo em recursos: Modelos de código aberto são tipicamente construídos com base nas contribuições de equipes menores e voluntários. Empresas que buscam construir com base em LLMs de código aberto precisarão investir significativamente em treinamento e personalização.
• Segurança e Conformidade: O desenvolvimento de LLMs de código aberto também pode apresentar vulnerabilidades potenciais se os padrões adequados de segurança e conformidade não forem seguidos.

…E o veredito

Embora o uso de LLMs de código aberto possa ser mais intensivo em recursos, isso pode ser compensado pela eficiência geral de custos da abordagem. Além disso, o acesso irrestrito ao código e aos dados, bem como a capacidade de personalização, farão com que valha a pena para as empresas.

LLMs de código fechado

LLMs de código fechado são modelos proprietários desenvolvidos e mantidos em um ambiente privado. O acesso aos dados de treinamento e código do modelo é restrito, o que significa que o modelo só pode ser ajustado pela organização ou, em alguns casos, por aqueles dispostos a pagar pelo acesso.

GPT-3 e 4 da OpenAI são exemplos populares de modelos fechados. Vamos dar uma olhada nos benefícios e desvantagens de usar modelos de código fechado para empresas:

O bom,

• Vantagens competitivas: Os LLMs de código fechado geralmente oferecem às empresas acesso a tecnologias exclusivas e proprietárias que também podem ser ajustadas para atender às necessidades específicas do setor.
• Suporte dedicado: Diferentemente dos LLMs de código aberto, essa abordagem vem com suporte dedicado de fornecedores, o que garante estabilidade, conformidade e segurança. Isso pode ser crucial para casos de uso de nível empresarial.

O ruim,

• Controle e personalização limitados: Este é talvez o maior obstáculo de alavancar modelos proprietários, ou seja, limitado a nenhum controle e personalização. As empresas não podem personalizar o código do modelo ou os dados de treinamento e estão limitadas ao que o fornecedor fornece.
• Custos mais altos: Comparado aos modelos de código aberto, a rota proprietária exige lidar com altas taxas de licenciamento. Além disso, o potencial bloqueio de fornecedor pode aumentar ainda mais o custo geral.

…E o veredito

Embora os LLMs de código fechado ofereçam maior facilidade de uso e suporte dedicado, a falta de controle e personalização significa que essa abordagem só é adequada para empresas que conseguem encontrar LLMs fechados que se encaixem perfeitamente em seus casos de uso.

Principais considerações para empresas

Para empresas que escolhem entre modelos de linguagem de código aberto e fechado para suas iniciativas de IA, é importante considerar os seguintes fatores:

• Requisitos de caso de uso: As empresas devem garantir que sua escolha de LLM esteja alinhada ao seu caso de uso e às necessidades e objetivos comerciais específicos.
• Restrições de orçamento: O custo total de propriedade (TCO) deve ser avaliado, o que deve incluir licenciamento, implementação e manutenção.
• Segurança e Conformidade:Para setores altamente regulamentados, como saúde e finanças, é crucial escolher um modelo que atenda aos padrões do setor e aos requisitos regulatórios.
• Escalabilidade e suporte: As empresas devem avaliar a capacidade de escala e o nível de suporte necessário para as operações contínuas.
• Grau de personalização e controle: As empresas também devem garantir que sua escolha de LLM esteja alinhada ao grau necessário de personalização e controle.

Dê as boas-vindas à IA na sua empresa com Astera

Aproveite os LLMs para aproveitar ao máximo seus dados e fluxos de trabalho. Aproveite ao máximo AsteraA experiência única da trabalhando na interseção da integração de dados e GenAI.

Discuta conosco sua estratégia de dados com tecnologia de IA

O LLM de código aberto é o novo queridinho das empresas

Modelos proprietários como o GPT-4 da OpenAI lideraram a onda de adoção inicial. No entanto, modelos de código aberto vêm desde então fechando a lacuna em termos de qualidade e têm visto uma adoção maior no mercado corporativo.

Tome como exemplo os grandes modelos de linguagem publicamente disponíveis do Meta. Em 2024, eles foram baixados 400 milhões de vezes, a uma taxa 10 vezes maior do que no ano anterior. Na verdade, O uso de lhamas dobrou entre maio e julho de 2024.

Isso é amplamente impulsionado por uma maior compreensão da IA ​​e empresas que buscam maior controle, personalização e eficiência de custos. Além disso, as empresas estão buscando evitar o bloqueio de fornecedores, já que o domínio da OpenAI está sendo desafiado de várias direções e grandes avanços podem vir de qualquer lugar na indústria de IA.

Em suma, os modelos de código fechado ainda estão liderando no geral e com os desenvolvedores individuais e startups. No entanto, no cenário empresarial, a maré está mudando, pois grandes players como Salesforce e Slack estão estendendo o tapete vermelho para empresas que desejam alavancar modelos abertos. Por exemplo, a Salesforce lançou recentemente Força Agente, que permite que as empresas conectem qualquer LLM dentro de aplicativos Salesforce.

Como funciona o dobrador de carta de canal Astera Está aproveitando os LLMs de código aberto

Astera'S LLM Gerar capacita as empresas a combinar o LLM de sua escolha com seus pipelines de dados para criar soluções baseadas em IA.

Com o LLM Generate, os usuários podem recuperar uma saída de um modelo LLM com base no prompt de entrada. Os usuários podem selecionar entre uma escolha de provedores LLM, incluindo OpenAI, Llama, etc., e também podem usar modelos LLM personalizados.

Entre em contato hoje mesmo para discutir suas necessidades de IA conosco.