Chatbot do Bing/OpenAI também cometeu erros básicos em apresentação ao público.
Não foi só o Bard do Google que cometeu erros durante a apresentação ao público. O chatbot do Bing, que usa a inteligência artificial (IA) da OpenAI, também pisou na bola, com erros até mais grosseiros que os do rival.
Eles foram detectados por Dmitri Brereton e divulgados em sua newsletter. Há informações desatualizadas de estabelecimentos mexicanos, características incorretas de um produto e, no erro mais surpreendente, o Bing errou dados do balanço da GAP — um tipo de dado estruturado e, em tese, mais fácil de serem processados por IAs.
O receio do Google em liberar ferramentas do tipo era bem fundamentado: IAs gerativas “falam” com tanta segurança que parecem estar certo, mas não há garantia alguma de que estejam. No estágio atual, são uma curiosidade fascinante.
Fosse um humano cometendo esses mesmos erros reiteradamente, sem jamais se ocupar de revisá-los ou desculpar-se, cairia em total descrédito. Por que uma inteligência artificial, prestes a ser posta à frente de bilhões de pessoas, não passa pelo mesmo escrutínio? Via DKB Blog (em inglês).
Acho que é moda passageira. Esses dias cripto moedas iam reinventar o dinheiro e o que aconteceu? Ao menos IAs parecem ter potencial, só não na busca, não desse jeito
Google: “who created chat gpt”
Portanto….
Google “também cometeu erros básicos” em suas respostas. Serio, nunca pegaram erro em search na vida? Sou tão azarado assim, ou tão atipicamente cético para nunca acreditar em uma maquina provavelmente programada por um humano que não testa?
A diferença é que o conteúdo que se encontra no Google, hoje, não é do Google, é dos sites — que têm responsáveis, que podem ser cobrados pelo que publicam e pelos erros que cometem.
IAs gerativas, como o ChatGPT, Bard e o chatbot do Bing, não têm a quem responsabilizar. Se apontarmos o dedo à OpenAI, Google ou Microsoft, vão dizer que é “culpa do algoritmo” e que farão ajustes. E fica por isso mesmo.
Há uma diferença conceitual e de percepção também. Com o Google e o Bing colocando um chatbot no topo da busca, que responde as requisições do usuário se sair dali, é como se o próprio Google e o próprio Bing estivessem dando respostas. O Google erra? Até agora, essa questão não era sequer considerada, porque o Google não respondia nada. Agora, responde. E responde errado. Imagine o caos que virá disso.
Na pesquisa acima o site (wikipedia) está correta, o erro é que está pegando a informação errada de dentro.
(droga, novamente… quero edit)… ou seja, o google errou, não o site.
Tem a vantagem, claro, que o google mostra a fonte e podemos ser inteligentes e catar a real.
Porém o google existe a 20 anos e erra coisa besta. As AI existem a semanas.
Acho que não estamos na mesma página. O Google, tal como é hoje, não erra nada porque ele não produz nada. É possível questionar se as fontes (sites) que ele indica são os melhores, mas a responsabilidade pela informação é completamente dos sites, não do Google.
Com a IA gerativa, essa responsabilidade se move. O Google a absorve quando coloca o Bard sobre os links dos sites. Ainda que a IA gerativa não tenha consciência nem consiga produzir nada realmente original, ela “assina” aquele texto. A responsabilidade é total do Google/Bard.
Por isso, não tem como o Google estar “errando há 20 anos”, porque essa sequer era uma possibilidade. Agora é, com o Bard.
(E IAs gerativas não surgiram há poucas semanas. Elas existem há uns bons anos já, só não estavam facilmente acessíveis ao público.)
Cara, “responsabilidade” em informação obtida de resultado de busca é absurdo. Isso é um conceito que até aqui não existia, porque criar?
Estou falando com uma maquina MUITO BOA, MUITO CERTA. Mas ela pode estar errada – mas isso é exatamente qualquer site do mundo hoje! Cabe a nós, como sempre, sabermos disso.
Não acho correto passarmos a dar passe livre agora só porque é “um chat que mentiu”.
Mas sim. Tem rasão, vamos criar esse passe livre.
Os idiotas vão fazer a merda de sempre, e dessa vez vamos culpar a AI pela informação errada, não o cara sem noção. Agora, tá certo?
Isso me parece porém meio ridículo. E tenho um pouco (bem pouco) de esperança que como sociedade vamos manter o mesmo: “não acredite tudo que tu le na internet ou no chat da AI”.
Vale o ponto que o Bing mostra resultado de busca E da AI ao mesmo tempo, facilitando e incentivando a pessoa a procurar melhor se julgar necessário.
@ Andre
O debate não é sobre o passe livre, mas a responsabilização.
Para ficar num exemplo do Bing: se o Valor Econômico publica dados errados do balanço da Petrobrás, você sabe a quem responsabilizar, vai ficar reticente com futuras notícias de balanços veiculadas no Valor, talvez possa até processar o valor caso tenha tomado uma decisão de investimento ruim com base na informação errada.
Até agora, se você achasse a notícia errada Valor no Google, o problema era entre você e o Valor; o Google não tinha nada a ver.
Se o Bard do Google publica a mesma informação errada, a situação muda. O Google (e só o Google) proveu e bancou a informação. É, concordamos, um conceito novo e com potencial explosivo, dada a imprecisão que essas IAs estão apresentando mesmo quando são pedidos dados simples, fáceis de serem consultados.
Mas é apenas educação e colocando assim até fico mais tranquilo pois não é nada demais.
Se o site valor erra muito, ou o chat da AI, logo aprenderemos isso e vamos passar a evitar ou simplesmente não confiar tanto.
@ Andre
Eu queria acreditar nisso, mas taí um monte de sites e influenciadores mentindo a rodo e uma galera continua acompanhando.
Imagina um mitômano psicopata (acho que essa é uma boa caracterização das IAs gerativas que se prestam a responder perguntas) no topo de todas as buscas do Google? 😄
Licença aos dois?
Tipo, se pegar o Perplexty (que é baseado em motor de busca), em partes o argumento do André fica correto – a AI está pegando da mesma forma que um motor de busca. Não tem tanta filtragem, e a AI buscou da mesma forma que qualquer crawler faria.
Se o Chat de AI tem sistemas de filtragem – e eles tem -, tal filtragem é uma forma de responsabilizar a AI, ou melhor, quem cuida dela.
A se pensar também que um motor de busca como o Google também tem limitações e não pode exibir muitas coisas – basta uma busca sobre algo pirata para aparecer o “Disclaimer de Digital Media Copy Act” lá embaixo.
Acredito que ninguém, nem mesmo a OpenAI, esperava tanta repercussão e interesse pelo ChatGPT. Não é como se ninguém soubesse desses problemas, mas essa demanda do público gerou essa implementação atabalhoada pela Microsoft e Google.
Além dos erros, algo que eu ainda não fui atrás para entender, mas qual o custo de disponibilizar esses LLMs para tantas requisições? Já me impressiona rodar tão rápido, mesmo considerando um custo enorme, nessa escale então…
O custo maior é pra treinar o modelo, depois de treinado, a resposta é rápida.
Proporcionalmente, predizer é mais rápido, mas LLMs são muito maiores que demais modelos de deep learning. Os primeiros modelos de 2018 tinham cerca de 100 milhões de parâmetros, o GPT-3 lançado em 2020 tem 175 bilhões.
Um modelo de 100 milhões já não é trivial de rodar em qualquer hardware, tanto que para rodar em smartphones é normal fazer “downsize” de modelo. 100 bilhões mal cabe em disco de um computador.
E, nesse caso, estamos falando de fazer bilhões de predições por dia, hoje tem pessoas estimando um custo de 100K por dia para o Chat GPT atual.
Será que no final eles não rodam tal como um sistema de “blockchain”, ou melhor, em servidores P2P espalhados?
A maioria das aplicações modernas já funcionam dessa forma, usando vários servidores para escalar horizontalmente. Não há dúvidas que ele faça isso, a questão é quanto eles pagam.
Existe a possibilidade da inovação deles ser justamente um jeito mais barato de predizer, possibilitando assim disponibilizar ao público, mas até onde se sabe não há nisso.
Acho que isto aqui vai te interessar.
Não sei como essas duas coisas se relacionam, mas é sabido que a OpenAI usa exclusivamente os serviços em nuvem da Microsoft (Azure) para “pesquisa, API e produtos”.
Por que uma inteligência artificial, prestes a ser posta à frente de bilhões de pessoas, não passa pelo mesmo escrutínio?
Não estamos luditas o suficiente para isso…