不太理想的Fine-tunes

Ws3年前分什么类3794

b1763ecd87edaa9a1c9914f452476b.jpg之前了解到openai可以针对GPT3.0进行再训练时,就已经迫不及待的试验了一把,但是效果不尽人意,我都准备放弃它了。

需求点,是准备让它充当客服,喂了一部分客服QA。但是各种微调之后给的结果仅是补充文字,离3.5相差十万八千里。看最终效果图:

WX20230424-104723@2x.png

max_token 这是太大,他会说一通不相关的废话。设置短了,回答又不完整。


记录下大致步骤吧,详细流程也可以参考openai的文档

  1. 使用openai cli工具转换问答资料。xlsx格式我就不赘述了,如果格式不对,tool工具会友善的提示你的。

    openai tools fine_tunes.prepare_data -f 客服话术.xlsx

    生成完了就是类似这个样子,文件格式 jsonl

    WX20230424-111330@2x.png

  2. 接着就可以开始训练了。我使用的是它的最大的模型达芬奇002,一共4个模型可拿来训练。越大的模型费用越高,有多高,看看第一张截图便知 😭

    openai api fine_tunes.create -t 客服话术_prepared.jsonl -m text-davinci-002

    开始训练后,openai会返回训练任务ID,后续可以根据这个ID,跟踪训练任务状态。

    openai api fine_tunes.status -i ft-DjHI8zfOeOUJgEnVVsFTHGYT
  3. 其实整个训练任务就此结束了,后续调用或者更多参数设置可以查看文档。


这个效果根本无法达到线上要求。需要找更好的办法才行。



标签: openai

相关文章

中国电影不是在竞争中输掉的,是在自我重复中慢慢耗死的

中国电影不是在竞争中输掉的,是在自我重复中慢慢耗死的

2019年,中国电影票房达到642亿的历史峰值。所有人都以为这只是起点。 2019年,中国电影票房达到642亿的历史峰值,全球第二大电影市场意气风发。所有人都以为这只是起点。 2021年,472亿...

Debian 10 开发一个go语言接口

Debian 10 开发一个go语言接口

首先是安装go环境 # 1、预备工作 sudo apt-get update sudo apt-get -y install&...

UNTITLED

随便发发,域名 服务器 闲着也是闲着,偶尔也有干货互联网从业20年,总归有点儿东西...

00后少年在自家客厅完成全基因组测序,成本从27亿降到1100美元

00后少年在自家客厅完成全基因组测序,成本从27亿降到1100美元

2003年,人类首次完成全基因组测序,耗时13年、花费27亿美元。2026年,一位00后少年在自家客厅餐桌上,用二手设备和AI模型完成了同样的工作——总成本约1100美元。 成本降低了245万倍。而...

AI救命还是AI要命?同一周,21亿砸向AI药物发现,少年却因ChatGPT的建议身亡

AI救命还是AI要命?同一周,21亿砸向AI药物发现,少年却因ChatGPT的建议身亡

这周的两条医疗AI新闻,放在一起看格外刺眼。 一条是诺贝尔奖得主、Google DeepMind CEO Demis Hassabis宣布:其AI药物发现公司Isomorphic Labs获得21亿...

7B小模型指挥GPT-5、Mira发布实时交互模型、Anthropic估值狂飙:AI格局正在被重新定义

7B小模型指挥GPT-5、Mira发布实时交互模型、Anthropic估值狂飙:AI格局正在被重新定义

今天的AI圈,三条新闻同时指向同一个方向:AI竞争的规则正在被改写。 前OpenAI CTO Mira Murati的Thinking Machines发布了原生多模态"交互模型",200毫秒级实时...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。