在过去的十年中,人类对于AI的需求急剧增加,AI被广泛使用于文本分类和情感分析等现实场景中,因此AI模型的性能与可靠性显得愈发重要。目前,人类专家缺乏快速处理大量需要分类的数据的能力,而AI模型的决策则通常没有给出解释并且其缺乏精准捕捉所需内容并做出正确决策的能力,人和AI都存在着进步的空间。因此,本实验的目的是探究“人-人工智能”的共同学习机制,即在迭代过程中研究用户标记训练数据这一用例下人和AI的互动学习过程。
在接下来的实验中,你将依次阅读共计*条关于**的微博内容,在读完一条微博后,请你根据微博内容标注这条微博背后所蕴含的情感(积极、中立和消极)。请注意在你标注的过程中,我们将向你展示AI认为的情感以及AI对于预测结果的解释,你可以结合AI的答案做出标注。
请注意整个实验包含两个阶段。第一阶段为标注训练过程,AI将根据您的标注输入进行模型训练和调整。第二阶段为测试阶段,训练完成的AI将和您一起完成最终的标注任务。
实验报酬主要由基础报酬和表现激励两个部分组成。对于每个参加本实验的志愿者,我们将会给予你20元的基础报酬。
在此基础上,我们将根据测试阶段AI和人的共同标注结果进行激励奖励。AI和人标注结果一致并且正确,奖励1元;AI或人标注错误则题惩罚0.5元。
1、实验预计花费时间一个小时,请提前预留足够时间且尽量避免在标注完成前退出系统。
2、你所获得的报酬与标注准确率有关,因此请尽量提高标注的准确率而不是标注的速度。
3、标注任务没有时间限制,所以不用担心超时。如果发生特殊情况,我们在每20个标注的间隙加入了暂停界面,你可以暂时停留在暂停界面休息一会儿。
4、我们正在记录你的标注过程:包括你停留在任何页面上的时间和你标记的结果。这是为了帮助我们更好地分析用户研究结果。同时你需要在实验结束后完成一份有关个人基本信息以及标注体验的调查问卷,我们不会泄露你的个人信息,所收集的信息仅供实验研究之用。