{{ block content }} Introduction&Instruction

The Co-design of an AI-Human Annotation Tool

简介
任务
奖励机制
提示
在过去的十年中,人类对于AI的需求急剧增加,AI被广泛使用于文本分类和情感分析等现实场景中,因此AI模型的性能与可靠性显得愈发重要。目前,人类专家缺乏快速处理大量需要分类的数据的能力,而AI模型的决策则通常没有给出解释并且其缺乏精准捕捉所需内容并做出正确决策的能力,人和AI都存在着进步的空间。因此,本实验的的目的是探究“人-人工智能”的共同学习机制,即在迭代过程中研究用户标记训练数据这一用例下人和AI的互惠学习。
在接下来的实验中,你将阅读共计300条有关气候变化方面的微博内容,在读完一条微博后根据微博内容判断这条微博背后所蕴含的情感(积极,中立,消极),请注意在你读完微博并标注完毕后,我们将向你展示AI认为的答案,你可以结合AI的答案重新做出判断。
实验报酬主要由基础报酬和表现激励两个部分组成。对于每个参加本实验的志愿者,我们将会给予你30元的基础报酬,在此基础上每答对十题奖励1元,每答错十题惩罚0.5元。例如:志愿者A在总共300个标注任务中答对了230个题目,答错了70个题目,他最后获得的报酬为49.5(30+230/10*1-70/10*0.5)元。
1、实验预计花费时间一个小时,请提前预留足够时间且尽量避免在标注完成前退出系统。
2、你所获得的报酬与标注准确率有关,因此请尽量提高标注的准确率而不是标注的速度。
3、标注任务没有时间限制,所以不用担心超时。如果发生特殊情况,我们在每20个标注的间隙加入了暂停界面,你可以暂时停留在暂停界面休息一会儿。
4、我们正在记录你的标注过程:包括你停留在任何页面上的时间和你标记的结果。这是为了帮助我们更好地分析用户研究结果。同时你需要在实验结束后完成一份有关个人基本信息以及标注体验的调查问卷,我们不会泄露你的个人信息,所收集的信息仅供实验研究之用。

{{ next_button }}
{{ endblock }}