此后,许多高等教育界人士担心联邦政府会不顾高校的 使命和学生类型的差异,而使用统一的方法来评价大学的可 负担性和办学质量。2007 年,作为对斯佩林斯委员会所提 议的高等教育绩效问责的回应,美国州立学院和大学协会 (AmericanAssociation of State Colleges and Universities,简称AASCU)与公立和赠地大学协会 (Association ofPublic and Land-grant Universities, 简称APLU)共同倡议建立了面向公立四年制高校的自愿问责 系统(Voluntary System of Accountability,简称VSA), 这是一个基于互联网的网络绩效报告平台。VSA 的初始设立目标有三个:一是为公立高校提供展示其信息透明和问责的 平台;
二是为学生、家长、高中顾问等其他利益相关者提供 高校的相关信息;
三是通过原创性研究和合作与交流论坛为 高校评价和报告学生的学习效果提供支持。为了实现上述目 标,由大学校长、教务长和其他管理人员共同组成的工作组 创建了大学肖像(College Portrait)——一个交流本科生 学习体验的网络绩效报告模板,它可以向学生、家长、政策 制定者、高校教职员工及其他利益相关者提供直观、灵活且 具有可比性的本科生学习体验信息。
成立初期,VSA 得到了卢米纳基金会 (LuminaFoundation)的资助,2010 年起开始依靠向参与 高校收取会费来维持运转,从而实现了财务独立[1]。VSA 的日常监管由执行董事负责,执行董事对VSA监督委员会负 责。VSA 监督委员会是由APLU 和AASCU 的董事会联合组成 的子委员会,监督委员会成员由APLU 和AASCU 从VSA 参与 高校的代表中任命产生,委员会主席的任期为两年,由APLU 和AASCU 的主席轮流担任[2]。
二、“自愿问责系统”的运行现状 当前,VSA 在监督委员会的领导下始终秉承其初始设立 目标并不断发展成熟。在经历了2011 年12 月和2015 年8 月 的两次网站全面改版后,大学肖像界面的布局更加合理,可 以对不同高校的各项指标和成本信息进行比较,从而更加直 观和灵活地反映高等教育机构的办学情况。VSA 大学肖像目前已融入加利福尼亚、明尼苏达、密苏里、北卡罗来纳等州 的高等教育问责体系,其网站访问流量逐年稳步上升,年平 均用户访问量超过75 万人次、访问页面超过300 万个[3]。
大学肖像页面主要展示了高校9 个方面的信息,包括学 生情况、招生状况、大学成本和财务援助情况等(见表1)。
在以上九方面信息中,净价计算器、学生成就与发展比 率、学生学习效果三项信息代表了VSA 对美国高等教育绩效 问责实践的重要贡献。净价计算器可以帮助学生及家庭更为 准确地估计大学就读的净价成本。研究表明,许多低收入家 庭的学生放弃上大学的主要原因正是错误地高估了就学成 本。学生成就与发展比率可以反映学生在整个高等教育系统 中的学习进展与毕业情况,而不仅仅局限于某一所学校。学 生学习效果主要体现在批判性思维(包含分析推理)和写作 交流技巧两个方面,高校除了要报告自己如何来评价学生的 学习效果以外,还要报告评估的管理过程及评价结果的用途。
除了以上信息外,高校还可以根据自身需要在“学生学 习效果”版块添加补充信息。比如加州州立大学系统 (California State University System)添加了“ 公益 事业”信息[4]、佛罗里达农业和机械大学(Florida Agricultural & Mechanical University CollegePortrait) 添加了“ 新生报名须知”(Information forProspective Students)[5] 、阿巴拉契亚州立大学(Appalachian State University)添加了“阿巴拉契亚州立大学新闻”等[6]。2015 年11 月,VSA 又推出了一项全新的交流工具—— 大学肖像一瞥(College Portrait At A Glance),它向VSA 的参与高校提供了一个可以与用户方便交流的平台,用户可 以根据自身需要量身定制大学肖像快照,并可以保存为PDF 格式下载。大学肖像一瞥工具将原有的大学肖像数据划分成 17 个基础模块①,用户可以通过两种方式利用这17 个基础 模块来创建自己的肖像一瞥报告。第一种方法是先点击“使 用肖像一瞥模板”按钮,然后从网站提供的5 个默认主题② 中任意选择其中的一个,再点击“创建我的肖像一瞥”按钮 就可以自动生成一份包含4个基础模块的肖像一瞥报告了。
在这种方法下,用户还可以根据自身需要对自动生成的4 个 模块内容进行替换,替换内容的选择范围是其他13 个未纳 入自动生成报告的基础模块。第二种方法是直接点击“创建 我的肖像一瞥”按钮,然后就会出现17 个基础模块列表, 用户从中任意选择4 个模块就可以创建一份肖像一瞥报告了。
三、“自愿问责系统”的发展困境与未来展望 (一)“自愿问责系统”的发展困境 1. 参与高校数量下降、信息披露不完整2008 年是签署 VSA 参与协议的高峰年,现有成员中约有75% 是在这一年签 署的加入协议,截至2012 年2 月,已经有320 所公立高校 加入或者曾经加入VSA。但在此之后,相比新加入的高校而 言,选择退出的高校数量更多,根据2016 年3 月底网站披 露的信息,VSA 共有成员高校260 余所,比高峰时期减少约60 所。在美国各州中,参与VSA 的高校数量差异也比较大。
截止2016 年3 月底,在公立四年制高校数量超过15 所的州 中,北卡罗来纳州的16 所全部签署了加入协议,加利福尼 亚州的36 所中有64%签署了加入协议,德克萨斯州的46 所 中有50%签署了加入协议。然而,乔治亚州、弗吉尼亚州和 华盛顿州则分别仅有4 所、1 所和1 所高校签署加入协议, 分别占该州有资格参与高校数量的15%、7%和6%。
2. 不同信息板块的网页访问量差异显著 每所VSA 成员高校都花费了大量的时间和资源来收集和 列报大学肖像信息,那么这些信息的用户访问量如何,这是 所有成员高校和利益相关方都十分关心的问题。由美国伊利 诺伊斯大学和印第安纳大学合作成立的国家学习效果评估 院(TheNational Institute for Learning Outcomes Assessment,简称NILOA)利用Google 流量统计工具对2009 年10 月至2010 年8 月和2011 年2 月至2011 年12 月两个 时间段的大学肖像网站的“学生学习效果”页面的访问流量 和访问时间进行了分析,结果发现:近20%的高校的学生学 习效果页面没有用户访问。总体来看,2011 年学生学习效 果页面的用户访问量非常少,更多的用户对大学成本信息感 兴趣,在全部的1 157 520 个被浏览的大学肖像页面中,有 43%为大学成本信息页面,仅有1% 为学生学习效果页面;
另 外,不同高校学生学习效果页面的访问时间差异显著,短则 无人访问,长则可达17 分钟。3. 学生学习效果评价工具存在争议 2016 年以前,在“学生学习效果”的评价方面,VSA 仅 允许高校从以下四项评估工具中进行选择:一是美国大学入 学考试机构(American College Test,简称ACT)组织的大 学学业水平评估(CollegiateAssessment of Academic Proficiency,简称CAAP);
二是教育援助委员会(Council for Aid to Education,简称CAE)组织的大学学习评估 (Collegiate LearningAssessment,简称CLA/CLA+);
三 是美国教育考试服务中心(Educational Testing Service, 简称ETS)组织的能力测试(Proficiency Profile,简称ETS PP);
四是美国学院和大学协会(Association of American Colleges& Universities ,简称AAC&U)制定的本科教育学 习有效性评估标准(Valid Assessment of Learning inUndergraduate Education Rubrics, 简称VALUERubrics)。
ACT、CAE 和ETS 三个测试评价组织提供了与VSA 学习效果 相一致的标准化评估方法,并按照VSA 的目标使用相同的方 法来计算和展示不同高校的学生学习收获或增加值评分,评 分共分为5个等级:远高于预期、高于预期、达到预期、低 于预期和远低于预期[7]。AAC&U 的VALUE Rubrics 报告 可以将入学新生和毕业班学生的评分结果放在同一张图中 显示,从而可以展现出新生从入学到毕业的学习效果的变化 情况。
然而,从VSA 成立至今,各方对是否应用标准化工具来评估和报告学生的学习效果始终存在争议。高校的相关部门 难以理解评价得分的含义,此外高校及公众对评价结果的可 靠性和有效性、评估分值的解释以及评估结果对提高学生学 习效果的作用存在质疑。有些高校认为标准化评估工具毫无 价值,不但应用成本高、评估结果不能有效反映学生的学习 效果,而且对于提升学习效果也没有什么帮助,他们采纳的 目的仅仅是为了遵循VSA 参与协议的要求,所以这些高校更 希望VSA 能够扩大评估工具的选择范围,而不仅仅局限于目 前的四种。另外,有些高校对学校间选择参评学生样本的程 序差异存在担忧,很多情况下,成员高校由于选择参评学生 样本量过少而难以得出有意义的评价结果。
(二)“自愿问责系统”的未来展望 1. 扩大影响力,增加参与高校的数量 作为一个自愿性项目,VSA 的影响力在很大程度上取决 于参与高校的集体声音,因而不断增加参与高校的数量对于 扩大VSA 的影响力及其未来健康发展至关重要。2009 年, 美国联邦高等教育政策发生了转移,高校与类似VSA 的自愿 性项目的合作意愿降低了。一些大学管理层认为危机已经解 除,因此选择了退出,这导致VSA 参与高校的数量从高峰时 期的330 所逐渐减少至目前的260 余所。然而,2013 年秋 推出的一系列联邦消费者信息工具,如大学积分卡(College Scorecard)、经济援助购物单(Financial Aid Shopping Sheet)、高等教育机构评级系统(PostsecondaryInstitution Rating System,简称PIRS),又再度强调了 高等教育问责与透明的重要性,公立高校也再度面临着政府 和公众问责的挑战。与此同时,APLU 和AASCU 的管理层正 积极采取措施向公众证明类似VSA 的集体行动项目的存在价 值,VSA 监督委员会也在同样致力于提高大学肖像与州和联 邦政策对话的能力[8]。此外,还有教育专家建议VSA 放 开准入条件,使有意愿的公立和私立高校都能够加入。如果 以上努力能够实现的话,VSA 将能够在最大程度上发挥其影 响力,并不断增加参与高校的数量。
2. 增强与目标受众的有效沟通,提高网站访问量 对于多数用户来讲提供全套完整的大学肖像数据是没 有必要的,为此VSA 于2015 年秋推出了大学肖像一瞥工具 以方便用户根据自身的兴趣选择有价值的信息,但是目前用 户在使用大学肖像一瞥工具时,每次仅允许从固定的17 个 模块中选择4 个来创建大学肖像快照,这就限制了部分用户 对较大容量信息的需求。因此,VSA 未来在大学肖像一瞥工 具的设计方面应更加灵活,适时根据用户的需求放松对模块 选择数量的限制,并在现有17 个模块的基础上,继续开发 更加有价值的模块,同时告诉不同类型的用户,哪些模块提 供的信息(尤其是学生学习效果)更加重要并详细解释其原 因,以减少不同信息模块数据访问量的差距,进而提高VSA 网 站的整体用户访问量。
3. 扩大学生学习效果评估工具的选择范围为了回应各方对学生学习效果评估工具选择限制的争 议,VSA 于2012 年邀请NILOA 对学习效果的评估工具展开 了调查,结果显示:反馈者提到最多的是AAC&U 制定的VALUE rubrics 工具和ETS 组织的专业领域成就测评(Major Field AchievementTests),分别占反馈比例的42%和38%。根据这 次调查的建议,从2013 年起VSA 扩大了评估工具的选择范 围,增加了AAC&U 的VALUE Rubrics 工具。然而,仅增加VALUE Rubrics 工具对高校和高等教育专家而言依然不够,事实上 在NILOA 调查中,反馈者还提出了许多其他建议。比如NILOA 提出增加毕业生调查、证书考试通过率、认证信息、专业水 平评估和档案评价;
VSA 成员高校反映有价值的评估工具有 证书考试、地区项目/专业评估、毕业生调查、毕业班学生 调查、顶峰课程考试(Capstone Exams)、雇主调查和电子 档案评价(E-Portfolios)等;
另外,有23%的被调查者还 建议增加专业水平评估,并根据学生的类型来报告评价的结 果,如转学生、副学士学位学生和学士学位学生的情况等[9]。
近期,VSA做出了一个颇具包容性的决定,自2015-2016 学 年起,对学生学习效果的评估工具将不再做特殊限制,而是 推荐将NILOA 的透明框架(TransparencyFramework)作为 首选的报告方式,这样高校将一改过去直接将学生学习效果 的评价结果在大学肖像报告中列报的办法,而是给出一个超 链接即可,通过点击这个链接用户可以连接到高校依据透明 框架设计的学习效果评估信息页面,从而获取更加具有个性化的评估信息。为了与透明框架相协调,VSA 正在启动卓越 评估计划(Excellence inAssessment Program),意在识 别能够将各种校内学生学习效果评估实践进行有效整合,从 而能够全面反映所有在校生学习效果的高校。校内评估实践 除了包含VSA 建议而非强制规定成员高校所采用的评估工具 以外,还包括学校内部的各个院系基于学生、课程、专业或 学位等不同层次开展的具有本校特色的评估活动。VSA 希望 通过放松对评估工具选择范围的限制,使高校能够依据自身 的需要选择合适的评价工具来评估、报告和改善学生的学习 效果,并以公众能够有效理解的方式进行信息的披露[10]。
注释:
①17 个模块分别是:(1)平均贷款;
(2)大一新生 概况;
(3)教职员工情况;
(4)依据家庭收入划分的净价 成本;
(5)就学成本的定价;
(6)学位授予;
(7)学生 承担多少费用;
(8)首次入学学生的成就与发展情况;
(9) 转学生的成就与发展情况;
(10)全日制学生的成就与发展 情况;
(11)学生年龄;
(12)高年级学生的体验:与不同 种族及信仰群体的交流情况;
(13)高年级学生的体验:主 动学习方面;
(14)不同类型学生的总数;
(15)不同性别、 肤色学生的数量及占比;
(16)不同性别、种族学生的数量 及占比;
(17)招生情况。
②这5 个主题分别是:(1)校园多样性;
(2)校园生 活;
(3)成本、援助与贷款;
(4)学生档案;
(5)学生成果。
参考文献:
[1]The VSA. VSA Dues Schedule[EB/OL].http:
//www.collegeportraits.org/about/dues_schedule, 2013-01-01/ 2016-04-04. [2]The VSA.VSAGovernance and Operations [EB/OL].http:
//www.collegeportraits.org/about/governance, 2013-01-01/ 2016-04-04. [3][7]The VSA. History of the VSA[EB/OL].http:
//www.collegeportraits.org/about/vsa_history, 2013-01-01/2016-04-04. [4]California State University Channel Islands.College Portrait[EB/OL].http://www.college portraits.org/CA/CSUCI,2013-01- 01/2016-04-04. [5]Florida Agricultural & Mechanical University.College Portrait[EB/OL].http:
//www.collegeportraits.org/FL/FAMU,2013-01 -01/2016-04-04. [6]Appalachian State University. College Portrait[EB/OL].http:
//www.collegeportraits.org/NC/Appalachian, 2013-01-01/ 2016-04-04.[8]Keller,C. M.. Lessons from the VoluntarySystem of Accountability(VSA):The Intersection ofCollective Action & Public Policy[J]. Change:TheMagazine of Higher Learning,2014,46(5):23-29. [9]Jankowski,N. A.,Ikenberry,S. O.,Kinzie, J.,Kuh,G. D.,Shenoy,G. F.,Baker,G. R.. Transparency&Accountability:An Evaluation of the VSA CollegePortrait Pilot[R]. Urbana,IL:University of Illinoisand Indiana University,National Institute for LearningOutcomes Assessment(NILOA),2012:14-15. [10]Teri Hinds. Communicating Campus AssessmentWork:The VSA EIADesignationProgram[EB/OL]. http://www.collegeportraits.org/about/webinars, 2013-01-01/2015-10-12.
扩展阅读文章
推荐阅读文章
推荐内容
钻爱网 www.zuanai.cn
Copyright © 2002-2018 . 钻爱网 版权所有 湘ICP备12008529号-1