問卷設計實用小貼士

2020-03-31

當面對要去量度社會效益時,最簡單的方式就是用問卷調查,我們只需留意以下原則,就不用太隨意去動筆而擔心問出來的數據沒有說服力。

 

首先,應該先想想你期望的結果是什麼,如受助者的改變會是體現在哪方面, 是覺得開心了?是增進了知識,還是技能?是態度改變了,還是行為有所改變,是哪方面的行為呢?是多了有禮貌的點頭?或是少了粗魯的表現?與別人交談多了?是專心了等等。只要清楚要去量度什麼,就減少了問題篇幅去問一些將來沒有用到的數據。

 

第二,每一類的改變,即心態,知識技能或行為,都應該由自身問題去問,確保用少量的問題去涵蓋每一類獨特的改變。這樣做出來的問卷是更簡單而受眾有更高機會去準確回答整份問卷。

 

第三,問題設計的打分比例只要用最簡單的一至五(或一至七)分的,用教科書最常用亦最多人的方法去量度就是最好的方法,這樣出來的結果是最容易分析及讓持份者去理解,不要捨易取難,令自己將來要多費唇舌才能解釋得清楚。一般而言,用單數的比分可以讓人回答中間或中立,在分析時讓我們知道如何將中立的群眾變成更多的認同,這對改善項目的效益帶來重要資訊。

 

第四,盡量用統一的打分比例,第一是方便分析,減低行政成本,其次減少受眾回答時的錯誤。但如果過去的問卷設計所用的比例不是常用的一至五,我們仍然可以用公式化成不同的比例,這只是數學算式的問題,只要求教於人就可解決。不用擔心,過往的數據是不會被浪費的。

 

第五,問卷的長度不宜超過兩頁,令受眾太費勁,問對問題才是最重要。

 

第六,完成問卷後自己先做一次,看看字眼是否清楚直接,然後大膽估計如果受眾回答後大約會有什麼得分。這種估算的心態是培養自身對項目執行效果的信心,鞭策自己有更好的把控,令項目長遠效益可以再提升。

 

當然問卷設計可以是專門的學科,但這並不表示每個人都要先修讀專業課程才能做出好的問卷。很多時候,最簡單,最直接,最易明的問卷就是一份好的問卷,而得回來的結果往往是最可靠,所以不應在乎是否一份完美的問卷,反而應該注意受眾是否容易作答,再加上重覆多做,跨年去做,讓自己知道項目是否越做越好,這樣才更能反映我們做社福項目及做效益量度之初心。

 

關志康 (Ted Kwan)

首席導師及特許財經分析師

 

 

#問卷設計 #社會效益量度 #數據 #社福

 

社會效益量度@藝術項目

2020-04-25

多年來,香港以經濟發展作為主調,藝術作為精神層面的東西在香港人的生活中難以成為主流,更遑論藝術創造力和鑑賞力。藝術雖然 “這麼遠”,但卻又 “那麼近”。數年前,某政府部門轄下的展館展出數碼版“清明上河圖”,當時出現了萬人空巷的場面,可以說,藝術並不是和一般市民的生活完全隔絕。究竟藝術是什麼呢?本文篇幅有限,未能對藝術的本質作深層次的探討;然而,一般來說,藝術是一種情感的溝通,可以說,創作人籍著藝術創作表達了某種情感,而觀賞者在欣賞作品時也能夠接收到同樣的情感,藝術便在他們當中產生共鳴;有一種說法是藝術並無固定的功能,它在不同的時空當中被賦予不同的意義。以上雖然只屬於初步探討,但可能已足夠解釋了為何一般人覺得藝術的果效似有還無。

 

現在的問題是,在政府部門的撥款支持下或私人企業的贊助支持下,香港不少藝術機構所舉辦的項目均以普羅市民為服務對象;具體地呈現有關項目的果效,有利於社會各界了解藝術項目的具體意義,客觀地證明有關部門對項目的撥款或贊助是用得其所。

 

社會效益量度,有助於把一般藝術項目那種似有還無的果效呈現為清晰可見的成效。

去年,亞洲協會香港中心舉辦了“萬象之根:周綠雲繪畫藝術展”,透過揉合了禪、道家的抽象畫作展現個人情緒的變化,透過周女士的名氣和“接地氣”的精神健康議題,期望能夠啟發公眾人士把藝術創作融入日常生活之中。有關項目團隊參加了“賽馬會豐盛社會效益量度培訓計劃”,並根據Kirkpatrick Model首三個層面設定效益指標並設計問卷以作效益研究之用:

 

1. 在情意層面(第一層面),其中一項指標為參加者享受藝術活動的程度,調查結果顯示80%受訪者表示他們享受活動,意味著他們有強大動機在日常生活中進行藝術相關的活動;

2. 至於認知層面(第二層面),其中一項成效指標為參加者完成活動後是否感到壓力得以紓緩,調查結果顯示87%受訪者對藝術活動減壓作用表示非常同意,其餘13%對此表示同意,沒有受訪者表示中立或不同意;

3. 在行為轉化層面(第三層面),其中一項指標為參加者會否繼續參加其他藝術活動(包括在家創作),以達到把藝術融入日常活動之目的,調查結果顯示全部(100%)受訪者表示他們會繼續參與藝術活動。

 

以上的社會效益量度方法,簡單、直接地把項目的成效呈現出來,而所需的額外功夫只是製作簡單問卷,派發、收取問卷和進行分析而已。

 

李浩 (Samuel Lee)

導師

 

#社會效益量度 #藝術 #三層轉變

三層的轉變描述

2020-05-22

社福項目大部分是「以人為本」,即希望透過活動、交往、咨詢等,幫助別人得著「改善」。

 

既然如此,要有效地將項目成效展示,最直接的方法,又或者是最容易令人明白的方式就是將受助者之改變陳述一遍。

 

最先提出對人用三層去描述的不是社福界,而是商界,在1954年,當時在威斯康新大學的 Donald Krikpatrick 以公司做培訓前題下,研究其培訓之成效,因為用上了培訓的費用,究竟得回什麼樣的成果呢,他認為應該用三個向度去描述員工之表現。第一層是直接反應,第二是學到什麼知識技能及態度,第三是將學到的轉為行為。筆者借用了此一概念用在社福項目上,發覺效果其佳。既容易令人明白,亦令自己對項目有更深之了解.

 

一) 主觀的直接反應或感受

 

一個好的項目,其參與者起碼要喜歡項目的整體滿意度,其次是願意介紹給其他人,這兩是最基本的。針對不同情況,

 

亦應量度受助者的其他主觀感受,如幸福感、覺得再徬徨、對人有信任、感到支持等,這些都是主觀的陳述,用問題或訪談就可量度清楚。

 

二) 知識技巧及態度

 

不少項目都是增加受助者之能力,如職業培訓、學懂處理人際關係、衝突、掌握語言、或是對少數族裔之態度、對家人之看法等等。這些就是第二個層面之改變。

 

三) 行為轉變

 

不少的社會問題都與行為有關,例如吸煙、自殘、健康飲食、有禮貌、少用膠袋等等。如果社福猜來受助者之行為改變,其成效亦更能彰顯。所以一個好的量度如能描述到行為之改變是最容易讓持份者去明白,理解並繼續去支持這社福項目。

 

筆者之觀察是大部份香港的社福項目,都有形形式式的問卷,可惜是有點冗長卻搔不著癢處,如果在問題設計時多花心思,確保問題概括了三層之描述,不用大的篇幅,卻能夠在項目路演時,讓持份者一目了然,這是最理想的吧!

 

關志康 (Ted Kwan)

首席導師及特許財經分析師

 

#三層轉變 #主觀感受 #知識技巧及態度 #行為轉變 #社會效益量度 #社福 #DonaldKrikpartrick #DKmodel

 

可持續發展與我何干?

2020-06-29

近半世紀,國際社會就可持續發展無間斷地進行討論,皆因目前全體人類的生活方式難以持續下去。作為超國家機構的聯合國提出了在經濟發展、社會發展、環境保護三方面取得平衡的一種生活方式,讓活在現今和未來世代的人類都能過上有素質的生活。經過多年來國際間的多邊協商和政策醞釀,縱然過程中有起有落,聯合國最終在2015年就全球的發展方向達成共識 --- 17個可持續發展目標(Sustainable Development Goals)。有關這17個目標的詳細描述,可在聯合國的官方網站找到,在此不贅。本文旨在探討這17個目標對這城一般非政府a機構的意義。

 

首先,無論國際或本港的商界開始重視這17個目標;PricewaterhouseCoopers於2019年發表的調查報告顯示,來自31個國家、來自不同產業的1,141家受訪公司當中,有72%的公司在其報告中提及可持續發展目標,有25%的公司把可持續發展目標揉合於其業務策略當中,有21%的公司之首席執行官在其發表過的文章或演說中提及可持續發展目標,有14%的公司則發表過在達成有關可持續發展目標方面的具體指標;至於香港,根據Alava Consulting的調查研究,2017年香港只有6%的上市公司在環境、社會及管治報告中運用了可持續發展目標來闡述其履行過的社會責任,2018年做了相同事情的上市公司佔所有上司公司18%,為前一年的3倍,反映可持續發展目標作為國際和本地商界量度和描述其社會責任的工具已成為不可逆轉的趨勢。

 

 

另一方面,不少商企為了更全面地履行社會責任,會選擇資助非政府機構項目。如果非政府機構以相關可持續發展目標作為量度和描述其社會效益的工具,長遠來說便可和商界建立一套共通的語言,有利於非政府機構向個別企業進行募捐工作。

 

 

然而,有些社福界人士曾非正式地分享他們對可持續發展目標的看法,他們覺得可持續發展目標與他們的事工風馬牛不相及,因他們認為這些目標所關注的是國際層面的東西,而他們所做的是回應本地社會需求的事工;若大家有機會細看可持續發展目標的技術細節,便能發現這些觀感其實和事實不乎,事實上聯合國設立這些目標,用意是鼓勵全球所有政府部門、商界企業、公民社會進行在地工作,以促進可持續發展,可以說,全世界的機構和人士都是對象。 以本地一家社福機構的青年試工計劃為例,其服務對象為一群失學、失業的年青人,該計劃為他們提供了試工體驗,協助他們加強工作技能和了解就業取向;事實上,該計劃正好呼應了第8個可持續發展目標(即Decent Work and Economic Growth),皆因幫助雙失青年就業有助促進更具包容性的經濟發展。至於在技術上如何確定該計劃回應了第8個可持續發展目標呢?讓我們在下一篇文章繼續探討。

 

李浩 (Samuel Lee)

導師

 

#SDG #持續發展 #SustainableDevelopmentGoals #社福

 

第四層 - 從項目贊助人看效益

2020-07-22

從事社福的人,有其專業背景,對項目受惠者所面對的問題有深入了解,將其精力時間投放在受惠者的得益身上,合情合理,他們應該期望受惠者無論在心靈上、知識上、技能或態度上,以至行為上有正面改變,這就是豐盛提倡的三層改變之量度。

 

今天的項目贊助人,除了希望出錢支持外,他們捐助的金額亦越來越大,亦走向專業化的道路,我們應該樂見除了政府以外,社會有更多家族基金、公司、社區基金、特定的公眾基金,去參與建設更美好的社會。專業化的走向必然帶來更大的問責要求,在基金內的同工亦要對其捐助的項目有所交代。豐盛提議贊助人可以用四種方法去衡量項目的成本效益。

 

社會投資回報

 

最理想的當然是以項目的社會投資回報為比較,以現有在世界的案例來說,可以有3-4倍的回報,即一元的資助所帶出來的社會效益,若以金錢去量化,可以有三四倍或更高的回報,當中關鍵必然是要有一公開並為人接受的方法去量化社會效益,外國有人嘗試提倡但仍然未成氣候,由於當中的理據比較技術性,筆者會另外撰文再探討當中的方法及困難。

 

如果不能計回報,我們仍然有方法做合理判斷,首先可計出項目中每名受惠者所需要的資助,即單位成本 (Unit Cost)。

 

蘋果對蘋果

 

以單位成本為起點,可先找出相關基準 (Benchmark),只要有同類社福項目的單位成本作比較已可略知一二,例如同樣是推行正向教育的計劃,當中一個要一千元一名學生,另一個用八百元,只要細看預算中的細項,即可發現是否合理,筆者明白每項目都有所重點不同,如地區不同,高中和初中生不同,舉行形式亦可以不同,但這比較讓贊助人有機會去深入了解,找出當中做得有效益的部份去保留,低效益的部份去改良,長遠能令其贊助更有效益。

 

蘋果對日本青森蘋果

 

第二是找出相似的項目 (Comparable) 去比較,相近的意思是類似,例如一項目去培訓年青人的領導才能,我們可以參考年青人去學時間管理的課程的相關費用,又或者用成人的領導培訓的成本做比較,當中的相似之處是同是花在年青人的費用,或者是同樣是領導培訓的相關支出。

 

蘋果對橙

 

第三是使用相近概念的東西 (Reference) 去比較 ,例如同樣是去培訓中學生的領導才能,坊間沒有同類項目,我們可以參考成人的管理課程的單位成本,或者是大學生的溝通技巧訓練的成本,假設一名大學生需要三千元去學溝通,而此中學生的領導才能培訓要六千元,這仍然能給贊助人一空間去問六千元是否合理? 當中要比較的兩者沒有相同的元素,但這仍然能夠衡量,就像在家庭中我們都會懂得比較買一部平板電腦好或是去一趟4日3夜的旅行更有效益。

 

結論

 

世上沒有兩樣完全相同的東西,但並不一定防礙比較,只需要有適量的創意,亦可找出近似之可比之物。社福事業是以人為本,而人的確是複雜多面,所以我們更應激發創意,讓持份者去明白項目的成效及效益所在,爭取更多的支持去締造更美好的社會。

 

以上是提出一種層級 (hierarchy) 的框架,提供指引給從事社會效益量度 (Social Impact Measurement) 的朋友作參考,學海無涯,希望更多社福界朋友嘗試使用並回饋意見,讓筆者知道這層級是否「落地」。

 

關志康 (Ted Kwan)

首席導師及特許財經分析師

 

#社會投資回報 #社會效益量度 #SocialImpactMeasurement

 

社會效益評估中的實踐研究

2020-08-20

本會推動的社會效益量度方法,是一種循證研究(Evidence-based Research)方法,我們運用該方法去量度項目的成效,於是知道項目各種成效的大小,以便我們向不同持份者(包括機構主管、項目贊助人和公眾人士等)演示項目成果。多年前,加拿大有一項非常成功的在囚人士教育計劃(Simon Fraser Prison Education Programme)。有受眾接受研究員 (Duguid, 2000) 訪問時均沒有就課程內容分享太多,反而對計劃觸發的內心轉化則分享甚多,其中一位在囚人士確認了讓他積極投入的興趣和未來的發展方向,另一位在囚人士表示計劃提供了教化的功能,使該人士在潛移默化的過程下並糾正以往錯誤的行為;上述受眾的分享都是進行循證研究所得來的部分質性數據。

 

完成循證研究後,我們可能需要進一步查找讓這些成效出現的原因,理由是如果我們有機會再推行相同或類似的項目的話,我們必須確保這些致勝的因素再次出現,才可肯定項目能夠再次製造預期成效。查找原因的工作被稱為“實踐研究”(Practice Research);吊詭的是,哪怕我們對項目的操作非常熟識,有時候讓項目成效出現的原因通常不是顯而易見,皆因在接受介入服務的過程中,受眾互相之間,以至受眾和其身處的場景之間,均可能會發生微妙的互動。以上述在囚人士教育計劃為例,研究員基於循證研究的各種數據作進一步分析,發現到致使計劃成功的生成機制有數方面:1)計劃避免以“更新”、“輔導”、“糾正”等具標籤性字眼作為主調;2)盡量給在囚人士發揮其自主性(例如給他們自由參加和退出的權利;又例如計劃中的課堂集中在一座大樓內進行,由參與者監察自己,另外參加者成熟後可以稱為課程導師),引導他們稱為自我控制的主體,待他們的自主意識恢復過來,對自己的發展有責任感,於是向他們提供適切的指引,致使他們能夠建立長遠發展的基礎;3)他們的自主性被提高有助於建立教化的氛圍;4)最後為表示對他們的認同Simon Fraser University會向他們頒授學位或文憑證書。毫無疑問,這4點發現對日後推行相關項目的機構來說是非常寶貴的參考知識。

 

礙於字數限制,本文只能對實踐研究作簡單介紹。但總括來說,實踐研究有助於提升我們就項目設計、執行、成效產生新的知識,而這種知識則成為我們推行下一個相關項目的基礎。實踐研究會否是邁向社會效益評估2.0的路徑?這問題值得我們繼續探討。

 

 

DUGUID, S. (2000). Can Prisons Work?: The Prisoner as Object and Subject in Modern Corrections. Toronto; Buffalo; London: University of Toronto Press. Retrieved August 1, 2020, from www.jstor.org/stable/10.3138/9781442671676

 

Pawson, R. (2013). The science of evaluation: A realist manifesto. London, : SAGE Publications Ltd doi: 10.4135/9781473913820

李浩 (Samuel Lee)

導師

#社會效益量度 #SocialImpactMeasurement #實踐研究 #PracticeResearch

 

Copyright © 2020 Fullness Social Enterprises Society Limited. All Rights Reserved.

  • Facebook