Appendix H. Usability Testing Notes

(Notetaker’s questions/observations and possible To-Do items in parentheses)

User #1: Female, current administrator for UCB Events calendar

Scenario#1 – 3:48
· User initially had trouble finding events by sponsor but later discovered the “sponsor” column
· Don’t use abbreviations in their current calendar system, will spell out “Electrical Engineering and Computer Science” instead of EECS
· User thought the edit button was visible only for events that were labeled “draft”
· Was successful with most of task 
Scenario#2 – 4:16
· Had no problem finding “Create Event” link in top navigation
· Not sure how to change color of calendar (This may be a sequencing problem with our task scenario because we asked her to change colors right after posting an event. She thought she was still acting on that particular event.)
· Found “Format Calendar” after a short period of searching and was able to change navigation layout and background color.
Scenario#3 – 6:05 
(2:49 for tasks 1-3)
· User had trouble locating the “Search Campus Events” link in the top navigation. She was looking at the Pending/Posted/Archive tables for campus events. Then she tried typing in the title of the event in the Posted search field.
· It took her over 2 min. to discover the “Search Campus Events” link
· Was able to complete subscription form. User often double checked what she filled out in the web forms before submitting (Will it be difficult to check multiple selections in scroll boxes? Difficult to see highlighted selections that are not adjacent to each other.)
· User initially confused about “Search Campus Events” but liked the fact that this feature also searched her own events. 
Other Comments
· Format Calendar:
o Liked the ability to preview live calendar at anytime
o Did not understand what “default style” meant in the Format Calendar section. She thought she could access the default style somewhere in the application
o Was confused about the difference between “Preview Calendar” in Format Calendar and “Calendar” in the top navigation (Should we rename “Calendar” to “Live Calendar” or “Public Calendar”? Should we add a note to clarify that “Preview Calendar” is a temporary preview of the format settings even before they are saved?)
· (Change subscription’s “view/edit” button to just “edit”)
· User did not notice the yellow status message bar (We may need to change the background color to make it stand out more)
· Export function would be helpful for their purposes because they frequently re-purpose the data for print publications such as the Berkeleyan.
· Create Event:
o Liked the ability to add multiple participants and sponsors in the “Create Event” form because current system does not. She would have to add multiple sponsors and participants in the description area.
o Wanted the ability to set what sections were hidden/shown by default
o Did not understand what Public vs. Private meant. Even Jeff Kahn did not understand this. He thought Public meant that the public was welcome to attend the event. He felt strongly that we clarify this crucial piece of information. (Add descriptive text to clarify Public/Private)
o Jeff suggested that “all” or “public” should be the first and default choice for the Audiences in Admission Info. He also suggested switching the order of “Event Cost” and “Free” so that people would not accidentally type free in the cost box. (In Admission Info, default audience to ALL and switch order of “Event Cost” and “Free” fields)
· “Search” in Posted events was confusing because it looked like it could apply to pending, archived or search campus events. (Change “Search” to “Search Posted Events”. Consider adding search to Archived Events because of the possible large # of items in the table)
· “Save Search as Subscription” looked like it applied only to selected items similar to the way “Post” worked. (Move “Save Search as Subscription” outside of the Search Results table, maybe in the Search table?)


User #2: Male, current calendar administrator for School of Journalism

Scenario#1 – 3:17
· Realized he could batch post by checking multiple check boxes and then clicking “Post”
· Was able to use Search functionality in Posted events to filter events
· Had no problem with task and commented that experience was similar to other web applications like Yahoo Mail
· Commented on the orange header and buttons and questioned whether they needed to look so prominent 

Scenario#2 – 4:28
(3:09 for tasks 1-3)
· Questioned why “Create Event” link was not next to “Post” and “Delete” in the event manager tabbed tables. He felt that they were similar tasks and should be displayed together
· Preferred to specify event duration instead of inputting start and end time
· In Event Detail, it was confusing to have to click “Cancel” if user only wanted to review and do nothing (Change “Cancel” to “OK” or “Back”)
· Some items he considered similar were not grouped. For example create event, post, and delete were similar. Thought if sub-navigation looked more like buttons or links, he would see connection more (Maybe investigate how to change the look of sub-navigation)
· User commented on the use of “edit” button in Pending and Posted tables. He suggested adding a “view” button in addition to the “edit” button and removing the link from the title. He did not expect the event title to link to a static event view first. (Do we need to change this since we already tried and tested these suggestions with users already?)

Scenario#3 – 6:09
(1:23 for task 1-3)
· Understood the idea of “Search Campus Events” and found link with no problem
· Strange to have “Event Date” range in subscription criteria. User thought it meant display events for XX period. (Need to change order of From/To or remove Event Date completely)
· User had trouble understanding “2 Wks or ahead”. He thought it had something to do with the expiration date
· He wondered why the application allowed users to create a subscription without first previewing events that fit the subscription criteria (This was requested my other users in the past. Do we need to add a Search Results table in Subscription page?)

Other Comments
· Asked whether “Create Event” supported other objects like webcast or quicktime. They often webcast live events or archive quicktime movie of past events
· He expected “Export” to spit out data to some standard file type like ICS and Vcard. He wanted to be able to export and then import this data to other calendaring systems. (Are we just supporting/designing for export to CVS and Excel right now?)

User#3: Female, calendar content manager for PFA/BAM

Scenario#1 – 3:55
· User forgot to confirm posted events before moving on to the next task. This happened twice during the testing.
· User initially did not realize that she could select “title” or “description” in Keyword search. She learned to use this functionality later on in the testing.
· Felt this scenario was pretty straight forward.
Scenario#2 – 4:45
(3:01 for tasks 1-3)
· 2nd time user tried to perform next task without first confirming on the confirm page.
· Was not sure what “change site navigation to vertical” meant
· Thought “Preview Calendar” and “Calendar” link were confusing and was not clear which lead to the live calendar (We need to clarify this since she was the 2nd user who commented on this.) 
· Create Event
o Need to clarify Public vs. Private 
o (Add browse button to upload image)
o Liked the idea of many different sections in Create Event even though they don’t all apply. PFA typically runs into situations where their events don’t fit other people’s forms because they have specialized fields like ticketing price. Townsend Center is their most difficult publisher.
o Wanted to be able to save events as templates so fields would be pre-populated for other similar events (requested by other users in the past but probably phase 2+ feature)
Scenario#3 – 5:14
(2:17 for tasks 1-3)
· User typed sponsor name in “search keyword in title”. She did not notice the drop-down menu with sponsor as a choice
· User initially not sure where to find subscription but was able to fill out subscribe form once she found it.

Other Comments
· Although PFA has their own sophisticated calendaring application, they could conceivably use our application to push events to other departments and to subscribe to events of interest to internal calendar.
· Understood the idea of selecting more than once search criteria. Realized there would be less events resulting from a more refined search.
· Thought it would be useful to distinguish Private/Public events in the Posted/Pending/Archived tables
· Format Calendar
o Thought default style in Format Calendar meant user could set their own default style (May need to clarify this with note since more than one user commented on this)
o (Make “restore default settings” less prominent and have a confirm page after user clicks on this in case they did not mean to wipe out all their formatting changes)