Позже он поступил в Чикагский университет, где впервые столкнулся с компьютерным дизайном, но также бросил учебу после первого семестра. Впоследствии 22-летний Ларри переехал в город Беркли, которое находится недалеко от будущей Кремниевой долины. Там Эллисон прыгал с работы на работу, изучая навыки работы с компьютером и программирования.
Поворотный момент наступил, когда Эллисон пришел на работу в компанию, которая создавала базу данных для ЦРУ под кодовым названием «Oracle». Впоследствии он стал соучредителем собственной компании, в которую вложил 1,2 тысячи долларов. В 1982 году в честь своего флагманского продукта компания получила название Oracle Systems Corp, а сегодня она — второй (после Microsoft) по величине доходов производитель программного обеспечения.