Наступні два роки Харлі і його друг дитинства Артур Девідсон (Arthur Davidson) працювали над велосипедом з мотором, використовуючи гараж в будинку їхнього друга Генрі невеликий. Робота була завершена до 1903 року за допомогою брата Артура. По завершенні роботи юнаки зрозуміли, що їх творіння не в змозі підкорити навіть скромні пагорби Мілуокі без допомоги педалей. З цієї причини Харлі і Девідсон вирішили залишити свій велосипед з двигуном як перший, не дуже вдалий досвід.
Слідом за цим негайно почалася робота над новим, більш сучасним мотоциклом. Цей перший «справжній» мотоцикл Harley-Davidson мав двигун об'ємом 405 см³ вагою трохи менше 13 кг. Нова просунута рама була аналогічна рамі мотоцикла 1903 Milwaukee Merkel (сконструйованого Джозефом Меркелем, творцем Flying Merkel). Трубчаста рама і двигун більшого об'єму зробили нову модель Харлі-Девідсон вже не велосипедом з мотором, а мотоциклом в сучасному розумінні. У розробці нового мотора допоміг інженер Оле Евінруд, один з піонерів американського моторобудування.
Прототип нового мотоцикла був створений в сараї розміром 3 на 5 метрів, який стояв у дворі будинку сім'ї Девідсонів. Втім, більшість основних вузлів були виготовлені в інших місцях, в основному в майстерні залізничного депо Західного Мілуокі, де старший з братів, Вільям А. Девідсон, працював інструментальником. Прототип був закінчений 8 вересня 1904 року і в той же день взяв участь в мотогонках на State Fair Park. Гонщиком був Едуард Хілдебранд, він закінчив гонку четвертим. Ця гонка стала першим документованим появою мотоцикла Харлі-Девідсон.
У січні 1905 року в журналі Automobile & Cycle Trade Journal з'явилася перша маленька реклама, що повідомляє про те, що двигуни Harley-Davidson з'явилися у вільному продажі. У квітні продавалися мотоцикли вже цілком, але в дуже обмежених кількостях. Того року перший дилер Harley-Davidson, Карл Ленд з Чикаго, продав три мотоцикла з дюжини зібраних в сараї.
Пізніше цей легендарний сарай був поставлений в центрі вже справжньою фабрики на Авеню Джуно, де він стояв багато десятиліть як пам'ять про скромному походження культової мотоциклетної компанії. Пізніше, на жаль, сарай був випадково знищений підрядниками, на початку 1970-х найнятими для прибирання фабричного двору.
У 1906 році Харлі і Девідсон побудували свою першу фабрику на Chestnut Street (пізніше вулиця була перейменована в Авеню Джуно). Сьогодні за цією адресою знаходиться штаб-квартира компанії. Перший завод на Авеню Джуно був дерев'яною будівлею розміром 12 на 18 метрів. На цій «фабриці» в перший рік було зібрано вже 50 мотоциклів.
У 1907 році Вільям Харлі здобув вищу освіту в університеті Медісон в штаті Вісконсін за фахом інженер-механік. В цьому ж році фабрика обзавелася другим поверхом, що дозволило значно розширити виробництво. У 1907 році було випущено 150 мотоциклів. Також компанії вдалося зайняти істотну частку ринку, тому що в цьому році вдалося укласти договір, за яким Харлєї почали купувати для місцевої поліції.
Всі мотоцикли, вироблені в 1905 і 1906 роках, були з одноциліндровими двигунами об'ємом 440 см³. У лютому 1907 року на чиказької виставці автомобілів був вперше показаний мотоцикл з двигуном V-Twin (англ.) Рос. (880 см³) потужністю близько 7 кінських сил. Ці мотоцикли були майже в два рази потужніший перших одноциліндрових. Максимальна швидкість склала близько 97 км / ч. Між 1908 і 1909 продажі мотоциклів виросли з 450 штук до 1149.
У 1911 році було випущено вдосконалену модель двигуна V-twin. У нового двигуна було механічне управління впускним клапаном, на відміну від більш ранніх моделей, у яких впускний клапан відкривався за рахунок вакууму, що створюється в циліндрі. Обсяг нового двигуна був зменшений до 810 см³, але за рахунок більш досконалої системи газорозподілу потужність зросла майже в два рази. Більшість мотоциклів, випущених після 1913 року, оснащувалися цим новим двигуном.
У 1913 році цегляна будівля фабрики, побудоване в 1910 році, було знесено і на його місці побудовано нову п'ятиповерхову будівлю із залізобетону і червоної цегли. До 1914 року Харлі-Девідсон став провідним виробником мотоциклів в США, обігнавши свого головного конкурента - компанію Indian. У 1914 році продажі досягли позначки в 16 284 машин.
У 1916 році було перше документоване використання мотоциклів «Харлі-Девідсон» збройними силами. Бойовики мексиканського повстанця Панчо Вілья використовували мотоцикли «Харлі-Девідсон» для нальотів на прикордонні з Мексикою американські міста. Їм протистояли війська під командою генерала Першинга на мотоциклах «Індіан».
