Mặc dù có một số bằng chứng về các khu dân cư rải rác trước thời La Mã trong khu vực này, khu dân cư lớn đầu tiên được thành lập bởi Đế chế La Mã vào năm 43, theo sau sự xâm lược đảo Anh của quân đội La Mã. Khu dân cư này được gọi là Londinium, được tin là nguồn gốc của tên gọi ngày hôm nay, mặc dù nguồn gốc Celt cũng là một khả năng.
London đầu tiên chỉ tồn tại trong vòng 17 năm. Khoảng năm 61, bộ tộc Iceni của người Celt lãnh đạo bởi Nữ hoàng Boudica đánh ập vào London, đốt sạch thành phố. Kế tiếp, sự tái sinh với nhiều quy hoạch lớn của thành phố phát triển mạnh và gộp luôn cả Colchester như là thủ đô của Britannia như là một tỉnh La Mã vào năm 100. Tuy nhiên, vào thế kỉ thứ 3, thành phố bắt đầu suy yếu dần do các vấn đề nội bộ của Đế chế La Mã, và vào thế kỉ thứ 5 nó bị bỏ hoang.
Cho đến năm 600, người Anglo-Saxon đã tạo lập nên một khu dân cư mới (gọi là Lundenwic) vào khoảng 1 km về phía thượng nguồn của thành phố La Mã cũ, quanh khu vực ngày nay là Vườn Covent. Có lẽ là có một cảng biển tại cửa sông Fleet cho việc đánh cá và thương mại, và khu thương mại này phát triển cho đến khi thảm họa xảy đến vào năm 851, khi sự phòng thủ xiêu vẹo của thành phố mới bị vượt qua bởi sự càn quét của người Viking và nó bị san bằng. Sự chiếm đóng bởi người Viking hai mươi năm sau không tồn tại lâu, và Alfred Đại đế, vua mới của nước Anh, thiết lập hòa bình và dời khu dân cư vào trong khu thành phòng thủ của thành phố La Mã cũ (sau đó gọi là Lundenburgh). Thành phố nguyên thủy trở thành Ealdwīc ("thành phố cũ"), một cái tên tồn tại cho đến ngày nay như là Aldwych.
Tiếp sau đó, dưới sự quản lý của nhiều vị vua Anh khác nhau, một lần nữa London lại phát triển như là một trung tâm thương mại quốc tế và chính trị. Tuy vậy, sự càn quét của người Viking lại bắt đầu trong cuối thế kỉ thứ 10, và đạt đến đỉnh cao vào năm 1013 khi họ bao vây thành phố dưới sự chỉ huy của vua Đan Mạch Canute và buộc vua Anh Aethelred II (Aethelred the Unready) tháo chạy. Trong một cuộc tấn công trả đũa, quân đội của Aethelred đã đạt được thắng lợi bằng cách kéo sập cầu London với đồn Đan Mạch ở trên đỉnh, và sự kiểm soát của người Anh lại được tái thiết lập.
Canute chiếm được ngôi vua Anh vào năm 1017, kiểm soát thành phố và đất nước cho đến năm 1042, khi cái chết của ông ta đã trả lại quyền kiểm soát cho người Anglo-Saxon dưới thời người con ghẻ của ông là Edward Người thú tội (Edward the Confessor), người tái thiết lại Tu viện Westminster và Cung điện Westminster cạnh đó. Vào thời điểm này, London đã trở thành thành phố lớn nhất và thịnh vượng nhất ở Anh, mặc cho địa điểm chính thức của nhà nước vẫn còn ở Winchester.
