Những bất lợi chính của việc săn bắt cá voi bao gồm khả năng tuyệt chủng của một số loài cá voi, mức thủy ngân không an toàn mà thịt cá voi có thể chứa và tác hại tiềm tàng đối với hệ sinh thái mà việc loại bỏ cá voi có thể gây ra. Ngoài ra, cá voi theo Nature Publishing Group.
Một vấn đề lớn với các trung tâm săn bắt cá voi về tác động đối với quần thể cá voi. Ví dụ, cá voi xám đã tuyệt chủng ở Đại Tây Dương hàng trăm năm. Người ta cũng tin rằng có thể có khoảng 4% tổng số cá voi xanh sống trước khi bắt đầu khai thác.
Ít cá voi hơn cũng có thể có tác động đến hệ sinh thái. Khi một con cá voi chết, cơ thể của nó chìm xuống đáy đại dương. Dưới đáy đại dương, xác một con cá voi cung cấp thức ăn cho nhiều sinh vật khác nhau mà bình thường chúng không được tiếp cận với nguồn cung cấp thực phẩm dồi dào như vậy.
Trong khi nhiều người ủng hộ việc săn bắt cá voi cho rằng hoạt động này tạo ra việc làm và đưa tiền vào nền kinh tế, nó cũng có khả năng gây thiệt hại cho nền kinh tế của một quốc gia. Người ta ước tính rằng du lịch biển liên quan đến xem cá voi có thể tạo ra 413 triệu đô la mỗi năm. Ngoài ra, thịt cá voi, một nguồn thu nhập từ đánh bắt cá voi, có thể chứa hàm lượng thủy ngân nguy hiểm và dẫn đến ngộ độc thủy ngân.